Инженер 3ЛС Hadoop

#Sberdata уже разработала и тиражировала собственную платформу для поставки, хранения и обработки данных на основе экосистемы Hadoop (Sberbank Data Platform). Мы разработчики этого дистрибутива, которым пользуется весь банк.

Теперь у нас стоит еще более амбициозная задача - реализовать расчет и хранение раздельно. Для этого у нас уже есть несколько команд: core команда разработки (разработчики - коммитеры в Apache), QA, 3 line support

Сейчас необходимо усиление талантливым инженером.

С нами ты примешь участие в развитии масштабных продуктов, аналогов которому нет на российском рынке. У нас высокие темпы развития, но при этом теплая дружелюбная атмосфера поддержки и открытости.

Обязанности

• администрировать экосистему Hadoop (HDFS, Spark, HBase, Hive, Oozie, Hue. . . )
• обеспечение бесперебойной работы и развития автоматизированных систем использующих экосистему Hadoop
• управлять процессами установки/обновления экосистемы Hadoop
• организация работ по исправлению выявленных недостатков экосистемы Hadoop
• траблшутинг сложных проблем на больших кластерах
• взаимодействие с 2LS и core командой разработки
• участие в разборе проблем пользователей
• участие в доработке Open source решений из экосистемы Hadoop.

Требования

• знание экосистемы Hadoop (HDFS, Spark, HBase, Hive, Oozie, Hue. . . ), их роль в экосистеме и выполняемые ими функции, технологии, на которых они базируются, методы взаимодействия с другими компонентами
• базовые понятия архитектуры: компонентной, микросервисной, хранилищ данных, инфраструктуры Hadoop или Open Shift/k8s
• опыт использовании инструментов CI/CD
• понимание механизмов работы систем управления сборкой
• опыт администрирования Linux (предпочтение RHEL/CentOS)
• опыт администрирования Open Shift/ Kubernetes
• опыт администрирования и траблшутинга Hadoop (или других кластерных решений)
• желание развиваться в направлении Big Data
• проактивная позиция и личная вовлеченность в проблемы пользователей
• базовый английский для чтения технических спецификаций open source
• здорово, если есть опыт разработки на одном из языков (Java/Scala/Python/Go), но не обязательно.

Условия

• работа в офисе по адресу г. Хабаровск ул. Краснореченская, 111В.
• официальное оформление с первого дня
• стабильный оклад и социальная поддержка сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение
• корпоративный спортзал
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы.