Инженер по сопровождению SDP Hadoop

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.
УСКАП – это управление занимающаяся сопровождением и развитием инфраструктуры Hadoop. С помощью нашей команды осуществляется надежность выполнения критичных бизнес-процессов, своевременное устранение и анализ проблем на Hadoop кластерах и принятом на сопровождение ППО разработанном в Сбербанке для Корпоративной Аналитической Платформы.
SDP Hadoop - это полноценный дистрибутив на базе Apache Hadoop, адаптированный для внутреннего использования, предназначенный для хранения и обработки слабоструктурированных и неструктурированных данных.
Наша команда в поисках инженера по сопровождению SDP Hadoop в Департаменте управления данными (SberData).
Стек используемых технологий:
* Linux (RHEL),
* RH IDM IPA (LDAP, IDM, CA, DNS, HBAC, SUDO)
* PostgreSQL + Patroni
* Hadoop (Hive, YARN, Oozie, Zookeper, Hue, Ambari, HBASE, Spark, HDFS, Druid, Flume, Solr, Ranger)
* Apache Ozone
* Kafka
* HAProxy, NGinx
* Grafana + Prometheus
* Elasticsearch, FileBeat, Logstash, Kibana.
* Kubernetes
* Ansible, Jenkins, Vault (hashicorp), Git
* Bash, Python
* S3.
Обязанности

• обеспечение бесперебойной работы платформы Hadoop
• установка, настройка, обновление кластеров SDP Hadoop и связанной инфраструктуры
• участие в проектировании продукта SDP Hadoop со стороны сопровождения: написание ТЗ, описание и воспроизведение дефектов
• проактивное администрирование и мониторинг, обеспечивающее непрерывную работу платформы, развитие мониторинга системы
• решение инцидентов ИТ систем
• автоматизация рутинных операций для повышения производительности и надежности систем
• участие в тестировании программного обеспечения
• поддержка и совершенствование процессов CI/CD, релизного процесса, обеспечивая эффективную разработку и доставку.

Требования

• знания в troubleshooting'е и администрировании linux-систем, уверенное владение командами ОС семейства Linux
• знание различных SQL запросов, понимание что такое DML, DDL, DCL, TCL
• понимание работы стека TCP/IP
• опыт работы с системами мониторинга (Prometheus, Zabbix)
• опыт автоматизации на скриптовых языках (shell/perl/python/etc)
• опыт работы с централизованными системами по управлению идентификацией пользователей (RH IDM IPA, Active Directory), понимание принципов работы Kerberos, LDAP
• знание ITSM, ITIL.

    Дополнительным плюсом будет:

• высшее техническое образование (области ИТ)
• навыки в администрировании и troubleshooting'e Hadoop, а именно Hive, YARN, Oozie, Zookeper, Hue, Ambari, HBASE, Spark, HDFS, Druid, Flume, Solr, Ranger
• понимание технологий интеграции между системами (форматы сообщений xml, json, менеджеры очередей Kafka, RabbitMQ, IBM MQ, ActiveMQ)
• знания в области распределения нагрузки и масштабирования
• способность быстро и точно выявлять и устранять причины возникших сбоев
• понимание и следование принципам построения отказоустойчивых систем
• английский язык на уровне чтения технической документации
• опыт написания технической документации и технических заданий
• знание принципов работы реляционных БД.

Условия

• работа в офисе по адресу г. Хабаровск ул. Краснореченская, 111В.
• официальное оформление с первого дня
• стабильный оклад и социальная поддержка сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение
• корпоративный спортзал
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы.

Высшее

Не менее 4 лет