Data Engineer в команду Big Data

Мы занимаемся развитием и поддержкой платформы Big Data на vk. com. Платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.

ВКонтакте — самая большая социальная сеть в России, поэтому у нас самая большая Big Data:

• Kafka ~ 1 Пбайт;
• HDFS ~ 50 Пбайт;
• Clickhouse ~ 3 Пбайт (NVMe).

Ищем специалиста, который отлично владеет любым из этих инструментов.

Вам предстоит:

• развивать платформу хранения и обработки Big Data;
• внедрять новые инструменты для анализа данных и машинного обучения;
• решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
• строить новые и оптимизировать существующие ETL-процессы.

У нас интересно, потому что:

• действительно много данных (десятки петабайт), настоящие и сложные задачи;
• мы не зацикливаемся на работе с одним инструментом или хранилищем, а всегда ищем наиболее подходящее решение;
• мы используем весь стек технологий — от железа и настроек инструментов до реализации собственных разработок.

Мы рассчитываем, что вы:

• хорошо знаете Java/Scala, Python;
• разбираетесь в принципах работы баз данных, распределённых систем хранения и обработки данных;
• работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.

Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге или работать в комбинированном режиме. Ждём ваших откликов. Удачи!