Вакансия не актуальна и перемещена в архив
Data Engineer в команду Big Data
от 0 руб.
Вакансия "Data Engineer в команду Big Data"
Полная занятость, гибкий график
Опубликовано 3 июля 2023 года
Обновлено 3 июля 2023 года
Обязанности
Мы занимаемся развитием и поддержкой платформы Big Data на vk. com. Платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.
ВКонтакте — самая большая социальная сеть в России, поэтому у нас самая большая Big Data:
- Kafka ~ 1 Пбайт;
- HDFS ~ 50 Пбайт;
- Clickhouse ~ 3 Пбайт (NVMe).
Ищем специалиста, который отлично владеет любым из этих инструментов.
Вам предстоит:
- развивать платформу хранения и обработки Big Data;
- внедрять новые инструменты для анализа данных и машинного обучения;
- решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
- строить новые и оптимизировать существующие ETL-процессы.
У нас интересно, потому что:
- действительно много данных (десятки петабайт), настоящие и сложные задачи;
- мы не зацикливаемся на работе с одним инструментом или хранилищем, а всегда ищем наиболее подходящее решение;
- мы используем весь стек технологий — от железа и настроек инструментов до реализации собственных разработок.
Мы рассчитываем, что вы:
- хорошо знаете Java/Scala, Python;
- разбираетесь в принципах работы баз данных, распределённых систем хранения и обработки данных;
- работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.
Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге или работать в комбинированном режиме. Ждём ваших откликов. Удачи!
Требования к образованию
Не указано
Загрузка...
Похожие вакансии
Работодатель
ООО "ХЭДХАНТЕР"
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ХЭДХАНТЕР"
Дата регистрации
29 декабря 2006 года
Юридический адрес
129085, г. Москва, ул. Годовикова, д. 9, стр. 10
Генеральный директор
Сергиенков Дмитрий Сергеевич
с 16 марта 2023 года