Дата инженер

• Поддержка и разработка в направлении развития нового хранилища данных на базе Hadoop;
• Миграция процессов из реляционных баз данных в хранилище на базе Hadoop;
• Разработка ETL/ELT процессов;
• Автоматизация процессов построения моделей и витрин данных;
• Оптимизация существующих процессов обработки и преобразования данных;
• Интеграция с различными источниками данных;
• Контроль качества данных - мониторинг расчётов и загрузок;
• Работа с online-потоками данных, построение online-витрин и отчётов;
• Разработка документации на Confluence;
• Работать по гибкой методологии SCRUM в продуктовой команде полного цикла.

• Льготы и преференции работы в аккредитованной компании;
• Комфортное рабочее место в офисе на Васильевском острове;
• На Ваш выбор любые курсы по повышению квалификации и посещение IT-конференций;
• На Ваш выбор спортивно-оздоровительные мероприятия (футбол, волейбол, плавание, фитнес);
• Оформление ДМС (по окончании испытательного срока), офисный врач;
• Оформление ТК РФ.

• Опыт работы с базами данных в качестве аналитика от 3-х лет;
• SQL - продвинутый уровень;
• Python - продвинутый уровень;
• Опыт работы с реляционными СУБД и NoSQL;
• Навыки в *nix системах;
• Стэк Big Data (HDFS, Spark/PySpark, Hive, Drill, Impala, Presto, Airflow, NiFi);
• Работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.
• Опыт потоковой обработки данных (Kafka, Spark, Streaming, Flink);
• Опыт разработки API (Flask, Django, FastAPI);
• СУБД - PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server, Clickhouse; Oracle, Spark, Jira, Confluence;
• Знание принципов построения микросервисной архитектуры.

Будет Вашим плюсом:

• Знакомство с IT решениями, бизнес-процессами операторов связи и интернет провайдеров, банков и маркетплейсов;
• Наличие опыта работы с высоконагруженными системами;
• Решение задач в области повышения производительности систем.