Data Engineer

О нашем продукте
1. Мы делаем Единое Хранилище данных по всем процессам Банка России. А это почти полный охват финансового рынка и всех связанных сущностей, требуемых для контроля и прогнозирования развития экономики в целом и участников в частности

Основная задача – загрузить и получить на выходе максимально полные и достоверные данные по каждой сущности в удобном для дальнейшего использования виде.

2. Мы делаем приложения на базе Единого Хранилища Данных

Основной функционал:

• монетизация данных
• сбор данных из разных источников, в первую очередь из "озера данных" и Единого Хранилища данных
• анализ и поиск закономерностей в разнообразных данных
• построение моделей, основанных на данных
• автоматизация работы приложения
• подробное описание модели приложения

Обязанности:

• участие в определении стратегии развития системы хранения данных
• участие в создании функциональных и архитектурных требований к целевой платформе для систем обработки и консолидации данных
• разработка нормативно-методической документации в рамках оптимизации и автоматизации процессов Департамента
• организация процесса предоставления экспертной поддержки внутренним потребителям (data analytics, data scientists) по вопросам связанным с использованием данных

Требования:

• высшее техническое образование
• практический опыт работы экспертом по исследованию данных от 3-х лет

Необходимые знания:

• большой опыт в распределенных системах данных (BigData)
• знать численные методы математической статистики и теорию вероятностей
• знать процессы ЖЦ информационной системы
• опыт внедрения ПО
• глубокие знания в Linux
• глубокие знания в Python
• понимание в системах оркестрации контейнеров
• опыт в DevOps
• желательные знания в части Apache Spark Framework