Senior Data Engineer

Обязательные требования:
• От 3 лет коммерческой разработки;
• От 2 лет - разработка систем, которые вышли в промышленную эксплуатацию;
• От 2 лет - BigData;
• Глубокие теоретические знания стека технологий и практический опыт;
• Умение давать и принимать обратную связь;
• Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
• Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
• Опыт проведения Code Review;
• Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
• Опыт оптимизации запросов;
• Понимание процессов CI/CD;
• Опыт написания unit тестов;
• Знание стека: Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux.

Задачи на проекте:
• Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
• Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
• Разработка программного кода систем больших данных;
• Подготовка документации, описывающей алгоритмы разработанных систем больших данных;
• Разработка Unit тестов для программного кода систем больших данных;
• Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
• Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
• Исправление дефектов в разработанных приложениях;
• Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.