Senior-Lead Data Engineer

Основные задачи:
• Архитектура и развитие платформы (совместно с Data Architect):
• Проектирование архитектуры Data Platform (DWH + Lakehouse);
• Выбор технологических решений и инструментов;
• Участие в проработке подходов к Data Quality, lineage и monitoring;
• Разработка:
• Проектирование, разработка и поддержка ETL/ELT-пайплайнов;
• Разработка витрин данных;
• Реализация ingestion и обработки данных в Lakehouse;
• Настройка оркестрации и мониторинга в Airflow;
• Поддержка и развитие LakeHouse, DWH;
• Внедрение практик CI/CD для data-разработки;
• Документирование разработки;
• Лидерство и развитие команды:
• Создание команды Data Engineers;
• Развитие компетенций, процессов разработки, code review и внедрение engineering best-практик;
• Планирование roadmap развития платформы;
• Взаимодействие с архитекторами, аналитиками и backend-командами;

Технический стек:
• S3, Iceberg, Airflow, Spark, Python, Trino, ClickHouse, Greenplum, DBT, Superset (опыт со стеком обязателен);

Наши ожидания:
• Опыт работы Data Engineering / DWH / Big Data от 6 лет;
• Опыт работы с DBT / Airflow / Spark / объектными хранилищами;
• Опыт проектирования Data Platform или ключевых её частей;
• Опыт оптимизации производительности DWH или Big Data систем;
• Опыт technical leadership (lead / tech lead / играющий тренер);
• Понимание принципов Data Governance и Data Quality;

Будет плюсом:
• опыт создания Data Platform с нуля, включая MVP.