Senior Data Engineer (Microsoft Fabric)

О проекте:
Мы строим современный Data Warehouse и Lakehouse на Microsoft Fabric с нуля. Вы будете работать с терабайтами данных, мигрируя от устаревших ETL процессов к современным архитектурным решениям Medallion (Бронзовый/Серебряный/Золотой). Полный цикл разработки: от настройки инфраструктуры до CI/CD.

Ключевые обязанности:
• Проектирование и создание архитектуры DWH с нуля (Medallion Layers);
• Разработка надежных ETL/ELT пайплайнов с использованием ADF и Dataflow Gen2;
• Написание и оптимизация высокопроизводительного кода PySpark для масштабных преобразований данных;
• Оптимизация T-SQL запросов в Synapse Data Warehouse;
• Настройка Fabric Shortcuts для интеграции с AWS S3 / GCP;
• Реализация процессов CI/CD для развертывания инфраструктуры и кода.

Требования:
• 5+ лет коммерческого опыта в Data Engineering;
• Глубокая экспертиза в Microsoft Azure и экосистеме Fabric;
• Сильный опыт работы с Apache Spark (PySpark);
• Твердое понимание паттернов Lakehouse и Data Warehousing;
• Практический опыт с CI/CD (Azure DevOps / GitHub Actions);
• Английский: Upper-Intermediate+ (ежедневное общение с международной командой).