Data Engineer

Обязанности:
• Проектирование, разработка и сопровождение стриминговых пайплайнов;
• Реализация бизнес‑логики и трансформаций во Flink/Spark/Java в режиме стрима;
• Инкрементальная загрузка и выкладка витрин (dbt/Trino/Iceberg);
• Проектирование хранения и партиционирования в data lake (колоночные форматы, снапшоты, Iceberg);
• Построение надёжных схем доставки данных: семантики доставки, идемпотентность, обработка дупликатов;
• Документирование архитектуры пайплайнов и участие в принятии архитектурных решений по платформе.

Требования:
• Опыт работы со стриминговыми решениями или серьёзное стремление перейти в стриминг;
• Технические навыки (один или несколько): Spark, Flink, ClickHouse, Kafka (преимущественно - Flink);
• Понимание форматов и концепций data lake (Iceberg, Parquet/ORC, снапшоты, инкременты);
• Практический опыт хотя бы одной реализации/пробы: Kafka → обработка → S3/Iceberg (даже локально/в тестовом проекте);
• Умение мыслить потоками данных: от события до витрины, а не только «запросами»;
• Софт‑скиллы: системное мышление, инициативность, готовность обсуждать архитектуру и учиться новым паттернам.

Будет плюсом:
• Опыт работы с дашбордами/витринами через Trino/SQL/dbt будет плюсом.