Разработчик Flink
Не указаноУдаленно (Только РФ)
RemoteКачество текста 2/5
BackendKafkaSQLClickHouseJava8д
О проекте
Ищем разработчика с опытом работы со стриминговыми платформами и обработкой данных в реальном времени. Роль предполагает участие в развитии современной Data Platform, проектировании потоковых пайплайнов и построении Data Lake-архитектуры.
Основные задачи:
• Проектирование, разработка и сопровождение стриминговых пайплайнов
• Реализация бизнес-логики и трансформаций данных во Flink, Spark и Java
• Построение и сопровождение потоковой обработки данных от источника до витрин
• Инкрементальная загрузка и публикация витрин данных через dbt, Trino и Iceberg
• Проектирование структуры хранения и партиционирования данных в Data Lake
• Работа с колоночными форматами хранения данных и снапшотами
• Реализация надёжных механизмов доставки данных, обеспечение идемпотентности и обработки дубликатов
• Документирование архитектурных решений и участие в развитии платформы
Требования:
• Опыт работы со стриминговыми решениями либо сильная мотивация развиваться в направлении Streaming Data
• Практический опыт работы со стеком: Flink, Spark, Kafka, ClickHouse
• Понимание концепций и форматов Data Lake: Iceberg, Parquet, ORC, снапшоты, инкрементальная обработка данных
• Опыт реализации потоков данных вида Kafka → обработка → S3/Iceberg
• Понимание архитектуры потоковых данных и жизненного цикла данных от события до аналитической витрины
• Опыт проектирования и разработки высоконагруженных data pipelines
• Готовность участвовать в архитектурных обсуждениях и развитии платформы
Будет плюсом:
• Опыт работы с Trino, dbt и аналитическими витринами данных
• Опыт проектирования современных Lakehouse-решений
• Знание принципов Data Engineering и построения Data Platform
• Опыт работы с большими объёмами данных
Личные качества:
• Системное мышление
• Инициативность и самостоятельность
• Готовность предлагать архитектурные решения
• Желание изучать новые технологии и подходы
Ищем разработчика с опытом работы со стриминговыми платформами и обработкой данных в реальном времени. Роль предполагает участие в развитии современной Data Platform, проектировании потоковых пайплайнов и построении Data Lake-архитектуры.
Основные задачи:
• Проектирование, разработка и сопровождение стриминговых пайплайнов
• Реализация бизнес-логики и трансформаций данных во Flink, Spark и Java
• Построение и сопровождение потоковой обработки данных от источника до витрин
• Инкрементальная загрузка и публикация витрин данных через dbt, Trino и Iceberg
• Проектирование структуры хранения и партиционирования данных в Data Lake
• Работа с колоночными форматами хранения данных и снапшотами
• Реализация надёжных механизмов доставки данных, обеспечение идемпотентности и обработки дубликатов
• Документирование архитектурных решений и участие в развитии платформы
Требования:
• Опыт работы со стриминговыми решениями либо сильная мотивация развиваться в направлении Streaming Data
• Практический опыт работы со стеком: Flink, Spark, Kafka, ClickHouse
• Понимание концепций и форматов Data Lake: Iceberg, Parquet, ORC, снапшоты, инкрементальная обработка данных
• Опыт реализации потоков данных вида Kafka → обработка → S3/Iceberg
• Понимание архитектуры потоковых данных и жизненного цикла данных от события до аналитической витрины
• Опыт проектирования и разработки высоконагруженных data pipelines
• Готовность участвовать в архитектурных обсуждениях и развитии платформы
Будет плюсом:
• Опыт работы с Trino, dbt и аналитическими витринами данных
• Опыт проектирования современных Lakehouse-решений
• Знание принципов Data Engineering и построения Data Platform
• Опыт работы с большими объёмами данных
Личные качества:
• Системное мышление
• Инициативность и самостоятельность
• Готовность предлагать архитектурные решения
• Желание изучать новые технологии и подходы