Data Engineer (Middle / Senior)
Не указаноУдаленно
SeniorRemoteКачество текста 2/5
Data EngineerPythonClickHousePostgreSQLDockerREST APISQLAWSGCP26д
Условия и локация:
• REMOTE GLOBAL
Задачи / обязанности:
• Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
• Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
• Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины
• Оптимизировать SQL-запросы и производительность пайплайнов
• Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
• Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных
• Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
• Поддерживать техническую документацию и участвовать в передаче знаний внутри команды.
Требования:
• Опыт на позиции инженера данных от трёх лет
• Уверенное знание SQL и опыт работы с аналитическими СУБД
• Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
• Опыт разработки и поддержки ETL/ELT-процессов
• Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов
• Опыт работы с dbt Core
• Хорошее знание Python
• Опыт работы с PostgreSQL
• Опыт интеграции внешних REST API
• Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose.
• REMOTE GLOBAL
Задачи / обязанности:
• Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
• Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
• Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины
• Оптимизировать SQL-запросы и производительность пайплайнов
• Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
• Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных
• Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
• Поддерживать техническую документацию и участвовать в передаче знаний внутри команды.
Требования:
• Опыт на позиции инженера данных от трёх лет
• Уверенное знание SQL и опыт работы с аналитическими СУБД
• Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
• Опыт разработки и поддержки ETL/ELT-процессов
• Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов
• Опыт работы с dbt Core
• Хорошее знание Python
• Опыт работы с PostgreSQL
• Опыт интеграции внешних REST API
• Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose.