Data engineer
TargetAIАстана
400 000 - 600 000 KZT
OfficeКачество текста 4/5
Data EngineerPythonSQLPostgreSQLClickHouseKafkaDocker3д
Чем предстоит заниматься:
• Разрабатывать и поддерживать ETL/ELT-процессы в Airflow;
• Настраивать загрузку данных из различных источников (API, Kafka, PostgreSQL и др.);
• Работать с ClickHouse, PostgreSQL и SQL-запросами;
• Поддерживать BI-слой на базе Superset;
• Работать с Docker Compose, Linux и on-premise инфраструктурой;
• Диагностировать и устранять проблемы в работе пайплайнов и интеграций.
Наши ожидания:
• Опыт работы с Airflow;
• Уверенное владение SQL и Python;
• Опыт работы с ClickHouse и PostgreSQL;
• Понимание принципов ETL/ELT, incremental load и data quality checks;
• Опыт работы с Linux, Docker и Git.
Будет плюсом:
• Kafka;
• Superset;
• Trino;
• S3/Data Lake стек.
Условия:
• Медицинское страхование.
• Компенсация проф.курсов.
• Компенсация занятий спортом.
• Разрабатывать и поддерживать ETL/ELT-процессы в Airflow;
• Настраивать загрузку данных из различных источников (API, Kafka, PostgreSQL и др.);
• Работать с ClickHouse, PostgreSQL и SQL-запросами;
• Поддерживать BI-слой на базе Superset;
• Работать с Docker Compose, Linux и on-premise инфраструктурой;
• Диагностировать и устранять проблемы в работе пайплайнов и интеграций.
Наши ожидания:
• Опыт работы с Airflow;
• Уверенное владение SQL и Python;
• Опыт работы с ClickHouse и PostgreSQL;
• Понимание принципов ETL/ELT, incremental load и data quality checks;
• Опыт работы с Linux, Docker и Git.
Будет плюсом:
• Kafka;
• Superset;
• Trino;
• S3/Data Lake стек.
Условия:
• Медицинское страхование.
• Компенсация проф.курсов.
• Компенсация занятий спортом.