Middle Data Engineer
Не указаноУдаленно
MiddleRemoteКачество текста 2/5EN C2+
Data EngineerPythonSQLTerraformCI/CDNoSQLKafkaAWSGCPAzure15д
Ключевые обязанности:
• Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны для загрузки, трансформации и выгрузки данных.
• Создавать и оптимизировать рабочие процессы обработки данных с использованием Python и PySpark.
• Разрабатывать архитектуры хранилищ данных и решения для озер данных.
• Создавать и поддерживать SQL-запросы, хранимые процедуры и модели данных для отчетности.
• Интегрировать данные из API, баз данных, потоковых сервисов и сторонних платформ.
• Реализовывать проверки качества данных, правила валидации и механизмы мониторинга.
• Оркестровать рабочие процессы с использованием Apache Airflow, Dagster или аналогичных инструментов.
• Сотрудничать с дата-сайентистами и аналитиками для предоставления чистых, надежных наборов данных.
• Документировать архитектуры данных, логику пайплайнов и словари данных.
Требования:
• 3+ года коммерческого опыта в области инженерии данных или смежных ролях.
• Сильные навыки Python для обработки и автоматизации данных.
• Экспертные навыки SQL, включая сложные запросы, оконные функции и оптимизацию запросов.
• Практический опыт работы с Apache Spark и PySpark для распределенной обработки данных.
• Твердое понимание концепций ETL/ELT и шаблонов проектирования пайплайнов данных.
• Опыт работы с реляционными базами данных, хранилищами данных (Snowflake, BigQuery, Redshift) и озерами данных (Delta Lake, Iceberg).
• Опыт работы с облачными платформами (AWS, Azure или GCP) и их сервисами для работы с данными.
• Понимание моделирования данных: звёздная схема, снежинка, нормализация, денормализация.
• Опыт работы с инструментами оркестрации рабочих процессов (Airflow, Prefect, Dagster).
• Знание Git, управления данными, безопасности и принципов соблюдения норм.
• Сильные аналитические и проблемно-решающие навыки с вниманием к точности данных.
• Английский: B2 или выше (письменный и устный).
Контакт:
@yaroslav_rr
• Проектировать, разрабатывать и поддерживать ETL/ELT пайплайны для загрузки, трансформации и выгрузки данных.
• Создавать и оптимизировать рабочие процессы обработки данных с использованием Python и PySpark.
• Разрабатывать архитектуры хранилищ данных и решения для озер данных.
• Создавать и поддерживать SQL-запросы, хранимые процедуры и модели данных для отчетности.
• Интегрировать данные из API, баз данных, потоковых сервисов и сторонних платформ.
• Реализовывать проверки качества данных, правила валидации и механизмы мониторинга.
• Оркестровать рабочие процессы с использованием Apache Airflow, Dagster или аналогичных инструментов.
• Сотрудничать с дата-сайентистами и аналитиками для предоставления чистых, надежных наборов данных.
• Документировать архитектуры данных, логику пайплайнов и словари данных.
Требования:
• 3+ года коммерческого опыта в области инженерии данных или смежных ролях.
• Сильные навыки Python для обработки и автоматизации данных.
• Экспертные навыки SQL, включая сложные запросы, оконные функции и оптимизацию запросов.
• Практический опыт работы с Apache Spark и PySpark для распределенной обработки данных.
• Твердое понимание концепций ETL/ELT и шаблонов проектирования пайплайнов данных.
• Опыт работы с реляционными базами данных, хранилищами данных (Snowflake, BigQuery, Redshift) и озерами данных (Delta Lake, Iceberg).
• Опыт работы с облачными платформами (AWS, Azure или GCP) и их сервисами для работы с данными.
• Понимание моделирования данных: звёздная схема, снежинка, нормализация, денормализация.
• Опыт работы с инструментами оркестрации рабочих процессов (Airflow, Prefect, Dagster).
• Знание Git, управления данными, безопасности и принципов соблюдения норм.
• Сильные аналитические и проблемно-решающие навыки с вниманием к точности данных.
• Английский: B2 или выше (письменный и устный).
Контакт:
@yaroslav_rr