Data Engineer
ЛИАНУдаленно
240 000 - 350 000 рублей
MiddleRemoteКачество текста 4/5EN B1+
Data EngineerPythonTerraformCI/CDSQLAWSGCPUnity12д
Чем предстоит заниматься:
• Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными, построенные на платформе Databricks (с использованием Unity Catalog, Delta Lake и Workflows).
• Проводить детальное исследование, профилирование и очистку наборов данных с целью их распределения по бизнес-доменам и выявления сведений, относящихся к персональным данным (PII).
• Участвовать в создании архитектуры разграничения доступа к данным, уделяя внимание договорённостям о структуре данных (data contracts), управлению правами в каталоге, а также автоматизированному предоставлению и отзыву привилегий через подход «инфраструктура как код» на базе Terraform.
• Взаимодействовать с командой для рецензирования и подтверждения того, что разработанные схемы доступа и контракты данных являются производительными, адаптируемыми и пригодными для многократного применения.
• Обеспечивать корректный запуск продуктов обработки данных и механизмов контроля доступа в строгом соответствии с утверждёнными контрактами, исключая любые нежелательные побочные эффекты.
• Готовить и актуализировать развёрнутую документацию, охватывающую контракты на данные, модели доступа и общие регламенты управления информационными активами.
• Отслеживать работу развёрнутых пайплайнов и выполнять проверки качества данных, чтобы гарантировать их соответствие заданным показателям надёжности, скорости и точности.
• Активно изучать существующие внутренние наработки и искать готовые решения, способствующие повторному использованию компонентов и унификации подходов в рамках общей платформы данных.
Наши пожелания к кандидатам:
• Более 3 лет опыта работы в области проектирования данных
• Опыт работы с Python и широко используемых фреймворков для обработки данных (например, Spark/PySpark для потоковой, пакетной и асинхронной обработки данных)
• Практический опыт работы с Unity Catalog и Delta Lake
• Опыт автоматизации развертывания объектов Databricks через Terraform (создание кластеров, заданий, секретов, управления доступом
• не только инфраструктура, но и конфигурация сервисов)
• Умение оптимизировать производительность Spark-задач (настройка партицирования, кэширования, выбор форматов, борьба с перекосом данных)
• Опыт работы с потоковой обработкой (структурированный стриминг Spark, обработка событий)
• Глубокие фундаментальные знания в области моделирования данных, распределенной обработки данных, SQL и архитектуры хранилищ/озерных баз данных
• Обязательным требованием является практический опыт развертывания облачных платформ и инфраструктуры данных (Databricks, GCP или AWS) с использованием Terraform, а также готовность к изучению новых технологий для целей интеграции
• Опыт внедрения CI/CD для кода обработки данных (автоматические тесты, линтинг, развертывание через Git-репозитории, интеграция с Jenkins/GitLab CI).
• Способность проектировать решения для доступа к данным и управления данными, используя устоявшиеся шаблоны проектирования и различные инструменты проектирования
• Четкое понимание бизнес-ценности предоставляемых продуктов данных и механизмов управления
• Опыт разработки программного обеспечения.
• Английский от B1.
• Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными, построенные на платформе Databricks (с использованием Unity Catalog, Delta Lake и Workflows).
• Проводить детальное исследование, профилирование и очистку наборов данных с целью их распределения по бизнес-доменам и выявления сведений, относящихся к персональным данным (PII).
• Участвовать в создании архитектуры разграничения доступа к данным, уделяя внимание договорённостям о структуре данных (data contracts), управлению правами в каталоге, а также автоматизированному предоставлению и отзыву привилегий через подход «инфраструктура как код» на базе Terraform.
• Взаимодействовать с командой для рецензирования и подтверждения того, что разработанные схемы доступа и контракты данных являются производительными, адаптируемыми и пригодными для многократного применения.
• Обеспечивать корректный запуск продуктов обработки данных и механизмов контроля доступа в строгом соответствии с утверждёнными контрактами, исключая любые нежелательные побочные эффекты.
• Готовить и актуализировать развёрнутую документацию, охватывающую контракты на данные, модели доступа и общие регламенты управления информационными активами.
• Отслеживать работу развёрнутых пайплайнов и выполнять проверки качества данных, чтобы гарантировать их соответствие заданным показателям надёжности, скорости и точности.
• Активно изучать существующие внутренние наработки и искать готовые решения, способствующие повторному использованию компонентов и унификации подходов в рамках общей платформы данных.
Наши пожелания к кандидатам:
• Более 3 лет опыта работы в области проектирования данных
• Опыт работы с Python и широко используемых фреймворков для обработки данных (например, Spark/PySpark для потоковой, пакетной и асинхронной обработки данных)
• Практический опыт работы с Unity Catalog и Delta Lake
• Опыт автоматизации развертывания объектов Databricks через Terraform (создание кластеров, заданий, секретов, управления доступом
• не только инфраструктура, но и конфигурация сервисов)
• Умение оптимизировать производительность Spark-задач (настройка партицирования, кэширования, выбор форматов, борьба с перекосом данных)
• Опыт работы с потоковой обработкой (структурированный стриминг Spark, обработка событий)
• Глубокие фундаментальные знания в области моделирования данных, распределенной обработки данных, SQL и архитектуры хранилищ/озерных баз данных
• Обязательным требованием является практический опыт развертывания облачных платформ и инфраструктуры данных (Databricks, GCP или AWS) с использованием Terraform, а также готовность к изучению новых технологий для целей интеграции
• Опыт внедрения CI/CD для кода обработки данных (автоматические тесты, линтинг, развертывание через Git-репозитории, интеграция с Jenkins/GitLab CI).
• Способность проектировать решения для доступа к данным и управления данными, используя устоявшиеся шаблоны проектирования и различные инструменты проектирования
• Четкое понимание бизнес-ценности предоставляемых продуктов данных и механизмов управления
• Опыт разработки программного обеспечения.
• Английский от B1.