Системный аналитик DWH

Описание проекта:
Ритейл

Задачи:
• Анализ потребностей бизнеса в подготовленных данных;
• Подготовка требований в части методологии расчета показателей;
• Проектирование модели данных презентационных и детальных слоев данных;
• Поиск релевантных источников данных, профилирование данных в источниках, а также в контуре платформы данных;
• Разработка алгоритмов построения витрин данных и объектов детального слоя;
• Разработка прототипов в витрин и согласование их с потребителем;
• Сопровождение разработки витрин на всех этапах рабочего процесса: разработка потоков, тестирование, UAT, передача на поддержку, решение инцидентов на 3-ей линии поддержки;
• Оценка вычислительных ресурсов, необходимых для решения задачи (сайзинг стораджа и компьюта);
• Оценка трудозатрат на выполнение доработок;
• Определение логики проверки качества данных и имплементация ее для создаваемых витрин;

Требования:
• Уверенное понимание принципов построения дата-платформ (DWH, OLAP, Data Lake, Lakehouse);
• Знание методологий проектирования модели данных (Kimball, Data Vault), реальный опыт применения их на практике для проектирования моделей данных;
• Навыки работы с большими объемами данных (миллиарды записей, ТБ данных);
• Экспертное знание SQL;
• Знание РСУБД (PostgreSQL, Oracle, MS SQL);
• Понимание принципов и опыт работы с MPP-системами (GreenPlum, Clickhouse, Trino);
• Умение анализировать существующие потоки данных, их зависимости (ETL/ELT, Airflow);
• Умение систематизировать слабоструктрированные требования в формате описания витрин данных;
• Сильные навыки коммуникации для общения на одном языке с: бизнес-заказчиками, разработчиками, админами;
• Опыт оптимизации сложных запросов;
• Грамотная устная и письменная речь;

Для Senior дополнительно:
• Навыки планирования и управления рабочим временем;
• Навыки постановки задач в смежные подразделения;
• Опыт работы с распределенными хранилищами (Hadoop, S3);