Проект в архиве Data инженер

- ETL/ELT пайплайны; - Работа с API; - Обработка больших объемов данных; - SQL на продвинутом уровне: сложные join’ы, оконные функции, оптимизация запросов под большие объемы, понимание планов выполнения; - Практический опыт работы (не «знаком», а делал в проде): Greenplum (понимание MPP, распределение данных, оптимизация), ClickHouse (построение витрин, работа с большими таблицами), MS SQL Server; - Опыт работы с consumer/producer; - Понимание семантики доставки и обработки сообщений; - Уверенная работа с REST API (пагинация, ретраи, обработка ошибок); - S3-совместимые хранилища: чтение/запись, организация данных, партиционирование; - Важна самостоятельность и ответственность за результат.

- Опыт работы с Trino (федеративные запросы, работа с несколькими источниками); - Опыт построения DWH (staging / dds / marts); - Понимание data lineage и контроля качества данных; - Опыт orchestration (Airflow или аналоги).

- Разработка и поддержка пайплайнов загрузки и трансформации HR-данных; - Интеграция источников (API, Kafka, БД, файловые хранилища); - Построение витрин и обеспечение их консистентности; - Оптимизация производительности и стоимости обработки данных; - Обеспечение стабильности (обработка сбоев, ретраи, мониторинг).

Этапы отбора: 1. Интервью с рекрутером SkillStaff 2. Техническое интервью (2 ч) 3. Менеджерский этап (1 ч).

Заказчик - крупный ритейлер. Требуется инженер данных, который превратит разрозненные кадровые события в чистый, надежный и готовый к анализу слой данных. Важна самостоятельность и ответственность за результат.