Проект в архиве Data инженер

- Опыт работы со стриминговыми решениями или серьёзное стремление перейти в стриминг; - Технические навыки (один или несколько): Spark, Flink, ClickHouse, Kafka (преимущественно - Flink); - Понимание форматов и концепций data lake (Iceberg, Parquet/ORC, снапшоты, инкременты); - Практический опыт хотя бы одной реализации/пробы: Kafka → обработка → S3/Iceberg (даже локально/в тестовом проекте); - Умение мыслить потоками данных: от события до витрины, а не только «запросами»; - Софт‑скиллы: системное мышление, инициативность, готовность обсуждать архитектуру и учиться новым паттернам.

- Опыт работы с дашбордами/витринами через Trino/SQL/dbt будет плюсом.

- Проектирование, разработка и сопровождение стриминговых пайплайнов; - Реализация бизнес‑логики и трансформаций во Flink/Spark/Java в режиме стрима; - Инкрементальная загрузка и выкладка витрин (dbt/Trino/Iceberg); - Проектирование хранения и партиционирования в data lake (колоночные форматы, снапшоты, Iceberg); - Построение надёжных схем доставки данных: семантики доставки, идемпотентность, обработка дупликатов; - Документирование архитектуры пайплайнов и участие в принятии архитектурных решений по платформе.

2 этапа: 1 ТИ и интервью с ПО

Крупная ритейл компания.