Каталог специалистов

4.5+ лет опыта в роли Data Engineer: проектирование архитектуры, разработка и оптимизация высоконагруженных DWH и ELT/ETL процессов. Опыт с Big Data и потоковой обработкой: реализация пайплайнов на Spark и Flink, обработка десятков ТБ данных в час. Построение DWH с нуля: Wildberries — централизованный DWH для всех бизнес-доменов, включая 50+ интеграций и Clickstream (50+ ТБ/день). Оптимизация производительности: сокращение инцидентов на 90%, ускорение выполнения ETL-процессов в 2 раза, рост доступности данных благодаря внедрению DQ и Data Governance. Работа с распределёнными системами хранения и СУБД: HDFS, Iceberg, Hive, Clickhouse, Greenplum, MongoDB, Oracle, PostgreSQL. Организация интеграций и CDC: внедрение Debezium + Kafka Connect, миграция с Hadoop на Clickhouse (500+ ТБ данных). Опыт менторства и лидерства: наставничество, проведение технических собеседований, обучение команд-заказчиков по работе с ресурсами DWH. Широкий технологический стек: Airflow, Dagster, dbt, Spark, Flink, Kafka, Trino, Kubernetes, Docker, Gitlab CI/CD, OpenMetadata.