Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Data Engineer с 4-летним опытом в построении масштабируемых дата-платформ. Имею опыт в проектировании и оптимизации высоконагруженных систем и инструментов обработки данных с использованием Python, Apache Spark, Airflow, dbt и Kafka, а также в работе с хранилищами Greenplum, ClickHouse и PostgreSQL. Работал в кросс-функциональных командах численностью от 3 до 10 человек.
Проекты
(3 года 11 месяцев)
Korus Consulting
Роль
Data Engineer
Обязанности
Lakehouse
- Моделировал и разрабатывал модули фреймворка для Lakehouse с использованием Apache Iceberg
- Разрабатывал ETL
- Джобы с использованием Python, Apache Spark, Trino и Apache Airflow
- Интегрировал данные из Apache Kafka через streaming
- Джобы с помощью Spark Streaming
- Проводил R&D для оптимизации хранения и увеличения производительности платформы
- Настраивал мониторинг и визуализацию данных с помощью Grafana Хранилище данных на Greenplum"https://data.korusconsulting.ru/press-center/blog/rzhd-novoe-khranilishche-optimiziruet-rabotu-s-dannymi"
- Моделировал и разрабатывал хранилище данных с использованием методологии Data Vault
- Реализовывал ETL-процессов на базе Greenplum, dbt и Apache Airflow, включая оркестрацию задач и трансформации данных
- Разработал модульные части фреймворка, что сократить ресурсы на разработку и уменьшить время предоставления аналитики
- Оптимизировал производительность фреймворка DWH, что привело к снижению времени обработки данных на 10.2% и повышению надежности системы
- Онбордил 3 новых сотрудниковKorus Data Framework"https://www.cnews.ru/news/line/2025-03-21_dar_razrabotal_novoe_reshenie"
- Разрабатывал кастомные операторы Apache Airflow для Greenplum, S3, PostgreSQL
- Разрабатывал компоненты для управления метаданными и подготовки данных в фреймворке на базе open-source (Apache Airflow, dbt)
- Реализация ETL/ELT-процессов и интеграция с хранилищами (Greenplum, Clickhouse, PostgreSQL) для поддержки методологий Data Vault и Звезда- Настраивал CI/CD и работал с контейнеризацией в Kubernetes