Иван К. Data инженер, Senior
ID 50046
ИК
Иван К.
Senior
Россия, Москва, UTC+3
2 597,4 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Иван — Data инженер уровня Senior из Москвы с высшим образованием по специальности «Биоинженерия и биоинформатика» Московского государственного университета имени М. В. Ломоносова. Владеет английским языком на уровне B2.
Имеет опыт работы на проектах в отраслях Media и Finance&Taxes. Участвовал в проекте по развитию высоконагруженной data-платформы RUTUBE, где занимался разработкой и оптимизацией ETL/ELT-пайплайнов, развитием аналитических витрин, работой с batch- и streaming-обработкой, миграцией компонентов data-платформы и обеспечением качества и стабильности данных. Также участвовал в проекте по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций крупного банка.
Ключевые навыки: PostgreSQL, Git, MySQL, Docker, REST API, SQL, Agile, Python, Bash, Linux, Grafana, DBeaver, Kubernetes, Apache, Yarn, GitHub, VS Code, Hive, Data, Jupiter, Spark, ClickHouse, Pandas, SciPy, Numpy, Matplotlib, CLI, GreenPlum, ETL, Apache Hadoop, Kafka, Jupyter Notebook, Big Data, DWH, Apache 2, Compose, Zeppelin, Pentaho, Docker Compose, Apache AirFlow, SLA, S3, HDFS, Визуализация данных, Apache NiFi, Superset, PySpark, MapReduce, DBT, batch, Data Vault, ELT, Data engineering, big data технологии, Jupyter notebooks.
Проекты
(6 лет 11 месяцев)Развитие Data Platform и аналитических витрин RUTUBE
Роль
Data Engineer
Обязанности
Проект по развитию высоконагруженной data-платформы RUTUBE для аналитики просмотров, маркетинга, подписок, рекламной аналитики и внутренних продуктовых сервисов. Основные задачи специалиста — разработка и оптимизация ETL/ELT-пайплайнов, развитие аналитических витрин, работа с batch- и streaming-обработкой, миграция компонентов data-платформы и обеспечение качества и стабильности данных.
Обязанности и задачи:
Разработка ETL/ELT-пайплайнов на Scala, Python и Apache Spark.
Оркестрация процессов в Apache Airflow.
Разработка детальных и агрегированных аналитических витрин.
Работа с Apache Iceberg и S3.
Реализация инкрементальных загрузок и MERGE INTO.
Разработка SCD2-логики для хранения истории изменений.
Работа с Kafka и Kafka Streams.
Выгрузка данных в Kafka-топики для downstream-систем.
Разработка ETL-процессов для данных PostgreSQL объёмом более 500 млн строк.
Оптимизация чтения данных из PostgreSQL через JDBC.
Разработка процессов атрибуции источников трафика.
Разработка витрин маркетинговой аналитики и подписок.
Оптимизация Spark Jobs: broadcast joins, partition pruning, работа с оконными функциями и настройка ресурсов.
Диагностика проблем производительности Apache Iceberg и Spark.
Работа с position-delete файлами и compaction.
Миграция Spark, Trino, Airflow и StarRocks с Hive Metastore на Apache Iceberg REST Catalog.
Настройка OAuth2-авторизации через Keycloak.
Работа с Kubernetes и ArgoCD.
Разработка и внедрение Data Quality-проверок.
Настройка автоматического alerting.
Работа с ClickHouse, Trino и PostgreSQL.
Разработка Python-микросервисов для мониторинга и алертинга.
Развитие CI/CD и внедрение автоматических проверок качества Python-кода.
Подготовка технической документации для эксплуатации и онбординга.
Команда проекта
Работа в составе команды Data Engineering во взаимодействии с аналитиками, продуктовыми и маркетинговыми командами, а также специалистами, отвечающими за инфраструктуру и эксплуатацию платформы.
Достижения
Разработал ETL-пайплайн витрины атрибуции источников трафика объёмом около 28 млн записей в сутки и обеспечил SLA готовности данных 99,9%.
Спроектировал почасовой инкрементальный ETL-пайплайн для таблиц объёмом около 900 млн записей и повысил частоту обновления данных в 24 раза — с одного раза в сутки до одного раза в час.
Снизил потребление ресурсов этого пайплайна примерно на 50%.
Оптимизировал Spark-процесс и сократил объём считываемых данных в 3 раза.
Провёл миграцию data-платформы на Apache Iceberg REST Catalog и подтвердил совместимость Spark и Trino.
Провёл major upgrade ClickHouse 24 → 25 и восстановил критический production-пайплайн с 100% успешных ежедневных запусков.
Исправил DQ-проверку Kafka–Iceberg, устранив более 365 ложных инцидентов в год и сократив ручные перезапуски DAG до нуля.
Внедрил сквозное логирование Kafka Streams-сервиса на 16 Kubernetes-репликах, повысив долю инцидентов с зафиксированной причиной с 0% до 100%.
Разработал DQ-проверки для витрины Mediascope и сократил число инцидентов, связанных с неполнотой данных, до 0.
Оптимизировал витрины подписок RUTUBE и сократил ресурсы Spark executors на 80% — с 64 до 12 ГБ без потери SLA.
Оптимизировал загрузку данных из PostgreSQL объёмом более 500 млн строк, заменив full scan на параллельное инкрементальное чтение.
Разработал Python-сервис алертинга рекламной аналитики с доставкой уведомлений в Telegram и корпоративный мессенджер.
Стек специалиста на проекте
PostgreSQL, Git, MySQL, SQL, Python, REST API, Scala, Grafana, Kubernetes, Apache, Hive, Keycloak, ClickHouse, Apache Spark, Kafka, Vault, Apache AirFlow, S3, Kafka Streams, GitLab CI/CD, Superset, DBT, Trino, Argo CD, datahub, StarRocs, Apache Iceberg, metastore
Отрасль проекта
Media
Период работы
Октябрь 2023 - По настоящее время
(3 года 1 месяц)
Развитие DWH и витрин данных для моделей клиентских коммуникаций
Роль
Data Engineer
Обязанности
Проект по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций, регулярной отчётности и операционных решений крупного банка. Основные задачи — разработка и оптимизация витрин, развитие ETL-процессов, повышение качества данных, миграция на новые источники и оптимизация производительности Big Data-платформы.
Обязанности и задачи:
Разработка ETL/ELT-пайплайнов на Apache Spark.
Разработка и сопровождение DAG в Apache Airflow.
Работа с Hadoop, HDFS, YARN и Hive.
Разработка аналитических витрин в Greenplum.
Разработка dbt-моделей для staging, core и mart-слоёв.
Работа с ClickHouse и Trino.
Использование Apache Iceberg в Spark-процессах.
Разработка инкрементальных моделей загрузки.
Проектирование новых аналитических витрин.
Сбор и анализ требований к новым источникам данных.
Проектирование схем и интеграция новых типов данных.
Оптимизация Apache Spark Jobs.
Оптимизация сложных SQL-запросов на больших объёмах данных.
Работа с витринами на сотни миллионов и миллиарды строк.
Оптимизация ресурсов Hadoop-кластера.
Разработка Data Quality-проверок.
Проверка completeness, accuracy, consistency и timeliness.
Настройка мониторинга и автоматического alerting в Grafana.
Разработка Airflow DAG с ExternalTaskSensor, TriggerDagRunOperator, Sensors, BranchPythonOperator и XCom.
Миграция data-пайплайнов и перевод витрин на новые источники.
Проведение регрессионного тестирования.
Рефакторинг критически важных ETL-процессов.
Создание технической документации.
Онбординг новых Data Engineers.
Команда проекта
Работа в составе Data Engineering-команды во взаимодействии с аналитиками и бизнес-заказчиками. Специалист также занимался онбордингом новых инженеров данных.
Достижения
Разработал более 10 пайплайнов для витрин моделей клиентских коммуникаций.
Внедрил систему мониторинга качества данных и снизил количество DQ-инцидентов на 40%.
Сократил количество ручных проверок аналитиков примерно на 30%.
Устранил race conditions в Airflow и обеспечил 100% консистентность данных витрин.
Спроектировал аналитическую витрину объёмом более 300 млн строк и около 150 ГБ данных в сутки.
Повысил производительность Spark-пайплайнов на 45%.
Сократил время выполнения одного из критичных пайплайнов с 3 часов до 30 минут.
Снизил операционные затраты на Hadoop-кластер на 20%.
Перевёл формирование витрин Greenplum на dbt и сократил сборку core-слоя с нескольких часов до 15–20 минут.
Ускорил аналитические запросы в ClickHouse в 5–10 раз за счёт Data Projections.
Разработал более 20 инкрементальных витрин на Greenplum/dbt/Trino, снизив нагрузку на Greenplum на 30% и время загрузки на 70%.
Интегрировал Apache Iceberg и сократил время полного обновления одной из витрин с 2 часов до 10 минут.
Перевёл витрины на новые источники, обеспечив актуальность данных T+0 вместо T+1.
Оптимизировал batch-пайплайны Hadoop, снизив shuffle-трафик примерно на 40% и время выполнения на 25%.
Оптимизировал SQL-запросы на миллиардах строк и сократил потребление памяти DWH более чем на 40 ГБ.
Автоматизировал более 20 регулярных загрузок в Airflow и сократил объём ручных операций на 30%.
Стек специалиста на проекте
Git, SQL, Python, Grafana, Apache, Yarn, Hive, ClickHouse, GreenPlum, Apache Hadoop, Apache Spark, Kafka, Apache AirFlow, HDFS, Superset, DBT, oozie, Trino, Parquet, Apache Iceberg
Отрасль проекта
Finance&Taxes
Начало работы
Декабрь 2019 - Октябрь 2023
(3 года 11 месяцев)
Формат работы
Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский государственный университет имени М.В. Ломоносова, Москва
Специальность
Биоинженерия и биоинформатика
Завершение учебы
2023 г.

