Иван К. Data инженер, Senior

ID 50046
ИК
Иван К.
Senior
Мужчина, 26 лет
Россия, Москва, UTC+3
2 597,4 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.

О специалисте

Специализация
Data инженер
Грейд
Senior
Навыки
PostgreSQL
Git
MySQL
Docker
REST
API
SQL
Agile
Python
Bash
REST API
Linux
Grafana
DBeaver
Kubernetes
Apache
Yarn
GitHub
VS Code
Gift
Hive
Data
Jupiter
Spark
ClickHouse
Pandas
SciPy
Базы данных
SQLAlchemy
Numpy
Matplotlib
CLI
GreenPlum
ETL
Apache Hadoop
Kafka
JupyterNoteBook
Jupyter
Big Data
DWH
Apache 2
Compose
Zeppelin
Pentaho
Docker Compose
Apache AirFlow
Jupiter Notebook
SLA
S3
HDFS
Визуализация данных
Apache NiFi
Superset
PySpark
Matplotlid
apache hive
NiFi
PosrgteSQL
zepelin
MapReduce
DBT
batch
MySQL5
clockhouse
notebook
Apache Superset
Pathon
dash
psql
code
ELT
agale
engineer
hdf5
Trino
Iceberg
Kafka 3
Нереляционные БД (NoSQL)
Claude
Методологии Agile
RESP API
English B2
yarg
Data Vault
продвинутый уровень
nhsql
apacheairflow
Модели данных
отказоустойчивость
Apache Iceberg
production
Claude Code
Data engineering
python (продвинутый уровень)
big data технологии
jupyter notebooks
Отрасли
Finance&Taxes
Media
Знание языков
Английский — B2
Главное о специалисте
Иван — Data инженер уровня Senior из Москвы с высшим образованием по специальности «Биоинженерия и биоинформатика» Московского государственного университета имени М. В. Ломоносова. Владеет английским языком на уровне B2. Имеет опыт работы на проектах в отраслях Media и Finance&Taxes. Участвовал в проекте по развитию высоконагруженной data-платформы RUTUBE, где занимался разработкой и оптимизацией ETL/ELT-пайплайнов, развитием аналитических витрин, работой с batch- и streaming-обработкой, миграцией компонентов data-платформы и обеспечением качества и стабильности данных. Также участвовал в проекте по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций крупного банка. Ключевые навыки: PostgreSQL, Git, MySQL, Docker, REST API, SQL, Agile, Python, Bash, Linux, Grafana, DBeaver, Kubernetes, Apache, Yarn, GitHub, VS Code, Hive, Data, Jupiter, Spark, ClickHouse, Pandas, SciPy, Numpy, Matplotlib, CLI, GreenPlum, ETL, Apache Hadoop, Kafka, Jupyter Notebook, Big Data, DWH, Apache 2, Compose, Zeppelin, Pentaho, Docker Compose, Apache AirFlow, SLA, S3, HDFS, Визуализация данных, Apache NiFi, Superset, PySpark, MapReduce, DBT, batch, Data Vault, ELT, Data engineering, big data технологии, Jupyter notebooks.

Проекты

(6 лет 11 месяцев)

Развитие Data Platform и аналитических витрин RUTUBE

Роль
Data Engineer
Обязанности
Проект по развитию высоконагруженной data-платформы RUTUBE для аналитики просмотров, маркетинга, подписок, рекламной аналитики и внутренних продуктовых сервисов. Основные задачи специалиста — разработка и оптимизация ETL/ELT-пайплайнов, развитие аналитических витрин, работа с batch- и streaming-обработкой, миграция компонентов data-платформы и обеспечение качества и стабильности данных. Обязанности и задачи: Разработка ETL/ELT-пайплайнов на Scala, Python и Apache Spark. Оркестрация процессов в Apache Airflow. Разработка детальных и агрегированных аналитических витрин. Работа с Apache Iceberg и S3. Реализация инкрементальных загрузок и MERGE INTO. Разработка SCD2-логики для хранения истории изменений. Работа с Kafka и Kafka Streams. Выгрузка данных в Kafka-топики для downstream-систем. Разработка ETL-процессов для данных PostgreSQL объёмом более 500 млн строк. Оптимизация чтения данных из PostgreSQL через JDBC. Разработка процессов атрибуции источников трафика. Разработка витрин маркетинговой аналитики и подписок. Оптимизация Spark Jobs: broadcast joins, partition pruning, работа с оконными функциями и настройка ресурсов. Диагностика проблем производительности Apache Iceberg и Spark. Работа с position-delete файлами и compaction. Миграция Spark, Trino, Airflow и StarRocks с Hive Metastore на Apache Iceberg REST Catalog. Настройка OAuth2-авторизации через Keycloak. Работа с Kubernetes и ArgoCD. Разработка и внедрение Data Quality-проверок. Настройка автоматического alerting. Работа с ClickHouse, Trino и PostgreSQL. Разработка Python-микросервисов для мониторинга и алертинга. Развитие CI/CD и внедрение автоматических проверок качества Python-кода. Подготовка технической документации для эксплуатации и онбординга. Команда проекта Работа в составе команды Data Engineering во взаимодействии с аналитиками, продуктовыми и маркетинговыми командами, а также специалистами, отвечающими за инфраструктуру и эксплуатацию платформы.
Достижения
Разработал ETL-пайплайн витрины атрибуции источников трафика объёмом около 28 млн записей в сутки и обеспечил SLA готовности данных 99,9%. Спроектировал почасовой инкрементальный ETL-пайплайн для таблиц объёмом около 900 млн записей и повысил частоту обновления данных в 24 раза — с одного раза в сутки до одного раза в час. Снизил потребление ресурсов этого пайплайна примерно на 50%. Оптимизировал Spark-процесс и сократил объём считываемых данных в 3 раза. Провёл миграцию data-платформы на Apache Iceberg REST Catalog и подтвердил совместимость Spark и Trino. Провёл major upgrade ClickHouse 24 → 25 и восстановил критический production-пайплайн с 100% успешных ежедневных запусков. Исправил DQ-проверку Kafka–Iceberg, устранив более 365 ложных инцидентов в год и сократив ручные перезапуски DAG до нуля. Внедрил сквозное логирование Kafka Streams-сервиса на 16 Kubernetes-репликах, повысив долю инцидентов с зафиксированной причиной с 0% до 100%. Разработал DQ-проверки для витрины Mediascope и сократил число инцидентов, связанных с неполнотой данных, до 0. Оптимизировал витрины подписок RUTUBE и сократил ресурсы Spark executors на 80% — с 64 до 12 ГБ без потери SLA. Оптимизировал загрузку данных из PostgreSQL объёмом более 500 млн строк, заменив full scan на параллельное инкрементальное чтение. Разработал Python-сервис алертинга рекламной аналитики с доставкой уведомлений в Telegram и корпоративный мессенджер.
Стек специалиста на проекте
PostgreSQL, Git, MySQL, SQL, Python, REST API, Scala, Grafana, Kubernetes, Apache, Hive, Keycloak, ClickHouse, Apache Spark, Kafka, Vault, Apache AirFlow, S3, Kafka Streams, GitLab CI/CD, Superset, DBT, Trino, Argo CD, datahub, StarRocs, Apache Iceberg, metastore
Отрасль проекта
Media
Период работы
Октябрь 2023 - По настоящее время  (3 года 1 месяц)

Развитие DWH и витрин данных для моделей клиентских коммуникаций

Роль
Data Engineer
Обязанности
Проект по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций, регулярной отчётности и операционных решений крупного банка. Основные задачи — разработка и оптимизация витрин, развитие ETL-процессов, повышение качества данных, миграция на новые источники и оптимизация производительности Big Data-платформы. Обязанности и задачи: Разработка ETL/ELT-пайплайнов на Apache Spark. Разработка и сопровождение DAG в Apache Airflow. Работа с Hadoop, HDFS, YARN и Hive. Разработка аналитических витрин в Greenplum. Разработка dbt-моделей для staging, core и mart-слоёв. Работа с ClickHouse и Trino. Использование Apache Iceberg в Spark-процессах. Разработка инкрементальных моделей загрузки. Проектирование новых аналитических витрин. Сбор и анализ требований к новым источникам данных. Проектирование схем и интеграция новых типов данных. Оптимизация Apache Spark Jobs. Оптимизация сложных SQL-запросов на больших объёмах данных. Работа с витринами на сотни миллионов и миллиарды строк. Оптимизация ресурсов Hadoop-кластера. Разработка Data Quality-проверок. Проверка completeness, accuracy, consistency и timeliness. Настройка мониторинга и автоматического alerting в Grafana. Разработка Airflow DAG с ExternalTaskSensor, TriggerDagRunOperator, Sensors, BranchPythonOperator и XCom. Миграция data-пайплайнов и перевод витрин на новые источники. Проведение регрессионного тестирования. Рефакторинг критически важных ETL-процессов. Создание технической документации. Онбординг новых Data Engineers. Команда проекта Работа в составе Data Engineering-команды во взаимодействии с аналитиками и бизнес-заказчиками. Специалист также занимался онбордингом новых инженеров данных.
Достижения
Разработал более 10 пайплайнов для витрин моделей клиентских коммуникаций. Внедрил систему мониторинга качества данных и снизил количество DQ-инцидентов на 40%. Сократил количество ручных проверок аналитиков примерно на 30%. Устранил race conditions в Airflow и обеспечил 100% консистентность данных витрин. Спроектировал аналитическую витрину объёмом более 300 млн строк и около 150 ГБ данных в сутки. Повысил производительность Spark-пайплайнов на 45%. Сократил время выполнения одного из критичных пайплайнов с 3 часов до 30 минут. Снизил операционные затраты на Hadoop-кластер на 20%. Перевёл формирование витрин Greenplum на dbt и сократил сборку core-слоя с нескольких часов до 15–20 минут. Ускорил аналитические запросы в ClickHouse в 5–10 раз за счёт Data Projections. Разработал более 20 инкрементальных витрин на Greenplum/dbt/Trino, снизив нагрузку на Greenplum на 30% и время загрузки на 70%. Интегрировал Apache Iceberg и сократил время полного обновления одной из витрин с 2 часов до 10 минут. Перевёл витрины на новые источники, обеспечив актуальность данных T+0 вместо T+1. Оптимизировал batch-пайплайны Hadoop, снизив shuffle-трафик примерно на 40% и время выполнения на 25%. Оптимизировал SQL-запросы на миллиардах строк и сократил потребление памяти DWH более чем на 40 ГБ. Автоматизировал более 20 регулярных загрузок в Airflow и сократил объём ручных операций на 30%.
Стек специалиста на проекте
Git, SQL, Python, Grafana, Apache, Yarn, Hive, ClickHouse, GreenPlum, Apache Hadoop, Apache Spark, Kafka, Apache AirFlow, HDFS, Superset, DBT, oozie, Trino, Parquet, Apache Iceberg
Отрасль проекта
Finance&Taxes
Начало работы
Декабрь 2019 - Октябрь 2023  (3 года 11 месяцев)

Формат работы

Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Образование

Высшее

Учебное заведение
Московский государственный университет имени М.В. Ломоносова, Москва
Специальность
Биоинженерия и биоинформатика
Завершение учебы
2023 г.

Похожие специалисты

E-commerce & Retail
МТ
Матвей Т.
Data инженер
Москва
Middle
2 042,86 Р/час
Trino
build
notebook
ClickHouse
Spark
Hive
Data
REST
Git
API
+58
Разработать пайплайн загрузки данных
Разработать скрипты миграции данных
Выполнить очистку и предобработку данных
Разработать скрипт для парсинга данных
Настроить автоматический мониторинг качества данных в пайплайне
Создать DAG’и в Apache Airflow
Разработать DAG в Apache Airflow
+7

Data Engineer с 3 годами опыта в разработке и развитии ETL/ELT-процессов, хранилищ данных и решений для миграции данных. Специализируюсь на построении надёжных пайплайнов, оптимизации обработки больших объёмов данных и обеспечении качества данных. Умею разбираться в сложных системах, находить узкие места и доводить решения до стабильной эксплуатации. Ищу задачи, связанные с развитием Data Platform, распределённой обработкой данных и современными batch- и streaming-архитектурами.

Подробнее
IoT
Максим Щ.
Фото доступно после регистрации
Максим Щ.
Data инженер
Москва
Middle+
2 597,4 Р/час
monitoring
Validation
batch
quality
debezium
DWH ETL
Базы данных
Spark Streaming
опыт проектирования
ClickHouse
+78
Настроить ETL-процессы
Настроить систему мониторинга и алертинга
Внедрить систему контроля качества данных (Data Quality)
Настроить CI/CD пайплайнов
Автоматизировать бизнес-процесс в информационной системе
Спроектировать структуру базы данных
Выполнить очистку и предобработку данных
Спроектировать архитектуру хранения данных
Настроить ETL-процессы для системы аналитики
Настроить ETL-процессы сбора данных
+18

Максим — Data инженер уровня Middle+ из Москвы с опытом работы в отрасли IoT. Специализируется на проектировании и оптимизации ETL/ELT-пайплайнов, работе с базами данных и аналитическими системами. Имеет опыт работы с Apache Spark, PySpark, Kafka, Apache Airflow, Greenplum, PostgreSQL, ClickHouse и другими технологиями. Участвовал в проекте по развитию корпоративной data-платформы для batch- и streaming-обработки данных, построения Data Lake, аналитических витрин и доставки данных в DWH и downstream-системы. В рамках проекта занимался разработкой и оптимизацией ETL/ELT-пайплайнов на Apache Spark и PySpark, работой с batch- и streaming-обработкой данных, оптимизацией чтения и записи данных в HDFS, разработкой CDC-пайплайнов на связке Debezium → Kafka → Spark Streaming и другими задачами. Также участвовал в проекте по построению корпоративного DWH на базе Greenplum для консолидации данных из нескольких операционных систем и подготовки аналитических данных для отчётности. В рамках проекта занимался проектированием архитектуры DWH на Greenplum, разработкой структуры таблиц хранилища, настройкой распределения данных в Greenplum и другими задачами.

Подробнее
E-commerce & Retail • Finance&Taxes
Мария Б.
Фото доступно после регистрации
Мария Б.
Data инженер
Москва
Middle+
2 597,4 Р/час
PostgreSQL
Git
Docker
Jira
Confluence
SQL
Python
Oracle
REST API
Linux
+59
Оптимизировать структуру аналитической витрины для ускорения отчетов
Реализовать витрины данных в DWH
Внедрить систему контроля качества данных (Data Quality)
Разработать систему аналитической отчетности
Оптимизировать структуру таблиц и индексы базы данных
Настроить проверку качества данных в хранилище
Разработать DAG для оркестрации пайплайнов данных
Настроить конвейер обучения и деплоя ML-моделей
Оптимизировать производительность существующих ETL-пайплайнов
Настроить систему мониторинга и алертинга
+24

Data инженер с грейдом Middle+ из Москвы, специализация — работа с данными. Имеет высшее образование по направлению «Экономика» в Национальном исследовательском ядерном университете «МИФИ». Обладает широким спектром навыков, включая работу с PostgreSQL, Git, Docker, Jira, Confluence, SQL, Python, Oracle, REST API, Linux, Grafana, Kubernetes, GitLab, Apache, Hive, Spark, ClickHouse, Pandas, ETL, Apache Hadoop, Apache Spark, Kafka, Tableau, Apache AirFlow, CI/CD, PySpark, DBT, а также опыт в области математической статистики, Big Data, DWH, E-commerce. Имеет опыт работы на проектах в отраслях Finance&Taxes и E-commerce & Retail. Участвовал в проекте по автоматизации отчётности по процессу секьюритизации, где занимался разработкой и поддержкой ETL/ELT-пайплайнов, интеграцией данных, разработкой витрин в ClickHouse, внедрением Data Quality-проверок и автоматизацией формирования отчётности. Также участвовал в проекте по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce, где занимался разработкой и поддержкой ETL/ELT-процессов, оркестровкой расчётов и загрузок через Apache Airflow, разработкой аналитических витрин в ClickHouse и PostgreSQL, оптимизацией структуры таблиц и переносом расчётной логики из Excel/VBA в PostgreSQL + Airflow.

Подробнее
Отрасли не указаны
МН
Максим Н.
Data инженер
Москва
Senior
2 857,14 Р/час
debezium
ClickHouse
Spark
Hive
SQLAlchemy
Java
REST
Git
Bash
Pandas
+137

Data Engineer с более чем 10-летним опытом в проектировании и развитии масштабируемых data-платформ, с основной специализацией в финтех и банковской сфере (Росбанк, Axenix, корпоративные банковские ETL/CDC платформы). Дополнительно имею опыт построения маркетинговых data-платформ и интеграционных решений уровня enterprise. Ключевая экспертиза — построение высоконагруженных потоковых и batch data-архитектур: CDC-пайплайны, streaming ingestion, Data Lake/Lakehouse решения, а также end-to-end ETL/ELT платформы. Основной фокус — надежная доставка и синхронизация данных в распределённых системах с использованием Kafka, Spark и Airflow. Работал в финтех-домене с большими объёмами транзакционных и банковских данных, включая интеграцию разнородных систем (core banking, маркетинг, транзакционные источники), построение витрин данных и обеспечение BI-слоя для аналитики.

Подробнее

Недавно просмотренные специалисты

Finance&Taxes • Media
ИК
Иван К.
Data инженер
Москва
Senior
2 597,4 Р/час
PostgreSQL
Git
MySQL
Docker
REST
API
SQL
Agile
Python
Bash
+96

Иван — Data инженер уровня Senior из Москвы с высшим образованием по специальности «Биоинженерия и биоинформатика» Московского государственного университета имени М. В. Ломоносова. Владеет английским языком на уровне B2. Имеет опыт работы на проектах в отраслях Media и Finance&Taxes. Участвовал в проекте по развитию высоконагруженной data-платформы RUTUBE, где занимался разработкой и оптимизацией ETL/ELT-пайплайнов, развитием аналитических витрин, работой с batch- и streaming-обработкой, миграцией компонентов data-платформы и обеспечением качества и стабильности данных. Также участвовал в проекте по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций крупного банка. Ключевые навыки: PostgreSQL, Git, MySQL, Docker, REST API, SQL, Agile, Python, Bash, Linux, Grafana, DBeaver, Kubernetes, Apache, Yarn, GitHub, VS Code, Hive, Data, Jupiter, Spark, ClickHouse, Pandas, SciPy, Numpy, Matplotlib, CLI, GreenPlum, ETL, Apache Hadoop, Kafka, Jupyter Notebook, Big Data, DWH, Apache 2, Compose, Zeppelin, Pentaho, Docker Compose, Apache AirFlow, SLA, S3, HDFS, Визуализация данных, Apache NiFi, Superset, PySpark, MapReduce, DBT, batch, Data Vault, ELT, Data engineering, big data технологии, Jupyter notebooks.

Подробнее
AI & Robotics • BioTech, Pharma, Health care & Sports • Information Security • Telecom • VR/AR
ВК
Владимир К.
Data Scientist
Москва
Senior
4 675,32 Р/час
PostgreSQL
Java
C++
C#
SQL
Python
QA
ER
SVG
AWS
+72

Языки программирования Python, C, C++, Java, JS, Julia, SQL, C#, Prolog Фреймворки, библиотеки TensorFlow 1/2, PyTorch, Pandas, Numpy, Sklearn, Spacy, Matplotlib/Seaborn, MATLAB, NLTK, RASA, OpenCV, CUDA, boto3, данные ГИС ML-экспертиза Обработка естественного языка: - NER, QA, Chatbots, Intents Matching, Text Classification, Sentiment Analysis, Emotion Detection, Text Abstraction, Text Generation, Clustering, Language Translation - Трансформаторы, BERT, RoBERTa, all-mpnet-base-v2, GPT-3, HDBSCAN, UMAP, RNNs, LSTMs, GRUs, LDA, Gaussians, LSH, K-means Компьютерное зрение - Классификация изображений, обнаружение объектов, сегментация изображений, распознавание таблиц, распознавание структуры таблиц, OCR, распознавание лиц, 3D реконструкция лиц, создание подписей к изображениям - Визуальные трансформаторы, DETR, TableFormer, ConvNets, YOLO3/4, YOLOX, Mask R-CNNs, Fast R-CNNs, Faster R-CNNs, ResNets, VGG, GANs Классические и другие ОД: - Анализ временных рядов, скоринговые модели, регрессии, предикторы, линейная регрессия, логистическая регрессия, SVM, деревья решений, градиентный бустинг (XGBoost, CatBoost), ансамбли, байесовцы, уменьшение размерности, PCA, PCE, t-SNE Контролируемое, полу контролируемое, неконтролируемое обучение и обучение с подкреплением Базы данных Postgres, DynamoDB, NEO4J, JanusGraph, SQLAlchemy Облачные сервисы AWS (SQS, SNS, SageMaker, Lambdas, EC2, S3, Textract, VPC, CloudTrail и т.д.), GСloud Разработка программного обеспечения Git, Docker, Podman, Linux, Bash, Ansible, Sentry, GitLab CI/CD, Conda, Jupyter, VS Code, Pycharm Другие инструменты/навыки Отлично

Подробнее
E-commerce & Retail • EdTech • LifeStyle • Marketing, Advertising & Design • Realty & Constructoring
ДТ
Дмитрий Т.
Ruby разработчик
Минск
Middle+
3 961,04 Р/час
PostgreSQL
Git
HTML
CSS
MySQL
Docker
API
JSON
Java
JavaScript
+110

Веб-разработчик с опытом более 5-ти лет. На данный момент специализируется на full-stack разработке, создании веб-приложений используя фреймворк Ruby on Rails. Дизайн архитектуры, прототипирование, разработка и поддержка back-end приложений и API используя Ruby on Rails и другие Ruby фреймворки, такие как: Grape, GraphQL, JSONAPI-Rails. Анализ данных, документирование и покрытие кода тестами (TDD/BDD). Развертывание и настройка инфраструктуры. Интеграция со сторонними API и сервисами. Также есть опыт разработки полного цикла веб-приложений: дизайн архитектуры, front-end и back-end разработка, автоматизированное тестирование и поддержка. Soft skills: Межличностные коммуникации Внимательность Самомотивация Выступления на публике / СМИ Лидерские качества Пунктуальность Способность к быстрому обучению

Подробнее