Максим Н. Data инженер, Senior
ID 41613
МН
Максим Н.
Senior
Россия, Москва, UTC+3
2 857,14 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Знание языков
Русский — C2
Английский — B2
Главное о специалисте
Data Engineer с более чем 10-летним опытом в проектировании и развитии масштабируемых data-платформ, с основной специализацией в финтех и банковской сфере (Росбанк, Axenix, корпоративные банковские ETL/CDC платформы). Дополнительно имею опыт построения маркетинговых data-платформ и интеграционных решений уровня enterprise.
Ключевая экспертиза — построение высоконагруженных потоковых и batch data-архитектур: CDC-пайплайны, streaming ingestion, Data Lake/Lakehouse решения, а также end-to-end ETL/ELT платформы. Основной фокус — надежная доставка и синхронизация данных в распределённых системах с использованием Kafka, Spark и Airflow.
Работал в финтех-домене с большими объёмами транзакционных и банковских данных, включая интеграцию разнородных систем (core banking, маркетинг, транзакционные источники), построение витрин данных и обеспечение BI-слоя для аналитики.
Проекты
(10 лет 5 месяцев)Т-Банк
Роль
Data Engineer
Обязанности
Работа в платформенной команде после слияния банков. Разработка инфраструктуры потоковой обработки данных и CDC-пайплайнов для синхронизации систем.
Обязанности:
Проектирование и реализация сервисов потоковой обработки данных
Построение CDC-процессов с использованием Debezium и Kafka Connect
Интеграция и эксплуатация Apache Kafka
Разработка ETL/ELT-процессов на Apache Spark
Загрузка и организация данных в Data Lake (S3, Apache Iceberg, Trino)
Написание архитектурных RFC и технической документации.
Проведение код-ревью.
Деплой и сопровождение сервисов (GitLab CI/CD, Kubernetes)
Разработка сервисов на Java/Python
Достижения:
Масштабировал и улучшал CDC-платформу для синхронизации данных между банковскими системами и Data Lake;
Снизил задержки доставки данных за счёт оптимизации Kafka и Spark;
Внедрил Iceberg, повысив консистентность и управляемость данных (Time travel, Rewrite, Compaction);
Повысил стабильность платформы и проработал аудит событий.
Стек специалиста на проекте
Java, Продвижение сайтов, Kubernetes, C, Data, Spark, Apache Spark, Kafka, Информационные технологии, Code Review, Консалтинг, Аудит, Проектирование, S3, GitLab CI/CD, Работа с интеграциями, Бизнес-процессы, rewrite, Java 2, companion, Разработка, debezium, Trino, RFC, Iceberg, технологии, Платежные системы, сопровождение, банк, Kafka Connect, Python R, документации, соцсети, Cython, Data Lakehouse, Apache Iceberg
Начало работы
Январь 2025 - Май 2026
(1 год 5 месяцев)
РОСБАНК
Роль
Data Engineer/ Python Developer
Обязанности
Разработка платформы для сбора и обработки маркетинговых данных из внешних источников.
Обязанности:
Разработка ingestion-сервисов из (API: Яндекс, VK) в (S3, PostgreSQL)
Построение ETL/ELT (Airflow) CI/CD, мониторинг
Пилотирование проекта внедрения DBT
Разработка инструментов для аналитиков с использованием Airflow, Flask, Bash, Python
Fullstack разработка (FastAPI + React)
Достижения:
Построил end-to-end pipeline сбора маркетинговых данных, устранив ручную загрузку данных аналитиками
Снизил time-to-data для аналитики за счёт автоматизации ingestion и оркестрации
Разработал пилотный проект по внедрению DBT инструмента для стандартизирования трансформаций и повышения переиспользуемости моделей (DBT, Airflow orchestration)
Разработал инструменты для аналитиков, сократив время подготовки данных и количество ручных операций (UI)
Улучшил единую платформу Data Catalog (backend + UI), повысив доступность данных для бизнес-пользователей
Обеспечил стабильность пайплайнов через мониторинг и алертинг (Grafana)
- Сбор, анализ и разработка требований к системам баз данных и хранилищам данных
- Мониторинг потоков данных в организации, контроль их качества и полноты и быстрое устранение ошибок
Стек специалиста на проекте
PostgreSQL, Docker, API, JavaScript, Python, Bash, REST API, Grafana, Kubernetes, Yandex, C, Data, SQLAlchemy, FastAPI, ETL, Next.js, Аналитика, UI, Pydantic, Flask, Apache AirFlow, Asyncio, Мониторинг, CI/CD, Backend, React, S3, Работа с требованиями: выявление, анализ, управление, DBT, Разработка, developer, Программное обеспечение, vk, Анализ, orchestration, ELT, Data Catalog, Pipline, технологии, устранение ошибок, алертинг, инструменты, банк, Fullstack, сбор
Начало работы
Февраль 2023 - Январь 2025
(2 года)
РОСБАНК
Роль
Data Engineer
Обязанности
Разработка и миграция корпоративной платформы в Data Lake.
Задачи:
Миграция cron/batch → Airflow
Разработка и поддержка ETL (Spark, Scala)
Интеграция источников
Работа с Hadoop-экосистемой
Оптимизация процессов
Результаты:
Перевёл legacy ETL-процессы на Airflow DAG-архитектуру, повысив прозрачность и управляемость пайплайнов.
Сократил время выполнения ETL-задач за счёт оптимизации Spark (partitioning, shuffle tuning).
Консолидировал данные из множества источников в единый Data Lake.
Повысил стабильность загрузок за счёт стандартизации обработки ошибок и ретраев.
Стек специалиста на проекте
PostgreSQL, Python, Scala, C, Hive, Data, Spark, GreenPlum, ETL, Apache Hadoop, Legacy, Apache AirFlow, Munin, Работа с интеграциями, batch, Разработка, Оптимизация процессов, engineer, crons, Поддержка, банк, архитектуры, Data Lakehouse, Partitioning
Начало работы
Февраль 2021 - Февраль 2023
(2 года 1 месяц)
Формат работы
Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Тверской государственный технический университет, Тверь Информационных технологий, Вычислительные машины, комплексы, системы и сети
Специальность
Повышение квалификации, курсы
Завершение учебы
2013 г.
Высшее
Учебное заведение
Informatica Informatica Product Certificate, PowerCenter Data Integration 10: Developer, Specialist Certification
Специальность
Тесты, экзамены
Завершение учебы
2017 г.
Высшее
Учебное заведение
Coursera
Специальность
Moscow Institute of Physics and Technology, Программирование на Python
Завершение учебы
2022 г.
Высшее
Учебное заведение
Coursera
Специальность
University of Colorado Boulder, Excel/VBA for Creative Problem Solving
Завершение учебы
2022 г.
Высшее
Учебное заведение
Coursera
Специальность
University of California, Irvine, Learn English: Intermediate Grammar
Завершение учебы
2022 г.
Высшее
Учебное заведение
Coursera
Специальность
IBM, IBM Data Science
Завершение учебы
2022 г.
Высшее
Учебное заведение
Coursera
Специальность
IBM, IBM Data Engineering
Завершение учебы
2022 г.
Высшее
Учебное заведение
Coursera
Специальность
UC San Diego, Big Data Specialization
Завершение учебы
2022 г.
Дипломы и сертификаты
Hands-on Introduction to Linux Commands and Shell Scripting
2021 г.
Introduction to Big Data
2021 г.
Introduction to Data Engineering
2021 г.
Introduction to Git and GitHub
2021 г.
Excel/VBA for Creative Problem Solving, Part 1
2020 г.
Excel/VBA for Creative Problem Solving, Part 2
2020 г.
Cleaning and Exploring Big Data using PySpark
2020 г.
Data Analysis Using Pyspark
2020 г.
Google Cloud Platform Fundamentals: Core Infrastructure
2020 г.
Java Programming: Arrays, Lists, and Structured Data
2020 г.
Java Programming: Solving with Software
2020 г.
Linux Server Management and Security
2020 г.
Speak English Professionally: In PSpeak English Professionally: In Person, Online & On
2020 г.
the Phoneerson, Online & On the Phone
2020 г.
Testing and Debugging Python
2020 г.
What is Data Science?
2020 г.
Погружение в Python
2020 г.
