Максим Н. Data инженер, Senior

ID 41613
МН
Максим Н.
Senior
Мужчина, 37 лет
Россия, Москва, UTC+3
2 857,14 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.

О специалисте

Специализация
Data инженер
Грейд
Senior
Навыки
debezium
ClickHouse
Spark
Hive
SQLAlchemy
Java
REST
Git
Bash
Pandas
Linux
Scala
DWH
SQL
GreenPlum
Quarkus
Apache AirFlow
apache hive
React
Apache
Python
ETL
PostgreSQL
Kubernetes
Docker
FastAPI
Kafka
Информационные технологии
Работа с интеграциями
Продвижение сайтов
Платежные системы
Apache Iceberg
Data Lakehouse
Проектирование
Kafka Connect
автоматизация
синхронизации
сопровождение
Apache Spark
GitLab CI/CD
документации
Code Review
поисковики
Разработка
технологии
написание
engineer
Iceberg
rewrite
Trino
Аудит
Data
time
банк
RFC
S3
C
Бизнес-процессы
Консалтинг
companion
Python R
соцсети
Cython
Java 2
Работа с требованиями: выявление, анализ, управление
Программное обеспечение
устранение ошибок
orchestration
Data Catalog
инструменты
JavaScript
Мониторинг
developer
Fullstack
Pydantic
REST API
алертинг
Asyncio
Backend
Grafana
Next.js
Yandex
Анализ
CI/CD
Flask
сбор
API
DBT
UI
vk
Аналитика
Pipline
Оптимизация процессов
Partitioning
Поддержка
Legacy
архитектуры
batch
crons
Munin
UAT
взаимодействие
Informatica
оптимизация
GoldenGate
production
репликация
datastage
Microsoft
Jenkins
Testing
Oracle
NiFi
бизнес
Внешнеэкономическая деятельность (ВЭД)
Автоматизация тестирования
анализ производительности
Выявление узких мест
Functional testing
работа с данными
Моделирование
Load Testing
Oracle SQL
Validation
логистика
Selenium
торговля
Отладка
JMeter
PL/SQL
склад
HTTP
OeBS
adf
сервисы
Apache Hadoop
ELT
Знание языков
Русский — C2
Английский — B2
Главное о специалисте
Data Engineer с более чем 10-летним опытом в проектировании и развитии масштабируемых data-платформ, с основной специализацией в финтех и банковской сфере (Росбанк, Axenix, корпоративные банковские ETL/CDC платформы). Дополнительно имею опыт построения маркетинговых data-платформ и интеграционных решений уровня enterprise. Ключевая экспертиза — построение высоконагруженных потоковых и batch data-архитектур: CDC-пайплайны, streaming ingestion, Data Lake/Lakehouse решения, а также end-to-end ETL/ELT платформы. Основной фокус — надежная доставка и синхронизация данных в распределённых системах с использованием Kafka, Spark и Airflow. Работал в финтех-домене с большими объёмами транзакционных и банковских данных, включая интеграцию разнородных систем (core banking, маркетинг, транзакционные источники), построение витрин данных и обеспечение BI-слоя для аналитики.

Проекты

(10 лет 5 месяцев)

Т-Банк

Роль
Data Engineer
Обязанности
Работа в платформенной команде после слияния банков. Разработка инфраструктуры потоковой обработки данных и CDC-пайплайнов для синхронизации систем. Обязанности: Проектирование и реализация сервисов потоковой обработки данных Построение CDC-процессов с использованием Debezium и Kafka Connect Интеграция и эксплуатация Apache Kafka Разработка ETL/ELT-процессов на Apache Spark Загрузка и организация данных в Data Lake (S3, Apache Iceberg, Trino) Написание архитектурных RFC и технической документации. Проведение код-ревью. Деплой и сопровождение сервисов (GitLab CI/CD, Kubernetes) Разработка сервисов на Java/Python Достижения: Масштабировал и улучшал CDC-платформу для синхронизации данных между банковскими системами и Data Lake; Снизил задержки доставки данных за счёт оптимизации Kafka и Spark; Внедрил Iceberg, повысив консистентность и управляемость данных (Time travel, Rewrite, Compaction); Повысил стабильность платформы и проработал аудит событий.
Стек специалиста на проекте
Java, Продвижение сайтов, Kubernetes, C, Data, Spark, Apache Spark, Kafka, Информационные технологии, Code Review, Консалтинг, Аудит, Проектирование, S3, GitLab CI/CD, Работа с интеграциями, Бизнес-процессы, rewrite, Java 2, companion, Разработка, debezium, Trino, RFC, Iceberg, технологии, Платежные системы, сопровождение, банк, Kafka Connect, Python R, документации, соцсети, Cython, Data Lakehouse, Apache Iceberg
Начало работы
Январь 2025 - Май 2026  (1 год 5 месяцев)

РОСБАНК

Роль
Data Engineer/ Python Developer
Обязанности
Разработка платформы для сбора и обработки маркетинговых данных из внешних источников. Обязанности: Разработка ingestion-сервисов из (API: Яндекс, VK) в (S3, PostgreSQL) Построение ETL/ELT (Airflow) CI/CD, мониторинг Пилотирование проекта внедрения DBT Разработка инструментов для аналитиков с использованием Airflow, Flask, Bash, Python Fullstack разработка (FastAPI + React) Достижения: Построил end-to-end pipeline сбора маркетинговых данных, устранив ручную загрузку данных аналитиками Снизил time-to-data для аналитики за счёт автоматизации ingestion и оркестрации Разработал пилотный проект по внедрению DBT инструмента для стандартизирования трансформаций и повышения переиспользуемости моделей (DBT, Airflow orchestration) Разработал инструменты для аналитиков, сократив время подготовки данных и количество ручных операций (UI) Улучшил единую платформу Data Catalog (backend + UI), повысив доступность данных для бизнес-пользователей Обеспечил стабильность пайплайнов через мониторинг и алертинг (Grafana) - Сбор, анализ и разработка требований к системам баз данных и хранилищам данных - Мониторинг потоков данных в организации, контроль их качества и полноты и быстрое устранение ошибок
Стек специалиста на проекте
PostgreSQL, Docker, API, JavaScript, Python, Bash, REST API, Grafana, Kubernetes, Yandex, C, Data, SQLAlchemy, FastAPI, ETL, Next.js, Аналитика, UI, Pydantic, Flask, Apache AirFlow, Asyncio, Мониторинг, CI/CD, Backend, React, S3, Работа с требованиями: выявление, анализ, управление, DBT, Разработка, developer, Программное обеспечение, vk, Анализ, orchestration, ELT, Data Catalog, Pipline, технологии, устранение ошибок, алертинг, инструменты, банк, Fullstack, сбор
Начало работы
Февраль 2023 - Январь 2025  (2 года)

РОСБАНК

Роль
Data Engineer
Обязанности
Разработка и миграция корпоративной платформы в Data Lake. Задачи: Миграция cron/batch → Airflow Разработка и поддержка ETL (Spark, Scala) Интеграция источников Работа с Hadoop-экосистемой Оптимизация процессов Результаты: Перевёл legacy ETL-процессы на Airflow DAG-архитектуру, повысив прозрачность и управляемость пайплайнов. Сократил время выполнения ETL-задач за счёт оптимизации Spark (partitioning, shuffle tuning). Консолидировал данные из множества источников в единый Data Lake. Повысил стабильность загрузок за счёт стандартизации обработки ошибок и ретраев.
Стек специалиста на проекте
PostgreSQL, Python, Scala, C, Hive, Data, Spark, GreenPlum, ETL, Apache Hadoop, Legacy, Apache AirFlow, Munin, Работа с интеграциями, batch, Разработка, Оптимизация процессов, engineer, crons, Поддержка, банк, архитектуры, Data Lakehouse, Partitioning
Начало работы
Февраль 2021 - Февраль 2023  (2 года 1 месяц)

Формат работы

Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Образование

Высшее

Учебное заведение
Тверской государственный технический университет, Тверь Информационных технологий, Вычислительные машины, комплексы, системы и сети
Специальность
Повышение квалификации, курсы
Завершение учебы
2013 г.

Высшее

Учебное заведение
Informatica Informatica Product Certificate, PowerCenter Data Integration 10: Developer, Specialist Certification
Специальность
Тесты, экзамены
Завершение учебы
2017 г.

Высшее

Учебное заведение
Coursera
Специальность
Moscow Institute of Physics and Technology, Программирование на Python
Завершение учебы
2022 г.

Высшее

Учебное заведение
Coursera
Специальность
University of Colorado Boulder, Excel/VBA for Creative Problem Solving
Завершение учебы
2022 г.

Высшее

Учебное заведение
Coursera
Специальность
University of California, Irvine, Learn English: Intermediate Grammar
Завершение учебы
2022 г.

Высшее

Учебное заведение
Coursera
Специальность
IBM, IBM Data Science
Завершение учебы
2022 г.

Высшее

Учебное заведение
Coursera
Специальность
IBM, IBM Data Engineering
Завершение учебы
2022 г.

Высшее

Учебное заведение
Coursera
Специальность
UC San Diego, Big Data Specialization
Завершение учебы
2022 г.

Дипломы и сертификаты

Hands-on Introduction to Linux Commands and Shell Scripting 2021 г.
Introduction to Big Data 2021 г.
Introduction to Data Engineering 2021 г.
Introduction to Git and GitHub 2021 г.
Excel/VBA for Creative Problem Solving, Part 1 2020 г.
Excel/VBA for Creative Problem Solving, Part 2 2020 г.
Cleaning and Exploring Big Data using PySpark 2020 г.
Data Analysis Using Pyspark 2020 г.
Google Cloud Platform Fundamentals: Core Infrastructure 2020 г.
Java Programming: Arrays, Lists, and Structured Data 2020 г.
Java Programming: Solving with Software 2020 г.
Linux Server Management and Security 2020 г.
Speak English Professionally: In PSpeak English Professionally: In Person, Online & On 2020 г.
the Phoneerson, Online & On the Phone 2020 г.
Testing and Debugging Python 2020 г.
What is Data Science? 2020 г.
Погружение в Python 2020 г.

Похожие специалисты

E-commerce & Retail • Marketing, Advertising & Design
ДП
Даниил П.
Data инженер
Денпасар
Senior
3 311,69 Р/час
Jira
аутентификация
Работа с интеграциями
Разработка
Agile
Root cause analysis
Scrum
CI/CD
GitLab
Git
+122

Даниил — Data инженер уровня Senior с опытом работы 11 лет 2 месяца. Специализируется на разработке и оптимизации data-платформ, обработке и анализе больших объёмов данных. Владеет английским языком на уровне C1. Имеет опыт работы с технологиями: Apache Kafka, PySpark, Apache AirFlow, ClickHouse, GreenPlum, PostgreSQL, Oracle, MySQL, MS SQL Server, SAS Data Integration Studio (SAS DIS), Informatica PowerCenter, Apache NiFi, Sqoop, Apache Flume, Hadoop ecosystem, Kafka, Flink, Cosmos DB, Prometheus, Grafana, VictoriaMetrics, Zabbix, GitHub Actions, pytest, DBT, Confluence, Debezium. Участвовал в проектах в отраслях E-commerce & Retail и Marketing, Advertising & Design. В рамках проекта по созданию платформы обработки рыночных данных для алгоритмической торговли Даниил построил data-платформу с нуля, реализовал потоковую обработку данных через Kafka (Redpanda), разработал и оптимизировал PySpark-пайплайны, работал с внутренней архитектурой Apache Spark, построил Data Lake на базе S3/HDFS, разработал витрины данных и трансформационную логику в различных системах, реализовывал orchestration загрузок, разрабатывал кастомные операторы и hooks для Apache Airflow, настраивал интеграционные потоки между системами. Также участвовал в проекте по созданию платформы маркетинговой аналитики и обработки пользовательских данных, где анализировал большие объёмы данных, разрабатывал аналитические модели и метрики, использовал Pandas/NumPy для обработки данных, автоматизировал отчётность и обработку данных, работал с BI-инструментами.

Подробнее
IoT
Максим Щ.
Фото доступно после регистрации
Максим Щ.
Data инженер
Москва
Middle+
2 597,4 Р/час
monitoring
Validation
batch
quality
debezium
DWH ETL
Базы данных
Spark Streaming
опыт проектирования
ClickHouse
+78
Настроить ETL-процессы
Настроить систему мониторинга и алертинга
Внедрить систему контроля качества данных (Data Quality)
Настроить CI/CD пайплайнов
Автоматизировать бизнес-процесс в информационной системе
Спроектировать структуру базы данных
Выполнить очистку и предобработку данных
Спроектировать архитектуру хранения данных
Настроить ETL-процессы для системы аналитики
Настроить ETL-процессы сбора данных
+18

Максим — Data инженер уровня Middle+ из Москвы с опытом работы в отрасли IoT. Специализируется на проектировании и оптимизации ETL/ELT-пайплайнов, работе с базами данных и аналитическими системами. Имеет опыт работы с Apache Spark, PySpark, Kafka, Apache Airflow, Greenplum, PostgreSQL, ClickHouse и другими технологиями. Участвовал в проекте по развитию корпоративной data-платформы для batch- и streaming-обработки данных, построения Data Lake, аналитических витрин и доставки данных в DWH и downstream-системы. В рамках проекта занимался разработкой и оптимизацией ETL/ELT-пайплайнов на Apache Spark и PySpark, работой с batch- и streaming-обработкой данных, оптимизацией чтения и записи данных в HDFS, разработкой CDC-пайплайнов на связке Debezium → Kafka → Spark Streaming и другими задачами. Также участвовал в проекте по построению корпоративного DWH на базе Greenplum для консолидации данных из нескольких операционных систем и подготовки аналитических данных для отчётности. В рамках проекта занимался проектированием архитектуры DWH на Greenplum, разработкой структуры таблиц хранилища, настройкой распределения данных в Greenplum и другими задачами.

Подробнее
FinTech & Banking • RnD
ИХ
Ильсаф Х.
Data инженер
Казань
Senior
3 636,36 Р/час
Bash
Groovy
hiveql
Java
Python
Spark SQL
SQL
Airbyte
Apache AirFlow
Apache NiFi
+123

Ильсаф — Data инженер уровня Senior из Казани с опытом работы 5 лет 9 месяцев. Специализируется на разработке и сопровождении корпоративных платформ данных. Имеет опыт работы с различными технологиями и инструментами, включая Apache Spark, Kafka, Airflow, ClickHouse, Greenplum, Hadoop, Hive, Trino, Docker, Kubernetes и другие. Участвовал в проектировании и развитии DWH и Data Lake-архитектуры, анализировал и оптимизировал SQL-скрипты, интегрировал корпоративные источники данных, разрабатывал и сопровождал загрузки в S3-compatible storage, работал с Apache NiFi, развивал витрины данных в ClickHouse, продуктивизировал сборку аналитических витрин. Имеет опыт работы в отраслях RnD и FinTech & Banking. Участвовал в проектах по развитию ETL-фреймворков, интеграции источников, обработке потоков данных, подготовке данных для аналитики и оптимизации аналитического хранения.

Подробнее

Недавно просмотренные специалисты

Отрасли не указаны
МН
Максим Н.
Data инженер
Москва
Senior
2 857,14 Р/час
PostgreSQL
Git
Docker
REST
API
Java
JavaScript
SQL
Python
Bash
+137

Data Engineer с более чем 10-летним опытом в проектировании и развитии масштабируемых data-платформ, с основной специализацией в финтех и банковской сфере (Росбанк, Axenix, корпоративные банковские ETL/CDC платформы). Дополнительно имею опыт построения маркетинговых data-платформ и интеграционных решений уровня enterprise. Ключевая экспертиза — построение высоконагруженных потоковых и batch data-архитектур: CDC-пайплайны, streaming ingestion, Data Lake/Lakehouse решения, а также end-to-end ETL/ELT платформы. Основной фокус — надежная доставка и синхронизация данных в распределённых системах с использованием Kafka, Spark и Airflow. Работал в финтех-домене с большими объёмами транзакционных и банковских данных, включая интеграцию разнородных систем (core banking, маркетинг, транзакционные источники), построение витрин данных и обеспечение BI-слоя для аналитики.

Подробнее
Hardware&Software
ТЖ
Тарас Ж.
Python разработчик
Тюмень
Middle
1 714,28 Р/час
PostgreSQL
RabbitMQ
Git
HTML
CSS
MySQL
Docker
Elasticsearch
API
JavaScript
+46

Уверенно работаю на стеке фронтенда и бэкенда. Успешно реализовал проекты «с нуля», включая fullstack-разработку личного кабинета и интеграции с внешними системами (Bitrix24, Azure, Яндекс). Участвую в клиентских созвонах, умею доносить технические решения и документировать продукты. Отвечаю за архитектуру и выбор технологий в собственных инициативных проектах внутри компании. Постоянно развиваюсь в направлении Fullstack-разработки и слежу за современными практиками. Технологический стек Языки: TypeScript, JavaScript, Python, SQL Фронтенд: React, MobX Бэкенд: NestJS, Fastify, Express, FastAPI, Django, Django Ninja, Tornado Базы данных: PostgreSQL, MongoDB Инфраструктура: Docker, AWS Системы обмена сообщениями: RabbitMQ, Kafka Кэширование и поиск: Redis, Elasticsearch Мониторинг: Grafana, Kibana Дополнительно: WebSocket, REST, PHP (legacy)

Подробнее
AI & Robotics • E-commerce & Retail • FoodTech • LifeStyle • Logistics & Transport • Urban technology
ВА
Виктор А.
IOS разработчик
Новосибирск
Senior
3 896,1 Р/час
Git
MySQL
API
JavaScript
PHP
C#
Jira
SQL
Agile
Python
+80

Виктор — опытный iOS-разработчик с 18-летним опытом работы в различных проектах. Он обладает глубокими знаниями и навыками в области разработки ПО, проектирования, системной интеграции, администрирования и тестирования. Виктор работал над проектами в таких отраслях, как E-commerce & Retail, LifeStyle, Urban technology, AI & Robotics, Logistics & Transport, FoodTech. В его портфолио есть проекты по разработке банковского ПО, приложений для взаимодействия с календарём, игр для кальянных, сервисов грузового такси и доставки еды из ресторанов. Также он занимался разработкой приложения для магазина косметики, промо-приложений для горнолыжного курорта и РЖД, кастомных часов для iPad и карточной игры «1000». В работе Виктор использует такие технологии, как VIPER, MVP, MVC, Alamofire, Swift, Python, SQL, OpenCV, Objective-C, Bluetooth, MapKit, SnapKit, SPM, WebSocket. Навыки: * Знание основных алгоритмов (графы, комбинаторика, переборные алгоритмы) - собственно, меня всегда привлекали олимпиадные задачи, и задачи, в которых математическое построение решения занимает существенную часть. * знание Linux на уровне пользователя. * быстрая интеграция в коллектив (коммуникабельность, чувство юмора). * пунктуальность. * опыт управления проектами. * интерес к работе.

Подробнее