Михаил Ш. Data инженер, Senior

ID 29663
МШ
Михаил Ш.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 853,43 Р/час
вкл. НДС 5% (142.86 Р)
Специалист доступен с 16 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Python
SQL
ClickHouse
PL/pgSQL
Java
Scala
BigQuery
Oracle
PostgreSQL
Apache AirFlow
Apache Kafka
DBT
debezium
Polars
Spark
Data Lake
Docker
Kubernetes
S3
Pandas
Git
Pentaho
Legacy
Log4j
Hadoop
HDFS
Hive
Groovy
flink
Trino
Объектно-ориентированное программирование (ООП)
Big Data
datalake
range
Yarn
Zookeeper
Ansible
Zabbix
MS SQL
Отрасли
FinTech & Banking
Знание языков
Английский — C1
Главное о специалисте
Data Engineer с более 5 лет годами опыта в коммерческих проектах, специализирующийся на проектировании и оптимизации ETL-процессов, миграции баз данных и построении распределенных хранилищ. Работал над решениями для финансового сектора (банкинг, биржевые системы), создавая отказоустойчивые системы обработки данных с высокой нагрузкой. Разрабатывал продукты, включая аналитические платформы, системы CDC-интеграции и автоматизированные ETL-пайплайны. Специализируется на высокопроизводительных SQL-запросах, архитектуре витрин данных и потоковой обработке (Kafka, Spark), а также на полном цикле миграции БД с Oracle на PostgreSQL с переработкой хранимой логики.
Проекты   (5 лет 3 месяца)
Система хранения и обработки данных для банковской аналитики
Роль
Data Engineer
Обязанности
Описание: DWH для аналитики банка, отчеты отправлялись в головной офис, после чего принимались банковские стратегические решения. Стадия разработки: масштабирование / поддержка. Участие в проекте: Разработка архитектуры хранения данных в ClickHouse (схемы ods_{source}, buffer, datamart). Реализация ETL-процессов в Apache Airflow с мониторингом инцидентов (алерты в Telegram). Интеграция CDC через Debezium для автоматизации загрузки данных из PostgreSQL, Oracle, MSSQL. Анализ логов веб-сервера (HDFS + Hive), считал количество запросов по каждому IP, cамые популярные URL. Создание тестов Data Quality для проверки полноты данных в Airflow DAG. Оптимизация SQL-запросов в ClickHouse для обработки миллионов строк. Взаимодействие с Kafka и Spark (Scala) для потоковой обработки данных. Нагрузка: DAU — 1M+, RPM — 50K+ Рефакторинг / разработка нового функционала - 30/70. Архитектурные/Фичовые задачи - 80/20. Соотношение работы менеджером/разработчиком - 50/50. Команда: 1 Architect, 1 Team Lead, 4 Engineer, 1 STO
Достижения
Ускорение интеграции новых источников на 40% за счёт CI/CD-практик. Стандартизация сырых данных (ODS) для 15+ источников. Разработка витрин с промежуточной агрегацией через DBT, что сократило время формирования отчётов на 25%.
Стек специалиста на проекте
PostgreSQL, Apache Kafka, Git, Docker, Java, SQL, Python, Oracle, Scala, Kubernetes, Yarn, Hive, Spark, Zookeeper, ClickHouse, BigQuery, Hadoop, Zabbix, Ansible, Apache AirFlow, S3, HDFS, MS SQL, DBT, range, debezium, plpg, datalake, Объектно-ориентированное программирование (ООП)
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2023 - По настоящее время  (2 года 3 месяца)
Миграция данных биржевой инфраструктуры для Мосбиржи
Роль
Backend / Full-stack Developer
Обязанности
Описание: Проект по импортозамещению Oracle 18 на PostgreSQL 15 для всех направлений Московской Биржи (фондовый, валютный, срочный рынки). Включал перенос данных, переработку хранимых процедур и создание ETL-инструментов. Стадия разработки: с 0 + рефакторинг. Участие в проекте: Разработка стратегии миграции и архитектуры переноса данных. Переписывание объектов БД: хранимые процедуры (PL/pgSQL), триггеры, материализованные представления. Создание многопоточной ETL-программы на Python (Polars), заменившей Pentaho Data Integration. Обработка данных (Hadoop). Внедрение Apache Airflow для оркестрации миграции и загрузки витрин. Оптимизация сложных SQL-запросов и структуры БД в PostgreSQL 15. Нагрузка: RPS — 5K+, RPM — 200K+. Рефакторинг / разработка нового функционала - 10/90. Архитектурные/Фичовые задачи - 60/40. Соотношение работы менеджером/разработчиком - 10/90. Команда: 1 Data Engineer, 2 Analysts, 1 DevOps.
Достижения
Ускорение ETL-процессов в 3 раза по сравнению с Pentaho. Отказ от view в пользу datamart-схемы с прозрачным контролем загрузки. Реализация DAG-ов в Airflow для управления процессами через веб-интерфейс.
Стек специалиста на проекте
Python, Oracle, Scala, Hadoop, Groovy, Legacy, Big Data, Дизайн, Pentaho, PL/pgSQL, Apache AirFlow, Программирование, Polars, flink, PostgreSQL 15, Trino
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2020 - Май 2023  (3 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский государственный университет геодезии и картографии, Москва
Специальность
Информационная безопасность, Бакалавриат
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

Government & Public Sector • Urban technology
ТМ
Тимур М.
Санкт-Петербург
QA FullStack
Lead
3 853,43 Р/час
PostgreSQL
Git
Docker
JavaScript
Jira
Python
Postman
Bash
Kibana
Selenium
+23

Ведущий QA-инженер с опытом работы на проектах в сферах Government & Public Sector и Urban technology. На позиции Senior/Lead QA инженера участвовал в разработке информационной аналитической системы по мониторингу качества государственных услуг. Занимался управлением командой, формированием планов тестирования, разработкой и поддержкой автоматизированных тестов для backend и интеграционных взаимодействий на Python, а также разработкой методики нагрузочного тестирования. В рамках проекта по созданию автоматизированной обучающей системы для сотрудников РЖД обеспечивал качество и тестирование Web-платформы и десктопного приложения. Внедрял автоматизацию рабочих процессов и тестирования (Selenium WebDriver, Robot Framework), разрабатывал и сопровождал тестовую документацию.

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • Media • Social Networking
КФ
Константин Ф.
Санкт-Петербург
QA ручной
Senior
1 662,34 Р/час
Управление командой
web-сервисы
с4
WebDriver
cube
TypeORM
разработка ДО
Zephyr
IOS
Работа с интеграциями
+72

QA Engineer заказной разработки в сферах B2B / B2G. Опыт работы на проектах, связанных с консалтингом, информационными технологиями, корпоративными системами, автоматизацией бизнес-процессов, BI-платформами. Обширный опыт проведения ручного и настройки автоматического тестирования (E2E).Умею работать в команде и добиваться высоких показателей. ● Отлично разбираюсь в чужом коде. ● Обладаю аналитическим и критическим мышлением, что не только способствует эффективному поиску ошибок, но и позволяет определять их происхождение. ● С энтузиазмом отношусь к изучению и последующему применению новых технологий и инструментов. ● Знание английского языка на уровне B2.

Подробнее
LifeStyle
АК
Александр К.
Гродно
Ruby разработчик
Senior
4 496,1 Р/час
RabbitMQ
Git
HTML
CSS
MySQL
JavaScript
Ruby
Linux
MongoDB
Memcached
+20

Веб-разработчик с опытом более 5-ти лет. В настоящее время специализируется на Back-end разработке, создании сложных веб-приложений. Ранее участвовал в проектах со следующими технологиями: Ruby, Ruby on Rails, MySQL, MongoDB, Git, Redis, NewRelic, Linux, JavaScript, JQuery, React, HTML, CSS, Bootstrap. Проектирование, прототипирование, разработка и поддержка Back-end приложений и API с Ruby on Rails и другими фреймворками Ruby. Анализ данных, документация и охват кода тестами (TDD/BDD). Развертывание и настройка инфраструктуры (сервер, операционная система, среда проекта и т.д.). Интеграция со сторонним API и сервисами. Имеет опыт разработки веб-приложений полного цикла: проектирование архитектуры, внешняя и внутренняя разработка, автоматизированное тестирование и поддержка. Основные навыки - Ruby, Ruby on Rails, MySQL, MongoDB.

Подробнее
HRTech • Logistics & Transport • Travel, Hospitality & Restaurant business
ДЛ
Дарья Л.
Саратов
Рекрутер
Middle
389,61 Р/час
Подбор персонала
Телефонные переговоры
Проведение собеседований
Привлечение кандидатов
Проведение интервью
Оценка кандидатов
Проверка рекомендаций
Составление и размещение вакансий
Headhunter
Sourcing
+10

Рекомендуем к рассмотрению кандидатуру Дарьи на позицию специалиста по подбору персонала. У Дарьи более 3 лет опыта в массовом подборе, включая проекты для компаний Озон, Джобкарт, а также опыт в подборе персонала для Трасса-Сервис, Статус. Закрывала широкий спектр позиций: повара, кассиры, уборщицы, разнорабочие, водители, складские сотрудники, ресечеры, офис-менеджеры, бухгалтеры, техники и др. Уверенно работает с размещением вакансий, откликами, холодной базой, звонками и сопровождением кандидатов до выхода. Руководила группой ресерчеров, вела отчётность и помогала с адаптацией новых сотрудников. Владеет amoCRM, 1С, Excel. Дарья спокойна, системна и умеет выстраивать процесс подбора под задачи бизнеса.

Подробнее