МШ
Михаил Ш.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 853,43 Р/час
вкл. НДС 5% (142.86 Р)
Специалист доступен с 16 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
Data Engineer с более 5 лет годами опыта в коммерческих проектах, специализирующийся на проектировании и оптимизации ETL-процессов, миграции баз данных и построении распределенных хранилищ. Работал над решениями для финансового сектора (банкинг, биржевые системы), создавая отказоустойчивые системы обработки данных с высокой нагрузкой. Разрабатывал продукты, включая аналитические платформы, системы CDC-интеграции и автоматизированные ETL-пайплайны. Специализируется на высокопроизводительных SQL-запросах, архитектуре витрин данных и потоковой обработке (Kafka, Spark), а также на полном цикле миграции БД с Oracle на PostgreSQL с переработкой хранимой логики.
Проекты
(5 лет 3 месяца)
Система хранения и обработки данных для банковской аналитики
Роль
Data Engineer
Обязанности
Описание: DWH для аналитики банка, отчеты отправлялись в головной офис, после чего принимались банковские стратегические решения.
Стадия разработки: масштабирование / поддержка.
Участие в проекте:
Разработка архитектуры хранения данных в ClickHouse (схемы ods_{source}, buffer, datamart).
Реализация ETL-процессов в Apache Airflow с мониторингом инцидентов (алерты в Telegram).
Интеграция CDC через Debezium для автоматизации загрузки данных из PostgreSQL, Oracle, MSSQL.
Анализ логов веб-сервера (HDFS + Hive), считал количество запросов по каждому IP, cамые популярные URL.
Создание тестов Data Quality для проверки полноты данных в Airflow DAG.
Оптимизация SQL-запросов в ClickHouse для обработки миллионов строк.
Взаимодействие с Kafka и Spark (Scala) для потоковой обработки данных.
Нагрузка: DAU — 1M+, RPM — 50K+
Рефакторинг / разработка нового функционала - 30/70. Архитектурные/Фичовые задачи - 80/20. Соотношение работы менеджером/разработчиком - 50/50.
Команда: 1 Architect, 1 Team Lead, 4 Engineer, 1 STO
Достижения
Ускорение интеграции новых источников на 40% за счёт CI/CD-практик.
Стандартизация сырых данных (ODS) для 15+ источников.
Разработка витрин с промежуточной агрегацией через DBT, что сократило время формирования отчётов на 25%.
Стек специалиста на проекте
PostgreSQL, Apache Kafka, Git, Docker, Java, SQL, Python, Oracle, Scala, Kubernetes, Yarn, Hive, Spark, Zookeeper, ClickHouse, BigQuery, Hadoop, Zabbix, Ansible, Apache AirFlow, S3, HDFS, MS SQL, DBT, range, debezium, plpg, datalake, Объектно-ориентированное программирование (ООП)
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2023 - По настоящее время
(2 года 3 месяца)
Миграция данных биржевой инфраструктуры для Мосбиржи
Роль
Backend / Full-stack Developer
Обязанности
Описание: Проект по импортозамещению Oracle 18 на PostgreSQL 15 для всех направлений Московской Биржи (фондовый, валютный, срочный рынки). Включал перенос данных, переработку хранимых процедур и создание ETL-инструментов.
Стадия разработки: с 0 + рефакторинг.
Участие в проекте:
Разработка стратегии миграции и архитектуры переноса данных.
Переписывание объектов БД: хранимые процедуры (PL/pgSQL), триггеры, материализованные представления.
Создание многопоточной ETL-программы на Python (Polars), заменившей Pentaho Data Integration.
Обработка данных (Hadoop).
Внедрение Apache Airflow для оркестрации миграции и загрузки витрин.
Оптимизация сложных SQL-запросов и структуры БД в PostgreSQL 15.
Нагрузка: RPS — 5K+, RPM — 200K+.
Рефакторинг / разработка нового функционала - 10/90. Архитектурные/Фичовые задачи - 60/40. Соотношение работы менеджером/разработчиком - 10/90.
Команда: 1 Data Engineer, 2 Analysts, 1 DevOps.
Достижения
Ускорение ETL-процессов в 3 раза по сравнению с Pentaho.
Отказ от view в пользу datamart-схемы с прозрачным контролем загрузки.
Реализация DAG-ов в Airflow для управления процессами через веб-интерфейс.
Стек специалиста на проекте
Python, Oracle, Scala, Hadoop, Groovy, Legacy, Big Data, Дизайн, Pentaho, PL/pgSQL, Apache AirFlow, Программирование, Polars, flink, PostgreSQL 15, Trino
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2020 - Май 2023
(3 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский государственный университет геодезии и картографии, Москва
Специальность
Информационная безопасность, Бакалавриат
Завершение учебы
2021 г.