Мария Б. Data инженер, Middle+
ID 50032

Фото доступно после регистрации
Мария Б.
Middle+
Россия, Москва, UTC+3
2 597,4 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Отрасли
Главное о специалисте
Data инженер с грейдом Middle+ из Москвы, специализация — работа с данными. Имеет высшее образование по направлению «Экономика» в Национальном исследовательском ядерном университете «МИФИ».
Обладает широким спектром навыков, включая работу с PostgreSQL, Git, Docker, Jira, Confluence, SQL, Python, Oracle, REST API, Linux, Grafana, Kubernetes, GitLab, Apache, Hive, Spark, ClickHouse, Pandas, ETL, Apache Hadoop, Apache Spark, Kafka, Tableau, Apache AirFlow, CI/CD, PySpark, DBT, а также опыт в области математической статистики, Big Data, DWH, E-commerce.
Имеет опыт работы на проектах в отраслях Finance&Taxes и E-commerce & Retail. Участвовал в проекте по автоматизации отчётности по процессу секьюритизации, где занимался разработкой и поддержкой ETL/ELT-пайплайнов, интеграцией данных, разработкой витрин в ClickHouse, внедрением Data Quality-проверок и автоматизацией формирования отчётности. Также участвовал в проекте по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce, где занимался разработкой и поддержкой ETL/ELT-процессов, оркестровкой расчётов и загрузок через Apache Airflow, разработкой аналитических витрин в ClickHouse и PostgreSQL, оптимизацией структуры таблиц и переносом расчётной логики из Excel/VBA в PostgreSQL + Airflow.
Решаемые задачи
24
Оптимизировать структуру аналитической витрины для ускорения отчетов
Реализовать витрины данных в DWH
Внедрить систему контроля качества данных (Data Quality)
Разработать систему аналитической отчетности
Оптимизировать структуру таблиц и индексы базы данных
Настроить проверку качества данных в хранилище
Разработать DAG для оркестрации пайплайнов данных
Настроить конвейер обучения и деплоя ML-моделей
Оптимизировать производительность существующих ETL-пайплайнов
Настроить систему мониторинга и алертинга
Проекты
(4 года 4 месяца)Автоматизация отчётности по процессу секьюритизации
Роль
Data Engineer
Обязанности
Проект по автоматизации подготовки финансовой и риск-отчётности в рамках процесса секьюритизации. Основная задача — построение и развитие ETL/ELT-процессов, корпоративных витрин и механизмов контроля качества данных для аналитиков и риск-менеджмента.
Обязанности и задачи:
Разработка и поддержка ETL/ELT-пайплайнов на Python и Apache Airflow.
Интеграция данных из Kafka, PostgreSQL, CSV, S3 и Hadoop в корпоративное DWH на Greenplum и ClickHouse.
Разработка новых DAG и настройка оркестрации, зависимостей, мониторинга и обработки ошибок.
Разработка и оптимизация сложных SQL-запросов в Greenplum.
Проектирование промежуточных и аналитических витрин данных.
Разработка витрин в ClickHouse для финансовой и риск-аналитики.
Настройка партиционирования, ORDER BY, Materialized Views и оптимизация производительности ClickHouse.
Внедрение Data Quality-проверок на NULL, дубликаты, выбросы и корректность данных.
Настройка автоматического alerting при проблемах с загрузками и качеством данных.
Реализация новых форм отчётности: анализ бизнес-требований, определение источников, разработка расчётной логики и автоматизация формирования отчёта.
Документирование процессов и взаимодействие с аналитиками и риск-менеджерами.
Был опыт с SAS DIS и Informatica PowerCenter
Объём обработки — более 10 млн событий в сутки.
Достижения
Разработала 30+ ETL/ELT-пайплайнов для загрузки данных из 5+ источников.
Оптимизировала подготовку данных для отчётности по секьюритизации: время формирования итогового набора данных сократилось с 3 часов до 12 минут.
Внедрила Data Quality-проверки в Airflow, благодаря чему количество инцидентов в отчётности сократилось примерно с 8 до 1–2 в месяц.
Разработала 15+ аналитических витрин в ClickHouse.
Оптимизировала ClickHouse-витрины и ускорила выполнение дашбордов в Apache Superset с 40 секунд до 2–3 секунд.
Полностью автоматизировала формирование нового отчёта по секьюритизации, устранив необходимость ручной подготовки данных.
Стек специалиста на проекте
PostgreSQL, Git, Jira, Confluence, SQL, Python, Bash, Linux, GitLab, Apache, ClickHouse, GreenPlum, Apache Hadoop, Kafka, Apache AirFlow, S3, Stack
Отрасль проекта
Finance&Taxes
Период работы
Апрель 2024 - По настоящее время
(2 года 7 месяцев)
Развитие DWH и аналитических витрин для логистики и e-commerce
Роль
Data Engineer
Обязанности
Проект по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce. Основные задачи — построение и оптимизация ETL/ELT-процессов, разработка высоконагруженных витрин в ClickHouse и перевод ручных расчётов на автоматизированный data-стек.
Обязанности и задачи:
Разработка и поддержка ETL/ELT-процессов.
Оркестрация расчётов и загрузок через Apache Airflow.
Разработка DAG с dependencies, retry-механизмами, обработкой отказов и alerting.
Разработка аналитических витрин в ClickHouse и PostgreSQL.
Оптимизация структуры таблиц, партиционирования и Primary Key в ClickHouse.
Разработка высоконагруженных витрин для KPI логистики и e-commerce.
Работа с инкрементальными загрузками и дедупликацией данных.
Перенос расчётной логики из Excel/VBA в PostgreSQL + Airflow.
Подготовка источников и витрин для Apache Superset.
Сопровождение и развитие Data Mart.
Документирование ETL-процессов в Confluence.
Построение Data Lineage, описание источников и зависимостей.
Определение и документирование SLA для потоков данных.
Поддержка пайплайнов, используемых в том числе ML-моделями.
Работа в составе data-команды во взаимодействии с аналитиками, BI-специалистами, бизнес-заказчиками логистики и e-commerce, а также смежными командами разработки и ML.
Достижения
Автоматизировала расчёт витрин через Apache Airflow и сократила объём ручного вмешательства примерно на 40%.
Перепроектировала хранение в ClickHouse, благодаря чему время сборки витрин сократилось примерно в 2 раза.
Перенесла ручную логику формирования витрин из Excel/VBA на PostgreSQL + Airflow + Superset.
Разработала высоконагруженные аналитические витрины, обрабатывающие до 1,5 млрд строк.
Обновила потоки в 5 Data Mart в ClickHouse.
Построила Data Lineage и задокументировала ключевые процессы, источники и SLA, что упростило дальнейшую разработку и поддержку.
Стек специалиста на проекте
PostgreSQL, Git, SQL, Python, GitLab, ClickHouse, GreenPlum, Apache AirFlow, S3, Apache Superset
Отрасль проекта
E-commerce & Retail
Начало работы
Июль 2022 - Апрель 2024
(1 год 10 месяцев)
Формат работы
Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный, На территории клиента
Командировки
Готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Национальный исследовательский ядерный университет «МИФИ», Москва
Специальность
Экономика
Завершение учебы
2024 г.

