Мария Б. Data инженер, Middle+

ID 50032
Мария Б.
Фото доступно после регистрации
Мария Б.
Middle+
Мужчина, 26 лет
Россия, Москва, UTC+3
2 597,4 Р/час
НДС не облагается
Специалист доступен с 13 октября 2026 г.

О специалисте

Специализация
Data инженер
Грейд
Middle+
Навыки
PostgreSQL
Git
Docker
Jira
Confluence
SQL
Python
Oracle
REST API
Linux
Grafana
Kubernetes
GitLab
Apache
Gift
Hive
Data
Spark
ClickHouse
Pandas
Базы данных
Анализ данных
Atlassian
СУБД
GreenPlum
ETL
Apache Hadoop
Apache Spark
Kafka
Математическая статистика
Big Data
DWH
Tableau
E-commerce
Apache AirFlow
CI/CD
PySpark
apache hive
PosrgteSQL
DBT
clockhouse
quality
Pathon
Linex
psql
автоматизация
commerce
doker
ELT
kubrrnetis
engineer
Kafka 3
Data Quality
English B2
Lira
apacheairflow
MS Excel
English
Data engineering
Отрасли
E-commerce & Retail
Finance&Taxes
Главное о специалисте
Data инженер с грейдом Middle+ из Москвы, специализация — работа с данными. Имеет высшее образование по направлению «Экономика» в Национальном исследовательском ядерном университете «МИФИ». Обладает широким спектром навыков, включая работу с PostgreSQL, Git, Docker, Jira, Confluence, SQL, Python, Oracle, REST API, Linux, Grafana, Kubernetes, GitLab, Apache, Hive, Spark, ClickHouse, Pandas, ETL, Apache Hadoop, Apache Spark, Kafka, Tableau, Apache AirFlow, CI/CD, PySpark, DBT, а также опыт в области математической статистики, Big Data, DWH, E-commerce. Имеет опыт работы на проектах в отраслях Finance&Taxes и E-commerce & Retail. Участвовал в проекте по автоматизации отчётности по процессу секьюритизации, где занимался разработкой и поддержкой ETL/ELT-пайплайнов, интеграцией данных, разработкой витрин в ClickHouse, внедрением Data Quality-проверок и автоматизацией формирования отчётности. Также участвовал в проекте по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce, где занимался разработкой и поддержкой ETL/ELT-процессов, оркестровкой расчётов и загрузок через Apache Airflow, разработкой аналитических витрин в ClickHouse и PostgreSQL, оптимизацией структуры таблиц и переносом расчётной логики из Excel/VBA в PostgreSQL + Airflow.

Решаемые задачи

24
Оптимизировать структуру аналитической витрины для ускорения отчетов
Реализовать витрины данных в DWH
Внедрить систему контроля качества данных (Data Quality)
Разработать систему аналитической отчетности
Оптимизировать структуру таблиц и индексы базы данных
Настроить проверку качества данных в хранилище
Разработать DAG для оркестрации пайплайнов данных
Настроить конвейер обучения и деплоя ML-моделей
Оптимизировать производительность существующих ETL-пайплайнов
Настроить систему мониторинга и алертинга

Проекты

(4 года 4 месяца)

Автоматизация отчётности по процессу секьюритизации

Роль
Data Engineer
Обязанности
Проект по автоматизации подготовки финансовой и риск-отчётности в рамках процесса секьюритизации. Основная задача — построение и развитие ETL/ELT-процессов, корпоративных витрин и механизмов контроля качества данных для аналитиков и риск-менеджмента. Обязанности и задачи: Разработка и поддержка ETL/ELT-пайплайнов на Python и Apache Airflow. Интеграция данных из Kafka, PostgreSQL, CSV, S3 и Hadoop в корпоративное DWH на Greenplum и ClickHouse. Разработка новых DAG и настройка оркестрации, зависимостей, мониторинга и обработки ошибок. Разработка и оптимизация сложных SQL-запросов в Greenplum. Проектирование промежуточных и аналитических витрин данных. Разработка витрин в ClickHouse для финансовой и риск-аналитики. Настройка партиционирования, ORDER BY, Materialized Views и оптимизация производительности ClickHouse. Внедрение Data Quality-проверок на NULL, дубликаты, выбросы и корректность данных. Настройка автоматического alerting при проблемах с загрузками и качеством данных. Реализация новых форм отчётности: анализ бизнес-требований, определение источников, разработка расчётной логики и автоматизация формирования отчёта. Документирование процессов и взаимодействие с аналитиками и риск-менеджерами. Был опыт с SAS DIS и Informatica PowerCenter Объём обработки — более 10 млн событий в сутки.
Достижения
Разработала 30+ ETL/ELT-пайплайнов для загрузки данных из 5+ источников. Оптимизировала подготовку данных для отчётности по секьюритизации: время формирования итогового набора данных сократилось с 3 часов до 12 минут. Внедрила Data Quality-проверки в Airflow, благодаря чему количество инцидентов в отчётности сократилось примерно с 8 до 1–2 в месяц. Разработала 15+ аналитических витрин в ClickHouse. Оптимизировала ClickHouse-витрины и ускорила выполнение дашбордов в Apache Superset с 40 секунд до 2–3 секунд. Полностью автоматизировала формирование нового отчёта по секьюритизации, устранив необходимость ручной подготовки данных.
Стек специалиста на проекте
PostgreSQL, Git, Jira, Confluence, SQL, Python, Bash, Linux, GitLab, Apache, ClickHouse, GreenPlum, Apache Hadoop, Kafka, Apache AirFlow, S3, Stack
Отрасль проекта
Finance&Taxes
Период работы
Апрель 2024 - По настоящее время  (2 года 7 месяцев)

Развитие DWH и аналитических витрин для логистики и e-commerce

Роль
Data Engineer
Обязанности
Проект по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce. Основные задачи — построение и оптимизация ETL/ELT-процессов, разработка высоконагруженных витрин в ClickHouse и перевод ручных расчётов на автоматизированный data-стек. Обязанности и задачи: Разработка и поддержка ETL/ELT-процессов. Оркестрация расчётов и загрузок через Apache Airflow. Разработка DAG с dependencies, retry-механизмами, обработкой отказов и alerting. Разработка аналитических витрин в ClickHouse и PostgreSQL. Оптимизация структуры таблиц, партиционирования и Primary Key в ClickHouse. Разработка высоконагруженных витрин для KPI логистики и e-commerce. Работа с инкрементальными загрузками и дедупликацией данных. Перенос расчётной логики из Excel/VBA в PostgreSQL + Airflow. Подготовка источников и витрин для Apache Superset. Сопровождение и развитие Data Mart. Документирование ETL-процессов в Confluence. Построение Data Lineage, описание источников и зависимостей. Определение и документирование SLA для потоков данных. Поддержка пайплайнов, используемых в том числе ML-моделями. Работа в составе data-команды во взаимодействии с аналитиками, BI-специалистами, бизнес-заказчиками логистики и e-commerce, а также смежными командами разработки и ML.
Достижения
Автоматизировала расчёт витрин через Apache Airflow и сократила объём ручного вмешательства примерно на 40%. Перепроектировала хранение в ClickHouse, благодаря чему время сборки витрин сократилось примерно в 2 раза. Перенесла ручную логику формирования витрин из Excel/VBA на PostgreSQL + Airflow + Superset. Разработала высоконагруженные аналитические витрины, обрабатывающие до 1,5 млрд строк. Обновила потоки в 5 Data Mart в ClickHouse. Построила Data Lineage и задокументировала ключевые процессы, источники и SLA, что упростило дальнейшую разработку и поддержку.
Стек специалиста на проекте
PostgreSQL, Git, SQL, Python, GitLab, ClickHouse, GreenPlum, Apache AirFlow, S3, Apache Superset
Отрасль проекта
E-commerce & Retail
Начало работы
Июль 2022 - Апрель 2024  (1 год 10 месяцев)

Формат работы

Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный, На территории клиента
Командировки
Готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да

Образование

Высшее

Учебное заведение
Национальный исследовательский ядерный университет «МИФИ», Москва
Специальность
Экономика
Завершение учебы
2024 г.

Похожие специалисты

IoT
Максим Щ.
Фото доступно после регистрации
Максим Щ.
Data инженер
Москва
Middle+
2 597,4 Р/час
monitoring
Validation
batch
quality
debezium
DWH ETL
Базы данных
Spark Streaming
опыт проектирования
ClickHouse
+78
Настроить ETL-процессы
Настроить систему мониторинга и алертинга
Внедрить систему контроля качества данных (Data Quality)
Настроить CI/CD пайплайнов
Автоматизировать бизнес-процесс в информационной системе
Спроектировать структуру базы данных
Выполнить очистку и предобработку данных
Спроектировать архитектуру хранения данных
Настроить ETL-процессы для системы аналитики
Настроить ETL-процессы сбора данных
+18

Максим — Data инженер уровня Middle+ из Москвы с опытом работы в отрасли IoT. Специализируется на проектировании и оптимизации ETL/ELT-пайплайнов, работе с базами данных и аналитическими системами. Имеет опыт работы с Apache Spark, PySpark, Kafka, Apache Airflow, Greenplum, PostgreSQL, ClickHouse и другими технологиями. Участвовал в проекте по развитию корпоративной data-платформы для batch- и streaming-обработки данных, построения Data Lake, аналитических витрин и доставки данных в DWH и downstream-системы. В рамках проекта занимался разработкой и оптимизацией ETL/ELT-пайплайнов на Apache Spark и PySpark, работой с batch- и streaming-обработкой данных, оптимизацией чтения и записи данных в HDFS, разработкой CDC-пайплайнов на связке Debezium → Kafka → Spark Streaming и другими задачами. Также участвовал в проекте по построению корпоративного DWH на базе Greenplum для консолидации данных из нескольких операционных систем и подготовки аналитических данных для отчётности. В рамках проекта занимался проектированием архитектуры DWH на Greenplum, разработкой структуры таблиц хранилища, настройкой распределения данных в Greenplum и другими задачами.

Подробнее
Finance&Taxes • Media
ИК
Иван К.
Data инженер
Москва
Senior
2 597,4 Р/час
PostgreSQL
Git
MySQL
Docker
REST
API
SQL
Agile
Python
Bash
+96

Иван — Data инженер уровня Senior из Москвы с высшим образованием по специальности «Биоинженерия и биоинформатика» Московского государственного университета имени М. В. Ломоносова. Владеет английским языком на уровне B2. Имеет опыт работы на проектах в отраслях Media и Finance&Taxes. Участвовал в проекте по развитию высоконагруженной data-платформы RUTUBE, где занимался разработкой и оптимизацией ETL/ELT-пайплайнов, развитием аналитических витрин, работой с batch- и streaming-обработкой, миграцией компонентов data-платформы и обеспечением качества и стабильности данных. Также участвовал в проекте по развитию корпоративного DWH и data-пайплайнов для моделей расчёта клиентских коммуникаций крупного банка. Ключевые навыки: PostgreSQL, Git, MySQL, Docker, REST API, SQL, Agile, Python, Bash, Linux, Grafana, DBeaver, Kubernetes, Apache, Yarn, GitHub, VS Code, Hive, Data, Jupiter, Spark, ClickHouse, Pandas, SciPy, Numpy, Matplotlib, CLI, GreenPlum, ETL, Apache Hadoop, Kafka, Jupyter Notebook, Big Data, DWH, Apache 2, Compose, Zeppelin, Pentaho, Docker Compose, Apache AirFlow, SLA, S3, HDFS, Визуализация данных, Apache NiFi, Superset, PySpark, MapReduce, DBT, batch, Data Vault, ELT, Data engineering, big data технологии, Jupyter notebooks.

Подробнее
E-commerce & Retail • FoodTech
ДК
Даниэль К.
Data инженер
Москва
Middle+
2 597,4 Р/час
ClickHouse
Spark
Hive
Data
Git
Bash
Pandas
Yandex
Apache Spark
Apache Hadoop
+55
Настроить ETL-процессы
Настроить ETL-процессы для системы аналитики
Настроить CI/CD пайплайнов
Разработать DAG в Apache Airflow
Автоматизировать сбор и формирование отчетности
Настроить конвейер обучения и деплоя ML-моделей
Оптимизировать производительность существующих ETL-пайплайнов
Настроить автоматический импорт данных
Настроить автоматический мониторинг качества данных в пайплайне
Настроить процесс трансформации данных внутри DWH
+19

Даниэль — Data инженер уровня Middle+ из Москвы, специализация — работа с данными. Имеет высшее образование по направлению «Бизнес-информатика» Российского экономического университета им. Г. В. Плеханова. Владеет английским языком на уровне B2. Имеет опыт работы на двух проектах: 1. Платформа данных системы автозаказа F&R (E-commerce & Retail). Роль — Data Engineer / ведущий разработчик. Задачи включали разработку и оптимизацию ETL/ELT-пайплайнов на PySpark, подготовку витрин и датасетов для Data Science и Machine Learning-команд, разработку и сопровождение DAG в Apache Airflow, автоматизацию загрузок и управление зависимостями между процессами. 2. Развитие корпоративного DWH и аналитической платформы (FoodTech). Роль — Data Engineer. Задачи включали разработку и оптимизацию ETL/ELT-процессов, интеграцию различных источников, построение аналитических витрин, миграцию DWH и повышение качества и доступности данных для BI-пользователей.

Подробнее
FinTech & Banking • RnD
ЕМ
Екатерина М.
Data инженер
Санкт-Петербург
Senior
3 376,62 Р/час
sqoop
Аналитика данных
Соблюдение сроков
code
Shell
Spark Streaming
impala
ClickHouse
оконные функции
Spark
+88

Екатерина — Data инженер уровня Senior из Санкт-Петербурга. Специализируется на работе с большими данными и аналитике. Имеет опыт работы в отраслях FinTech & Banking и RnD. Ключевые навыки: sqoop, Spark Streaming, impala, ClickHouse, Spark, GPS, Hive, Pandas, SciPy, Oracle, Linux, Scala, Pytest, MATLAB, Hadoop, ETL, Seaborn, Jupyter, DWH, Oracle BI, PySpark, Plotly, Docker, SQL, Python, Matplotlib, GreenPlum, Oracle SQL, Statsmodels, SAP BO, Apache AirFlow, Kafka. Принимала участие в следующих проектах: - ГК Иннотех (ВТБ): разработка витрин отчётности, перенос логики между системами в рамках импортозамещения, аналитика данных. - АО Альфабанк: разработка витрин и потоков ETL, интеграция с Kafka, потоковая обработка данных на Spark Streaming. - ПАО Мегафон: сбор и подготовка данных для коммерческого блока из КХД в Hadoop, разработка и автоматизация отчётности по основным показателям клиентской и сетевой аналитики в SAP BO, Oracle BI. - СПбГУ: разработка алгоритмов, построение статистических моделей в рамках участия в гранте РФФИ.

Подробнее
EdTech • Finance&Taxes
Григoрий И.
Фото доступно после регистрации
Григoрий И.
Data инженер
Москва
Middle+
2 597,4 Р/час
AWS
Delta Lake
Yarn
ClickHouse
Spark
Hive
Data
Java
Git
Scala
+54
Настроить ETL-процессы
Разработать витрины данных
Спроектировать архитектуру хранения данных
Спроектировать конвейер данных (pipeline) для ML-модели
Спроектировать схему ETL-процессов
Оптимизировать производительность существующих ETL-пайплайнов
Настроить систему мониторинга и алертинга
Спроектировать архитектуру ETL-интеграции
Настроить ETL-процессы для системы аналитики
Настроить ETL-процессы сбора данных
+17

Григорий — Data инженер уровня Middle+ из Москвы. Специализируется на работе с большими данными и имеет опыт в отраслях Finance&Taxes и EdTech. Ключевые навыки: AWS, Delta Lake, Yarn, ClickHouse, Spark, Hive, Data, Java, Git, Scala, Apache Spark, Apache Hadoop, Big Data, PySpark, SQL, Agile, GreenPlum, ELT, DataLens, DBT, Atlassian, MySQL, ETL, Confluence, Docker, Python, Kafka, HDFS, Amazon S3, DWH, Apache AirFlow, PostgreSQL, Data Lake, Kubernetes. Имеет высшее образование по специальности «Информационные системы и технологии цифровизации» Воронежского государственного технического университета. Опыт работы на проектах: - Проект по развитию корпоративного DWH и обработке больших объёмов банковских данных из различных источников в роли Data Engineer (2 года 3 месяца). Задачи включали разработку и поддержку ETL/ELT-пайплайнов в Apache Airflow, обработку банковских данных, работу с Hadoop, HDFS и Delta Lake, оптимизацию Apache Spark Jobs, миграцию данных между СУБД и другие. - Участие в внутренних проектах по инженерии данных в роли Data Engineer (3 месяца). Задачи включали разработку решений для обработки данных и практическое применение инструментов и технологий Data Engineering.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Finance&Taxes
Мария Б.
Фото доступно после регистрации
Мария Б.
Data инженер
Москва
Middle+
2 597,4 Р/час
PostgreSQL
Git
Docker
Jira
Confluence
SQL
Python
Oracle
REST API
Linux
+59
Оптимизировать структуру аналитической витрины для ускорения отчетов
Реализовать витрины данных в DWH
Внедрить систему контроля качества данных (Data Quality)
Разработать систему аналитической отчетности
Оптимизировать структуру таблиц и индексы базы данных
Настроить проверку качества данных в хранилище
Разработать DAG для оркестрации пайплайнов данных
Настроить конвейер обучения и деплоя ML-моделей
Оптимизировать производительность существующих ETL-пайплайнов
Настроить систему мониторинга и алертинга
+24

Data инженер с грейдом Middle+ из Москвы, специализация — работа с данными. Имеет высшее образование по направлению «Экономика» в Национальном исследовательском ядерном университете «МИФИ». Обладает широким спектром навыков, включая работу с PostgreSQL, Git, Docker, Jira, Confluence, SQL, Python, Oracle, REST API, Linux, Grafana, Kubernetes, GitLab, Apache, Hive, Spark, ClickHouse, Pandas, ETL, Apache Hadoop, Apache Spark, Kafka, Tableau, Apache AirFlow, CI/CD, PySpark, DBT, а также опыт в области математической статистики, Big Data, DWH, E-commerce. Имеет опыт работы на проектах в отраслях Finance&Taxes и E-commerce & Retail. Участвовал в проекте по автоматизации отчётности по процессу секьюритизации, где занимался разработкой и поддержкой ETL/ELT-пайплайнов, интеграцией данных, разработкой витрин в ClickHouse, внедрением Data Quality-проверок и автоматизацией формирования отчётности. Также участвовал в проекте по развитию корпоративного DWH и автоматизации аналитической отчётности для логистики и e-commerce, где занимался разработкой и поддержкой ETL/ELT-процессов, оркестровкой расчётов и загрузок через Apache Airflow, разработкой аналитических витрин в ClickHouse и PostgreSQL, оптимизацией структуры таблиц и переносом расчётной логики из Excel/VBA в PostgreSQL + Airflow.

Подробнее
FinTech & Banking • Government & Public Sector • HRTech
АС
Армен С.
Java разработчик
Ереван
Senior
4 155,84 Р/час
PostgreSQL
RabbitMQ
Git
MySQL
Docker
Elasticsearch
REST
Java
Jira
Confluence
+89

Я являюсь инженером-программистом, специализирующимся на Java и Kotlin. С глубоким пониманием принципов разработки программного обеспечения, я стремлюсь создавать надежные и масштабируемые решения, соответствующие потребностям бизнеса. Я уверен в силе четкой коммуникации как с членами команды, так и с заинтересованными сторонами, чтобы обеспечить их согласованность и эффективное достижение целей. Моя цель — непрерывно учиться и адаптироваться к новым технологиям и тенденциям в отрасли, что позволяет мне вносить эффективный вклад в любые проекты. 🚀 DevOps Я считаю, что текущие тенденции в отрасли требуют от разработчиков не только знания классических технологий бэкенда, но и дополнительных инструментов и практик. Поэтому я начал изучать DevOps. Мне очень нравится эта область, и я думаю, что она прекрасно дополняет разработку на Java и Kotlin. Навыки DevOps также чрезвычайно полезны как для команды, так и для общего успеха бизнеса. Я работал с несколькими эффективными архитектурными шаблонами в DevOps, такими как контейнеризация с использованием Docker и оркестрация с помощью Kubernetes. Также я использовал такие инструменты, как Helm для управления развертываниями Kubernetes, GitLab CI/CD для автоматизации конвейеров, а также Prometheus с Grafana для мониторинга и обеспечения наблюдаемости. Эти инструменты помогают создавать масштабируемые, надежные и поддерживаемые системы, что крайне важно для современных процессов разработки. 🤖🦾 AI Технологии Кроме того, современная эпоха требует не только сильных технических навыков, но и правильного подхода к использованию технологий искусственного интеллекта. Я считаю, что мы уже наблюдаем процесс фильтрации в отрасли — где все больше повторяющихся и рутинных задач автоматизируется. Благодаря ИИ многие задачи теперь могут выполняться меньшими, более эффективными командами. Этот сдвиг позволяет нам сосредоточиться на стратегическом мышлении, креативности и создании более умных решений. Важно, чтобы инженеры адаптировались, ос

Подробнее
Blockchain • Cloud Services • E-commerce & Retail • Information Security • Media • Realty & Constructoring
АЛ
Артем Л.
Golang разработчик
Орел
Senior
3 506,49 Р/час
PostgreSQL
RabbitMQ
Git
MySQL
Docker
Elasticsearch
REST
API
JavaScript
Jira
+76
Разработать и внедрить бизнес-логику функций на языке Golang
Провести анализ и оптимизировать бизнес-процесс для сокращения издержек
Разработать систему мониторинга состояния сервисов
Провести анализ требований на полноту и непротиворечивость
Спроектировать архитектуру API
Разработать gRPC-сервисы и определить контракты в proto-файлах
Оптимизировать производительность бэкенд-сервисов
Реализовать интеграцию с внешними API сервисами
Разработать эндпоинты API
Спроектировать интеграцию с внешними сервисами
+15

Backend-разработчик с 6+ годами коммерческого опыта в разработке микросервисов на Go. Специализируюсь на построении отказоустойчивых backend-сервисов с использованием Golang, PostgreSQL, Kafka, RabbitMQ, Redis, Docker и Kubernetes. Имею практический опыт проектирования и поддержки API (REST/gRPC), разработки инфраструктурных утилит, внедрения асинхронных коммуникаций и мониторинга на базе Prometheus, Grafana, Jaeger. Работал в проектах с повышенными требованиями к безопасности и производительности: VPN-сервисы, авторизация, биллинг, аналитика, real-time-обработка. Уверенно чувствую себя в CI/CD-процессах, писал нагрузочные и интеграционные тесты, автоматизировал деплой и сопровождение сервисов. Быстро погружаюсь в сложные домены, умею работать автономно и в составе распределенной команды.

Подробнее