Максим У. Data инженер, Senior

ID 30138
МУ
Максим У.
Мужчина, 32 года
Россия, Казань, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 21 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
Apache AirFlow
Apache NiFi
API
Bash
BI инструменты
Big Data
CatBoost
ClickHouse
DataLens
DBT
Docker
doker
ETL
Flask
Grafana
GreenPlum
Hadoop
hitman
Informatica Power Center
Kafka
Kubernetes
langchain
llm
Looper
Microsoft
NiFi
Oracle
PostgreSQL
Power BI
Python
Scrum
Snowflake
SQL
SQL Server Agent
Superset
Teradata
ytsaurus
автоматизация
Базы данных
Визуализация данных
данных
инструменты
Контент
Контроль качества
методологии
миграции
Мониторинг
настройка
Обучение
оптимизация
Постановка задач на разработку
Построение дашбордов
Работа с интеграциями
Разработка
языки программирования
Отрасли
FinTech & Banking
IoT
Manufacturing
Знание языков
Английский — C1
Главное о специалисте
Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных. Технические компетенции Разработка и миграция ETL-процессов (Airflow, NiFi, dbt, Informatica Power Center). Построение аналитических витрин для BI-решений (Datalens, Power BI, Looker, Superset). Интеграция данных из внешних источников (API, веб-сайты, облачные хранилища, 1С). Оптимизация производительности MPP-баз (Greenplum, Snowflake, Teradata). Разработка и обучение ML-моделей для классификации контента (CatBoost, LLM). Настройка мониторинга и контроля качества данных. Автоматизация миграции данных и очистка данных. Работа с большими данными (Hadoop, Kafka, Ytsaurus). Разработка дашбордов и визуализация данных. Руководство командами и постановка задач разработчикам.
Проекты   (6 лет 6 месяцев)
Дзен Платформа
Роль
Аналитик-разработчик данных
Обязанности
Краткое описание проекта: Миграция ETL-процессов и разработка аналитических решений для интеграции инструментов Дзен Платформы в контур ВК. Обязанности: Осуществил миграцию ETL-процессов из Nirvana в Airflow для интеграции инструментов Дзен Платформы. Разработал и реализовал методику расчета затрат на разметку крауд-платформ против разметки с помощью LLM. Разработал промпты для определения категории видео, постов и рекламы на основе текста, изображения, аудио и раскадровки. Доработал узкие места ETL-процессов, влияющих на результаты разметки. Обучил несколько ML-моделей на CatBoost для классификации контента по категориям. Собрал дашборды в Datalens для анализа качества, скорости и стоимости разметки.
Достижения
Успешно мигрировал ETL-процессы, обеспечив интеграцию в контур ВК. Улучшил качество разметки контента на 15% за счет ML-моделей. Сократил затраты на разметку на 20% благодаря методологии сравнения крауд-платформ и LLM.
Стек специалиста на проекте
Hadoop, Apache AirFlow, CatBoost, DataLens, hitman, llm, ytsaurus
Отрасль проекта
IoT
Период работы
Октябрь 2024 - Июнь 2025  (9 месяцев)
Сбер
Роль
Аналитик-разработчик данных
Обязанности
Краткое описание проекта: Разработка фичей для витрин данных корпоративного блока и доработка бэкенда продукта "Мост Данных" для интеграции данных в DWH. Обязанности: Разработка фичей для расчета клиентских метрик в витринах данных. Разработка интеграций с внешними источниками для обогащения витрин. Разработка инструментов для автоматизации миграции данных: сбор метаинформации, удаление мусора, создание объектов по подобию, создание тестовых слоев данных, оптимизация объектов. Написание временного шедулера для запуска SQL-скриптов взамен Airflow. Разработка методологии валидации клиентских атрибутов для улучшения конверсии. Доработка бэкенда приложения "Мост Данных" для интеграции данных из API, веб-сайтов, облачных хранилищ и 1С. Написание интеграции с Apache NiFi для базовых ETL-процессов. Написание интеграции с 1С для миграции данных в PostgreSQL: получение списка объектов, атрибутов и слияние данных.
Достижения
Ускорил миграцию данных на 30% за счет автоматизации. Улучшил конверсию на 10% благодаря методологии валидации атрибутов. Обеспечил интеграцию данных из 1С в PostgreSQL с точностью 100%.
Стек специалиста на проекте
PostgreSQL, Kubernetes, Spark, Hadoop, GreenPlum, Apache Spark, 1С, Apache AirFlow, Apache NiFi, Superset, Spark SQL, dataframe
Отрасль проекта
FinTech & Banking
Период работы
Август 2022 - Октябрь 2024  (2 года 3 месяца)
Компания Xometry Europe GmbH
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка аналитических витрин и систем контроля качества данных для бизнес-пользователей. Обязанности: Руководство командой из двух дата-инженеров. Разработка аналитических витрин по заказу бизнес-пользователей. Построение системы контроля качества данных с оповещением в BI об ошибках. Проектирование специфических операторов для Airflow (Salesforce, Zendesk, ActivityRecords). Переписка моделей источников в Looker для самостоятельного создания дашбордов пользователями. Выполнение технических работ для масштабируемости баз данных, отказоустойчивости ETL и ускорения работы аналитиков.
Достижения
Сократил время создания дашбордов на 25% за счет переписки моделей в Looker. Повысил отказоустойчивость ETL-процессов на 20%. Внедрил систему контроля качества данных, снизив ошибки на 15%.
Стек специалиста на проекте
Zendesk, Apache AirFlow, Salesforce, Snowflake, Looper, DBT
Отрасль проекта
Manufacturing
Период работы
Ноябрь 2022 - Декабрь 2022  (2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет "Высшая школа экономики"
Специальность
Экономические науки, Статистический анализ в экономике (Магистр)
Завершение учебы
2018 г.

Похожие специалисты

IoT • Manufacturing • Telecom
ПЗ
Павел З.
Москва
Data инженер
Senior
3 896,1 Р/час
Agile
aiohttp
Apache AirFlow
Apache Spark
Apache Superset
arenadata
Bash
CI/CD
ClickHouse
DataLens
+48

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • IoT • Manufacturing
МУ
Максим У.
Казань
Data инженер
Senior
3 896,1 Р/час
BI инструменты
DBT
методологии
NiFi
langchain
Grafana
Работа с интеграциями
языки программирования
doker
+57

Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных. Технические компетенции Разработка и миграция ETL-процессов (Airflow, NiFi, dbt, Informatica Power Center). Построение аналитических витрин для BI-решений (Datalens, Power BI, Looker, Superset). Интеграция данных из внешних источников (API, веб-сайты, облачные хранилища, 1С). Оптимизация производительности MPP-баз (Greenplum, Snowflake, Teradata). Разработка и обучение ML-моделей для классификации контента (CatBoost, LLM). Настройка мониторинга и контроля качества данных. Автоматизация миграции данных и очистка данных. Работа с большими данными (Hadoop, Kafka, Ytsaurus). Разработка дашбордов и визуализация данных. Руководство командами и постановка задач разработчикам.

Подробнее
BioTech, Pharma, Health care & Sports • RnD
НШ
Николай Ш.
Воронеж
Java разработчик
Junior+
2 597,4 Р/час
Spring framework 5
vps
Gitlab CI
GitLab
Разработка
ДО
Postman
Spring Data
Spring Cloud
+50

Николай — опытный Java-разработчик. Он обладает навыками работы с GitLab CI, Nginx, Confluence, Apache Kafka, Spring Boot, GitLab, Jira, Elasticsearch, JavaScript, Keycloak, Kibana, Liquibase, RabbitMQ, REST, Traefik и другими инструментами. Николай участвовал в разработке веб-приложения для эффективного взаимодействия с сервисом МДЛП (Мониторинг движения лекарственных препаратов), который является частью системы «Честный знак». Также он работал над приложением для планирования различных мероприятий с учётом занятости сотрудников в электронных календарях. Кроме того, Николай занимался разработкой ПО для автоматизации составления медицинских заключений рентгенологов. На проектах Николай выполнял разработку REST API на Java с использованием Spring Framework, настройку CI/CD для автоматической сборки и развёртывания приложений через Docker, интеграцию SSO Keycloak для аутентификации и работы пользователя в системе, настройку HTTPS и перенаправление запросов с помощью Traefik.

Подробнее
E-commerce & Retail • FinTech & Banking
РГ
Ришат Г.
Краснодар
Системный аналитик 1С
Middle+
3 506,49 Р/час
SQL
BPMN
1С:Предприятие
1С:ERP
MS Excel
1С:Документооборот
1С:Предприятие 8
1С:Бухгалтерия
ERP-системы на базе 1C
+12

_позиция/грейд: 1С Аналитик, Middle+ _опыт работы: более 4-х лет _часовый пояс/город: Россия, Краснодар профессиональные навыки : ➔ Опыт работы аналитиком 1С более 4-х лет ➔ Знание нотаций BPMN и UML ➔ Анализ, формализация требований и постановка задач на разработку в 1С ➔ Умение работать с консолью запросов ➔ Чтение кода Сертификаты: Преподаватель ЦСО. Курс "1С:Предприятие 8". Использование конфигурации "Зарплата и кадры бюджетного учреждения" Консоль-1С, 1С:Преподаватель ЦСО, 2015 ➔ Знание особенностей и применение программы "1С: Зарплата и кадры бюджетного учреждения 8" Консоль-1С, 1С:Профессионал, 2014 ➔ Знание особенностей и применение программы "1С: Бухгалтерия 8" Консоль-1С, 1С:Профессионал, 2014 ➔ Знание возможностей и особенностей применения типовой конфигурации "Управление торговлей" системы программ "1С: Предприятие 8" Консоль-1С, 1С:Профессионал, 2014 ➔ Знание основных механизмов платформы "1С: Предприятие 8.3" Консоль-1С, 1С:Профессионал, 2014 ➔ Знание особенностей и применение программы "1С: Зарплата и управление персоналом 8" Консоль-1С, 1С:Профессионал, 2014 ➔ Знание особенностей и применение программы "1С: Бухгалтерия государственного учреждения 8" Консоль-1С, 1С:Профессионал, 2014

Подробнее
Cloud Services • FinTech & Banking • Information Security • Telecom
ТП
Тимофей П.
Омск
Бизнес/системный аналитик
Senior
3 246,75 Р/час
C4
Grafana
UML
Kanban
anydesk
office
Kaspersky
Postman
studio
Yandex.Wiki
+53

Тимофей — бизнес- и системный аналитик из Омска. Специализируется на анализе бизнес-процессов и разработке технических решений в сферах FinTech & Banking, Cloud Services, Information Security и Telecom. Владеет английским языком на уровне B1. Имеет опыт работы на следующих проектах: 1. «Эйлер Аналитические Технологии» (с марта 2025 года) — роль: бизнес- и системный аналитик. Задачи включали сбор и формализацию требований, документирование и моделирование, прототипирование UI/UX, проектирование интеграций, моделирование бизнес-процессов, управление бэклогом и командным процессом. 2. «Календарь Х1» (сентябрь 2024 — март 2025) — роль: бизнес- и системный аналитик. Основные задачи: создание задач в Jira, прототипирование Wireframe, оценка удобства пользовательского интерфейса, создание диаграмм вариантов использования, проведение демонстраций продукта заказчику. 3. «Информационная безопасность компании» (декабрь 2021 — август 2024) — роль: тимлид поддержки сервисов ИБ, бизнес-аналитик команды сервисов ИБ. Задачи: сбор и анализ требований, написание Use Case, участие в разработке BPMN, оптимизация и автоматизация процессов. 4. «Разработка сайтов для малого и среднего бизнеса» (октябрь 2020 — ноябрь 2021) — роль: аналитик. Основные задачи: сбор и анализ требований заказчика, моделирование бизнес-процессов по BPMN, отрисовка Use Case и Sequence диаграмм, взаимодействие с разработчиками и дизайнерами.

Подробнее