Максим У. Data инженер, Senior

ID 29764
МУ
Максим У.
Мужчина, 32 года
Россия, Казань, UTC+3
Ставка
3 012,98 Р/час
НДС не облагается
Специалист доступен с 12 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
Apache AirFlow
Apache NiFi
Bash
CatBoost
ClickHouse
DataLens
DBT
Docker
Flask
Grafana
GreenPlum
Hadoop
hitman
Informatica Power Center
Kafka
Kubernetes
langchain
llm
Looper
Microsoft
Oracle
PostgreSQL
Power BI
Python
Scrum
Snowflake
SQL
SQL Server Agent
Superset
Teradata
ytsaurus
Отрасли
FinTech & Banking
LifeStyle
Знание языков
Английский — C1
Главное о специалисте
Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных.
Проекты   (7 лет 4 месяца)
Миграция ETL-процессов и разработка аналитических решений для интеграции инструментов Дзен Платформы в контур ВК
Роль
Аналитик-разработчик данных
Обязанности
- Осуществил миграцию ETL-процессов из Nirvana в Airflow для интеграции инструментов Дзен Платформы. - Разработал и реализовал методику расчета затрат на разметку крауд-платформ против разметки с помощью LLM. - Разработал промпты для определения категории видео, постов и рекламы на основе текста, изображения, аудио и раскадровки. - Доработал узкие места ETL-процессов, влияющих на результаты разметки. - Обучил несколько ML-моделей на CatBoost для классификации контента по категориям. - Собрал дашборды в Datalens для анализа качества, скорости и стоимости разметки.
Достижения
- Успешно мигрировал ETL-процессы, обеспечив интеграцию в контур ВК. - Улучшил качество разметки контента на 15% за счет ML-моделей. - Сократил затраты на разметку на 20% благодаря методологии сравнения крауд-платформ и LLM.
Стек специалиста на проекте
Hadoop, Apache AirFlow, CatBoost, DataLens, hitman, llm, ytsaurus
Отрасль проекта
LifeStyle
Период работы
Октябрь 2024 - Август 2025  (11 месяцев)
Разработка фичей для витрин данных корпоративного блока и доработка бэкенда продукта "Мост Данных" для интеграции данных в DWH
Роль
Аналитик-разработчик данных
Обязанности
- Разработка фичей для расчета клиентских метрик в витринах данных. - Разработка интеграций с внешними источниками для обогащения витрин. - Разработка инструментов для автоматизации миграции данных: сбор метаинформации, удаление мусора, создание объектов по подобию, создание тестовых слоев данных, оптимизация объектов. - Написание временного шедулера для запуска SQL-скриптов взамен Airflow. - Разработка методологии валидации клиентских атрибутов для улучшения конверсии. - Доработка бэкенда приложения "Мост Данных" для интеграции данных из API, веб-сайтов, облачных хранилищ и 1С. - Написание интеграции с Apache NiFi для базовых ETL-процессов. - Написание интеграции с 1С для миграции данных в PostgreSQL: получение списка объектов, атрибутов и слияние данных.
Достижения
- Ускорил миграцию данных на 30% за счет автоматизации. - Улучшил конверсию на 10% благодаря методологии валидации атрибутов. - Обеспечил интеграцию данных из 1С в PostgreSQL с точностью 100%.
Стек специалиста на проекте
PostgreSQL, Kubernetes, Hadoop, GreenPlum, 1С, Apache AirFlow, Apache NiFi, Superset
Отрасль проекта
FinTech & Banking
Период работы
Август 2022 - Октябрь 2024  (2 года 3 месяца)
Разработка аналитических витрин и систем контроля качества данных для бизнес-пользователей
Роль
Data Engineer
Обязанности
- Руководство командой из двух дата-инженеров. - Разработка аналитических витрин по заказу бизнес-пользователей. - Построение системы контроля качества данных с оповещением в BI об ошибках. - Проектирование специфических операторов для Airflow (Salesforce, Zendesk, ActivityRecords). - Переписка моделей источников в Looker для самостоятельного создания дашбордов пользователями. - Выполнение технических работ для масштабируемости баз данных, отказоустойчивости ETL и ускорения работы аналитиков.
Достижения
- Сократил время создания дашбордов на 25% за счет переписки моделей в Looker. - Повысил отказоустойчивость ETL-процессов на 20%. - Внедрил систему контроля качества данных, снизив ошибки на 15%.
Стек специалиста на проекте
Zendesk, Apache AirFlow, Salesforce, Snowflake, Looper, DBT
Отрасль проекта
LifeStyle
Период работы
Ноябрь 2021 - Декабрь 2022  (1 год 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет "Высшая школа экономики"
Специальность
татистический анализ в экономике (Магистр)
Завершение учебы
2018 г.

Похожие специалисты

AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+67

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
IoT • Manufacturing • Telecom
ПЗ
Павел З.
Москва
Data инженер
Senior
3 896,1 Р/час
Agile
aiohttp
Apache AirFlow
Apache Spark
Apache Superset
arenadata
Bash
CI/CD
ClickHouse
DataLens
+47

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • E-commerce & Retail • FinTech & Banking • Logistics & Transport • Manufacturing
ДЯ
Дмитрий Я.
Минск
Разработчик BI
Middle+
3 428,57 Р/час
SAP Business Warehouse
C++
SIT
sap apo
UML
Microsoft IIS
MS Windows
Qlik Sense
VBScript
Linux
+51

• BI разработчик с 7+ летним опытом. • Отличный опыт разработки и проектирования приложений Qlikview, Qlik Sense в сферах розничной торговли, производства, финансов, дистрибуции, медицины. • Комплексные решения BI с использованием DAR (Dashboard, Analysis, Report) в Qlikview и Qlik Sense, Power BI • Большой опыт моделирования данных и отображения данных. • Хороший опыт в экспорте / импорте данных с использованием API. • Большой опыт развертывания и обслуживания серверов QlikView и Qlik Sense. • Умение писать и оптимизировать сложные запросы SQL, отчеты BI. • Знание принципов инкрементальной загрузки; • Большой опыт работы с ODBC и OLEDB • Опыт в написании технической документации и спецификаций, таких как руководства пользователя и администратора. • Активный технический специалист с хорошими навыками межличностного общения. • Личные навыки: трудолюбивый, ответственный, настойчивый, внимательный к деталям.

Подробнее