МУ
Максим У.
Мужчина, 32 года
Россия, Казань, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 21 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных.
Технические компетенции
Разработка и миграция ETL-процессов (Airflow, NiFi, dbt, Informatica Power Center).
Построение аналитических витрин для BI-решений (Datalens, Power BI, Looker, Superset).
Интеграция данных из внешних источников (API, веб-сайты, облачные хранилища, 1С).
Оптимизация производительности MPP-баз (Greenplum, Snowflake, Teradata).
Разработка и обучение ML-моделей для классификации контента (CatBoost, LLM).
Настройка мониторинга и контроля качества данных.
Автоматизация миграции данных и очистка данных.
Работа с большими данными (Hadoop, Kafka, Ytsaurus).
Разработка дашбордов и визуализация данных.
Руководство командами и постановка задач разработчикам.
Проекты
(6 лет 6 месяцев)
Дзен Платформа
Роль
Аналитик-разработчик данных
Обязанности
Краткое описание проекта: Миграция ETL-процессов и разработка аналитических решений для интеграции инструментов Дзен Платформы в контур ВК.
Обязанности:
Осуществил миграцию ETL-процессов из Nirvana в Airflow для интеграции инструментов Дзен Платформы.
Разработал и реализовал методику расчета затрат на разметку крауд-платформ против разметки с помощью LLM.
Разработал промпты для определения категории видео, постов и рекламы на основе текста, изображения, аудио и раскадровки.
Доработал узкие места ETL-процессов, влияющих на результаты разметки.
Обучил несколько ML-моделей на CatBoost для классификации контента по категориям.
Собрал дашборды в Datalens для анализа качества, скорости и стоимости разметки.
Достижения
Успешно мигрировал ETL-процессы, обеспечив интеграцию в контур ВК.
Улучшил качество разметки контента на 15% за счет ML-моделей.
Сократил затраты на разметку на 20% благодаря методологии сравнения крауд-платформ и LLM.
Стек специалиста на проекте
Hadoop, Apache AirFlow, CatBoost, DataLens, hitman, llm, ytsaurus
Отрасль проекта
IoT
Период работы
Октябрь 2024 - Июнь 2025
(9 месяцев)
Сбер
Роль
Аналитик-разработчик данных
Обязанности
Краткое описание проекта: Разработка фичей для витрин данных корпоративного блока и доработка бэкенда продукта "Мост Данных" для интеграции данных в DWH.
Обязанности:
Разработка фичей для расчета клиентских метрик в витринах данных.
Разработка интеграций с внешними источниками для обогащения витрин.
Разработка инструментов для автоматизации миграции данных: сбор метаинформации, удаление мусора, создание объектов по подобию, создание тестовых слоев данных, оптимизация объектов.
Написание временного шедулера для запуска SQL-скриптов взамен Airflow.
Разработка методологии валидации клиентских атрибутов для улучшения конверсии.
Доработка бэкенда приложения "Мост Данных" для интеграции данных из API, веб-сайтов, облачных хранилищ и 1С.
Написание интеграции с Apache NiFi для базовых ETL-процессов.
Написание интеграции с 1С для миграции данных в PostgreSQL: получение списка объектов, атрибутов и слияние данных.
Достижения
Ускорил миграцию данных на 30% за счет автоматизации.
Улучшил конверсию на 10% благодаря методологии валидации атрибутов.
Обеспечил интеграцию данных из 1С в PostgreSQL с точностью 100%.
Стек специалиста на проекте
PostgreSQL, Kubernetes, Spark, Hadoop, GreenPlum, Apache Spark, 1С, Apache AirFlow, Apache NiFi, Superset, Spark SQL, dataframe
Отрасль проекта
FinTech & Banking
Период работы
Август 2022 - Октябрь 2024
(2 года 3 месяца)
Компания Xometry Europe GmbH
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка аналитических витрин и систем контроля качества данных для бизнес-пользователей.
Обязанности:
Руководство командой из двух дата-инженеров.
Разработка аналитических витрин по заказу бизнес-пользователей.
Построение системы контроля качества данных с оповещением в BI об ошибках.
Проектирование специфических операторов для Airflow (Salesforce, Zendesk, ActivityRecords).
Переписка моделей источников в Looker для самостоятельного создания дашбордов пользователями.
Выполнение технических работ для масштабируемости баз данных, отказоустойчивости ETL и ускорения работы аналитиков.
Достижения
Сократил время создания дашбордов на 25% за счет переписки моделей в Looker.
Повысил отказоустойчивость ETL-процессов на 20%.
Внедрил систему контроля качества данных, снизив ошибки на 15%.
Стек специалиста на проекте
Zendesk, Apache AirFlow, Salesforce, Snowflake, Looper, DBT
Отрасль проекта
Manufacturing
Период работы
Ноябрь 2022 - Декабрь 2022
(2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет "Высшая школа экономики"
Специальность
Экономические науки, Статистический анализ в экономике (Магистр)
Завершение учебы
2018 г.