МУ
Максим У.
Мужчина, 32 года
Россия, Казань, UTC+3
Ставка
3 636,36 Р/час
НДС не облагается
Специалист доступен с 12 октября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(7 лет 6 месяцев)
Индивидуальное предпринимательство / частная практика / фриланс
Роль
Аналитик - разработчик данных
Обязанности
Осуществил миграцию ETL процессов из стека Yandex в ванильный Apache Airflow. Разработал и реализовал методику расчета затрат на разметку краудплатформ против разметки LLM, реализовал расчет на данных потока. Участвовал в разработке моделей для классификации контента (в том числе
видеоконтент) начиная со сбора GT и заканчивая оптимизацией precision/recall. Реализовал фичи для мониторинга пайплайна разметки контента на новой платформе данных.
Основной стек: Ytsaurus, Nirvana, Apache Airflow, Clickhouse, Datalens.
Проекты по разработке ETL процессов с использованием Python и PySpark. Интеграция BI-решений для визуализации данных. Рефакторинг существующих скриптов и процедур обработки данных. Документирование новых объектов.
- Java/Groovy поддержка и рефакторинг легаси кода либо адаптация функционала для python (ещё до массового использования нейросетей для этих целей);
- Trino работаю с января 2024 года (корпоративный коммерческий проект про создание единого хранилища данных на s3+postgre/greenplum/hadoop+опционально kafka, например - основа на trino+интеграция; на текущий проекте аналогично используется трино для работы с Greenplum, Hive источниками);
- работал и с S3, и с S3 like хранилищами (ещё с конца 2019 года строил пайплайны перегрузки данных из файлового хранилища в табличное хранилище данных)
- на роли разработчика регулярно работал с Docker для теста образов инструментов для работы с данными, так и для теста собственных приложений
Есть опыт работы с Git/ Я воспринимаю Git не как инструмент с кнопками, а как язык. Консоль — это прямой диалог с репозиторием.
На всех проектах работал с озерами данных (Data Lake). Популярная архитектура.
HDFS хранилище откуда берется информация как структурированная, так и не очень, опционально преобразуется, загружается в БД в структурированный формат.
В частных случаях строил такое хранилище на s3-like сервисах ( там собирали результаты парсинга, какие-то отчётности в word, логи, parquet и тд) и далее уже обрабатывали для консолидирования.
Организую централизованное хранение сырых данных из разных источников (логи, БД, файлы) в облачных хранилищах (S3/ADLS/GCS).
Настраиваю автоматизированные процессы загрузки и обработки данных (ETL/ELT).
(организация Data Lake, ETL-процессы, облачные хранилища, оптимизация хранения данных, каталогизация.).
Работаю с Java/Groovy и Hadoop на всех проектах с 2020 года.
Основной стек: Greenplum, Clickhouse, Hadoop, PySpark, Airflow, NiFi, Docker, Superset, Datalense
Стек специалиста на проекте
Docker, Python, Yandex, ClickHouse, Hadoop, GreenPlum, ETL, Apache AirFlow, Superset, PySpark, DataLens, NiFi, llm, recall, ytsaurus
Отрасль проекта
E-commerce & Retail
Период работы
Октябрь 2024 - По настоящее время
(1 год 1 месяц)
Технологии отраслевой трансформации
Роль
Аналитик данных / Разработчик
Обязанности
Изначально работал в команде сборки фичей для витрин данных для корпоративного блока Сбер: разработка фичей для расчета клиентских метрик;
разработка интеграций с внешними источниками для обогащения существующих витрин; разработка инструментов для автоматизации миграции данных: сбор метаинформации об объектах, удаление мусора, создание объектов по подобию, создание тестовых слоев данных, оптимизация объектов.
Написал временное решение взамен Airflow - шедулер, запускающий по расписанию SQL скрипты. Начал разрабатывать методологию валидации клиентских атрибутов для формирования знаний о покупателях продуктов экосистемы и улучшения конверсии.
Далее работал в команде Платформы данных, продукт Мост Данных, где доработал бэкенд приложения для интеграции данных из различных источников (базы данных, API, веб-сайты, облачные хранилища, 1С) в корпоративное хранилище данных (DWH), которое разворачивалось в контуре Сбера. Написал интеграцию с Apache Nifi для создания базовых ETL процессов для миграции данных. Написал интеграцию с 1С миграции данных в Postgres: получение списка объектов в составе схем, получение атрибутного состава, слияние нескольких объектов, чтобы получить вид "как в
интерфейсе программы".
Основной стек: Greenplum, Postgres, Apache Nifi, Apache Airflow, Kubernetes, Superset
Стек специалиста на проекте
PostgreSQL, API, SQL, Kubernetes, GreenPlum, ETL, DWH, 1С, Apache AirFlow, Apache NiFi, Superset
Отрасль проекта
FinTech & Banking
Период работы
Август 2022 - Октябрь 2024
(2 года 3 месяца)
Xometry Europe GmbH
Роль
Дата инженер (Хозяин хранилища данных)
Обязанности
Руководил командой из двух дата-инженеров: разработали аналитические витрины по заказу бизнес-пользователей; построили систему контроля качества данных с оповещением в BI об ошибках; спроектировали несколько специфических операторов для Airflow для работы с Salesforce, Zendesk,
ActivityRecords; переписали модели источников в Looker, чтобы пользователи могли сами накликать дашборд. Периодически выполняли технические работы для улучшения масштабируемости баз данных (после добавления новых юрлиц в состав холдинга), оптимизировали работу хранилищ данных
дочерних предприятий, отказоустойчивости ETL (администрирование работы воркеров) и добавления фичей, которые могли бы ускорить работу аналитиков.
Основной стек: Snowflake, Postgres, Oracle, dbt, Airflow, Looker.
Стек специалиста на проекте
PostgreSQL, Oracle, BI, ETL, Zendesk, Apache AirFlow, Salesforce, Snowflake, Looper, DBT, doker
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2021 - Апрель 2023
(1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
ттестат ФСФР серии 2.0 2018 — Аттестат ФСФР серии 2.0 НАУФОР — Организации торговли на рынке ценных бумаг и клиринговой деятельности 2018 г.
Образование
Высшее
Учебное заведение
Национальный исследовательский университет «Высшая школа экономики», Москва
Специальность
Специализация: Фондовый рынок и инвестиции
Завершение учебы
2018 г.