АГ
Антон Г.
Мужчина, 33 года
Россия, Магнитогорск, UTC+5
Ставка
4 090,91 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Более 6 лет в области обработки и анализа больших данных. Высшее техническое образование. Глубокие знания в проектировании ETL-процессов, разработке систем на основе Apache Spark и управлении жизненным циклом моделей машинного обучения. Опыт работы в крупных компаниях, таких как МАГНИТ и РОСНЕФТЬ, где участвовал в реализации сложных проектов, направленных на автоматизацию бизнес-процессов и оптимизацию работы с данными.
Проекты
(6 лет 9 месяцев)
Проект для Магнит
Роль
Data Engineer
Обязанности
Описание: одна из крупнейших розничных сетей в России, предлагающая широкий ассортимент продуктов и товаров повседневного спроса через свои магазины формата дискаунтеров и супермаркетов.
Участие в проекте:
● Обеспечение бесперебойной работы существующих ETL-процессов и автоматизация ноутбуков и скриптов data-аналитиков в стандартизированные производственные процессы;
● Создание и поддержка витрин данных для удобного доступа аналитиков и инженеров к необходимой информации;
● Оптимизация запросов к Greenplum;
● Рефакторинг неэффективных скриптов на PySpark для улучшения скорости обработки данных;
● Разработка общекомандных стандартов и внедрение практик MLOps для автоматизации жизненного цикла моделей;
● Управление командой из 5 человек.
Интересное:
● Написание backend-решения для поддержки бизнес-процесса запуска рекламных кампаний с интеграцией в существующие системы.
Команда: 1 Team Lead, 5 Data Engineer.
Стек специалиста на проекте
PostgreSQL, Python, Kubernetes, Hive, ClickHouse, Hadoop, FastAPI, GreenPlum, Apache AirFlow, Yandex Cloud, MLflow, PySpark, DBT
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2023 - По настоящее время
(1 год 11 месяцев)
Рекомендательная модель для системы документооборота
Роль
Data Engineer / Data Scientist
Обязанности
Описание: модель для рекомендаций исполнителей поручений в системе документооборота "Атач" Магнитогорского металлургического комбината с точностью 98%.
Участие в проекте:
● Проектирование и разработка движка для поиска документов в системе "Атач", включая создание архитектуры и реализацию API с семантическими поисковыми функциями;
● Реализация пайплайнов на Airflow для загрузки данных из различных систем документооборота;
● Участие в проекте по извлечению сущностей, разработка пайплайна для классификационных моделей на основе мешка слов и тематического моделирования;
● Реализация пайплайнов подготовки сырых данных из MES-систем для анализа на кластере Hadoop с использованием ETL на Spark/Airflow и Kafka в качестве источника данных.
Интересное:
● Участие в экспертных группах по проектам, связанным с использованием машинного обучения;
● Разработка системы рекомендаций для оптимизации добавления присадок в сплавы, направленной на минимизацию затрат и доводок после получения химического состава. Система не была введена в эксплуатацию по организационным причинам.
Команда: 2 Data Scientist, 2 Backend dev, 1 Analyst, 1 DE/DS.
Стек специалиста на проекте
PostgreSQL, Docker, Elasticsearch, Python, Oracle, FastAPI, GreenPlum, PyTorch, Kafka, Apache AirFlow, PySpark
Отрасль проекта
Manufacturing
Период работы
Февраль 2021 - Июль 2023
(2 года 6 месяцев)
Системы больших данных
Роль
System Analyst / Data Engineer
Обязанности
Описание: 1) платформа для управления жизненным циклом модели машинного обучения и внедрения в продакшен (ВТБ банк), 2) проектирование, создание и поддержка систем обработки и хранения данных.
Участие в проектах:
● Реализация ETL-процессов с использованием Apache Spark для эффективной обработки и трансформации больших объемов данных;
● Ведение процесса трансформации данных в формат, пригодный для построения моделей машинного обучения, включая очистку и агрегацию данных;
● Сбор и анализ бизнес-требований для определения ключевых показателей и требований к данным;
● Разработка технических заданий на основе собранных бизнес-требований для обеспечения четкого понимания задач;
● Проектирование архитектуры системы поддержки жизненного цикла моделей машинного обучения, включая мониторинг и обновление моделей;
● Решение конфликтов взаимодействия со смежными проектами.
Команда: ~15 человек - PM, 2 BA, 1 системный архитектор, 1 архитектор решений, 3 DE , 7 Backend dev.
Стек специалиста на проекте
Python, Scala, Hive, Apache AirFlow, MLflow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2019 - Декабрь 2020
(1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Магнитогорский государственный технический университет им. Г.И. Носова, Магнитогорск
Специальность
Физико-математический, Прикладная математика и информатика, Бакалавриат
Завершение учебы
2015 г.