Антон Г. Data инженер, Senior

ID 20081
АГ
Антон Г.
Мужчина, 33 года
Россия, Магнитогорск, UTC+5
Ставка
4 090,91 Р/час
НДС не облагается
Специалист доступен с 24 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Big Data
CI/CD
ClickHouse
DBT
Docker
Elasticsearch
ETL
flink
Git
GreenPlum
Hadoop
Hive
Kafka
Kubernetes
NLP
PostgreSQL
PySpark
Python
Scala
SOLID
Spark
SQL
Yandex Cloud
Знание паттернов проектирования
Нереляционные БД (NoSQL)
Объектно-ориентированное программирование (ООП)
RabbitMQ
MLflow
FastAPI
Oracle
PyTorch
Отрасли
E-commerce & Retail
FinTech & Banking
Manufacturing
Главное о специалисте
Более 6 лет в области обработки и анализа больших данных. Высшее техническое образование. Глубокие знания в проектировании ETL-процессов, разработке систем на основе Apache Spark и управлении жизненным циклом моделей машинного обучения. Опыт работы в крупных компаниях, таких как МАГНИТ и РОСНЕФТЬ, где участвовал в реализации сложных проектов, направленных на автоматизацию бизнес-процессов и оптимизацию работы с данными.
Проекты   (7 лет)
Проект для Магнит
Роль
Data Engineer
Обязанности
Описание: одна из крупнейших розничных сетей в России, предлагающая широкий ассортимент продуктов и товаров повседневного спроса через свои магазины формата дискаунтеров и супермаркетов. Участие в проекте: ● Обеспечение бесперебойной работы существующих ETL-процессов и автоматизация ноутбуков и скриптов data-аналитиков в стандартизированные производственные процессы; ● Создание и поддержка витрин данных для удобного доступа аналитиков и инженеров к необходимой информации; ● Оптимизация запросов к Greenplum; ● Рефакторинг неэффективных скриптов на PySpark для улучшения скорости обработки данных; ● Разработка общекомандных стандартов и внедрение практик MLOps для автоматизации жизненного цикла моделей; ● Управление командой из 5 человек. Интересное: ● Написание backend-решения для поддержки бизнес-процесса запуска рекламных кампаний с интеграцией в существующие системы. Команда: 1 Team Lead, 5 Data Engineer.
Стек специалиста на проекте
PostgreSQL, Python, Kubernetes, Hive, ClickHouse, Hadoop, FastAPI, GreenPlum, Apache AirFlow, Yandex Cloud, MLflow, PySpark, DBT
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2023 - По настоящее время  (2 года 2 месяца)
Рекомендательная модель для системы документооборота
Роль
Data Engineer / Data Scientist
Обязанности
Описание: модель для рекомендаций исполнителей поручений в системе документооборота "Атач" Магнитогорского металлургического комбината с точностью 98%. Участие в проекте: ● Проектирование и разработка движка для поиска документов в системе "Атач", включая создание архитектуры и реализацию API с семантическими поисковыми функциями; ● Реализация пайплайнов на Airflow для загрузки данных из различных систем документооборота; ● Участие в проекте по извлечению сущностей, разработка пайплайна для классификационных моделей на основе мешка слов и тематического моделирования; ● Реализация пайплайнов подготовки сырых данных из MES-систем для анализа на кластере Hadoop с использованием ETL на Spark/Airflow и Kafka в качестве источника данных. Интересное: ● Участие в экспертных группах по проектам, связанным с использованием машинного обучения; ● Разработка системы рекомендаций для оптимизации добавления присадок в сплавы, направленной на минимизацию затрат и доводок после получения химического состава. Система не была введена в эксплуатацию по организационным причинам. Команда: 2 Data Scientist, 2 Backend dev, 1 Analyst, 1 DE/DS.
Стек специалиста на проекте
PostgreSQL, Docker, Elasticsearch, Python, Oracle, FastAPI, GreenPlum, PyTorch, Kafka, Apache AirFlow, PySpark
Отрасль проекта
Manufacturing
Период работы
Февраль 2021 - Июль 2023  (2 года 6 месяцев)
Системы больших данных
Роль
System Analyst / Data Engineer
Обязанности
Описание: 1) платформа для управления жизненным циклом модели машинного обучения и внедрения в продакшен (ВТБ банк), 2) проектирование, создание и поддержка систем обработки и хранения данных. Участие в проектах: ● Реализация ETL-процессов с использованием Apache Spark для эффективной обработки и трансформации больших объемов данных; ● Ведение процесса трансформации данных в формат, пригодный для построения моделей машинного обучения, включая очистку и агрегацию данных; ● Сбор и анализ бизнес-требований для определения ключевых показателей и требований к данным; ● Разработка технических заданий на основе собранных бизнес-требований для обеспечения четкого понимания задач; ● Проектирование архитектуры системы поддержки жизненного цикла моделей машинного обучения, включая мониторинг и обновление моделей; ● Решение конфликтов взаимодействия со смежными проектами. Команда: ~15 человек - PM, 2 BA, 1 системный архитектор, 1 архитектор решений, 3 DE , 7 Backend dev.
Стек специалиста на проекте
Python, Scala, Hive, Apache AirFlow, MLflow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2019 - Декабрь 2020  (1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Магнитогорский государственный технический университет им. Г.И. Носова, Магнитогорск
Специальность
Физико-математический, Прикладная математика и информатика, Бакалавриат
Завершение учебы
2015 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Government & Public Sector • Insurance • IoT • LifeStyle • Media • Realty & Constructoring
АБ
Анастасия Б.
Витебск
QA ручной
Senior
3 116,88 Р/час
Тест-дизайн
Работа с базами данных
Регрессионное тестирование
UI
Validation
Тестирование web-приложений
IOS
Тестирование требований
Разработка
Программное обеспечение
+62

Анастасия — опытный QA-инженер с навыками ручного тестирования. Она работала над несколькими проектами в различных отраслях, включая страхование, лайфстайл, IoT, государственный сектор, финтех и банковское дело, медиа, недвижимость и строительство. Анастасия обладает широким спектром навыков, включая Confluence, Jira, Postman, REST API, Scrum, SQL запросы, тестирование, YouTrack, планирование, работу с базами данных, разработку, ретроспективу, тест-дизайн, тестовой документации, функциональное тестирование, тестирование веб-приложений, тесткейсов, Chrome DevTools, CRM, Salesforce, TestRail, Validators, Workflow, sandboxes, lightning, BrowserStack, DBeaver, Microservices, PostgreSQL, Qase, SQL, Swagger, WinSCP, кроссбраузерное тестирование, тестирование требований. Она имеет опыт работы с различными инструментами и технологиями, такими как информационные технологии, исследования, программное обеспечение, регрессионное тестирование, Check lists, DevTools, IoT, RabbitMQ, REST, Testing documentation, бэкенд, запросы, CSS, HTML, Backend, Figma, Telegram, UI/UX, Web app, лендинг, оформление баг-репортов, UI, Android, iOS, TestFlight, WebView, HTTP, Битрикс24.

Подробнее