Антон Г. Data инженер, Senior

ID 20081
АГ
Антон Г.
Мужчина, 33 года
Россия, Магнитогорск, UTC+5
Ставка
4 090,91 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Big Data
CI/CD
ClickHouse
DBT
Docker
Elasticsearch
ETL
flink
Git
GreenPlum
Hadoop
Hive
Kafka
Kubernetes
NLP
PostgreSQL
PySpark
Python
Scala
SOLID
Spark
SQL
Yandex Cloud
Знание паттернов проектирования
Нереляционные БД (NoSQL)
Объектно-ориентированное программирование (ООП)
RabbitMQ
MLflow
FastAPI
Oracle
PyTorch
Отрасли
E-commerce & Retail
FinTech & Banking
Manufacturing
Главное о специалисте
Более 6 лет в области обработки и анализа больших данных. Высшее техническое образование. Глубокие знания в проектировании ETL-процессов, разработке систем на основе Apache Spark и управлении жизненным циклом моделей машинного обучения. Опыт работы в крупных компаниях, таких как МАГНИТ и РОСНЕФТЬ, где участвовал в реализации сложных проектов, направленных на автоматизацию бизнес-процессов и оптимизацию работы с данными.
Проекты   (6 лет 9 месяцев)
Проект для Магнит
Роль
Data Engineer
Обязанности
Описание: одна из крупнейших розничных сетей в России, предлагающая широкий ассортимент продуктов и товаров повседневного спроса через свои магазины формата дискаунтеров и супермаркетов. Участие в проекте: ● Обеспечение бесперебойной работы существующих ETL-процессов и автоматизация ноутбуков и скриптов data-аналитиков в стандартизированные производственные процессы; ● Создание и поддержка витрин данных для удобного доступа аналитиков и инженеров к необходимой информации; ● Оптимизация запросов к Greenplum; ● Рефакторинг неэффективных скриптов на PySpark для улучшения скорости обработки данных; ● Разработка общекомандных стандартов и внедрение практик MLOps для автоматизации жизненного цикла моделей; ● Управление командой из 5 человек. Интересное: ● Написание backend-решения для поддержки бизнес-процесса запуска рекламных кампаний с интеграцией в существующие системы. Команда: 1 Team Lead, 5 Data Engineer.
Стек специалиста на проекте
PostgreSQL, Python, Kubernetes, Hive, ClickHouse, Hadoop, FastAPI, GreenPlum, Apache AirFlow, Yandex Cloud, MLflow, PySpark, DBT
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2023 - По настоящее время  (1 год 11 месяцев)
Рекомендательная модель для системы документооборота
Роль
Data Engineer / Data Scientist
Обязанности
Описание: модель для рекомендаций исполнителей поручений в системе документооборота "Атач" Магнитогорского металлургического комбината с точностью 98%. Участие в проекте: ● Проектирование и разработка движка для поиска документов в системе "Атач", включая создание архитектуры и реализацию API с семантическими поисковыми функциями; ● Реализация пайплайнов на Airflow для загрузки данных из различных систем документооборота; ● Участие в проекте по извлечению сущностей, разработка пайплайна для классификационных моделей на основе мешка слов и тематического моделирования; ● Реализация пайплайнов подготовки сырых данных из MES-систем для анализа на кластере Hadoop с использованием ETL на Spark/Airflow и Kafka в качестве источника данных. Интересное: ● Участие в экспертных группах по проектам, связанным с использованием машинного обучения; ● Разработка системы рекомендаций для оптимизации добавления присадок в сплавы, направленной на минимизацию затрат и доводок после получения химического состава. Система не была введена в эксплуатацию по организационным причинам. Команда: 2 Data Scientist, 2 Backend dev, 1 Analyst, 1 DE/DS.
Стек специалиста на проекте
PostgreSQL, Docker, Elasticsearch, Python, Oracle, FastAPI, GreenPlum, PyTorch, Kafka, Apache AirFlow, PySpark
Отрасль проекта
Manufacturing
Период работы
Февраль 2021 - Июль 2023  (2 года 6 месяцев)
Системы больших данных
Роль
System Analyst / Data Engineer
Обязанности
Описание: 1) платформа для управления жизненным циклом модели машинного обучения и внедрения в продакшен (ВТБ банк), 2) проектирование, создание и поддержка систем обработки и хранения данных. Участие в проектах: ● Реализация ETL-процессов с использованием Apache Spark для эффективной обработки и трансформации больших объемов данных; ● Ведение процесса трансформации данных в формат, пригодный для построения моделей машинного обучения, включая очистку и агрегацию данных; ● Сбор и анализ бизнес-требований для определения ключевых показателей и требований к данным; ● Разработка технических заданий на основе собранных бизнес-требований для обеспечения четкого понимания задач; ● Проектирование архитектуры системы поддержки жизненного цикла моделей машинного обучения, включая мониторинг и обновление моделей; ● Решение конфликтов взаимодействия со смежными проектами. Команда: ~15 человек - PM, 2 BA, 1 системный архитектор, 1 архитектор решений, 3 DE , 7 Backend dev.
Стек специалиста на проекте
Python, Scala, Hive, Apache AirFlow, MLflow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2019 - Декабрь 2020  (1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Магнитогорский государственный технический университет им. Г.И. Носова, Магнитогорск
Специальность
Физико-математический, Прикладная математика и информатика, Бакалавриат
Завершение учебы
2015 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
E-commerce & Retail • Telecom
СЯ
София Я.
Москва
Data инженер
Senior
3 802,05 Р/час
Apache
Apache AirFlow
Big Data
BigQuery
CI/CD
ClickHouse
Dagster
DBT
Docker
DWH
+30

София — Senior Data инженер из Москвы с опытом работы в отраслях Telecom и E-commerce & Retail. Имеет высшее образование по специальности «бизнес-информатика» с дополнительной специализацией в области биоинформатики. Владеет английским языком на уровне C1. Ключевые навыки: Apache, Apache AirFlow, Big Data, BigQuery, CI/CD, ClickHouse, Dagster, DBT, Docker, DWH, Elasticsearch, Grafana, Groovy, Hadoop, Java, Kafka, Kubernetes, MSSQL, NiFi, Oracle, PostgreSQL, Python, REST API, Scala, Snowflake, Spark, SQL, Vertica, Victoria. Опыт работы на проектах: - Выгрузка данных по мобильным приложениям компании «Билайн». Разработка высокопроизводительных конвейеров данных с использованием Apache NiFi, Spark и Kafka, обрабатывающих до 1 ТБ ежедневно. - Разработка интеграций на проекте «Нефтехим». Создание рабочих процессов ETL на основе метаданных с использованием Apache Airflow и NiFi, интегрирующих REST API и внутренние источники данных. Общая продолжительность работы на проектах — 2 года 3 месяца.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • EdTech • FinTech & Banking • LifeStyle
ВЧ
Виктория Ч.
Москва
Продуктовый дизайнер
Lead
4 155,84 Р/час
UI
Web Design
management
Digital
Adobe XD
Adobe Illustrator
Графический дизайн
Adobe InDesign
Miro
Дизайн
+20

Виктория — опытный продуктовый дизайнер с восьмилетним опытом работы в различных отраслях, таких как FinTech & Banking, LifeStyle, EdTech, BioTech, Pharma, Health care & Sports. Она обладает широким набором навыков, включая работу с Figma, Adobe Illustrator, UX/UI design и другие инструменты. На своих проектах она занималась разработкой пользовательских сценариев, анализом целевой аудитории, созданием дизайн-систем, а также реализацией функциональных решений для продуктов. Виктория успешно руководила командами дизайнеров и предлагала стратегии реализации дизайн-решений. Она взаимодействовала со стейкхолдерами проектов и презентовала свои решения в области проектирования исследований и дизайна. Портфолио: https://www.behance.net/victoriabraf2f

Подробнее
E-commerce & Retail • Manufacturing
МК
Максим К.
Самара
1С разработчик
Middle+
3 211,19 Р/час
ERP
1С:Предприятие
1С:Бухгалтерия 8
1С:ERP
1С:Управление нашей фирмой
1С:Документооборот
1С:Предприятие 8
1С:Комплексная автоматизация
1С:Бухгалтерия
+18

Максим — опытный 1С-разработчик уровня Middle+. Он обладает навыками работы с различными конфигурациями системы «1C», включая «1С:ERP», «1С:Бухгалтерия», «1C:Документооборот» и другие. Максим участвовал в трёх проектах по комплексной автоматизации бизнес-процессов на платформе «1С». В рамках проектов он разрабатывал и оптимизировал автоматизированные рабочие места для сотрудников, консультировал аналитиков по техническим вопросам и занимался обновлением типовых и нетиповых конфигураций. Основные пользователи разработанных Максимом решений — руководители отделов, бухгалтеры, менеджеры по продажам и упаковщики. Проекты были реализованы в отраслях производства и продаж.

Подробнее