АП
Антон П.
Мужчина, 27 лет
Россия, Москва, UTC+3
Ставка
4 945,23 Р/час
вкл. НДС 5% (183.33 Р)
Специалист доступен с 3 октября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Русский — C2
Английский — B2
Главное о специалисте
Антон — Data инженер уровня Senior из Москвы. Специализируется на проектировании и реализации DWH, разработке правил Data Governance, DataOps, ETL и Data Processing. Имеет опыт работы с Apache AirFlow, Apache Kafka, Apache Spark, API, Atlassian Jira, ClickHouse, Docker, DWH, ETL, Git, GreenPlum, Hadoop, Kafka, Linux, PostgreSQL, Python, RabbitMQ, Redis, SAS, SQL.
Участвовал в проектах в отраслях Social Networking, Media, Telecom, FinTech & Banking. В роли Senior Data Engineer в проекте Social Profiler LLC занимался построением полного конвейера данных, разработкой сервисов для интеграции моделей ML, DS, Computer Vision и ChatGPT. В проекте КИБЕР-РОМ в качестве Data Engineer и Python Dev разрабатывал микросервисы для поставки и обработки данных, проектировал хранилище данных, занимался ETL и ELT процессами, потоковой обработкой данных. В проекте Мобильные ТелеСистемы в роли старшего разработчика создавал пайпланы для ML-моделей, работал с DS и DA, помогал в оптимизации кода. В проекте GlowByte Consulting в должности Data Engineer занимался работой с хранилищем данных, поддержкой движка репликации данных Oracle -> dwh hadoop, написанием макросов SAS, скриптов на bash и scala.
Проекты
(6 лет 2 месяца)
Social Profiler LLC, США, https://socialprofiler.com/
Роль
Senior Data Engineer
Обязанности
Проект: Анализирует активность человека в социальных сетях — Facebook, TikTok, Instagram и X (Twitter) — чтобы сформировать единый, комплексный отчёт о его личных интересах.
Команда: DE, DA, Go Dev, 3 DS-ML, QA, 2 Dev Ops, Tech Lead, PO
Обязанности:
• Построение полного конвейера данных (Data Pipeline):
- Сбор данных из различных источников: API, сторонние хранилища (в т.ч. CDC), видеопотоки, файлы, парсинг.
- Проектирование и реализация DWH по методологии Data Vault: формирование всех слоёв Stage → RAW → ODS → Core → Data Marts.
- Разработка правил Data Governance (качество, доступ, метаданные, lineage)
- DataOps (CI/CD, data quality checks, observability, автоматизация пайплайнов)
• ETL / Data Processing:
- Near Real-Time обработка и Batch ETL.
- Построение витрин данных, BI слой (OLAP).
• ML/DS и сервисы
- Разработка сервисов для интеграции моделей ML, DS, Computer Vision и ChatGPT.
Достижения
• Сервисы, в которых мой вклад в кодовую часть > 80%:
- Система детекции лиц для государственных камер Казахстана.
- Полный Data Pipline для сбора и обработки данных пользователей Instagram, Twitter, Facebook, LinkedIn (в том числе и на лету).
• Генерация summary по собранным данным, с помощью GPT (наработки DSов переделанные в API).
• Кол-во данных: сотни миллионов - миллиарды записей.
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Apache Kafka, Docker, Python, MongoDB, Grafana, Kubernetes, Prometheus, ClickHouse, Интеграции с внешними системами, FastAPI, GreenPlum, ETL, MinIo, Apache AirFlow, Asyncio, Amazon, Redis, OpenSearch, S3, Оркестрация, cdc, инструменты, Kafka Connect
Отрасль проекта
Social Networking
Период работы
Октябрь 2023 - По настоящее время
(2 года 1 месяц)
КИБЕР-РОМ, Москва
Роль
Data Engineer и Python Dev в команде ML и DS
Обязанности
Проект: проект рекомендательных систем (RecSys). В Текущий момент разработанная система выкуплена и работает в крупном видеохостинге / онлайн кинотеатре.
Команда: Tech Lead, PO, PM, 3 Python dev, 2 DS-ML, 2QA, 2 Dev Ops, DE, 6 разметчиков данных
Обязанности:
• Проектирование и разработка микросервисов для поставки и обработки данных.
• Проектирование хранилища данных.
• Формирование stage, raw, data mart и bi слоёв.
• ETL иELT процессы.
• Потоковая обработка данных.
• Подготовка данных для обучения моделей.
• Автоматизация разметки данных и переобучения моделей.
• Написание библиотек и микросервисов на Python (asyncio, FastAPI).
• Написание unit и интеграционных тестов, некоторый опыт в нагрузочном тестировании.
• Вывод в прод.
• Налаживание мониторингов и метрик.
• Написание документации.
Достижения
• Система детекции нежелательного контента (курение, свастика, насилие).
• Конвейер переобучения моделей через Yandex Toloka.
• Время выдачи скорректированной ленты рекомендаций после действия пользователя не больше 15 секунд.
• Настройка мониторингов метрик и алёртов 4х прод сервисов.
• Обеспечение работы моделей машинного обучения (поставка данных, обработка для обучения, отладка регулярных процессов, автоматизация переобучения моделей, оформление моделей в сервисы)
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Apache Kafka, Docker, Python, ClickHouse, FastAPI, MinIo, Apache AirFlow, Asyncio, Amazon, Redis, OpenSearch, S3, cdc, инструменты, Kafka Connect
Отрасль проекта
Media
Период работы
Сентябрь 2022 - Декабрь 2023
(1 год 4 месяца)
Мобильные ТелеСистемы(МТС)
Роль
Старший разработчик
Обязанности
Проект: B2B, отток и генерация
Команда: PM, PO, Tech Lead, Python dev, 2 QA, 2DE, 4DA, 2DS, Dev Ops
Обязанности:
• Создание пайпланов для ML-моделей
• Разработка, поддержка, рефакторинг кода(PySpark/Python)
• Работа с DS и DA, помощь в оптимизации кода.
• Оркестрация ETL процессов в Airflow
• Автоматизация сбора витрин
• Организация data quality проверок над витринами
• Разработка правил Data Governance
• Загрузка/Выгрузка hdfs<-> Teradata/Postgresql
• Поддержка и оптимизация существующих пайплайнов
• Перевод пайплайнов со старых фреймворков на новые
• Ведение задач в Jira
Достижения
Релиз DQ фреймворка (Python, Grafana, Airflow), покрытого документацией, с возможностью настраивать проверки аналитикам через конфиг.
Стек специалиста на проекте
PostgreSQL, Python, Teradata, Jenkins, Grafana, Spark, Hadoop, Аналитика, Apache AirFlow, atlas, Framework, Data Quality (DQ)
Отрасль проекта
Telecom
Период работы
Сентябрь 2021 - Сентябрь 2022
(1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский энергетический институт (Национальный исследовательский университет), Москва ИТЭУ
Специальность
Прикладная информатика
Завершение учебы
2020 г.