АШ
Антон Ш.
Мужчина, 4 года
Россия, Москва, UTC+3
Ставка
3 981,88 Р/час
вкл. НДС 5% (147.62 Р)
Специалист доступен с 14 сентября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Навыки
Отрасли
Главное о специалисте
Антон — Data аналитик уровня Senior из Москвы с опытом работы 3 года 5 месяцев. Специализируется на проектировании и поддержке промышленных DWH. Имеет опыт работы в отраслях E-commerce & Retail и Manufacturing.
Участвовал в проекте по миграции DWH, где занимался экстренным переносом данных из Azure SQL в MS SQL Server, последующей миграцией на Greenplum с применением методологии Data Vault 2.0. Разрабатывал даги в Airflow на Python, работал с большими объёмами данных и HDFS-подобными хранилищами. Создал тестовое DWH и методические материалы для обучения стажёров, что сократило срок их адаптации на 2 месяца.
Также участвовал в проекте по проектированию и поддержке промышленных DWH, где занимался миграцией DWH с Legacy-систем на MS SQL, построением пайплайнов через Apache NiFi, использованием ClickHouse для потоковой аналитики и Kafka для стриминга.
Ключевые навыки:
• Проектирование и поддержка промышленных DWH (Greenplum, MS SQL Server, PostgreSQL, ClickHouse).
• Опыт миграции данных: с Azure SQL на MS SQL, с MS SQL на Greenplum (с применением Data Vault 2.0).
• Реинжиниринг моделей совместно с бизнесом, формирование витрин (ODS, Data Marts, Business Vault).
• Разработка тестовых DWH и методических материалов для адаптации сотрудников.
• Построение пайплайнов данных с использованием Airflow, Apache NiFi, DBT.
• Разработка DAG-ов в Airflow на Python, настройка расписаний и обработка ошибок.
• Реализация CDC и потоковых процессов через Kafka.
• Оптимизация ETL-процессов (ускорение загрузки на 30% благодаря PL/pgSQL)
• Работа с распределёнными хранилищами: Hive, S3, HDFS-подобные системы.
• Использование Trino для объединённого доступа к SQL-like БД.
• Опыт обработки больших объёмов данных (таблицы T-1, объёмы в петабайтах).
• Перенос товарных справочников и оптимизация загрузки с раскладкой по Data Vault 2.0.
• Автоматизация наполнения Open Metadata через Python-скрипты
• Разработка единой методики тестирования и проверка 15 аналитических витрин.
Проекты
(3 года 7 месяцев)
Более 400 микросервисов, объединённых в единый контур DWH для построения управленческой и операционной отчетности.
Роль
Аналитик DWH
Обязанности
Миграция DWH:
• Экстренный перенос данных из Azure SQL в MS SQL Server (as-is).
• Последующая миграция с MS SQL на Greenplum с применением методологии Data Vault 2.0.
• Реинжиниринг моделей совместно с бизнес-пользователями: согласование требований, приёмка и тестирование, отработка инцидентов и багов.
Построение ETL-процессов:
• Использовал Airflow для оркестрации и DBT для построения витрин.
• Разрабатывал даги в Airflow как аналитик (на Python).
Работа с большими объемами данных и HDFS-подобными хранилищами:
• Использовал Trino для доступа к разным SQL-like базам и Hive (Hadoop для работы с данными в S3.
Оптимизация процессов:
• Перенос иерархического товарного справочника из MS SQL в Greenplum с раскладкой по Data Vault 2.0.
• Автоматизация наполнения Open Metadata через Python-скрипты и ускорение заполнения справочников в 5–10 раз.
• Создание тестового DWH и методических материалов для стажёров и время адаптации новых сотрудников сократилось на 2 месяца.
Команда и взаимодействие:
• Работал в матричной структуре: одновременно взаимодействовал с проектным менеджером, техлидом разработки, аналитиками, тестировщиком, а также с владельцами продуктовых вертикалей (бухгалтерия, финансы и др.).
• В проекте участвовало: 8 разработчиков, ~4 аналитика, 1 тестировщик, PM и техлид.
• Взаимодействие как с техническими специалистами, так и с бизнес-заказчиками.
Достижения
• Перенес иерархический товарный справочник из MS SQL в Greenplum и разложил его по методологии Data Vault 2.0
• Оптимизировал процесс наполнения Open Metadata с помощью скриптов на Python, что привело к экономии времени на рутинное заполнение вручную
(раньше человек заполнял 10 объектов за день и сейчас 50-100 за то же время)
• Создал тестовое DWH и методические материалы для обучения стажеров - аналитиков DWH. По итогу введения нового процесса, средний срок обучения стажеров сократился на 2 месяца
Стек специалиста на проекте
Git, Docker, SQL, Python, Hive, GreenPlum, Kafka, Microsoft, Apache AirFlow, S3, Identity Server, DBT, Trino
Отрасль проекта
E-commerce & Retail
Период работы
Май 2024 - Август 2025
(1 год 4 месяца)
Проектирование и поддержка промышленных DWH
Роль
Аналитик DWH
Обязанности
• Миграция DWH с Legacy-систем на MS SQL.
• Построение пайплайнов через Apache NiFi (аналог Airflow).
• Использование ClickHouse для потоковой аналитики и Kafka для стриминга.
• Создание витрин T-1 (актуальность за вчерашний день).
• Визуализация в Superset.
• Построение хранилища данных с нуля.
• Проработка методологии и документации (системный анализ, тестирование качества данных).
• Участие в защите проектных решений перед бизнес-представителями.
• Поддержка управленческой отчетности и построение витрин.
Команда и взаимодействие:
• Размер команд зависел от проекта: от 5 человек (Росатом) до 20 человек (Евраз).
• Работал в нескольких проектах параллельно.
• Взаимодействовал с бизнес-заказчиками (технические директора, владельцы данных) и командой разработки.
Достижения
• Сформировал реестр из 150 производственных метрик с расчетной логикой на SQL и ускорил создание новых витрин (с 2 недель до 1–3 дня).
• Разработал единую методику тестирования и проверил 15 широких аналитических витрин, что позволило закрыть проект в срок.
• Оптимизировал загрузку данных: написал функции на PL/pgSQL для переноса из Raw Data Vault в Business Vault и Data Marts, по итогу ускорение ETL на 30%.
• Вёл документацию, формировал реестры качества данных, участвовал в согласованиях.
Стек специалиста на проекте
SQL, Python, ClickHouse, GreenPlum, Kafka, Microsoft, PL/pgSQL, Superset, Identity Server, NiFi
Отрасль проекта
Manufacturing
Период работы
Февраль 2022 - Апрель 2024
(2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
РГУ нефти и газа им. И.М. Губкина Факультет геологии и геофизики нефти и газа
Специальность
Математическое моделирование углеводородных залежей
Завершение учебы
2024 г.
