СК
Сергей К.
Мужчина, 32 года
Россия, Москва, UTC+3
Ставка
3 311,69 Р/час
НДС не облагается
Специалист доступен с 13 октября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Senior Data Engineer с более чем 7 годами опыта в разработке и поддержке DWH, ETL-процессов и аналитических платформ в финансовом и ритейл-секторах. Специализируется на Python, SQL, Hadoop, Spark, Airflow, DBT, Kafka, ClickHouse, PostgreSQL, Oracle, Greenplum. Имеет опыт миграции систем (SAS → Hive HDFS), создания витрин данных, OLAP-кубов, работы с CDC и интеграции источников (PXF, API, Kafka). Разрабатывал предиктивные модели, автоматизировал процессы, поддерживал аналитические команды и руководил миграцией систем.
Проекты
(7 лет 6 месяцев)
Создание с нуля базы данных для налоговой отчетности
Роль
Data Engineer
Обязанности
- Разработка DWH на базе Hive: создание слоев stage, детального слоя, бизнес-слоев и datamart.
- Создание ETL-процессов с использованием Airflow и Spark для обработки данных.
- Разработка системы логирования для мониторинга процессов.
- Управление качеством данных.
- Разработка пайплайнов проверки качества данных.
- Создание готовых отчетов для аналитики, включая визуализации.
- Плотное взаимодействие с бизнес-подрядчиком для согласования требований.
- Использование Airflow как шедулера для автоматизации задач.
- Создание datamart в ClickHouse для аналитических запросов.
Достижения
- Построил структурированное DWH, обеспечившее эффективную обработку данных.
- Автоматизировал ETL-процессы, сократив время обработки данных.
- Создал datamart в ClickHouse, ускорив аналитические запросы.
Стек специалиста на проекте
Docker, SQL, Python, Hive, Data, Spark, ClickHouse, Hbase, Apache AirFlow, governance, Openmetadata
Отрасль проекта
LifeStyle
Период работы
Август 2024 - Октябрь 2025
(1 год 3 месяца)
Миграция системы с SAS на Hive HDFS с использованием Airflow и DBT
Роль
Data Engineer
Обязанности
- Загрузка снепшотов, инкрементов и материализация таблиц для аналитики.
- Работа с банковскими доменами (финансовые транзакции, клиентские данные).
- Разработка пайплайнов проверки качества данных.
- Управление качеством данных.
- Поиск и интеграция источников данных: PXF, API, Kafka.
- Обработка онлайн-событий с использованием CDC (Change Data Capture).
- Оптимизация сложных SQL-запросов для повышения производительности.
Достижения
- Успешно провел миграцию с SAS на Hive, обеспечив непрерывность процессов.
- Интегрировал новые источники данных, улучшив полноту аналитики.
- Оптимизировал запросы, сократив время обработки данных.
Стек специалиста на проекте
API, SQL, Hive, Data, Kafka, Apache AirFlow, HDFS, DBT, governance, pxf, cdc, Openmetadata
Отрасль проекта
FinTech & Banking
Период работы
Июль 2023 - Август 2024
(1 год 2 месяца)
Создание аналитической платформы для HR-отдела
Роль
Data Engineer
Обязанности
- Создание пайплайнов на SAS для обработки данных.
- Работа с базами данных Greenplum и Hive для хранения и обработки данных.
- Разработка на Python для автоматизации процессов и аналитики.
- Поддержка аналитических команд, включая создание отчетов и визуализаций.
Достижения
- Разработал пайплайны на SAS, ускорив обработку данных для аналитики.
- Создал HR-платформу, улучшившую процессы управления персоналом.
Стек специалиста на проекте
Python, Power BI, Hive, GreenPlum, SAS
Отрасль проекта
FoodTech
Период работы
Февраль 2022 - Июль 2023
(1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Coursera, Теория игр 2019 г.
Coursera, Машинное обучение и анализ данных 2018 г.
Образование
Высшее
Учебное заведение
Курский государственный технологический университет
Специальность
Прикладная математика и информатика
Завершение учебы
2015 г.