Сергей К. Data инженер, Senior

ID 32228
СК
Сергей К.
Мужчина, 32 года
Россия, Москва, UTC+3
Ставка
3 311,69 Р/час
НДС не облагается
Специалист доступен с 13 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
API
cdc
ClickHouse
Data
DBT
Docker
DWH
ETL
Git
governance
GreenPlum
Hadoop
Hbase
Hive
Kafka
MySQL
olapкубы
Openmetadata
Oracle
Pandas
PostgreSQL
Power BI
pxf
Python
Scala
Spark
SQL
Аналитика данных
Отрасли
FinTech & Banking
FoodTech
LifeStyle
Знание языков
Английский — B1
Главное о специалисте
Senior Data Engineer с более чем 7 годами опыта в разработке и поддержке DWH, ETL-процессов и аналитических платформ в финансовом и ритейл-секторах. Специализируется на Python, SQL, Hadoop, Spark, Airflow, DBT, Kafka, ClickHouse, PostgreSQL, Oracle, Greenplum. Имеет опыт миграции систем (SAS → Hive HDFS), создания витрин данных, OLAP-кубов, работы с CDC и интеграции источников (PXF, API, Kafka). Разрабатывал предиктивные модели, автоматизировал процессы, поддерживал аналитические команды и руководил миграцией систем.
Проекты   (7 лет 6 месяцев)
Создание с нуля базы данных для налоговой отчетности
Роль
Data Engineer
Обязанности
- Разработка DWH на базе Hive: создание слоев stage, детального слоя, бизнес-слоев и datamart. - Создание ETL-процессов с использованием Airflow и Spark для обработки данных. - Разработка системы логирования для мониторинга процессов. - Управление качеством данных. - Разработка пайплайнов проверки качества данных. - Создание готовых отчетов для аналитики, включая визуализации. - Плотное взаимодействие с бизнес-подрядчиком для согласования требований. - Использование Airflow как шедулера для автоматизации задач. - Создание datamart в ClickHouse для аналитических запросов.
Достижения
- Построил структурированное DWH, обеспечившее эффективную обработку данных. - Автоматизировал ETL-процессы, сократив время обработки данных. - Создал datamart в ClickHouse, ускорив аналитические запросы.
Стек специалиста на проекте
Docker, SQL, Python, Hive, Data, Spark, ClickHouse, Hbase, Apache AirFlow, governance, Openmetadata
Отрасль проекта
LifeStyle
Период работы
Август 2024 - Октябрь 2025  (1 год 3 месяца)
Миграция системы с SAS на Hive HDFS с использованием Airflow и DBT
Роль
Data Engineer
Обязанности
- Загрузка снепшотов, инкрементов и материализация таблиц для аналитики. - Работа с банковскими доменами (финансовые транзакции, клиентские данные). - Разработка пайплайнов проверки качества данных. - Управление качеством данных. - Поиск и интеграция источников данных: PXF, API, Kafka. - Обработка онлайн-событий с использованием CDC (Change Data Capture). - Оптимизация сложных SQL-запросов для повышения производительности.
Достижения
- Успешно провел миграцию с SAS на Hive, обеспечив непрерывность процессов. - Интегрировал новые источники данных, улучшив полноту аналитики. - Оптимизировал запросы, сократив время обработки данных.
Стек специалиста на проекте
API, SQL, Hive, Data, Kafka, Apache AirFlow, HDFS, DBT, governance, pxf, cdc, Openmetadata
Отрасль проекта
FinTech & Banking
Период работы
Июль 2023 - Август 2024  (1 год 2 месяца)
Создание аналитической платформы для HR-отдела
Роль
Data Engineer
Обязанности
- Создание пайплайнов на SAS для обработки данных. - Работа с базами данных Greenplum и Hive для хранения и обработки данных. - Разработка на Python для автоматизации процессов и аналитики. - Поддержка аналитических команд, включая создание отчетов и визуализаций.
Достижения
- Разработал пайплайны на SAS, ускорив обработку данных для аналитики. - Создал HR-платформу, улучшившую процессы управления персоналом.
Стек специалиста на проекте
Python, Power BI, Hive, GreenPlum, SAS
Отрасль проекта
FoodTech
Период работы
Февраль 2022 - Июль 2023  (1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Coursera, Теория игр 2019 г.
Coursera, Машинное обучение и анализ данных 2018 г.
Образование
Высшее
Учебное заведение
Курский государственный технологический университет
Специальность
Прикладная математика и информатика
Завершение учебы
2015 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+67

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

EdTech • FinTech & Banking • Manufacturing • Media
РР
Рамиль Р.
Санкт-Петербург
Java разработчик
Senior
5 779,22 Р/час
PostgreSQL
Git
MySQL
Docker
REST
SQL
Agile
Oracle
JUnit
REST API
+25

Рамиль — опытный Java-разработчик с 4-летним стажем работы, специализирующийся на разработке высоконагруженных систем и микросервисных архитектур. Его навыки и достижения делают его ценным кандидатом. Рамиль работал над ядром системы интернет-платежей «ЮКасса» в ЮMoney, обслуживающей более 500 тысяч пользователей. Он успешно реализовал партицирование высоконагруженных таблиц PostgreSQL и участвовал в декомпозиции монолита на микросервисы. Также руководил разработкой платформы обучения с нуля, менторил младших сотрудников и контролировал ключевые аспекты разработки. Работал с различными API банковских систем и успешно реализовывал интеграции через REST API и Kafka. Активно применял инструменты тестирования, включая JUnit, Mockito, TestContainer, и разрабатывал тесты на Kotlin. Рамиль зарекомендовал себя как ответственный, инициативный и профессиональный разработчик, способный решать сложные задачи. Его технические знания, лидерские качества и стремление к совершенствованию делают его ценным сотрудником.

Подробнее