Сергей М. Data инженер, Senior
ID 30096
СМ
Сергей М.
Мужчина, 30 лет
Россия, Набережные Челны, UTC+3
Ставка
4 367,22 Р/час
вкл. НДС 5% (161.9 Р)
Специалист доступен с 24 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom.
Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes.
Имеет опыт работы на следующих проектах:
- Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi.
- EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens.
- Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics.
- KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse.
- МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.
Проекты
(7 лет 5 месяцев)
Проект для крупного ритейла
Роль
Дата инженер
Обязанности
Цели:
Миграция данных из различных источников (PostgreSQL, Oracle, API) с соблюдением методологии Data Vault 2.0.
Оптимизация процессов обработки данных и снижение нагрузки на продакшен-сервисы.
Задачи:
Разработка инструмента для миграции данных с использованием Java (создание тестовых API для эмуляции потоков).
Использовал DBT (Data Build Tool) для трансформации данных в DWH (Data Vault 2.0).
Настраивал Trino (PrestoSQL) для распределенных SQL-запросов к данным в HDFS и Hive.
Применял Helm для управления конфигурациями Kubernetes при развертывании Airflow и Spark-кластеров.
Написание Groovy-скриптов для доработки компонентов Apache NiFi.
Интеграция данных в HDFS, использование YARN, Hadoop, NiFi, Airflow, Kafka.
Работа с базами данных: PostgreSQL, MSSQL, Oracle.
Мониторинг задач в Kaiten и нагрузки на ноды в Grafana.
Документирование процессов в Confluence.
Достижения
Оптимизация обработки данных за счет эмуляции API на Java, что снизило нагрузку на продакшен.
Успешная интеграция данных в HDFS, обеспечение бесперебойной передачи.
Улучшение масштабируемости пайплайнов с использованием NiFi, Airflow, Kafka.
Настройка системы мониторинга для контроля нагрузки и стабильности.
Стек специалиста на проекте
PostgreSQL, MySQL, Java, Python, Oracle, Grafana, GitLab, Yarn, Hadoop, Groovy, Helm, Kafka, Apache AirFlow, HDFS, Apache NiFi, Trino
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2024 - Август 2025
(1 год)
EasyCode проект по переносу данных.
Роль
Дата инженер / Аналитик данных
Обязанности
Цели:
Организация DWH-хранилища.
Автоматизация ETL/ELT-процессов.
Задачи:
Разработка ETL/ELT-пайплайнов на Apache Airflow.
Работа с ClickHouse, PostgreSQL, Google Sheets.
Визуализация данных в DataLens.
Работал с Sqoop для переноса данных из RDBMS (PostgreSQL, MySQL) в HDFS.
Использовал Scala для написания Spark-джобов (ETL-обработка в Hadoop-кластере).
Решение ad-hoc задач, рефакторинг процессов.
Достижения
Автоматизация процессов загрузки и обработки данных.
Улучшение визуализации данных для бизнес-анализа.
Стек специалиста на проекте
PostgreSQL, Confluence, Scala, ClickHouse, Apache AirFlow, DataLens, sqoop
Отрасль проекта
AI & Robotics
Период работы
Февраль 2024 - Август 2024
(7 месяцев)
Проект компании Мега маркет
Роль
Дата инженер / Аналитик данных
Обязанности
Цели:
Разработка цифровых решений для e-commerce.
Миграция данных в ClickHouse и Greenplum.
Задачи:
Работа с внешними системами, организация миграций.
Визуализация данных в Visiology.
Работа с FireBase, ClickHouse, MsSQL, Яндекс.Метрика, Google Analytics.
Достижения
Успешная миграция данных в ClickHouse и Greenplum.
Улучшение аналитических отчетов для бизнеса.
Стек специалиста на проекте
MySQL, Google Analytics, Firebase, ClickHouse, GreenPlum, Visiology
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - Февраль 2024
(11 месяцев)
Формат работы
Тип занятости
Фулл-тайм, Парт-тайм (4 ч/день)
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Дата инженер https://karpov.courses Дата инженер 2024 г.
Аналитик данных https://karpov.courses Аналитик данных 2023 г.
HTML и CSS. Профессиональная вёрстка сайтов HTML Academy 2021 г.
Программист JAVA IT PARK 2017 г.
Образование
Высшее
Учебное заведение
Филиал Казанского (Приволжского) федерального университета, Набережные Челны
Специальность
Технологические машины и оборудование, Машины и аппараты пищевых производств
Завершение учебы
2019 г.