Сергей М. Data инженер, Senior

ID 30096
СМ
Сергей М.
Мужчина, 30 лет
Россия, Набережные Челны, UTC+3
Ставка
4 367,22 Р/час
вкл. НДС 5% (161.9 Р)
Специалист доступен с 24 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
Corel Draw
Data Lens
Docker
DWH
Elasticsearch
ELK
ETL
Firebase
Git
Google Analytics
Grafana
GreenPlum
Groovy
Hadoop
HDFS
hifi
HTML
Java
JavaScript
Jira
Jupyter
Kafka
Kaiten
Kanban
Kibana
Kubernetes
Linux
Logstash
Microsoft
MySQL
Netcat
Oracle BI
Pandas
PostgreSQL
Power BI
power pivot
Power Query
Prometheus
Python
Qlik Sense
REST API
Scrum
Spark
Superset
Visiology
Yarn
Яндекс.Метрика
build
Data
DBT
Helm
Scala
sqoop
tools
Trino
Отрасли
AI & Robotics
E-commerce & Retail
Logistics & Transport
Telecom
Главное о специалисте
Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.
Проекты   (7 лет 5 месяцев)
Проект для крупного ритейла
Роль
Дата инженер
Обязанности
Цели: Миграция данных из различных источников (PostgreSQL, Oracle, API) с соблюдением методологии Data Vault 2.0. Оптимизация процессов обработки данных и снижение нагрузки на продакшен-сервисы. Задачи: Разработка инструмента для миграции данных с использованием Java (создание тестовых API для эмуляции потоков). Использовал DBT (Data Build Tool) для трансформации данных в DWH (Data Vault 2.0). Настраивал Trino (PrestoSQL) для распределенных SQL-запросов к данным в HDFS и Hive. Применял Helm для управления конфигурациями Kubernetes при развертывании Airflow и Spark-кластеров. Написание Groovy-скриптов для доработки компонентов Apache NiFi. Интеграция данных в HDFS, использование YARN, Hadoop, NiFi, Airflow, Kafka. Работа с базами данных: PostgreSQL, MSSQL, Oracle. Мониторинг задач в Kaiten и нагрузки на ноды в Grafana. Документирование процессов в Confluence.
Достижения
Оптимизация обработки данных за счет эмуляции API на Java, что снизило нагрузку на продакшен. Успешная интеграция данных в HDFS, обеспечение бесперебойной передачи. Улучшение масштабируемости пайплайнов с использованием NiFi, Airflow, Kafka. Настройка системы мониторинга для контроля нагрузки и стабильности.
Стек специалиста на проекте
PostgreSQL, MySQL, Java, Python, Oracle, Grafana, GitLab, Yarn, Hadoop, Groovy, Helm, Kafka, Apache AirFlow, HDFS, Apache NiFi, Trino
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2024 - Август 2025  (1 год)
EasyCode проект по переносу данных.
Роль
Дата инженер / Аналитик данных
Обязанности
Цели: Организация DWH-хранилища. Автоматизация ETL/ELT-процессов. Задачи: Разработка ETL/ELT-пайплайнов на Apache Airflow. Работа с ClickHouse, PostgreSQL, Google Sheets. Визуализация данных в DataLens. Работал с Sqoop для переноса данных из RDBMS (PostgreSQL, MySQL) в HDFS. Использовал Scala для написания Spark-джобов (ETL-обработка в Hadoop-кластере). Решение ad-hoc задач, рефакторинг процессов.
Достижения
Автоматизация процессов загрузки и обработки данных. Улучшение визуализации данных для бизнес-анализа.
Стек специалиста на проекте
PostgreSQL, Confluence, Scala, ClickHouse, Apache AirFlow, DataLens, sqoop
Отрасль проекта
AI & Robotics
Период работы
Февраль 2024 - Август 2024  (7 месяцев)
Проект компании Мега маркет
Роль
Дата инженер / Аналитик данных
Обязанности
Цели: Разработка цифровых решений для e-commerce. Миграция данных в ClickHouse и Greenplum. Задачи: Работа с внешними системами, организация миграций. Визуализация данных в Visiology. Работа с FireBase, ClickHouse, MsSQL, Яндекс.Метрика, Google Analytics.
Достижения
Успешная миграция данных в ClickHouse и Greenplum. Улучшение аналитических отчетов для бизнеса.
Стек специалиста на проекте
MySQL, Google Analytics, Firebase, ClickHouse, GreenPlum, Visiology
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - Февраль 2024  (11 месяцев)
Формат работы
Тип занятости
Фулл-тайм, Парт-тайм (4 ч/день)
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Дата инженер https://karpov.courses Дата инженер 2024 г.
Аналитик данных https://karpov.courses Аналитик данных 2023 г.
HTML и CSS. Профессиональная вёрстка сайтов HTML Academy 2021 г.
Программист JAVA IT PARK 2017 г.
Образование
Высшее
Учебное заведение
Филиал Казанского (Приволжского) федерального университета, Набережные Челны
Специальность
Технологические машины и оборудование, Машины и аппараты пищевых производств
Завершение учебы
2019 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • Media
АС
Артем С.
Минск
Android разработчик
Middle+
3 147,27 Р/час
lifecycle
Room
Clean Architecture
Endeca
viewbilding
WebSockets
code
databinding
SOLID
DI
+57

Ориентированный на результат Android-разработчик с более чем 5-летним опытом в создании высоконагруженных, безопасных и масштабируемых мобильных решений для финтеха, банков, e-commerce и healthtech. - Эксперт в области проектирования и реализации мобильных приложений, соответствующих международным стандартам безопасности (PCI DSS, ISO 27001), с глубоким пониманием архитектурных паттернов (MVVM, Clean Architecture, SOLID) и современных инструментов Android-разработки (Jetpack Compose, Coroutines, Dagger/Hilt). - Обладает опытом интеграции с внутренними банковскими API, платёжными системами (Visa, Mastercard, Google Pay, Apple Pay), Open Banking API и внешними сервисами, что обеспечивает богатый функционал и высокую надёжность приложений. - Уверенно использует инструменты DevOps и автоматизации (Fastlane, Docker, CI/CD, Jenkins, GitLab CI), что позволяет ускорять релизы, поддерживать высокое качество кода и минимизировать количество ошибок в продакшене. - Специалист по оптимизации производительности мобильных приложений: умеет сокращать время загрузки данных, повышать отзывчивость интерфейса и снижать потребление ресурсов. - Имеет опыт наставничества, проведения code review, обучения новых сотрудников и формирования сильных командных практик. - Уделяет большое внимание безопасности, производительности и качеству кода, внимателен к деталям, придерживается лучших практик тестирования (юнит-тесты, интеграционные тесты, статический анализ).

Подробнее
FinTech & Banking • Insurance • Telecom
ДМ
Даниил М.
Москва
Java разработчик
Middle+
3 636,36 Р/час
Оптимизация ПО
Работа с базами данных
методологии
Grafana
Agile/Scrum
Работа с интеграциями
языки программирования
Gitlab CI
Контроль версий
Разработка
+70

Алексей — опытный Java-разработчик, специализирующийся на создании и поддержке веб-приложений. Обладает навыками работы с различными технологиями и инструментами, такими как Apache, API, Atlassian, Big Data, ETL, Framework, Git, GreenPlum, Hadoop, Hibernate ORM, Hive, Java, Jenkins, Jira, JSON API, Kafka, Kotlin, Linux, Maven, Microservices, PostgreSQL, REST, Scala, Spark, Spring, Spring Boot, Spring Data, Spring MVC, Spring Security, SQL и другие. Алексей имеет опыт работы в проектах для компаний из сфер телекоммуникаций, FinTech & Banking и Insurance. Он участвовал в разработке сайтов для автоконфигурирования инструментов, проектировании модульной архитектуры приложения, оптимизации существующих ETL процессов, внедрении системы мониторинга и логирования. Также он занимался разработкой и поддержкой продуктовых витрин, проектированием и реализацией высокоэффективных и масштабируемых приложений на Java, интеграцией Java-приложений с Apache Hadoop, Apache Spark и Apache Kafka для анализа, хранения и обработки больших объёмов данных. В проектах Алексей выполнял задачи по разработке и поддержке микросервисов, работе с базами данных, участию в Agile-процессах, обеспечению качества кода и улучшению DevOps процессов.

Подробнее
Information Security • Travel, Hospitality & Restaurant business
НП
Надежда П.
Керчь
Операционный директор
2 857,14 Р/час
Управление командой
Бухгалтерский учет
AI
gpt
Оптимизация затрат
Работа с интеграциями
анализ
Программное обеспечение
ДО
Обучение
+39

Надежда — специалист уровня Senior с десятилетним опытом работы в качестве консультанта, операционного и генерального директора в проектах, связанных с ресторанным бизнесом, общепитом и кейтерингом, а также в сфере информационных технологий. На позиции консультанта в проекте для ООО «Диа» Надежда занималась внедрением управленческого и товарного учёта в системе Айко, ежемесячного бюджетирования и подведения итогов, маркетингового календаря, координации сотрудников на основе таск-треккера Asana и других процессов. В роли операционного директора в ИП Ефремова Е. А. организовывала работу команды и подрядчиков, запуски учебных курсов, финансовое планирование и подведение итогов запусков. Как генеральный директор в ООО «Эклектика», Надежда управляла четырьмя ресторанами, фитнес-клубом и магазином, внедряла стандарты для бизнес-процессов компании, организовала фестиваль и обеспечивала соблюдение норм ОТ и ПБ.

Подробнее