Сергей Ч. Data инженер, Middle

ID 26854
СЧ
Сергей Ч.
Мужчина, 26 лет
Россия, Москва, UTC+3
Ставка
3 082,74 Р/час
вкл. НДС 5% (114.29 Р)
Специалист доступен с 1 января 2026 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache 2
Apache AirFlow
Apache Kafka
Apache Spark
Docker
ETL
Git
Linux
Numpy
Python
PyTorch
SQL
Kafka
Pandas
Spark
Отрасли
FinTech & Banking
Telecom
Главное о специалисте
Data Engineer с опытом проектирования ETL-пайплайнов (Airflow, Kafka, Hadoop) и обработки больших данных. Активно перехожу в ML-инженерию, совмещая инженерную экспертизу с практикой в машинном обучении
Проекты   (1 год 7 месяцев)
Проект банка ТОП-10
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей. Разработал приложение конвертации маппингов в код, чтобы ускорить разработку Разработал приложение для конвертации логической модели данных в маппинги, чтобы ускорить работу аналитиков Разработка приложения для конвертации кода ДАГов на новый формат, чтобы ускорить процесс перехода на новый формат Разработка ETL-пайплайнов (Airflow) для интеграции данных из Kafka в Hive Анализ и улучшение качества данных, при взаимодействии с аналитиками и разработчиками Тестирование и внедрение решений в продакшн в рамках кросс- функциональной команды Оптимизация ETL-процессов
Достижения
Сократил время миграции данных между Hadoop и ArenaData на 40% за счет динамического распределения ресурсов Внедрил валидацию данных в пайплайны, снизив количество некорректных записей на 25% Работа с большими данными: настроил обработку 1M+ событий/день из Kafka в Hive, обеспечив стабильность при пиковых нагрузках Участвовал в масштабировании ETL-фреймворка для поддержки данных объемом до 3.2 ТБ (ранее — 500 МБ) Улучшение инфраструктуры Оптимизировал аллокацию ресурсов, сократив инфраструктурные затраты на 30% Устранил системную ошибку, вызывающую потерю данных за 6 месяцев, через модификацию парсинга Упростил структуру данных, удалив 10+ избыточных колонок, что ускорило выполнение запросов Выявил и устранил 15+ уязвимостей в ETL-процессах в ходе аудита безопасности.
Стек специалиста на проекте
Hive, Hadoop, Kafka, Apache AirFlow, Pipelines, Работа с интеграциями, Data Quality (DQ)
Отрасль проекта
FinTech & Banking
Период работы
Март 2024 - Май 2025  (1 год 3 месяца)
IBS
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей
Стек специалиста на проекте
Hadoop, Kafka, Apache AirFlow
Отрасль проекта
Telecom
Период работы
Ноябрь 2023 - Ноябрь 2024  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Дополнительное
Учебное заведение
МФТИ
Специальность
Deep Learning Семестр 1
Завершение учебы
2027 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Urban technology
МЕ
Максим Е.
Сочи
Frontend разработчик
Middle+
3 376,62 Р/час
Git
HTML
CSS
JavaScript
Jira
Agile
Figma
Scrum
REST API
Jest
+28

Максим — опытный frontend-разработчик уровня Middle+. Имеет опыт работы над проектами в сфере urban technology и e-commerce & retail. Максим участвовал в разработке логистической веб-платформы LogistAR, где занимался созданием удобного интерфейса для главной страницы, код-ревью, написанием тестов, оптимизацией сервиса, адаптивной вёрсткой, разработкой страниц входа и регистрации, профиля администрации и перевозчика, а также добавлением новых заказов. Благодаря его работе увеличилось количество времени, проводимого пользователями на сайте, повысилось качество кода и стандартизация в команде, что снизило количество багов. Также Максим работал над проектом ElectroPoint — интернет-магазином, специализирующимся на продаже цифровой, бытовой техники и электроники. Он разрабатывал страницу двухфакторной аутентификации, компоненты форм с валидацией, слайсы для управления состоянием авторизации, пагинацию страниц с товарами, отдельную страницу с выбранным товаром, компонент поиска товара по сайту с различными фильтрами и другие элементы. Его работа позволила реализовать приятный пользовательский интерфейс и быструю систему двухфакторной аутентификации. В проекте RailSmart Максим разрабатывал ключевые страницы веб-приложения, внедрял навигацию с использованием React Router, писал unit-тесты с Jest, создавал функционал для страницы обратной связи и отчётности для внутреннего пользования. В результате были разработаны настраиваемые отчёты, система авторизации и регистрации пользователей, тесты с использованием библиотеки Jest.

Подробнее