Сергей Ч. Data инженер, Middle

ID 26854
СЧ
Сергей Ч.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 082,74 Р/час
вкл. НДС 5% (114.29 Р)
Специалист доступен с 24 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache 2
Apache AirFlow
Apache Kafka
Apache Spark
Docker
ETL
Git
Linux
Numpy
Python
PyTorch
SQL
Kafka
Pandas
Spark
Отрасли
FinTech & Banking
Telecom
Главное о специалисте
Data Engineer с опытом проектирования ETL-пайплайнов (Airflow, Kafka, Hadoop) и обработки больших данных. Активно перехожу в ML-инженерию, совмещая инженерную экспертизу с практикой в машинном обучении
Проекты   (1 год 7 месяцев)
Проект банка ТОП-10
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей. Разработал приложение конвертации маппингов в код, чтобы ускорить разработку Разработал приложение для конвертации логической модели данных в маппинги, чтобы ускорить работу аналитиков Разработка приложения для конвертации кода ДАГов на новый формат, чтобы ускорить процесс перехода на новый формат Разработка ETL-пайплайнов (Airflow) для интеграции данных из Kafka в Hive Анализ и улучшение качества данных, при взаимодействии с аналитиками и разработчиками Тестирование и внедрение решений в продакшн в рамках кросс- функциональной команды Оптимизация ETL-процессов
Достижения
Сократил время миграции данных между Hadoop и ArenaData на 40% за счет динамического распределения ресурсов Внедрил валидацию данных в пайплайны, снизив количество некорректных записей на 25% Работа с большими данными: настроил обработку 1M+ событий/день из Kafka в Hive, обеспечив стабильность при пиковых нагрузках Участвовал в масштабировании ETL-фреймворка для поддержки данных объемом до 3.2 ТБ (ранее — 500 МБ) Улучшение инфраструктуры Оптимизировал аллокацию ресурсов, сократив инфраструктурные затраты на 30% Устранил системную ошибку, вызывающую потерю данных за 6 месяцев, через модификацию парсинга Упростил структуру данных, удалив 10+ избыточных колонок, что ускорило выполнение запросов Выявил и устранил 15+ уязвимостей в ETL-процессах в ходе аудита безопасности.
Стек специалиста на проекте
Hive, Hadoop, Kafka, Apache AirFlow, Pipelines, Работа с интеграциями, Data Quality (DQ)
Отрасль проекта
FinTech & Banking
Период работы
Март 2024 - Май 2025  (1 год 3 месяца)
IBS
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей
Стек специалиста на проекте
Hadoop, Kafka, Apache AirFlow
Отрасль проекта
Telecom
Период работы
Ноябрь 2023 - Ноябрь 2024  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Дополнительное
Учебное заведение
МФТИ
Специальность
Deep Learning Семестр 1
Завершение учебы
2027 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • FinTech & Banking • LifeStyle • Urban technology
РК
Руслан К.
Москва
Системный аналитик
Senior
2 857,14 Р/час
Управление командой
методологии
UI
Разработка мобильных приложений
breakdowns
companion
oraclesql
leasing
credit
insurance
+174

- Владение системами ERP (SAP, 1C), Microsoft Office, Adobe Photoshop, Keynote, C#, iMovie, iThink, JavaScript, HTML, PHP, системы Confluence, Jira Software, Visio - Владение основами реляционных баз данных MySQL - Владение основами Python - Навыки работы с Git - Навыки работы по Agile (Kanban, Scrum), каскадной системе - Владение системами моделирования бизнес-процессов (Power BI, Tableau, Qlik) - Владение навыками моделирования бизнес процессами IDEF0, eEPC, BPMN, Flowchart - Имею опыт деловой переписки на английском и русском языках - Навыки работы посредством 44, 223, 323, 152-ФЗ - Навыки написания Технических заданий - Владение анализа данных - Знание стандартов BABOK, BPM CBOK, ГОСТ - Навыки работы в продуктах Atlassian (Jira Software, Confluence, Trello, Bamboo) - Умение быстро ориентироваться в различных предметных областях - Желание изучать новые предметные области и требования к процессам - Понимание места аналитика в процессе разработки ПО, опыт работы в проектной команде - Опыт написания документации и проектирования моделей данных и бизнес-процессов - Коммуникабельность, ответственность, собранность, ориентация на результат и профессиональный рост, умение эффективно работать в режиме многозадачности, высокая обучаемость и нацеленность на конечный результат

Подробнее