Сергей Ч. Data инженер, Middle

ID 26854
СЧ
Сергей Ч.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 116,88 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache 2
Apache AirFlow
Apache Kafka
Apache Spark
Docker
ETL
Git
Linux
Numpy
Python
PyTorch
SQL
Kafka
Pandas
Spark
Отрасли
FinTech & Banking
Telecom
Главное о специалисте
Data Engineer с опытом проектирования ETL-пайплайнов (Airflow, Kafka, Hadoop) и обработки больших данных. Активно перехожу в ML-инженерию, совмещая инженерную экспертизу с практикой в машинном обучении
Проекты   (1 год 7 месяцев)
Проект банка ТОП-10
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей. Разработал приложение конвертации маппингов в код, чтобы ускорить разработку Разработал приложение для конвертации логической модели данных в маппинги, чтобы ускорить работу аналитиков Разработка приложения для конвертации кода ДАГов на новый формат, чтобы ускорить процесс перехода на новый формат Разработка ETL-пайплайнов (Airflow) для интеграции данных из Kafka в Hive Анализ и улучшение качества данных, при взаимодействии с аналитиками и разработчиками Тестирование и внедрение решений в продакшн в рамках кросс- функциональной команды Оптимизация ETL-процессов
Достижения
Сократил время миграции данных между Hadoop и ArenaData на 40% за счет динамического распределения ресурсов Внедрил валидацию данных в пайплайны, снизив количество некорректных записей на 25% Работа с большими данными: настроил обработку 1M+ событий/день из Kafka в Hive, обеспечив стабильность при пиковых нагрузках Участвовал в масштабировании ETL-фреймворка для поддержки данных объемом до 3.2 ТБ (ранее — 500 МБ) Улучшение инфраструктуры Оптимизировал аллокацию ресурсов, сократив инфраструктурные затраты на 30% Устранил системную ошибку, вызывающую потерю данных за 6 месяцев, через модификацию парсинга Упростил структуру данных, удалив 10+ избыточных колонок, что ускорило выполнение запросов Выявил и устранил 15+ уязвимостей в ETL-процессах в ходе аудита безопасности.
Стек специалиста на проекте
Hive, Hadoop, Kafka, Apache AirFlow, Pipelines, Работа с интеграциями, Data Quality (DQ)
Отрасль проекта
FinTech & Banking
Период работы
Март 2024 - Май 2025  (1 год 3 месяца)
IBS
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop Переключение источников одной платформы на другую Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн Поиск дублей и потерь в базах, выявления некорректных записей
Стек специалиста на проекте
Hadoop, Kafka, Apache AirFlow
Отрасль проекта
Telecom
Период работы
Ноябрь 2023 - Ноябрь 2024  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Дополнительное
Учебное заведение
МФТИ
Специальность
Deep Learning Семестр 1
Завершение учебы
2027 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • EdTech • Telecom
НС
Никита С.
Минск
QA мобильный
Middle
2 750 Р/час
Redmine
Grafana
Zephyr
office
gatling
Postman
Java
Git
Rest Assured
Oracle
+29

Опытный инженер QA и AQA с фокусом на тестирование мобильных и веб-приложений. Практические знания в области тестирования программного обеспечения (функциональное тестирование, дымовое тестирование, регрессионное тестирование, интеграционное тестирование), разработки тестовой документации (тест-кейсы, тестовые наборы, чек-листы, отчеты об ошибках), автоматизации E2E и API тестов и создания архитектуры для автоматизации тестов. Написание документации по тестированию, общение с командой, анализ и написание отчетов для заказчика. Опыт работы на всех циклах процесса тестирования от планирования тестирования до отслеживания дефектов и управления ими. Опыт тестирования включает: ● Функциональное тестирование ● Нефункциональное тестирование ● API-тестирование ● Стресс-тестирование ● Юзабилити-тестирование ● Регрессионное тестирование ● Автоматизационное тестирование

Подробнее
Cloud Services • FinTech & Banking
ЭШ
Эльнур Ш.
Баку
Java разработчик
Senior
3 596,53 Р/час
swarm
Gitlab CI
Spock framework
GitLab
Postman
Spring Data
Spring Cloud
AOP
Java SE
JSON
+41

Эльнур — опытный Java-разработчик уровня Senior. Обладает навыками работы с широким спектром технологий и инструментов, включая AOP, CSS, Docker, Framework, Git, Hibernate ORM, HTML, Java SE, Java Spring, JSON, Kotlin, MySQL, Oracle, PL/Plus, PL/SQL, PostgreSQL, RabbitMQ, REST, Spock framework, Spring Cloud, Spring Data, SQL, XML, ООП. Имеет опыт работы в проектах по разработке облачных сервисов и финтех-решений. На последнем месте работы участвовал в интеграции с Мультикартой, создании онлайн-кредита, автоматизации отправки гарантий в ЦБ, разработке функционала open-banking для мобильного приложения ЦБ. Также занимался разработкой, проектированием и тестированием комплексных программ «ИБСО» (ЦФТ Банк), поддержкой и администрированием автоматизированной банковской системы «ИБСО», отладкой и исправлением проблем «ИБСО». Эльнур обладает знанием английского языка на уровне B1 и русского языка на уровне C2. Имеет высшее образование в области прикладной математики и кибернетики, компьютерных наук.

Подробнее