СЧ
Сергей Ч.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 116,88 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Data Engineer с опытом проектирования ETL-пайплайнов (Airflow, Kafka, Hadoop) и обработки больших данных. Активно перехожу в ML-инженерию, совмещая инженерную экспертизу с практикой в машинном обучении
Проекты
(1 год 7 месяцев)
Проект банка ТОП-10
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop
Переключение источников одной платформы на другую
Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka
Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных
Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн
Поиск дублей и потерь в базах, выявления некорректных записей. Разработал приложение конвертации маппингов в код, чтобы ускорить разработку
Разработал приложение для конвертации логической модели данных в маппинги, чтобы ускорить работу аналитиков
Разработка приложения для конвертации кода ДАГов на новый формат, чтобы ускорить процесс перехода на новый формат
Разработка ETL-пайплайнов (Airflow) для интеграции данных из Kafka в Hive
Анализ и улучшение качества данных, при взаимодействии с аналитиками и разработчиками
Тестирование и внедрение решений в продакшн в рамках кросс- функциональной команды
Оптимизация ETL-процессов
Достижения
Сократил время миграции данных между Hadoop и ArenaData на 40% за счет динамического распределения ресурсов
Внедрил валидацию данных в пайплайны, снизив количество некорректных записей на 25%
Работа с большими данными: настроил обработку 1M+ событий/день из Kafka в Hive, обеспечив стабильность при пиковых нагрузках
Участвовал в масштабировании ETL-фреймворка для поддержки данных объемом до 3.2 ТБ (ранее — 500 МБ)
Улучшение инфраструктуры
Оптимизировал аллокацию ресурсов, сократив инфраструктурные затраты на 30%
Устранил системную ошибку, вызывающую потерю данных за 6 месяцев, через модификацию парсинга
Упростил структуру данных, удалив 10+ избыточных колонок, что ускорило выполнение запросов
Выявил и устранил 15+ уязвимостей в ETL-процессах в ходе аудита безопасности.
Стек специалиста на проекте
Hive, Hadoop, Kafka, Apache AirFlow, Pipelines, Работа с интеграциями, Data Quality (DQ)
Отрасль проекта
FinTech & Banking
Период работы
Март 2024 - Май 2025
(1 год 3 месяца)
IBS
Роль
Data Engineer
Обязанности
Загрузка данных из Озера на платформе Hadoop в Озеро на платформе ArenaData Hadoop
Переключение источников одной платформы на другую
Создание ETL-процессов (в виде DAG-Airflow) для приёмки сообщений через Kafka
Разбор и распределение сообщений по целевым таблицам для миграции потоков для загрузки и выгрузки данных из внутрибанковских систем источников в озеро данных
Взаимодействие с целевыми потребителями данных для проведения работ по изменению атрибутивного состава баз или организации выпуска кода в продакшн
Поиск дублей и потерь в базах, выявления некорректных записей
Стек специалиста на проекте
Hadoop, Kafka, Apache AirFlow
Отрасль проекта
Telecom
Период работы
Ноябрь 2023 - Ноябрь 2024
(1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Дополнительное
Учебное заведение
МФТИ
Специальность
Deep Learning Семестр 1
Завершение учебы
2027 г.