АШ
Алексей Ш.
Мужчина, 24 года
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 21 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Алексей — Data инженер уровня Middle+ из Москвы. Специализируется на разработке и поддержке систем обработки данных. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail.
Ключевые навыки: Apache, BPMN, Data Vault 2.0, DWH, ETL/ELT, Kafka, S3, ClickHouse, PySpark, Spark Streaming, построение дашбордов.
Участвовал в следующих проектах:
- Создание корпоративного хранилища данных (S3 + Apache Iceberg) в FinTech & Banking. Разработал ingest-конвейер Oracle → Kafka → S3 (raw) → Iceberg (curated), реализовал schema evolution и partition pruning в Iceberg, подготовил техническую документацию.
- ETL-процессы, DWH и аналитика продаж в E-commerce & Retail. Переписал сложные ETL-процессы, разработал витрины данных в ClickHouse, настроил CI/CD, развернул Docker-окружение, реализовал обработку Kafka-топиков, оркестрировал загрузку данных из различных источников.
- Аналитика и автоматизация финансовых процессов в FinTech & Banking. Увеличил конверсию CTR SMS-предложений по кредитам, оптимизировал баннер в мобильном приложении, автоматизировал формирование финансовых отчётов, разработал Power BI-дашборд и realtime Grafana-дашборды.
Ключевые навыки:
• Хранилища данных (DWH, ODS): опыт построения с нуля, разработка стейджинг-, core- и витринных таблиц, работа с Data Vault 2.0.
• S3, Apache Iceberg – работа с данными и хранилищами.
• Kafka – интеграция источников, передача данных, обеспечение идемпотентности и надежности доставки.
• CDC (Change Data Capture) – настройка на логах БД.
• Построение архитектурных схем, проектирование процессов передачи и хранения данных.
• Описание архитектурных решений и протоколов работы в случае сбоев (резервные БД, отказоустойчивость).
• Подготовка технической документации, включая требования Центробанка.
• Схемы взаимодействия таблиц (BPMN, ER-диаграммы).
Проекты
(3 года 10 месяцев)
Создание корпоративное хранилище данных (S3 + Apache Iceberg)
Роль
Data Engineer
Обязанности
• Разработал ingest-конвейер Oracle → Kafka → S3 (raw) → Iceberg (curated): CDC через Debezium + Kafka Connect (до 60 тыс. msg/сек)
• Batch-выгрузки Oracle для «толстых» исторических слоёв
• Реализовал schema evolution и partition pruning в Iceberg
• Подготовил техническую документацию в Сфера-портале (архитектурные схемы, playbook-и, runbook-и, data-contracts, RTO/RPO)
• Описал 3+ ETL-процесса в BPMN для проверок ЦБ РФ и внутреннего контроля
Стек специалиста на проекте
BPMN, Oracle, Kafka, Документация, S3, debezium, Data Contracts, Архитектурные схемы, cdc, Iceberg
Отрасль проекта
FinTech & Banking
Период работы
Март 2025 - Август 2025
(6 месяцев)
ETL-процессы, DWH и аналитика продаж
Роль
Data Engineer
Обязанности
• Переписал 10+ сложных ETL-процессов (Pandas на Polars/PySpark и обратно)
• Разработал 5+ витрин данных в Clickhouse по движению и списанию товаров
• Настроил CI/CD (автолинтеры, deploy) в 5 GitLab-репозиториях
• Развернул Docker-окружение для ETL/ELT, Clickhouse, дашбордов и др.
• Сократил шаги в ETL/ELT-процессах, выросла точность прогнозов на 2,1 п.п., экономия на запасах 5 млн ₽ ежемесячно
• Экспериментировал с Data Vault и Anchor Modelling
• Реализовал обработку Kafka-топиков (Polars Streaming, Spark Streaming)
• Оркестрировал на Airflow загрузку данных из источников: S3, MSSQL, Hive, csv/xlsx
o Макс. размер таблицы ~2 ТБ (100+ млрд строк)
o Методы интеграции: копирование, инкрементальное копирование, CDC (Debezium + Kafka Connect)
• Разработал 4 Streamlit-дашборда (списания товаров, прогнозы, перемещения и др.)
Стек специалиста на проекте
Hive, ClickHouse, Pandas, Kafka, Apache AirFlow, CI/CD, S3, PySpark, Polars, Работа с интеграциями, deploy, connect, Программное обеспечение, debezium, modelling, Spark Streaming, Построение дашбордов, ETL ELT, cdc, anchor, Data Vault, mssql
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Март 2025
(2 года 11 месяцев)
Аналитика и автоматизация финансовых процессов
Роль
Data Engineer / Data Analyst
Обязанности
• Увеличил конверсию CTR SMS-предложений по кредитам на 3 п.п. (A/B-тестирование трёх вариантов текста)
• Оптимизировал баннер в мобильном приложении (A/B-тестирование 2 вариантов)
• Автоматизировал процесс формирования финансовых отчётов, время сократилось на 40%, точность выросла
• Разработал Power BI-дашборд по ключевым показателям финансовых процессов
• Создал realtime Grafana-дашборды по продажам офисов (Docker + Airflow + Pandas)
Стек специалиста на проекте
Docker, Power BI, Pandas, Apache AirFlow, Программное обеспечение, Построение дашбордов, AB тестирование
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2021 - Май 2022
(7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Северо-Восточный федеральный университет им. М.К. Аммосова
Специальность
«Прикладная информатика в государственном и муниципальном управлении»
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
Karpov.Courses
Специальность
«Инженер данных»
Завершение учебы
2021 г.