АШ
Алексей Ш.
Мужчина, 24 года
Россия, Москва, UTC+3
Ставка
2 623,37 Р/час
НДС не облагается
Специалист доступен с 3 сентября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Аналитик DWH
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Middle+ Data Engineer и аналитик с почти 4 годами опыта в разработке и оптимизации процессов обработки данных в финансовом секторе и ритейле. Специализируется на проектировании и реализации ETL/ELT-процессов, создании корпоративных хранилищ данных (S3, Apache Iceberg, ClickHouse), интеграции через Kafka и Debezium, а также разработке BI-дашбордов (Streamlit, Power BI, Grafana). Имеет опыт работы с большими объемами данных (таблицы до 2 ТБ), оптимизации процессов с использованием Polars, PySpark и Airflow, а также внедрения CI/CD и контейнеризации (Docker). Реализовал проекты по автоматизации отчетности, прогнозированию продаж и интеграции данных, что привело к значительным улучшениям бизнес-показателей, включая сокращение затрат и повышение точности прогнозов.
Проекты
(3 года 10 месяцев)
Разработка корпоративного хранилища данных для группы ВТБ
Роль
Аналитик
Обязанности
Разработка хранилища данных:
o Участие в создании хранилища данных на базе S3 и Apache Iceberg.
o Настройка ingest-конвейера: Oracle → Kafka → S3 (raw) → Iceberg (curated).
o Реализация CDC через Debezium и Kafka Connect (до 60 тыс. msg/сек).
o Batch-выгрузки для исторических слоев данных из Oracle.
Моделирование данных:
o Проектирование моделей данных с использованием Data Vault 2.0.
o Описание 3+ ETL-процессов в BPMN/UML для проверок ЦБ РФ и внутреннего контроля.
Документация:
o Подготовка технической документации (архитектурные схемы, playbook, runbook, data-contracts, RTO/RPO) в Сфера-портал (аналог Confluence).
o Автоматизация schema evolution и partition pruning в Iceberg.
Достижения
o Настроил стабильный ingest-конвейер, обеспечив обработку до 60 тыс. сообщений в секунду.
o Разработал документацию, обеспечившую успешное прохождение проверок ЦБ РФ.
o Ускорил доступ к данным за счет partition pruning в Iceberg.
Стек специалиста на проекте
Confluence, BPMN, UML, Oracle, Apache, Kafka, S3, debezium, Iceberg, Data Vault 2.0
Отрасль проекта
FinTech & Banking
Период работы
Март 2025 - Август 2025
(6 месяцев)
Оптимизация процессов обработки данных для прогнозирования продаж и управления товарными запасами
Роль
Инженер данных
Обязанности
Оптимизация ETL/ELT-процессов:
o Переписал 10+ сложных ETL-процессов с Pandas на Polars/PySpark для повышения производительности.
o Разработал 5+ витрин данных в ClickHouse для учета списания товаров.
o Сократил шаги в ETL/ELT-процессах, улучшив точность прогнозирования продаж.
Интеграции и оркестрация:
o Обработка данных из Kafka с использованием Polars Streaming и Spark Streaming.
o Оркестрация загрузки данных из S3, MSSQL, Hive и файлов (csv, xlsx) с помощью Airflow.
o Методы интеграции: копирование, инкрементальное копирование, CDC (Debezium + Kafka Connect).
DevOps и инфраструктура:
o Настройка CI/CD в 5 GitLab-репозиториях (автолинтеры, deploy).
o Развертывание Docker-контейнеров для ETL/ELT, ClickHouse и дашбордов.
Визуализация данных:
o Разработка 4 дашбордов на Streamlit с кастомными фильтрами (списания товаров, прогнозы, товарные передвижения).
o Работа с таблицами до 2 ТБ (100+ млрд строк).
Достижения
o Увеличил точность прогнозирования продаж на 2,1%, сократив затраты на товарные запасы на 5 млн ₽ ежемесячно.
o Оптимизировал ETL-процессы, сократив время обработки данных на 30%.
o Внедрил CI/CD, ускорив развертывание изменений на 20%.
Стек специалиста на проекте
Docker, Confluence, BPMN, UML, GitLab, Hive, ClickHouse, Pandas, GreenPlum, Apache AirFlow, S3, PySpark, Polars, Streamlit, Kafka 3
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Май 2025
(3 года 1 месяц)
Анализ данных и автоматизация отчетности в банковской сфере. Работа с банковской АБС
Роль
налитик данных
Обязанности
Анализ и A/B-тестирование:
o Проведение A/B-тестирования для SMS-кампаний (3 варианта текста) и баннеров в мобильном приложении (2 варианта).
o Анализ эффективности предложений по кредитам, расчет CTR.
Автоматизация отчетности:
o Автоматизация финансовых отчетов, сокращение времени подготовки на 40%.
o Разработка Power BI-дашборда для ключевых финансовых метрик.
o Создание real-time Grafana-дашбордов для визуализации продаж по офисам.
Инфраструктура:
o Использование Docker для контейнеризации и Airflow для оркестрации.
o Обработка данных с помощью Pandas.
Достижения
o Увеличил CTR SMS-кампаний на 3 п.п. за счет A/B-тестирования.
o Сократил время подготовки отчетов на 40%, повысив точность данных.
o Разработал real-time дашборды, обеспечив прозрачность продаж по офисам.
Стек специалиста на проекте
Docker, Power BI, Grafana, Pandas, Apache AirFlow
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2021 - Май 2022
(7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Школа 21 от Сбера, прикладная информатика 2025 г.
Karpov.courses, Инженер данных 2021 г.
Образование
Высшее
Учебное заведение
Северо-Восточный федеральный университет им. М.К. Аммосова
Специальность
Прикладная информатика в государственном и муниципальном управлении (бакалавр)
Завершение учебы
2025 г.