Алексей Ш. Data инженер, Senior

ID 30314
АШ
Алексей Ш.
Мужчина, 24 года
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 21 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
BPMN
capture
cdc
Clang
Data
Data Vault 2.0
DWH
ER Diagram
Iceberg
Kafka
ODS
S3
Базы данных
Проектирование процессов
Разработка технической документации
anchor
Apache AirFlow
CI/CD
ClickHouse
connect
Data Vault
ETL ELT
Hive
mssql
Pandas
Polars
PySpark
Spark Streaming
streaming
xlsx
Построение дашбордов
Программное обеспечение
Отрасли
E-commerce & Retail
FinTech & Banking
Главное о специалисте
Алексей — Data инженер уровня Middle+ из Москвы. Специализируется на разработке и поддержке систем обработки данных. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки: Apache, BPMN, Data Vault 2.0, DWH, ETL/ELT, Kafka, S3, ClickHouse, PySpark, Spark Streaming, построение дашбордов. Участвовал в следующих проектах: - Создание корпоративного хранилища данных (S3 + Apache Iceberg) в FinTech & Banking. Разработал ingest-конвейер Oracle → Kafka → S3 (raw) → Iceberg (curated), реализовал schema evolution и partition pruning в Iceberg, подготовил техническую документацию. - ETL-процессы, DWH и аналитика продаж в E-commerce & Retail. Переписал сложные ETL-процессы, разработал витрины данных в ClickHouse, настроил CI/CD, развернул Docker-окружение, реализовал обработку Kafka-топиков, оркестрировал загрузку данных из различных источников. - Аналитика и автоматизация финансовых процессов в FinTech & Banking. Увеличил конверсию CTR SMS-предложений по кредитам, оптимизировал баннер в мобильном приложении, автоматизировал формирование финансовых отчётов, разработал Power BI-дашборд и realtime Grafana-дашборды. Ключевые навыки: • Хранилища данных (DWH, ODS): опыт построения с нуля, разработка стейджинг-, core- и витринных таблиц, работа с Data Vault 2.0. • S3, Apache Iceberg – работа с данными и хранилищами. • Kafka – интеграция источников, передача данных, обеспечение идемпотентности и надежности доставки. • CDC (Change Data Capture) – настройка на логах БД. • Построение архитектурных схем, проектирование процессов передачи и хранения данных. • Описание архитектурных решений и протоколов работы в случае сбоев (резервные БД, отказоустойчивость). • Подготовка технической документации, включая требования Центробанка. • Схемы взаимодействия таблиц (BPMN, ER-диаграммы).
Проекты   (3 года 10 месяцев)
Создание корпоративное хранилище данных (S3 + Apache Iceberg)
Роль
Data Engineer
Обязанности
• Разработал ingest-конвейер Oracle → Kafka → S3 (raw) → Iceberg (curated): CDC через Debezium + Kafka Connect (до 60 тыс. msg/сек) • Batch-выгрузки Oracle для «толстых» исторических слоёв • Реализовал schema evolution и partition pruning в Iceberg • Подготовил техническую документацию в Сфера-портале (архитектурные схемы, playbook-и, runbook-и, data-contracts, RTO/RPO) • Описал 3+ ETL-процесса в BPMN для проверок ЦБ РФ и внутреннего контроля
Стек специалиста на проекте
BPMN, Oracle, Kafka, Документация, S3, debezium, Data Contracts, Архитектурные схемы, cdc, Iceberg
Отрасль проекта
FinTech & Banking
Период работы
Март 2025 - Август 2025  (6 месяцев)
ETL-процессы, DWH и аналитика продаж
Роль
Data Engineer
Обязанности
• Переписал 10+ сложных ETL-процессов (Pandas на Polars/PySpark и обратно) • Разработал 5+ витрин данных в Clickhouse по движению и списанию товаров • Настроил CI/CD (автолинтеры, deploy) в 5 GitLab-репозиториях • Развернул Docker-окружение для ETL/ELT, Clickhouse, дашбордов и др. • Сократил шаги в ETL/ELT-процессах, выросла точность прогнозов на 2,1 п.п., экономия на запасах 5 млн ₽ ежемесячно • Экспериментировал с Data Vault и Anchor Modelling • Реализовал обработку Kafka-топиков (Polars Streaming, Spark Streaming) • Оркестрировал на Airflow загрузку данных из источников: S3, MSSQL, Hive, csv/xlsx o Макс. размер таблицы ~2 ТБ (100+ млрд строк) o Методы интеграции: копирование, инкрементальное копирование, CDC (Debezium + Kafka Connect) • Разработал 4 Streamlit-дашборда (списания товаров, прогнозы, перемещения и др.)
Стек специалиста на проекте
Hive, ClickHouse, Pandas, Kafka, Apache AirFlow, CI/CD, S3, PySpark, Polars, Работа с интеграциями, deploy, connect, Программное обеспечение, debezium, modelling, Spark Streaming, Построение дашбордов, ETL ELT, cdc, anchor, Data Vault, mssql
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Март 2025  (2 года 11 месяцев)
Аналитика и автоматизация финансовых процессов
Роль
Data Engineer / Data Analyst
Обязанности
• Увеличил конверсию CTR SMS-предложений по кредитам на 3 п.п. (A/B-тестирование трёх вариантов текста) • Оптимизировал баннер в мобильном приложении (A/B-тестирование 2 вариантов) • Автоматизировал процесс формирования финансовых отчётов, время сократилось на 40%, точность выросла • Разработал Power BI-дашборд по ключевым показателям финансовых процессов • Создал realtime Grafana-дашборды по продажам офисов (Docker + Airflow + Pandas)
Стек специалиста на проекте
Docker, Power BI, Pandas, Apache AirFlow, Программное обеспечение, Построение дашбордов, AB тестирование
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2021 - Май 2022  (7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Северо-Восточный федеральный университет им. М.К. Аммосова
Специальность
«Прикладная информатика в государственном и муниципальном управлении»
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
Karpov.Courses
Специальность
«Инженер данных»
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
E-commerce & Retail • IoT • Telecom
АБ
Андрей Б.
Минск
Data инженер
Senior
4 155,84 Р/час
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
+55

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Подробнее
FinTech & Banking • LifeStyle
ВГ
Василий Г.
Санкт-Петербург
Data инженер
Senior
3 272,72 Р/час
Agile
Altera
Apache AirFlow
cdc
ClickHouse
dags
Data
Data Contracts
Data Lake
debezium
+59

Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • Cloud Services • E-commerce & Retail • FinTech & Banking
МЧ
Мария Ч.
Варшава
Системный аналитик
Senior
4 545,45 Р/час
UI
orchard
HTML/CSS
UML
Postman
core
Data Flow Diagrams (DFD)
Minio S3
CMS
Camunda
+40

Ведущий системный/бизнес-аналитик с более чем 5-летним опытом работы в сфере информационных технологий. Умеет эффективно взаимодействовать с заказчиком и командой разработки, чтобы поставлять оптимальные решения для удовлетворения бизнес-потребностей клиентов. В ее практике имеются проекты, разработанные с использование каскадных (Waterfall) и гибких (Agile) методологий. Имеет опыт в: ● проектировании архитектуры системы (монолит, микросервисы); ● работе с реляционными и не реляционными БД; ● SQL (средние и сложные запросы); ● описании алгоритмов работы различных процессов; ● синхронном и асинхронном взаимодействии систем; ● детальном описании работы интерфейса; ● подготовке спецификаций протоколов и программных интерфейсов, описания интеграции сервисов через API.

Подробнее