Даниил П. Data инженер, Senior

ID 42443
ДП
Даниил П.
Senior
Мужчина, 33 года
Индонезия, Денпасар, UTC+8
3 311,69 Р/час
НДС не облагается
Специалист доступен с 1 января 2027 г.

О специалисте

Специализация
Data инженер
Грейд
Senior
Навыки
Jira
аутентификация
Работа с интеграциями
Разработка
Agile
Root cause analysis
Scrum
CI/CD
GitLab
Git
DWH
edw
highload
Data Lakehouse
S3
HDFS
flink
Kafka
Spark
Data
Join
Partitioning
analyst
dag
Executors
Rider
PySpark
SQL
explain
Clang
Apache AirFlow
SLA
ClickHouse
DBT
GreenPlum
Cosmos DB
Базы данных
Kubernetes
Numpy
Pandas
Pytest
Python
Ответственность
Системное мышление
anges
Apache
Apache NiFi
Apache Spark (PySpark)
flume
Hive
metastore
sqoop
Trino
Yarn
Zookeeper
архитектура
оптимизация
batch
streaming
Avro
Iceberg
orc
Parquet
Errors
HTTPX
Integrations
pagination
rate limiting
Requests
retry
SAP
Identity Server
Microsoft
MySQL
Oracle
PostgreSQL
Snowflake
CTE
election
Plane
оконные функции
Оптимизация запросов
custom
Hooks
operators
Scheduler
Мониторинг
Отладка
управление
debezium
event-driven
redpanda
AWS
batching
commet
ebs
GitHub Actions
push
Terraform
Grafana
Prometheus
VictoriaMetrics
Zabbix
Tableau
Yandex DataLens
Confluence
ETL
потоки
memory
Munin
pages
Informatica
powercenter
SAS Data Integration Studio
orchestration
REST API
HTTP5
CDC (Change Data Capture)
Apache Spark
Docker
BI
Apache Hadoop
Отрасли
E-commerce & Retail
Marketing, Advertising & Design
Знание языков
Английский — C1
Русский — C2
Главное о специалисте
Даниил — Data инженер уровня Senior с опытом работы 11 лет 2 месяца. Специализируется на разработке и оптимизации data-платформ, обработке и анализе больших объёмов данных. Владеет английским языком на уровне C1. Имеет опыт работы с технологиями: Apache Kafka, PySpark, Apache AirFlow, ClickHouse, GreenPlum, PostgreSQL, Oracle, MySQL, MS SQL Server, SAS Data Integration Studio (SAS DIS), Informatica PowerCenter, Apache NiFi, Sqoop, Apache Flume, Hadoop ecosystem, Kafka, Flink, Cosmos DB, Prometheus, Grafana, VictoriaMetrics, Zabbix, GitHub Actions, pytest, DBT, Confluence, Debezium. Участвовал в проектах в отраслях E-commerce & Retail и Marketing, Advertising & Design. В рамках проекта по созданию платформы обработки рыночных данных для алгоритмической торговли Даниил построил data-платформу с нуля, реализовал потоковую обработку данных через Kafka (Redpanda), разработал и оптимизировал PySpark-пайплайны, работал с внутренней архитектурой Apache Spark, построил Data Lake на базе S3/HDFS, разработал витрины данных и трансформационную логику в различных системах, реализовывал orchestration загрузок, разрабатывал кастомные операторы и hooks для Apache Airflow, настраивал интеграционные потоки между системами. Также участвовал в проекте по созданию платформы маркетинговой аналитики и обработки пользовательских данных, где анализировал большие объёмы данных, разрабатывал аналитические модели и метрики, использовал Pandas/NumPy для обработки данных, автоматизировал отчётность и обработку данных, работал с BI-инструментами.

Проекты

(11 лет 4 месяца)

Платформа обработки рыночных данных для алгоритмической торговли: ingestion, потоковая обработка, Data Lake (S3/HDFS) и построение витрин для аналитики.

Роль
Data Engineer
Обязанности
Задачи: • Построил data-платформу с нуля: ingestion, обработка, трансформация, построение витрин и доставка данных потребителям • Реализовал потоковую обработку данных через Kafka (Redpanda) с нагрузкой ~100k сообщений/сек • Разрабатывал и оптимизировал PySpark-пайплайны с объёмом обработки более 300+ ГБ данных в сутки • Работал с внутренней архитектурой Apache Spark: driver/executor, DAG, stages, Catalyst Optimizer, memory tuning • Использовал форматы хранения Parquet, ORC, Iceberg и Avro для batch- и streaming-обработки данных • Построил Data Lake на базе S3/HDFS • Использовал Trino для выполнения распределённых SQL-запросов по Data Lake • Разрабатывал и оптимизировал сложные SQL-запросы: оконные функции, CTE, JOIN, EXPLAIN, анализ планов выполнения, индексов и статистики • Разрабатывал витрины данных и трансформационную логику в ClickHouse, Greenplum, PostgreSQL, Oracle, MySQL и MS SQL Server • Разрабатывал и сопровождал ETL/ELT-процессы с использованием Airflow, SAS Data Integration Studio (SAS DIS) и Informatica PowerCenter • Реализовывал orchestration загрузок: workflow, mapping/job, SLA, retry/backfill-механизмы и зависимости между DAG • Разрабатывал кастомные операторы и hooks для Apache Airflow • Использовал Apache NiFi для ingestion-потоков, маршрутизации и оркестрации загрузки данных • Использовал Sqoop для переноса данных из реляционных БД в Hadoop/HDFS • Работал с Apache Flume для сбора, агрегации и доставки логов и событий в Hadoop ecosystem • Настраивал интеграционные потоки между Kafka, HDFS, S3 и DWH-системами • Разрабатывал интеграции с корпоративными системами, включая SAP, а также REST API-интеграции с поддержкой pagination, retry/backoff, rate limiting и обработкой ошибок • Использовал Python (requests/httpx), Pandas и NumPy для интеграционных пайплайнов, обработки и валидации данных • Работал с компонентами Hadoop ecosystem: YARN, Hive Metastore, Zookeeper, Apache Ranger; участвовал в управлении метаданными, настройке доступов и сопровождении data pipelines • Разрабатывал и поддерживал streaming-пайплайны на Kafka и Flink для realtime-обработки и агрегации событий • Работал с Cosmos DB: настройка партиционирования, оптимизация запросов и обработка highload-данных • Выполнял мониторинг, сопровождение и оптимизацию highload data pipelines с использованием Prometheus, Grafana, VictoriaMetrics и Zabbix; анализировал производительность и устранял bottleneck’и • Выполнял отладку production-пайплайнов и диагностику инцидентов • Настраивал CI/CD-процессы через GitHub Actions, покрывал код тестами с использованием pytest • Использовал DBT для описания моделей данных и трансформаций в DWH • Вёл документацию по пайплайнам, витринам и архитектуре в Confluence • Использовал Debezium для CDC (Change Data Capture) и построения near real-time потоков передачи данных между реляционными БД, Kafka, DWH и Data Lake Состав команды 6–10 человек
Достижения
Достижения • Обеспечил обработку 105+ млн событий в сутки • Достиг throughput ~100 000 сообщений/сек без потерь • Снизил latency обработки до <20 мс • Ускорил подготовку данных в 5 раз • Сократил ручные операции на 300+ часов/месяц • Повысил скорость принятия решений на ~40%
Стек специалиста на проекте
MySQL, Docker, SQL, Python, Oracle, Grafana, SAP, Kubernetes, AWS, Yarn, Prometheus, Informatica, ClickHouse, Базы данных, Terraform, GreenPlum, Apache Spark, Kafka, Microsoft, Apache AirFlow, SAS Data Integration Studio, Cosmos DB, S3, HDFS, Snowflake, Apache NiFi, PySpark, VictoriaMetrics, Identity Server, flink, Trino, Iceberg, Parquet, redpanda, sqoop, powercenter, orc, throughput, latency, flume
Отрасль проекта
E-commerce & Retail
Начало работы
Сентябрь 2022 - Май 2026  (3 года 9 месяцев)

Платформа маркетинговой аналитики и обработки пользовательских данных.

Роль
Performance Marketing Architect
Обязанности
• Анализировал большие объёмы данных (SQL, Python) • Разрабатывал аналитические модели и метрики • Использовал Pandas / NumPy для обработки данных • Автоматизировал отчётность и обработку данных • Работал с BI-инструментами Состав команды: 5–7 человек
Достижения
• Запустил международный арбитраж трафика с прибылью $150K/мес • Увеличил ROI до 598% • Привлёк 40 000 лидов за месяц
Стек специалиста на проекте
SQL, Python, Pandas, Numpy, BI
Отрасль проекта
Marketing, Advertising & Design
Начало работы
Октябрь 2014 - Апрель 2022  (7 лет 7 месяцев)

Формат работы

Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Образование

Высшее

Учебное заведение
Санкт-Петербургский государственный университет промышленных технологий и дизайна
Специальность
Маркетинг
Завершение учебы
2014 г.

Дополнительное

Учебное заведение
IBM AI Engineering
Специальность
Samsung Нейронные сети и компьютерное зрение
Завершение учебы
2023 г.

Похожие специалисты

FinTech & Banking • RnD
ИХ
Ильсаф Х.
Data инженер
Казань
Senior
3 636,36 Р/час
Bash
Groovy
hiveql
Java
Python
Spark SQL
SQL
Airbyte
Apache AirFlow
Apache NiFi
+123

Ильсаф — Data инженер уровня Senior из Казани с опытом работы 5 лет 9 месяцев. Специализируется на разработке и сопровождении корпоративных платформ данных. Имеет опыт работы с различными технологиями и инструментами, включая Apache Spark, Kafka, Airflow, ClickHouse, Greenplum, Hadoop, Hive, Trino, Docker, Kubernetes и другие. Участвовал в проектировании и развитии DWH и Data Lake-архитектуры, анализировал и оптимизировал SQL-скрипты, интегрировал корпоративные источники данных, разрабатывал и сопровождал загрузки в S3-compatible storage, работал с Apache NiFi, развивал витрины данных в ClickHouse, продуктивизировал сборку аналитических витрин. Имеет опыт работы в отраслях RnD и FinTech & Banking. Участвовал в проектах по развитию ETL-фреймворков, интеграции источников, обработке потоков данных, подготовке данных для аналитики и оптимизации аналитического хранения.

Подробнее
FoodTech • RnD • Telecom
ЗТ
Зелимхан Т.
Data инженер
Москва
Middle+
3 376,62 Р/час
FastAPI
Java
Python3
Scala
SQL
SQLAlchemy
Apache Spark
GreenPlum
Hive
PySpark
+73

Зелимхан — Data инженер уровня Middle+ из Москвы, имеющий опыт работы в сферах RnD, FoodTech и Telecom. Специализируется на разработке и промышленной эксплуатации платформ для работы с данными. Владеет широким спектром технологий, включая FastAPI, Java, Python3, Scala, SQL, SQLAlchemy, Apache Spark, GreenPlum, Hadoop, Hive, PySpark, Apache AirFlow, ClickHouse, Oracle, PostgreSQL, Snowflake, CI/CD, Docker, Git, GitLab, Kubernetes, Linux, Shell и другие. Имеет опыт работы на следующих проектах: - Разработка и промышленный запуск AI-driven платформы для enterprise-заказчиков. - Развитие data-платформы и аналитических сервисов для B2B-направления ритейла и delivery в проекте с Yandex Lavka B2B. - Развитие корпоративной data-платформы и backend-компонентов для enterprise-клиентов в Axenix (ex. Accenture). - Построение и развитие контуров отчётности и прогнозирования в Beeline. - Разработка ELT-процессов и оркестрации поставки данных для крупных корпоративных клиентов в Лиге Цифровой Экономики.

Подробнее
Отрасли не указаны
МН
Максим Н.
Data инженер
Москва
Senior
2 857,14 Р/час
debezium
ClickHouse
Spark
Hive
SQLAlchemy
Java
REST
Git
Bash
Pandas
+137

Data Engineer с более чем 10-летним опытом в проектировании и развитии масштабируемых data-платформ, с основной специализацией в финтех и банковской сфере (Росбанк, Axenix, корпоративные банковские ETL/CDC платформы). Дополнительно имею опыт построения маркетинговых data-платформ и интеграционных решений уровня enterprise. Ключевая экспертиза — построение высоконагруженных потоковых и batch data-архитектур: CDC-пайплайны, streaming ingestion, Data Lake/Lakehouse решения, а также end-to-end ETL/ELT платформы. Основной фокус — надежная доставка и синхронизация данных в распределённых системах с использованием Kafka, Spark и Airflow. Работал в финтех-домене с большими объёмами транзакционных и банковских данных, включая интеграцию разнородных систем (core banking, маркетинг, транзакционные источники), построение витрин данных и обеспечение BI-слоя для аналитики.

Подробнее
FinTech & Banking • Logistics & Transport • Telecom
ДШ
Дмитрий Ш.
Data инженер
Санкт-Петербург
Senior
3 246,75 Р/час
Airbyte
anges
Apache
Apache AirFlow
Apache Camel
Apache flink
Apache Hadoop
Apache Iceberg
Apache NiFi
Apache Spark
+101

Senior Data Engineer с опытом более 8 лет в развитии технологических платформ, lakehouse-архитектур и BigData-решений для финтеха, телекома, e-commerce и промышленности. Ключевой стек включает Scala, Spark, Apache Flink, Kafka, Trino, Apache Iceberg, Apache Paimon, Airflow, Hadoop, Kubernetes, Python и SQL. Имею сильный опыт работы на уровне технологического ядра платформы: миграция с Hadoop на lakehouse, унификация batch и streaming-обработки, настройка Trino-доступа, Medallion-архитектуры, governance и качества данных. Работал в банковском/финансовом контуре на платформе KYC/AML, где обеспечивал требования к безопасности, аудиту, PII, RLS, Apache Ranger, SIEM и SOC 2. Умею развивать платформенные решения с фокусом на SLA, масштабируемость, воспроизводимость расчетов и снижение стоимости владения. Сильная сторона — сочетание архитектурного видения и hands-on разработки: Spark / Flink-пайплайны, Airflow, dbt, Terraform, OpenMetadata, Great Expectations и продуктивная эксплуатация data-платформ.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Marketing, Advertising & Design
ДП
Даниил П.
Data инженер
Денпасар
Senior
3 311,69 Р/час
PostgreSQL
Git
MySQL
Docker
Jira
Confluence
SQL
Agile
Python
Scrum
+122

Даниил — Data инженер уровня Senior с опытом работы 11 лет 2 месяца. Специализируется на разработке и оптимизации data-платформ, обработке и анализе больших объёмов данных. Владеет английским языком на уровне C1. Имеет опыт работы с технологиями: Apache Kafka, PySpark, Apache AirFlow, ClickHouse, GreenPlum, PostgreSQL, Oracle, MySQL, MS SQL Server, SAS Data Integration Studio (SAS DIS), Informatica PowerCenter, Apache NiFi, Sqoop, Apache Flume, Hadoop ecosystem, Kafka, Flink, Cosmos DB, Prometheus, Grafana, VictoriaMetrics, Zabbix, GitHub Actions, pytest, DBT, Confluence, Debezium. Участвовал в проектах в отраслях E-commerce & Retail и Marketing, Advertising & Design. В рамках проекта по созданию платформы обработки рыночных данных для алгоритмической торговли Даниил построил data-платформу с нуля, реализовал потоковую обработку данных через Kafka (Redpanda), разработал и оптимизировал PySpark-пайплайны, работал с внутренней архитектурой Apache Spark, построил Data Lake на базе S3/HDFS, разработал витрины данных и трансформационную логику в различных системах, реализовывал orchestration загрузок, разрабатывал кастомные операторы и hooks для Apache Airflow, настраивал интеграционные потоки между системами. Также участвовал в проекте по созданию платформы маркетинговой аналитики и обработки пользовательских данных, где анализировал большие объёмы данных, разрабатывал аналитические модели и метрики, использовал Pandas/NumPy для обработки данных, автоматизировал отчётность и обработку данных, работал с BI-инструментами.

Подробнее
Cloud Services • EdTech • Logistics & Transport • Telecom
ИД
Игорь Д.
C# разработчик
Краснодар
Senior
3 896,1 Р/час
PostgreSQL
Git
Docker
Elasticsearch
REST
JavaScript
C#
Jira
Confluence
SQL
+60

Опыт работы с .NET более 7 лет Оптимизация ASP.NET Web API, MVC сервисов и оптимизация запросов ORM Разработка и проектирование высоконагруженных систем, применение монолитной и микросервисной архитектур Разработка REST API с применением системы очередей сообщений Kafka Интеграция с внешними API и системами Разработка структуры БД с нуля и оптимизация существующих БД Опыт работы с MS SQL, PostgreSQL, SQLite, MySQL, MariaDB, MongoDB. Разбор плана запросов, отладка производительности через планы запросов. Создание и правка сложных хранимых процедур, в том числе с использованием курсоров. Создание триггеров. В запросах был опыт использования CTE, оконных функций, работы с иерархическими данными, также использовались стандартные команды с join, group by, union Опыт code-review, декомпозиции задач Работа с DevOps-инструментами (Docker, Kubernetes, GitLab CI/CD) Опыт Fullstack разработки на WPF, Winforms, Angular, Blazor, React

Подробнее
Cloud Services • E-commerce & Retail • FinTech & Banking • Manufacturing • Marketing, Advertising & Design • Social Networking
ЮД
Юрий Д.
React Native разработчик
Пермь
Senior
5 064,93 Р/час
Git
HTML
CSS
MySQL
Docker
JSON
JavaScript
Node.js
PHP
C++
+150

Интересуют проекты где я буду сильно задействован в React Native. Хочу сфокусироваться на разработке на React Native и нативных модулей на C++/Swift/Kotlin, внести вклад в сообщество. Web мне тоже интересен, но время такое что невозможно быть во всем PRO. Так что с меньшим приоритетом буду рассматривать проекты где много Web и мало RN. Open Source: -Разработка игры Маджонг Web & Mobile (FSD, Canvas, requestAnimationFrame, React, RN, RN Reanimated, RN Skia). Один спроектировал, разработал и запустил: -White Label доставки еды: —сайт SSR, SEO friendly; —мобильные приложения IOS/Android на RN. Без схем! Кодогенерация из шаблона в любой бренд. Переменные устанавливаются на сайте. Первичная выгрузка ручная, следующие через Fastlane; —Функционал: личный кабинет, корзина, каталог, программа лояльности, допы, аналитика, скидки, часы работы, отзывы Ганаш: создание и управление рецептами ганаша: —SPA MUI & React; -White Label хоккейного клуба НМХЛ: —сайт на 1C Битрикс; —мобильные приложения IOS/Android на RN; —Функционал: видео трансляции (WebRTC), комментарии (Socket) продажа билетов на конкретный матч и атрибутики, уведомления об играх (Firebase), сканирование билетов для пропуска на матч (Camera Native Module), автогенерация изображения афиш и финального счета игр (Canvas), программа лояльности. — Успел внедрить на 2 сезона в ХК Прогресс, но по инициативе государства клуб расформировали. -Учет больных COVID-19: — SPA AntD & React; — Функции: сбор данных о больном из баз других больниц, добавление больного, добавление персонала, разграничение прав, мониторинг состояния пациентов, анализ данных, уведомления, авторизация по телефону. Учусь: - решать просто сложное; - дизайн UI/UX; - играть на гитаре; - петь; - каждый год чему-то новому. Уделяю особое внимание чистоте и структурированности кода, применяя паттерны и алгоритмы. Стремлюсь к тому, чтобы каждый элемент проекта был стандартизирован и согласован, включая мельчайшие детали UI.

Подробнее
E-commerce & Retail • Manufacturing
МВ
Михаил В.
Full Stack разработчик
Красноярск
Lead
3 506,49 Р/час
PostgreSQL
Git
HTML
CSS
Docker
REST
XML
JSON
Java
JavaScript
+101

12 лет опыта в разработке корпоративных систем, АРМ, IoT и SaaS-решений Опыт в роли тимлида: около 10 лет подряд Глубокая экспертиза в C#, .NET Core (2.1–8), React, Entity Framework, Oracle/PostgreSQL Опыт технического лидерства и проектирования архитектуры: от desktop- до web-приложений Участие в мультинациональных проектах (ProBRICS: Россия — Китай, финтех) Руководство командой 6–8 разработчиков, построение архитектуры и взаимодействие с заказчиком Интеграции с государственными и промышленными ИС: SCADA, MES, ЕГАИС, СКУД, МДМ Оптимизация производительности и миграции крупных БД (Oracle 12c) Успешный запуск проектов в госсекторе и промышленности под строгие сроки Адаптивные интерфейсы, real-time обновления, визуализация данных, Ant Design, Devextreme Опыт взаимодействия с DevOps, аналитиками, китайскими командами, QA, дизайнерами

Подробнее