Даниил П. Data инженер, Senior
ID 42443
ДП
Даниил П.
Senior
Индонезия, Денпасар, UTC+8
3 311,69 Р/час
НДС не облагается
Специалист доступен с 1 января 2027 г.
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Отрасли
Знание языков
Английский — C1
Русский — C2
Главное о специалисте
Даниил — Data инженер уровня Senior с опытом работы 11 лет 2 месяца. Специализируется на разработке и оптимизации data-платформ, обработке и анализе больших объёмов данных. Владеет английским языком на уровне C1.
Имеет опыт работы с технологиями: Apache Kafka, PySpark, Apache AirFlow, ClickHouse, GreenPlum, PostgreSQL, Oracle, MySQL, MS SQL Server, SAS Data Integration Studio (SAS DIS), Informatica PowerCenter, Apache NiFi, Sqoop, Apache Flume, Hadoop ecosystem, Kafka, Flink, Cosmos DB, Prometheus, Grafana, VictoriaMetrics, Zabbix, GitHub Actions, pytest, DBT, Confluence, Debezium.
Участвовал в проектах в отраслях E-commerce & Retail и Marketing, Advertising & Design.
В рамках проекта по созданию платформы обработки рыночных данных для алгоритмической торговли Даниил построил data-платформу с нуля, реализовал потоковую обработку данных через Kafka (Redpanda), разработал и оптимизировал PySpark-пайплайны, работал с внутренней архитектурой Apache Spark, построил Data Lake на базе S3/HDFS, разработал витрины данных и трансформационную логику в различных системах, реализовывал orchestration загрузок, разрабатывал кастомные операторы и hooks для Apache Airflow, настраивал интеграционные потоки между системами.
Также участвовал в проекте по созданию платформы маркетинговой аналитики и обработки пользовательских данных, где анализировал большие объёмы данных, разрабатывал аналитические модели и метрики, использовал Pandas/NumPy для обработки данных, автоматизировал отчётность и обработку данных, работал с BI-инструментами.
Проекты
(11 лет 4 месяца)Платформа обработки рыночных данных для алгоритмической торговли: ingestion, потоковая обработка, Data Lake (S3/HDFS) и построение витрин для аналитики.
Роль
Data Engineer
Обязанности
Задачи:
• Построил data-платформу с нуля: ingestion, обработка, трансформация, построение витрин и доставка данных потребителям
• Реализовал потоковую обработку данных через Kafka (Redpanda) с нагрузкой ~100k сообщений/сек
• Разрабатывал и оптимизировал PySpark-пайплайны с объёмом обработки более 300+ ГБ данных в сутки
• Работал с внутренней архитектурой Apache Spark: driver/executor, DAG, stages, Catalyst Optimizer, memory tuning
• Использовал форматы хранения Parquet, ORC, Iceberg и Avro для batch- и streaming-обработки данных
• Построил Data Lake на базе S3/HDFS
• Использовал Trino для выполнения распределённых SQL-запросов по Data Lake
• Разрабатывал и оптимизировал сложные SQL-запросы: оконные функции, CTE, JOIN, EXPLAIN, анализ планов выполнения, индексов и статистики
• Разрабатывал витрины данных и трансформационную логику в ClickHouse, Greenplum, PostgreSQL, Oracle, MySQL и MS SQL Server
• Разрабатывал и сопровождал ETL/ELT-процессы с использованием Airflow, SAS Data Integration Studio (SAS DIS) и Informatica PowerCenter
• Реализовывал orchestration загрузок: workflow, mapping/job, SLA, retry/backfill-механизмы и зависимости между DAG
• Разрабатывал кастомные операторы и hooks для Apache Airflow
• Использовал Apache NiFi для ingestion-потоков, маршрутизации и оркестрации загрузки данных
• Использовал Sqoop для переноса данных из реляционных БД в Hadoop/HDFS
• Работал с Apache Flume для сбора, агрегации и доставки логов и событий в Hadoop ecosystem
• Настраивал интеграционные потоки между Kafka, HDFS, S3 и DWH-системами
• Разрабатывал интеграции с корпоративными системами, включая SAP, а также REST API-интеграции с поддержкой pagination, retry/backoff, rate limiting и обработкой ошибок
• Использовал Python (requests/httpx), Pandas и NumPy для интеграционных пайплайнов, обработки и валидации данных
• Работал с компонентами Hadoop ecosystem: YARN, Hive Metastore, Zookeeper, Apache Ranger; участвовал в управлении метаданными, настройке доступов и сопровождении data pipelines
• Разрабатывал и поддерживал streaming-пайплайны на Kafka и Flink для realtime-обработки и агрегации событий
• Работал с Cosmos DB: настройка партиционирования, оптимизация запросов и обработка highload-данных
• Выполнял мониторинг, сопровождение и оптимизацию highload data pipelines с использованием Prometheus, Grafana, VictoriaMetrics и Zabbix; анализировал производительность и устранял bottleneck’и
• Выполнял отладку production-пайплайнов и диагностику инцидентов
• Настраивал CI/CD-процессы через GitHub Actions, покрывал код тестами с использованием pytest
• Использовал DBT для описания моделей данных и трансформаций в DWH
• Вёл документацию по пайплайнам, витринам и архитектуре в Confluence
• Использовал Debezium для CDC (Change Data Capture) и построения near real-time потоков передачи данных между реляционными БД, Kafka, DWH и Data Lake
Состав команды
6–10 человек
Достижения
Достижения
• Обеспечил обработку 105+ млн событий в сутки
• Достиг throughput ~100 000 сообщений/сек без потерь
• Снизил latency обработки до <20 мс
• Ускорил подготовку данных в 5 раз
• Сократил ручные операции на 300+ часов/месяц
• Повысил скорость принятия решений на ~40%
Стек специалиста на проекте
MySQL, Docker, SQL, Python, Oracle, Grafana, SAP, Kubernetes, AWS, Yarn, Prometheus, Informatica, ClickHouse, Базы данных, Terraform, GreenPlum, Apache Spark, Kafka, Microsoft, Apache AirFlow, SAS Data Integration Studio, Cosmos DB, S3, HDFS, Snowflake, Apache NiFi, PySpark, VictoriaMetrics, Identity Server, flink, Trino, Iceberg, Parquet, redpanda, sqoop, powercenter, orc, throughput, latency, flume
Отрасль проекта
E-commerce & Retail
Начало работы
Сентябрь 2022 - Май 2026
(3 года 9 месяцев)
Платформа маркетинговой аналитики и обработки пользовательских данных.
Роль
Performance Marketing Architect
Обязанности
• Анализировал большие объёмы данных (SQL, Python)
• Разрабатывал аналитические модели и метрики
• Использовал Pandas / NumPy для обработки данных
• Автоматизировал отчётность и обработку данных
• Работал с BI-инструментами
Состав команды:
5–7 человек
Достижения
• Запустил международный арбитраж трафика с прибылью $150K/мес
• Увеличил ROI до 598%
• Привлёк 40 000 лидов за месяц
Стек специалиста на проекте
SQL, Python, Pandas, Numpy, BI
Отрасль проекта
Marketing, Advertising & Design
Начало работы
Октябрь 2014 - Апрель 2022
(7 лет 7 месяцев)
Формат работы
Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский государственный университет промышленных технологий и дизайна
Специальность
Маркетинг
Завершение учебы
2014 г.
Дополнительное
Учебное заведение
IBM AI Engineering
Специальность
Samsung Нейронные сети и компьютерное зрение
Завершение учебы
2023 г.