Дмитрий Д. Data инженер, Middle+

ID 21895
ДД
Дмитрий Д.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache AirFlow
Apache NiFi
Docker
Git
Grafana
GreenPlum
Linux
PostgreSQL
Prometheus
Python
SQL
Английский язык
Отрасли
Cloud Services
E-commerce & Retail
Government & Public Sector
Знание языков
Английский — C1
Главное о специалисте
Мне нравятся любые задачи, где нужны данные, порядок и немного творчества. В личной жизни я веду списки всего, что смотрю, читаю и слушаю, а на работе занимаюсь конвейерами и хранилищами данных, собирая воедино данные из различных источников. Каждый день учусь чему-то новому, мониторю последние новинки сферы и решаю задачки на Codewars (4 kyu, 800+ задач), чтобы прокачать навыки в Python и SQL. В свободное время беру гитару в руки или иду на площадку покидать мяч в кольцо — считаю, что смена деятельности помогает взглянуть на задачи под другим углом. В будущем планирую погрузиться глубже в ML — уверен, что на пересечении больших данных и математического подхода рождаются самые интересные проекты.
Проекты   (3 года 7 месяцев)
BI Consult
Роль
Data Engineer
Обязанности
Достижения: • Успешно внедрил автоматизированные конвейеры данных (ETL/ELT) с использованием Apache Airflow и NiFi: доработал существующий подход, сделав его универсальным за счет динамического SQL, а также внедрил конфигурационную таблицу для гибкой настройки процессорных групп; • Оптимизировал производительность хранилища Greenplum, перейдя от одноразовых вставок к пакетной загрузке через COPY и настроив правильную дистрибуцию и партиционирование, что значительно ускорило операции чтения и записи; • Реализовал подход Slowly Changing Dimensions (SCD2) для крупного fashion-ритейла, разработав SQL-функции и логику версионности записей с учётом удалённых данных, обеспечив тем самым возможность анализа исторических данных; • Активно совершенствовал навыки разработки на Python (requests, pandas, psycopg2), Airflow и NiFi, углубил экспертизу в Greenplum, пройдя дополнительное обучение Обязанности: • Проектирование и развитие корпоративного хранилища данных (DWH): создание слоёв ODS, DDS и витрин, написание SQL-функций и процедур обработки; • Настройка и поддержка пайплайнов данных в Airflow и NiFi: планирование заданий, создание процессорных групп, настройка интеграции между Airflow и NiFi, рефакторинг и оптимизация существующих процессов; • Работа с PostgreSQL, Greenplum и MS SQL: оптимизация запросов, настройка MPP-функционала, управление партициями и дистрибуцией; • Взаимодействие с бизнес-аналитиками, DevOps, DBA и коллегами инженерами: участие в планировании спринтов, декомпозиции задач, ревью кода; • Документирование решений и разработанных процессов: составление инструкций, описаний и обучающих материалов для заказчиков и коллег.
Стек специалиста на проекте
PostgreSQL, SQL, Python, DevOps, Pandas, GreenPlum, Psycopg2, DWH, Microsoft, Apache AirFlow, NiFi, dba, ETL ELT, ODS, DDS
Отрасль проекта
Cloud Services
Период работы
Май 2024 - По настоящее время  (1 год 3 месяца)
BI Consult
Роль
BI Developer
Обязанности
Достижения: • Администрировал и наполнял несколько BI-платформ (LuxmsBI, Modus BI, PIX BI, Visiology), в том числе ETL-инструменты Luxms DataBoring и Modus ETL, для интеграции данных и создания аналитических решений; • Разработал и внедрил сложные кастомные дашборды, детально настраивая визуализации и бизнес-логику в соответствии с требованиями заказчиков. • Инициировал и провёл частичную миграцию отчётности с Tableau на PIX BI, глубоко переработав структуру данных с помощью SQL и адаптировав функциональность к особенностям новой платформы; • Подготовил демонстрационные стенды (demo-стенды) и обучающие ролики на YouTube, участвовал в пресейлах, создавая презентации и материалы для потенциальных клиентов; • Работал с Linux-серверами, выполнял обновления и устранение неполадок, анализируя логи и внося корректировки в конфигурацию систем; • Углубил ранее полученные знания Python и SQL, применяя их на реальных проектах. В частности, использовал библиотеки для обработки данных, работал с API, с JSON-конфигурациями визулизаций, проектировал модели данных. Обязанности: • Проектирование и настройка визуальных аналитических решений: создание интерактивных дашбордов, метрик и кастомных визуализаций; • Настройка и отладка ETL-потоков (Modus ETL, Luxms DataBoring): загрузка, трансформация и синхронизация данных из различных источников; • Сопровождение BI-платформ: развертывание, обновление, мониторинг работоспособности, устранение ошибок в тестовых и боевых средах; • Взаимодействие с бизнес-заказчиками для уточнения требований, проработки дизайн-макетов и проверки корректности получаемых результатов; • Участие в пресейлах: подготовка демо-решений, презентаций, обучающих видеороликов и материалов, демонстрация функционала платформ; • Ведение технической документации и Confluence статей: описание новых фич, багов и способов их решения, разработка обучающих инструкций.
Стек специалиста на проекте
API, SQL, Python, BI, ETL, Tableau, Visiology
Отрасль проекта
Cloud Services
Период работы
Октябрь 2023 - Май 2024  (8 месяцев)
Торговая сеть ДИКСИ
Роль
Специалист поддержки информационных систем
Обязанности
Достижения: • Разработал шаблоны и вспомогательные скрипты, сократившие время на выполнение рутинных операций, что заметно упростило ежедневную работу; • Дополнил существующее руководство для дежурных специалистов собственными решениями и оптимизировал старые подходы, что упростило адаптацию новых сотрудников и повысило эффективность их работы; • Осуществил обучение нового сотрудника, передав ключевые знания и проверенные практические наработки, что помогло ему уверенно начать работу и быстро освоиться; • Внёс вклад в оптимизацию процесса изменения статусов заказов, улучшив общую производительность системы. Обязанности: • Мониторинг состояния интерфейсов и таблиц для отслеживания прохождения заказов через все этапы бизнес-логики; • Оперативное решение инцидентов, связанных с обработкой данных, включая внесение изменений в Oracle Database и запуск корректирующих батчей; • Устранение блокировок PL/SQL и управление процессами изменения статусов заказов для обеспечения их корректной обработки и устранения задержек; • Проведение сверок данных и регулярных проверок состояния системы для поддержания её стабильной работы; • Обеспечение бесперебойной работы систем управления складскими и торговыми процессами на уровне СУБД
Стек специалиста на проекте
Oracle Database, Pl/SQL, Мониторинг
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2023 - Октябрь 2023  (9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Среднее
Учебное заведение
АКТ (ф) СПбГУТ
Специальность
Информатика и вычислительная техника, Прикладная информатика
Завершение учебы
2021 г.
Дополнительное
Учебное заведение
karpov.courses
Специальность
Docker с нуля
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Yandex Cloud
Специальность
Managed Service for Greenplum
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Modus
Специальность
Modus ETL + BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
PIX
Специальность
PIX BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
University of Michigan (online course) Runestone Interactive
Специальность
Foundations of Python Programming
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
АП
Алексей П.
Ульяновск
Python разработчик
Senior
3 339,64 Р/час
Redmine
Grafana
операционные системы
GitLab
MS Windows
Git
Linux
Swagger
PyCharm
Celery
+24

Алексей — Python-разработчик уровня Senior из Ульяновска. Специализируется на разработке backend-решений в отраслях E-commerce & Retail и FinTech & Banking. Владеет русским языком на уровне C2, английским — на уровне B2. Имеет высшее образование, окончил Ульяновский Государственный Технический Университет. Имеет опыт работы на следующих проектах: - Программы лояльности, эталонный справочник товаров, отчётность (E-commerce & Retail) — роль ведущего разработчика. Создано комплексное решение для управления программами лояльности, поддержания актуального эталонного справочника товаров и генерации аналитической отчётности. - Товароучётная система (E-commerce & Retail) — роль backend-разработчика. Создана современная товароучётная система для автоматизации процессов учёта, управления запасами и контроля движения товаров в компании. - Система двухсторонней синхронизации данных с внешними системами (FinTech & Banking) — роль backend-разработчика. Разработана и внедрена система для двухсторонней синхронизации данных между внутренними информационными системами компании и внешними платформами. - Системы управления кассами (FinTech & Banking) — роль backend-разработчика. Разработана комплексная информационная система для управления кассовыми операциями в розничных магазинах, ресторанах, салонах красоты и других точках продаж. Общая продолжительность работы на проектах — 4 года 5 месяцев.

Подробнее
Cloud Services • E-commerce & Retail • Government & Public Sector
ДД
Дмитрий Д.
Санкт-Петербург
Data инженер
Middle+
3 376,62 Р/час
PostgreSQL
Git
Docker
SQL
Python
Английский язык
Linux
Grafana
Prometheus
GreenPlum
+12

Мне нравятся любые задачи, где нужны данные, порядок и немного творчества. В личной жизни я веду списки всего, что смотрю, читаю и слушаю, а на работе занимаюсь конвейерами и хранилищами данных, собирая воедино данные из различных источников. Каждый день учусь чему-то новому, мониторю последние новинки сферы и решаю задачки на Codewars (4 kyu, 800+ задач), чтобы прокачать навыки в Python и SQL. В свободное время беру гитару в руки или иду на площадку покидать мяч в кольцо — считаю, что смена деятельности помогает взглянуть на задачи под другим углом. В будущем планирую погрузиться глубже в ML — уверен, что на пересечении больших данных и математического подхода рождаются самые интересные проекты.

Подробнее