Дмитрий Д. Data инженер, Middle+
ID 21895
ДД
Дмитрий Д.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
Мне нравятся любые задачи, где нужны данные, порядок и немного творчества. В личной жизни я веду списки всего, что смотрю, читаю и слушаю, а на работе занимаюсь конвейерами и хранилищами данных, собирая воедино данные из различных источников.
Каждый день учусь чему-то новому, мониторю последние новинки сферы и решаю задачки на Codewars (4 kyu, 800+ задач), чтобы прокачать навыки в Python и SQL. В свободное время беру гитару в руки или иду на площадку покидать мяч в кольцо — считаю, что смена деятельности помогает взглянуть на задачи под другим углом. В будущем планирую погрузиться глубже в ML — уверен, что на пересечении больших данных и математического подхода рождаются самые интересные проекты.
Проекты
(3 года 7 месяцев)
BI Consult
Роль
Data Engineer
Обязанности
Достижения:
• Успешно внедрил автоматизированные конвейеры данных (ETL/ELT) с использованием Apache Airflow и NiFi: доработал существующий подход, сделав его универсальным за счет динамического SQL, а также внедрил конфигурационную таблицу для гибкой настройки процессорных групп;
• Оптимизировал производительность хранилища Greenplum, перейдя от одноразовых вставок к пакетной загрузке через COPY и настроив правильную дистрибуцию и партиционирование, что значительно ускорило операции чтения и записи;
• Реализовал подход Slowly Changing Dimensions (SCD2) для крупного fashion-ритейла, разработав SQL-функции и логику версионности записей с учётом удалённых данных, обеспечив тем самым возможность анализа исторических данных;
• Активно совершенствовал навыки разработки на Python (requests, pandas, psycopg2), Airflow и NiFi, углубил экспертизу в Greenplum, пройдя дополнительное обучение
Обязанности:
• Проектирование и развитие корпоративного хранилища данных (DWH): создание слоёв ODS, DDS и витрин, написание SQL-функций и процедур обработки;
• Настройка и поддержка пайплайнов данных в Airflow и NiFi: планирование заданий, создание процессорных групп, настройка интеграции между Airflow и NiFi, рефакторинг и оптимизация существующих процессов;
• Работа с PostgreSQL, Greenplum и MS SQL: оптимизация запросов, настройка MPP-функционала, управление партициями и дистрибуцией;
• Взаимодействие с бизнес-аналитиками, DevOps, DBA и коллегами инженерами: участие в планировании спринтов, декомпозиции задач, ревью кода;
• Документирование решений и разработанных процессов: составление инструкций, описаний
и обучающих материалов для заказчиков и коллег.
Стек специалиста на проекте
PostgreSQL, SQL, Python, DevOps, Pandas, GreenPlum, Psycopg2, DWH, Microsoft, Apache AirFlow, NiFi, dba, ETL ELT, ODS, DDS
Отрасль проекта
Cloud Services
Период работы
Май 2024 - По настоящее время
(1 год 3 месяца)
BI Consult
Роль
BI Developer
Обязанности
Достижения:
• Администрировал и наполнял несколько BI-платформ (LuxmsBI, Modus BI, PIX BI, Visiology), в том числе ETL-инструменты Luxms DataBoring и Modus ETL, для интеграции данных и создания аналитических решений;
• Разработал и внедрил сложные кастомные дашборды, детально настраивая визуализации и бизнес-логику в соответствии с требованиями заказчиков.
• Инициировал и провёл частичную миграцию отчётности с Tableau на PIX BI, глубоко переработав структуру данных с помощью SQL и адаптировав функциональность к особенностям новой платформы;
• Подготовил демонстрационные стенды (demo-стенды) и обучающие ролики на YouTube, участвовал в пресейлах, создавая презентации и материалы для потенциальных клиентов;
• Работал с Linux-серверами, выполнял обновления и устранение неполадок, анализируя логи и внося корректировки в конфигурацию систем;
• Углубил ранее полученные знания Python и SQL, применяя их на реальных проектах. В частности, использовал библиотеки для обработки данных, работал с API, с JSON-конфигурациями визулизаций, проектировал модели данных.
Обязанности:
• Проектирование и настройка визуальных аналитических решений: создание интерактивных
дашбордов, метрик и кастомных визуализаций;
• Настройка и отладка ETL-потоков (Modus ETL, Luxms DataBoring): загрузка, трансформация и синхронизация данных из различных источников;
• Сопровождение BI-платформ: развертывание, обновление, мониторинг работоспособности, устранение ошибок в тестовых и боевых средах;
• Взаимодействие с бизнес-заказчиками для уточнения требований, проработки дизайн-макетов и проверки корректности получаемых результатов;
• Участие в пресейлах: подготовка демо-решений, презентаций, обучающих видеороликов и материалов, демонстрация функционала платформ;
• Ведение технической документации и Confluence статей: описание новых фич, багов и способов их решения, разработка обучающих инструкций.
Стек специалиста на проекте
API, SQL, Python, BI, ETL, Tableau, Visiology
Отрасль проекта
Cloud Services
Период работы
Октябрь 2023 - Май 2024
(8 месяцев)
Торговая сеть ДИКСИ
Роль
Специалист поддержки информационных систем
Обязанности
Достижения:
• Разработал шаблоны и вспомогательные скрипты, сократившие время на выполнение рутинных операций, что заметно упростило ежедневную работу;
• Дополнил существующее руководство для дежурных специалистов собственными решениями и оптимизировал старые подходы, что упростило адаптацию новых сотрудников и повысило эффективность их работы;
• Осуществил обучение нового сотрудника, передав ключевые знания и проверенные практические наработки, что помогло ему уверенно начать работу и быстро освоиться;
• Внёс вклад в оптимизацию процесса изменения статусов заказов, улучшив общую производительность системы.
Обязанности:
• Мониторинг состояния интерфейсов и таблиц для отслеживания прохождения заказов через все этапы бизнес-логики;
• Оперативное решение инцидентов, связанных с обработкой данных, включая внесение изменений в Oracle Database и запуск корректирующих батчей;
• Устранение блокировок PL/SQL и управление процессами изменения статусов заказов для обеспечения их корректной обработки и устранения задержек;
• Проведение сверок данных и регулярных проверок состояния системы для поддержания её стабильной работы;
• Обеспечение бесперебойной работы систем управления складскими и торговыми процессами на уровне СУБД
Стек специалиста на проекте
Oracle Database, Pl/SQL, Мониторинг
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2023 - Октябрь 2023
(9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Среднее
Учебное заведение
АКТ (ф) СПбГУТ
Специальность
Информатика и вычислительная техника, Прикладная информатика
Завершение учебы
2021 г.
Дополнительное
Учебное заведение
karpov.courses
Специальность
Docker с нуля
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Yandex Cloud
Специальность
Managed Service for Greenplum
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Modus
Специальность
Modus ETL + BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
PIX
Специальность
PIX BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
University of Michigan (online course) Runestone Interactive
Специальность
Foundations of Python Programming
Завершение учебы
2021 г.