Дмитрий Д. Data инженер, Middle+

ID 21895
ДД
Дмитрий Д.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 24 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache AirFlow
Apache NiFi
Docker
Git
Grafana
GreenPlum
Linux
PostgreSQL
Prometheus
Python
SQL
Английский язык
Отрасли
Cloud Services
E-commerce & Retail
Government & Public Sector
Знание языков
Английский — C1
Главное о специалисте
Мне нравятся любые задачи, где нужны данные, порядок и немного творчества. В личной жизни я веду списки всего, что смотрю, читаю и слушаю, а на работе занимаюсь конвейерами и хранилищами данных, собирая воедино данные из различных источников. Каждый день учусь чему-то новому, мониторю последние новинки сферы и решаю задачки на Codewars (4 kyu, 800+ задач), чтобы прокачать навыки в Python и SQL. В свободное время беру гитару в руки или иду на площадку покидать мяч в кольцо — считаю, что смена деятельности помогает взглянуть на задачи под другим углом. В будущем планирую погрузиться глубже в ML — уверен, что на пересечении больших данных и математического подхода рождаются самые интересные проекты.
Проекты   (3 года 8 месяцев)
BI Consult
Роль
Data Engineer
Обязанности
Достижения: • Успешно внедрил автоматизированные конвейеры данных (ETL/ELT) с использованием Apache Airflow и NiFi: доработал существующий подход, сделав его универсальным за счет динамического SQL, а также внедрил конфигурационную таблицу для гибкой настройки процессорных групп; • Оптимизировал производительность хранилища Greenplum, перейдя от одноразовых вставок к пакетной загрузке через COPY и настроив правильную дистрибуцию и партиционирование, что значительно ускорило операции чтения и записи; • Реализовал подход Slowly Changing Dimensions (SCD2) для крупного fashion-ритейла, разработав SQL-функции и логику версионности записей с учётом удалённых данных, обеспечив тем самым возможность анализа исторических данных; • Активно совершенствовал навыки разработки на Python (requests, pandas, psycopg2), Airflow и NiFi, углубил экспертизу в Greenplum, пройдя дополнительное обучение Обязанности: • Проектирование и развитие корпоративного хранилища данных (DWH): создание слоёв ODS, DDS и витрин, написание SQL-функций и процедур обработки; • Настройка и поддержка пайплайнов данных в Airflow и NiFi: планирование заданий, создание процессорных групп, настройка интеграции между Airflow и NiFi, рефакторинг и оптимизация существующих процессов; • Работа с PostgreSQL, Greenplum и MS SQL: оптимизация запросов, настройка MPP-функционала, управление партициями и дистрибуцией; • Взаимодействие с бизнес-аналитиками, DevOps, DBA и коллегами инженерами: участие в планировании спринтов, декомпозиции задач, ревью кода; • Документирование решений и разработанных процессов: составление инструкций, описаний и обучающих материалов для заказчиков и коллег.
Стек специалиста на проекте
PostgreSQL, SQL, Python, DevOps, Pandas, GreenPlum, Psycopg2, DWH, Microsoft, Apache AirFlow, NiFi, dba, ETL ELT, ODS, DDS
Отрасль проекта
Cloud Services
Период работы
Май 2024 - По настоящее время  (1 год 4 месяца)
BI Consult
Роль
BI Developer
Обязанности
Достижения: • Администрировал и наполнял несколько BI-платформ (LuxmsBI, Modus BI, PIX BI, Visiology), в том числе ETL-инструменты Luxms DataBoring и Modus ETL, для интеграции данных и создания аналитических решений; • Разработал и внедрил сложные кастомные дашборды, детально настраивая визуализации и бизнес-логику в соответствии с требованиями заказчиков. • Инициировал и провёл частичную миграцию отчётности с Tableau на PIX BI, глубоко переработав структуру данных с помощью SQL и адаптировав функциональность к особенностям новой платформы; • Подготовил демонстрационные стенды (demo-стенды) и обучающие ролики на YouTube, участвовал в пресейлах, создавая презентации и материалы для потенциальных клиентов; • Работал с Linux-серверами, выполнял обновления и устранение неполадок, анализируя логи и внося корректировки в конфигурацию систем; • Углубил ранее полученные знания Python и SQL, применяя их на реальных проектах. В частности, использовал библиотеки для обработки данных, работал с API, с JSON-конфигурациями визулизаций, проектировал модели данных. Обязанности: • Проектирование и настройка визуальных аналитических решений: создание интерактивных дашбордов, метрик и кастомных визуализаций; • Настройка и отладка ETL-потоков (Modus ETL, Luxms DataBoring): загрузка, трансформация и синхронизация данных из различных источников; • Сопровождение BI-платформ: развертывание, обновление, мониторинг работоспособности, устранение ошибок в тестовых и боевых средах; • Взаимодействие с бизнес-заказчиками для уточнения требований, проработки дизайн-макетов и проверки корректности получаемых результатов; • Участие в пресейлах: подготовка демо-решений, презентаций, обучающих видеороликов и материалов, демонстрация функционала платформ; • Ведение технической документации и Confluence статей: описание новых фич, багов и способов их решения, разработка обучающих инструкций.
Стек специалиста на проекте
API, SQL, Python, BI, ETL, Tableau, Visiology
Отрасль проекта
Cloud Services
Период работы
Октябрь 2023 - Май 2024  (8 месяцев)
Торговая сеть ДИКСИ
Роль
Специалист поддержки информационных систем
Обязанности
Достижения: • Разработал шаблоны и вспомогательные скрипты, сократившие время на выполнение рутинных операций, что заметно упростило ежедневную работу; • Дополнил существующее руководство для дежурных специалистов собственными решениями и оптимизировал старые подходы, что упростило адаптацию новых сотрудников и повысило эффективность их работы; • Осуществил обучение нового сотрудника, передав ключевые знания и проверенные практические наработки, что помогло ему уверенно начать работу и быстро освоиться; • Внёс вклад в оптимизацию процесса изменения статусов заказов, улучшив общую производительность системы. Обязанности: • Мониторинг состояния интерфейсов и таблиц для отслеживания прохождения заказов через все этапы бизнес-логики; • Оперативное решение инцидентов, связанных с обработкой данных, включая внесение изменений в Oracle Database и запуск корректирующих батчей; • Устранение блокировок PL/SQL и управление процессами изменения статусов заказов для обеспечения их корректной обработки и устранения задержек; • Проведение сверок данных и регулярных проверок состояния системы для поддержания её стабильной работы; • Обеспечение бесперебойной работы систем управления складскими и торговыми процессами на уровне СУБД
Стек специалиста на проекте
Oracle Database, Pl/SQL, Мониторинг
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2023 - Октябрь 2023  (9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Среднее
Учебное заведение
АКТ (ф) СПбГУТ
Специальность
Информатика и вычислительная техника, Прикладная информатика
Завершение учебы
2021 г.
Дополнительное
Учебное заведение
karpov.courses
Специальность
Docker с нуля
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Yandex Cloud
Специальность
Managed Service for Greenplum
Завершение учебы
2025 г.
Дополнительное
Учебное заведение
Modus
Специальность
Modus ETL + BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
PIX
Специальность
PIX BI
Завершение учебы
2024 г.
Дополнительное
Учебное заведение
University of Michigan (online course) Runestone Interactive
Специальность
Foundations of Python Programming
Завершение учебы
2021 г.

Похожие специалисты

AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Hardware
ДК
Дмитрий К.
Ростов-на-Дону
QA FullStack
Middle
2 337,66 Р/час
Тест-дизайн
Регрессионное тестирование
Приемо-сдаточные испытания (пси)
Jira Zephyr
UI
Redmine
ELK
Grafana
IOS
Allure TestOps
+68

Дмитрий — специалист уровня Senior в области QA FullStack из Ростова-на-Дону. Имеет опыт работы на проектах в отраслях FinTech & Banking и Hardware. Владеет английским языком на уровне B2. Ключевые навыки: Kotlin, Java, PostgreSQL, MongoDB, Redis, Kafka, REST API, UI, Git, Postman, Proxyman, DevTools, Elastic Search, Kibana, Jenkins, Swagger, Allure TestOps, Test IT, Jira, Confluence, Yandex Tracker, Redmine, Kotest, mobile тестирование (iOS, Android), Cucumber, Akita, BDD Testing, Rest Assured, JMeter, TestRail, баг-репорты, отчёт о тестировании, тест-дизайн, тестирование микросервисов, Sentry, Grafana, SOAP, SoapUI, Kubernetes, DBeaver, GraphQL, Figma, HTTP/HTTPS, REST/SOAP, ООП, теория тестирования, Spring 3, GitLab, Functional testing, XML, XSD, Docker, TestContainers, WireMock, CI/CD, RabbitMQ, ELK, Selenide, JUnit, REST. Участвовал в проекте по разработке приложения доставки банковских продуктов, где выполнял роль QA FullStack. В рамках проекта занимался подготовкой UI и API автотестов, тестированием backend/frontend, автоматизированным тестированием REST API, разработкой тестовой документации, тестированием API, работой с базами данных и другими задачами. Продолжительность работы над проектом — 2 года 4 месяца. Также имеет опыт работы руководителем проектов в области разработки ПО интеллектуальных систем обработки и синтеза изображений. В рамках проекта занимался подготовкой и согласованием документации, бюджетированием, контролем хода выполнения проектов и другими задачами. Продолжительность работы над проектом — 6 лет 9 месяцев.

Подробнее
Blockchain • E-commerce & Retail • RnD
ДЗ
Денис З.
Калининград
DevOps
Middle
3 211,19 Р/час
PostgreSQL
Apache Kafka
Git
MySQL
Docker
Elasticsearch
Python
Bash
ArgoCD
Linux
+25

Денис — DevOps-специалист уровня Middle из Калининграда. Имеет высшее образование по специальности «Прикладная информатика в экономике» Калининградского государственного технического университета. Денис - DevOps-инженер с 3+ годами опыта в автоматизации инфраструктуры, CI/CD, мониторинге и сопровождении высоконагруженных систем. Активно использую Kubernetes, Docker, Terraform, Ansible, Prometheus, ELK и другие инструменты для построения отказоустойчивых и безопасных решений. Обладает опытом работы с такими технологиями, как Ansible, Apache AirFlow, Apache Kafka, ArgoCD, Bash, Docker, Docker Compose, ELK, Git, GitLab, GitLab CI, Grafana, Kubernetes, Linux, MongoDB, MySQL, Nginx, PostgreSQL, Python, Terraform, Yandex Cloud DevOps и нереляционные БД (NoSQL). Принимал участие в проектах в отраслях E-commerce & Retail, Blockchain, RnD. Среди проектов: - КХД — создание и поддержка инфраструктуры с использованием Terraform, автоматизация Yandex Cloud, использование Ansible для конфигурационного управления, контейнеризация приложений в Docker. - Работа над инфраструктурой трёх криптопроектов: Farm, Hoolish, Pege — развёртывание и сопровождение Kubernetes-инфраструктуры, настройка CI/CD пайплайнов, использование Docker Registry, мониторинг, логирование. - Рольф, Монита, Бристоль — анализ логов устройства и базы данных, написание баг-репортов, мониторинг нагрузок системы. - toGO Tech — автоматизация и развёртывание процессов, контейнеризация, настройка и поддержка инструментов CI/CD, конфигурационное управление, мониторинг и журналирование.

Подробнее