Денис Г. Data инженер, Middle+

ID 30978
ДГ
Денис Г.
Мужчина, 23 года
Россия, Краснодар, UTC+3
Ставка
3 339,64 Р/час
вкл. НДС 5% (123.81 Р)
Специалист доступен с 9 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Python
ClickHouse
PostgreSQL
TimeScaleDB
OLAP
S3
Yandex Cloud
Apache AirFlow
DBT
Kling
Meltano
Cloud Functions
Kafka
Numpy
Pandas
DataLens
Google Data Studio
Looker Studio
Git
GitHub
GitLab
CI/CD
GitHub Actions
Docker
Docker Compose
clickstream
REST API
Базы данных
BI
BI инструменты
BI-система
Отрасли
E-commerce & Retail
EdTech
FoodTech
Главное о специалисте
Денис — Data инженер уровня Middle+ из Краснодара, Россия. Специализируется на работе с данными, имеет опыт в отраслях FoodTech, EdTech и E-commerce & Retail. Владеет широким спектром технологий и инструментов, включая Python, ClickHouse, PostgreSQL, TimeScaleDB, OLAP, S3, Yandex Cloud, Apache AirFlow, DBT и другие. Имеет опыт работы на следующих проектах: - Система бизнес-аналитики (BI) в компании, занимающейся розничной торговлей пищевыми продуктами и снеками. Роль — Data Engineer. Задачи включали миграцию отчётности с Qlik Sense на Pix BI, оптимизацию процессов ETL и оркестрации, оптимизацию инфраструктуры и БД. - Корпоративное хранилище данных для онлайн-платформы взаимодействия преподавателей и учеников. Роль — Data Engineer. Задачи включали модернизацию и поддержку хранилища данных, оптимизацию процессов построения витрин и интеграций с источниками. - Платформа для анализа данных мультиплатформенного языкового приложения (Web, iOS, Android). Роль — Data Engineer. Задачи включали проектирование и настройку инфраструктуры, разработку ETL/ELT процессов, создание Docker-контейнеров для локальной разработки и тестирования. - Система бизнес-аналитики (BI) в компании, специализирующейся на розничной продаже товаров через каналы дистанционного обслуживания. Роль — BI Analyst. Задачи включали миграцию бизнес-отчётности с Excel и кастомных выгрузок в централизованную BI-систему, разработку ETL-процессов, проектирование и документацию.
Проекты   (4 года 3 месяца)
Система бизнес-аналитики (BI)
Роль
Data Engineer
Обязанности
Миграция отчетности с Qlik Sense на Pix BI и оптимизация процессов обработки данных. Проект включал в себя перенос отчетных панелей, логики визуализации и источников данных в новую BI-систему Pix BI. Компания занимается розничной торговлей пищевыми продуктами и снеками, поддерживает широкий ассортимент SKU и активно использует аналитические данные для оптимизации бизнес-процессов. Что реализовывал: Оптимизация процессов ETL и оркестрации: Внедрил best-practice по шедулингу dbt-моделей в Apache Airflow, что ускорило вывод моделей в Production и снизило количество ошибок из-за взаимных блокировок процессов Оптимизировал расчеты dbt-моделей и конвейеры данных, что значительно сократило время доставки данных Оптимизация инфраструктуры и БД: Оптимизировал конфигурацию СУБД Greenplum (параметры spill на диск и распределение памяти), что снизило нагрузку на систему и стабилизировало работу ETL-процессов в пиковые периоды нагрузки
Стек специалиста на проекте
SQL, Python, BI, GreenPlum, Apache AirFlow, GitLab CI/CD, DBT, ETL-процессы, Qlik Sense
Отрасль проекта
FoodTech
Период работы
Февраль 2025 - Август 2025  (7 месяцев)
Корпоративное хранилище данных
Роль
Data Engineer
Обязанности
Модернизация и поддержка существующего хранилища данных, а также оптимизация процессов построения витрин и интеграций с источниками. Компания предоставляет онлайн-платформу для взаимодействия преподавателей и учеников, включая проведение занятий, обмен материалами и отслеживание прогресса обучения. Что реализовывал: Миграция и модернизация ETL-процессов: Перенес legacy ELT-процессы с Python на шаблонизатор SQLMesh, что упростило разработку и модификацию витрин и снизило порог входа для аналитиков Внедрил встроенные дата-тесты и юнит-тесты в SQLMesh для обеспечения качества данных и сокращения количества багов в витринах Архитектура и стандартизация: Спроектировал архитектуру слоев для построения витрин в корпоративном хранилище данных, упростив навигацию для аналитиков и бизнес-пользователей Внедрил проверки и линтеры в процесс CI/CD, обеспечив стандартизацию кода интеграций с источниками данных Инфраструктура и инструменты разработки: Создал Docker-контейнеры для локальной разработки и тестирования компонентов конвейера данных, обеспечив единообразную среду разработки для всей команды Настроил выгрузку ключевых витрин из PostgreSQL в ClickHouse для улучшения производительности дашбордов и отчетов Документирование и знания: Задокументировал ключевые витрины данных, enabling бизнес-пользователей к самостоятельному анализу данных
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitLab, ClickHouse, Docker Compose, Apache AirFlow, CI/CD, Yandex Cloud, S3, metabase, dicontainer
Отрасль проекта
EdTech
Период работы
Май 2024 - Январь 2025  (9 месяцев)


Платформа для анализа данных
Роль
Data Engineer
Обязанности
Разработка платформы аналитики и A/B-тестирования для мультиплатформенного языкового приложения (Web, iOS, Android). Цель проекта — повысить доступность бизнес-аналитики и предоставить инструмент для проведения A/B-экспериментов, позволяющий анализировать поведение пользователей и проверять продуктовые гипотезы. Компания разрабатывает мультиплатформенное приложение для изучения иностранных языков, ориентированное на массовую аудиторию и персонализированный подход к обучению. Что реализовывал: ● Настроил Yandex Object Storage для хранения необработанных данных, обеспечив надежное и дешевое хранилище; ● Настроил кластер Trino для аналитиков данных, чтобы у них было единое окно для запросов между ClickHouse и PostgreSQL. ● Настроил PostgreSQL в Managed Databases для хранения структурированных данных, таких как clickstream, данные пользователей и микросервисов, что позволило эффективно выполнять выборки и составлять отчеты; ● Спроектировал и внедрил процессы ELT с использованием Apache Airflow и Meltano/Sling для автоматизации извлечения данных из нескольких источников, включая базы данных микросервисов и различные REST API; ● Смоделировал хранилище данных в STAR-схеме с помощью dbt, что позволило не только эффективно запрашивать данные в BI-системе (DataLens), но и открыло доступ аналитикам к написанию SQL моделей (таблицы в STAR-схеме); ● Развернул BI-систему (DataLens) в Yandex Cloud для визуализации данных; ● Развернул кластер ClickHouse в инфраструктуре Yandex Cloud и настроил отгрузку витрин данных в кластер из PostgreSQL. Это позволило не только разделить ресурсы на ELT задачи и запросы аналитиков и BI-инструмента, но и повысить средний отклик визуализаций с 15-30 до 1-5 секунд. ● Создал контейнеры Docker (devcontainer и docker-compose) для локальной разработки и тестирования компонентов конвейера данных, что обеспечило консистентную среду разработки для всей команды; ● Настроил CI/CD процессы в GitLab с тестами и линтерами, что позволило обеспечить автоматическую выкатку проверенного и протестированного кода; ● Добавил встроенные в dbt дата-тесты, что позволило сократить количество багов в витринах и дать пользователям уверенность в качестве данных.
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitLab, ClickHouse, Docker Compose, Apache AirFlow, CI/CD, Yandex Cloud, S3, DataLens, DBT, Spark SQL, dicontainer, Trino, Yandex Object Storage, Meltano, Kling
Отрасль проекта
EdTech
Период работы
Сентябрь 2022 - Апрель 2024  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Среднее
Учебное заведение
-
Специальность
-
Завершение учебы
2019 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • RnD
ДХ
Дмитрий Х.
Воронеж
QA ручной
Junior+
2 597,4 Р/час
Тест-дизайн
developer
Регрессионное тестирование
IOS
GitLab
Postman
XMind
DevTools
Elasticsearch
Git
+44

Дмитрий — специалист по ручному тестированию с опытом работы в проектах для отраслей биотехнологий, фармацевтики, здравоохранения и спорта. Он обладает навыками работы с инструментами Confluence, Figma, GitLab, Jira, XMind, Elasticsearch, Kibana, Microsoft, MS Word, Swagger, КриптоПРО, PostgreSQL, Git, Docker, Chrome. Также он знаком с функциональным, мобильным, UI-тестированием, исследовательским, регрессионным, системным тестированием и тестированием баз данных. Дмитрий работал над проектами, связанными с разработкой веб-приложений и корпоративных социальных сетей. Он выполнял анализ требований и дизайна, писал чек-листы и тест-кейсы, проводил ручное тестирование, тестирование API и тестирование баз данных, создавал баг-репорты и предоставлял отчёты о тестировании.

Подробнее
E-commerce & Retail
ИЛ
Илья Л.
Москва
Data аналитик
Middle+
3 596,53 Р/час
Работа с базами данных
Kanban
Базы данных
DAX
Анализ данных
Бизнес-анализ
Аналитическое мышление
Power BI
Oracle
Hadoop
+31

Data аналитик с опытом работы в отрасли электронной коммерции и ритейла более 3-х лет. Специализируется на создании и поддержке интерактивных отчётов и дашбордов в Power BI, работал с внутренними базами данных, проводил аналитику по продажам и возвратам продукции, составлял управленческую отчётность для руководства. На проектах выполнял следующие задачи: - создавал и поддерживал интерактивные отчёты и дашборды в Power BI; - разрабатывал единый дизайн и структуру дашбордов; - формировал ежедневную продуктовую отчётность; - переносил аналитические отчёты из Excel в Power BI; - работал с базами данных и PL/SQL; - настраивал автоматизацию процессов через установку процедур на джобы; - оптимизировал скрипты, циклы, процедуры для создания витрин данных посредством SQL; - выполнял оперативные аналитические задачи; - проводил консультации для бизнеса.

Подробнее
E-commerce & Retail • Manufacturing
АЗ
Анастасия З.
Нижний Новгород
Аналитик 1С
Senior
3 532,31 Р/час
Управленческий учет
Проведение обследований
Федеральные стандарты бухгалтерского учета (ФСБУ)
Программное обеспечение
ПБУ
Обучение
миграции
склад
производство
+32

Анастасия — аналитик 1С уровня Senior из Нижнего Новгорода. Специализируется на регламентированном учёте, имеет опыт работы в сферах производства и торговли. Владеет английским языком на уровне B1. Ключевые навыки: 1С, ERP, SAP, БП 3.0, SQL, тестирование, написание документации, настройка, обучение пользователей, проведение обследований, разработка инструкций, миграция данных, автоматизация процессов. Имеет опыт работы на проектах по переходу с SAP на ERP, а также с УПП на ERP 2.5, включая моделирование, настройку параметров учёта, миграцию данных, обучение пользователей и постпроектное сопровождение. Участвовала в предпроектных обследованиях, промышленной эксплуатации и опытно-промышленной эксплуатации. Работала с различными блоками учёта, включая ВНА, склад, продажи, закупки, казначейство, финансовый результат, производство, зарплату и регламентированный учёт. Есть сертификаты, которые можно посмотреть по ссылке, вот по бухгалтерии https://uc1.1c.ru/account/summary/?token=349e4f06aac12761a6f66d6e7edfbc63&ver=2 29.01.2025 1С:Специалист-консультант по управлению производством и организация ремонтов в ERP CS314186 26.12.2024 1С:Специалист-консультант по управленческому учету в ERP CS313382 30.08.2024 1С:Специалист-консультант по регламентированному учету в ERP CS308946 23.07.2024 1С:Профессионал. ERP Управление предприятием ред. 2.5 ПЕРП80041245 06.12.2019 1С:Профессионал. Зарплата и управление персоналом 8 ПУП8047264 06.04.2012 1С:Профессионал. Управление торговлей 8 ПУТ88033466 16.03.2012 1С:Профессионал по 1С:Бухгалтерия 8 ПБ8027727

Подробнее