ДГ
Денис Г.
Мужчина, 23 года
Россия, Краснодар, UTC+3
Ставка
3 339,64 Р/час
вкл. НДС 5% (123.81 Р)
Специалист доступен с 9 сентября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Денис — Data инженер уровня Middle+ из Краснодара, Россия. Специализируется на работе с данными, имеет опыт в отраслях FoodTech, EdTech и E-commerce & Retail. Владеет широким спектром технологий и инструментов, включая Python, ClickHouse, PostgreSQL, TimeScaleDB, OLAP, S3, Yandex Cloud, Apache AirFlow, DBT и другие.
Имеет опыт работы на следующих проектах:
- Система бизнес-аналитики (BI) в компании, занимающейся розничной торговлей пищевыми продуктами и снеками. Роль — Data Engineer. Задачи включали миграцию отчётности с Qlik Sense на Pix BI, оптимизацию процессов ETL и оркестрации, оптимизацию инфраструктуры и БД.
- Корпоративное хранилище данных для онлайн-платформы взаимодействия преподавателей и учеников. Роль — Data Engineer. Задачи включали модернизацию и поддержку хранилища данных, оптимизацию процессов построения витрин и интеграций с источниками.
- Платформа для анализа данных мультиплатформенного языкового приложения (Web, iOS, Android). Роль — Data Engineer. Задачи включали проектирование и настройку инфраструктуры, разработку ETL/ELT процессов, создание Docker-контейнеров для локальной разработки и тестирования.
- Система бизнес-аналитики (BI) в компании, специализирующейся на розничной продаже товаров через каналы дистанционного обслуживания. Роль — BI Analyst. Задачи включали миграцию бизнес-отчётности с Excel и кастомных выгрузок в централизованную BI-систему, разработку ETL-процессов, проектирование и документацию.
Проекты
(4 года 3 месяца)
Система бизнес-аналитики (BI)
Роль
Data Engineer
Обязанности
Миграция отчетности с Qlik Sense на Pix BI и оптимизация процессов обработки данных.
Проект включал в себя перенос отчетных панелей, логики визуализации и источников данных в новую BI-систему Pix BI.
Компания занимается розничной торговлей пищевыми продуктами и снеками, поддерживает широкий ассортимент SKU и активно использует аналитические данные для оптимизации бизнес-процессов.
Что реализовывал:
Оптимизация процессов ETL и оркестрации:
Внедрил best-practice по шедулингу dbt-моделей в Apache Airflow, что ускорило вывод моделей в Production и снизило количество ошибок из-за взаимных блокировок процессов
Оптимизировал расчеты dbt-моделей и конвейеры данных, что значительно сократило время доставки данных
Оптимизация инфраструктуры и БД:
Оптимизировал конфигурацию СУБД Greenplum (параметры spill на диск и распределение памяти), что снизило нагрузку на систему и стабилизировало работу ETL-процессов в пиковые периоды нагрузки
Стек специалиста на проекте
SQL, Python, BI, GreenPlum, Apache AirFlow, GitLab CI/CD, DBT, ETL-процессы, Qlik Sense
Отрасль проекта
FoodTech
Период работы
Февраль 2025 - Август 2025
(7 месяцев)
Корпоративное хранилище данных
Роль
Data Engineer
Обязанности
Модернизация и поддержка существующего хранилища данных, а также оптимизация процессов построения витрин и интеграций с источниками.
Компания предоставляет онлайн-платформу для взаимодействия преподавателей и учеников, включая проведение занятий, обмен материалами и отслеживание прогресса обучения.
Что реализовывал:
Миграция и модернизация ETL-процессов:
Перенес legacy ELT-процессы с Python на шаблонизатор SQLMesh, что упростило разработку и модификацию витрин и снизило порог входа для аналитиков
Внедрил встроенные дата-тесты и юнит-тесты в SQLMesh для обеспечения качества данных и сокращения количества багов в витринах
Архитектура и стандартизация:
Спроектировал архитектуру слоев для построения витрин в корпоративном хранилище данных, упростив навигацию для аналитиков и бизнес-пользователей
Внедрил проверки и линтеры в процесс CI/CD, обеспечив стандартизацию кода интеграций с источниками данных
Инфраструктура и инструменты разработки:
Создал Docker-контейнеры для локальной разработки и тестирования компонентов конвейера данных, обеспечив единообразную среду разработки для всей команды
Настроил выгрузку ключевых витрин из PostgreSQL в ClickHouse для улучшения производительности дашбордов и отчетов
Документирование и знания:
Задокументировал ключевые витрины данных, enabling бизнес-пользователей к самостоятельному анализу данных
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitLab, ClickHouse, Docker Compose, Apache AirFlow, CI/CD, Yandex Cloud, S3, metabase, dicontainer
Отрасль проекта
EdTech
Период работы
Май 2024 - Январь 2025
(9 месяцев)
Платформа для анализа данных
Роль
Data Engineer
Обязанности
Разработка платформы аналитики и A/B-тестирования для мультиплатформенного языкового приложения (Web, iOS, Android).
Цель проекта — повысить доступность бизнес-аналитики и предоставить инструмент для проведения A/B-экспериментов, позволяющий анализировать поведение пользователей и проверять продуктовые гипотезы.
Компания разрабатывает мультиплатформенное приложение для изучения иностранных языков, ориентированное на массовую аудиторию и персонализированный подход к обучению.
Что реализовывал:
● Настроил Yandex Object Storage для хранения необработанных данных, обеспечив надежное и дешевое хранилище;
● Настроил кластер Trino для аналитиков данных, чтобы у них было единое окно для запросов между ClickHouse и PostgreSQL.
● Настроил PostgreSQL в Managed Databases для хранения структурированных данных, таких как clickstream, данные пользователей и микросервисов, что позволило эффективно выполнять выборки и составлять отчеты;
● Спроектировал и внедрил процессы ELT с использованием Apache Airflow и Meltano/Sling для автоматизации извлечения данных из нескольких источников, включая базы данных микросервисов и различные REST API;
● Смоделировал хранилище данных в STAR-схеме с помощью dbt, что позволило не только эффективно запрашивать данные в BI-системе (DataLens), но и открыло доступ аналитикам к написанию SQL моделей (таблицы в STAR-схеме);
● Развернул BI-систему (DataLens) в Yandex Cloud для визуализации данных;
● Развернул кластер ClickHouse в инфраструктуре Yandex Cloud и настроил отгрузку витрин данных в кластер из PostgreSQL. Это позволило не только разделить ресурсы на ELT задачи и запросы аналитиков и BI-инструмента, но и повысить средний отклик визуализаций с 15-30 до 1-5 секунд.
● Создал контейнеры Docker (devcontainer и docker-compose) для локальной разработки и тестирования компонентов конвейера данных, что обеспечило консистентную среду разработки для всей команды;
● Настроил CI/CD процессы в GitLab с тестами и линтерами, что позволило обеспечить автоматическую выкатку проверенного и протестированного кода;
● Добавил встроенные в dbt дата-тесты, что позволило сократить количество багов в витринах и дать пользователям уверенность в качестве данных.
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitLab, ClickHouse, Docker Compose, Apache AirFlow, CI/CD, Yandex Cloud, S3, DataLens, DBT, Spark SQL, dicontainer, Trino, Yandex Object Storage, Meltano, Kling
Отрасль проекта
EdTech
Период работы
Сентябрь 2022 - Апрель 2024
(1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Среднее
Учебное заведение
-
Специальность
-
Завершение учебы
2019 г.