Андрей Б. DWH разработчик, Senior
ID 25021
АБ
Андрей Б.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 415,58 Р/час
НДС не облагается
Специалист доступен с 21 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
DWH разработчик
Грейд
Навыки
Отрасли
Проекты
(6 лет 6 месяцев)
Разработка аналитической платформы для крупной розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, объединяющей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и персонализации маркетинговых кампаний. Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике через BI-дэшборды. Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация процессов снизила нагрузку на IT-команду и улучшила контроль качества данных.
"Разработка ETL-пайплайнов в Apache Airflow для загрузки данных в Greenplum.
Обработка больших объемов данных с использованием PySpark, Pandas для эффективных вычислений и агрегации.
Хранение сырых данных в AWS S3, агрегация в ClickHouse для BI-отчётов.
Визуализация данных в Power BI и Superset.
Мониторинг и оптимизация производительности запросов в Snowflake.
Интеграция PostgreSQL и MS SQL для оперативного хранения транзакционных данных.
Использование Docker и Kubernetes для контейнеризации ETL-компонентов.
Создание детальных технических проектных документов, описывающих процессы работы с данными, архитектуру системы и инфраструктуру, для обеспечения ясности при дальнейшем развитии и сопровождении.
Сотрудничество с командой аналитиков для согласования решений по обработке данных.
Проведение тестирования системы для соответствия всем техническим и бизнес-требованиям.
Настройка CI/CD-конвейеров с помощью GitLab CI/CD, автоматизация тестирования и развертывания компонентов ETL."
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Power BI, Jenkins, Kubernetes, ClickHouse, Pandas, Numpy, GreenPlum, Microsoft, AWS S3, Apache AirFlow, HDFS, Snowflake, Apache NiFi, GitLab CI/CD, Superset, PySpark, DBT
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2024 - По настоящее время
(1 год 5 месяцев)
Разработка DWH для крупной IT-компании
Роль
Data Engineer
Обязанности
Разработка DWH для крупной IT-компании, преобразование сырых данных из Data Lake и их интеграция в DWH для решения специфических ML-задач по наполнению. Проект автоматизировал сбор, обработку и интеграцию данных из Data Lake и улучшил доступ к ним для специалистов по исследованию данных благодаря предварительно агрегированным картам данных. Это повысило точность ML-моделей, ускорило прогнозирование и сделало кампании по набиванию шишек более эффективными.
"Разработал конвейеры ETL с использованием процедур хранения PostgreSQL, Python и Argo Workflow в качестве оркестратора для загрузки данных в DWH.
Интегрировал данные из тем Kafka в БД PostgreSQL.
Подготовка карт данных с предварительно агрегированными данными для ML-моделей.
Предоставление результатов ML-моделей в виде наборов данных в Google BigQuery
Мониторинг и оптимизация производительности запросов.
Собирал и анализировал требования специалистов по исследованию данных к наборам данных
Использовал Kubernetes для контейнеризации компонентов ETL.
Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании.
Проводил тестирование для обеспечения соответствия техническим и бизнес-требованиям.
Настраивал конвейеры CI/CD с использованием Git"
Стек специалиста на проекте
PostgreSQL, Git, Jira, Python, DBeaver, Google Cloud, Google, VS code, BigQuery, Kafka, DWH, Workflow, Snowflake, console, argo
Отрасль проекта
FinTech & Banking
Период работы
Март 2023 - Апрель 2024
(1 год 2 месяца)
Разработка аналитической платформы для крупной розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, интегрирующей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и проведения персонализированных маркетинговых кампаний.Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике с помощью BI-панелей.Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация позволила снизить нагрузку на ИТ-команду и улучшить контроль качества данных.
"Разрабатывал ETL-конвейеры в Apache Airflow для загрузки данных в Greenplum.
Поддержка хранилища данных с использованием Data Vault-модели (Star Schema).
Обрабатывал большие объемы данных с помощью PySpark, Pandas для эффективных вычислений и агрегирования.
Хранил необработанные данные в AWS S3 и агрегировал их в ClickHouse для BI-отчетов.
Визуализация данных в Power BI и Superset.
Контролировал и оптимизировал производительность запросов в Snowflake.
Интегрировали PostgreSQL и MS SQL для оперативного хранения транзакционных данных.
Использовал Docker и Kubernetes для контейнеризации компонентов ETL.
Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании.
Сотрудничал с командой аналитиков для согласования решений по обработке данных с бизнес-целями.
Проводил тестирование системы для обеспечения соответствия техническим и бизнес-требованиям.
Настраивал конвейеры CI/CD с помощью GitLab CI/CD, автоматизируя тестирование и развертывание компонентов ETL."
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Power BI, Jenkins, Kubernetes, ClickHouse, Pandas, Numpy, GreenPlum, Microsoft, AWS S3, Apache AirFlow, HDFS, Snowflake, Apache NiFi, GitLab CI/CD, Superset, PySpark, schema, star
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2022 - Март 2023
(1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
