Андрей Б. DWH разработчик, Senior

ID 25021
АБ
Андрей Б.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 415,58 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
DWH разработчик
Грейд
Senior
Навыки
Apache AirFlow
Apache Kafka
Apache Spark
athena
aurora
AWS
Bitbucket
Bitbucket Pipelines
cdk
CI/CD
ClickHouse
CloudWatch
Data
DBT
DevOps
emr
ETL
eventbridge
Git
GitLab
glue
GreenPlum
HDFS
IAM
Integrations
Jenkins
Kit
Kubernetes
Lambda
Microsoft
MySQL
Oracle
Pandas
Pentaho
PostgreSQL
Power BI
PySpark
Redshift
S3
Scheduler
Snowflake
Spark Streaming
SQL
stepfunctions
tools
tortoise svn
Базы данных
системы контроля версий
Отрасли
E-commerce & Retail
FinTech & Banking
Government & Public Sector
Telecom
Проекты   (6 лет 5 месяцев)
Разработка аналитической платформы для крупной розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, объединяющей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и персонализации маркетинговых кампаний. Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике через BI-дэшборды. Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация процессов снизила нагрузку на IT-команду и улучшила контроль качества данных. "Разработка ETL-пайплайнов в Apache Airflow для загрузки данных в Greenplum. Обработка больших объемов данных с использованием PySpark, Pandas для эффективных вычислений и агрегации. Хранение сырых данных в AWS S3, агрегация в ClickHouse для BI-отчётов. Визуализация данных в Power BI и Superset. Мониторинг и оптимизация производительности запросов в Snowflake. Интеграция PostgreSQL и MS SQL для оперативного хранения транзакционных данных. Использование Docker и Kubernetes для контейнеризации ETL-компонентов. Создание детальных технических проектных документов, описывающих процессы работы с данными, архитектуру системы и инфраструктуру, для обеспечения ясности при дальнейшем развитии и сопровождении. Сотрудничество с командой аналитиков для согласования решений по обработке данных. Проведение тестирования системы для соответствия всем техническим и бизнес-требованиям. Настройка CI/CD-конвейеров с помощью GitLab CI/CD, автоматизация тестирования и развертывания компонентов ETL."
Стек специалиста на проекте
DBT, ClickHouse, Numpy, Pandas, Power BI, Superset, Apache NiFi, AWS S3, HDFS, Snowflake, PySpark, SQL, Docker, GreenPlum, GitLab CI/CD, Apache AirFlow, Microsoft, PostgreSQL, Jenkins, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2024 - По настоящее время  (1 год 4 месяца)
Разработка DWH для крупной IT-компании
Роль
Data Engineer
Обязанности
Разработка DWH для крупной IT-компании, преобразование сырых данных из Data Lake и их интеграция в DWH для решения специфических ML-задач по наполнению. Проект автоматизировал сбор, обработку и интеграцию данных из Data Lake и улучшил доступ к ним для специалистов по исследованию данных благодаря предварительно агрегированным картам данных. Это повысило точность ML-моделей, ускорило прогнозирование и сделало кампании по набиванию шишек более эффективными. "Разработал конвейеры ETL с использованием процедур хранения PostgreSQL, Python и Argo Workflow в качестве оркестратора для загрузки данных в DWH. Интегрировал данные из тем Kafka в БД PostgreSQL. Подготовка карт данных с предварительно агрегированными данными для ML-моделей. Предоставление результатов ML-моделей в виде наборов данных в Google BigQuery Мониторинг и оптимизация производительности запросов. Собирал и анализировал требования специалистов по исследованию данных к наборам данных Использовал Kubernetes для контейнеризации компонентов ETL. Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании. Проводил тестирование для обеспечения соответствия техническим и бизнес-требованиям. Настраивал конвейеры CI/CD с использованием Git"
Стек специалиста на проекте
PostgreSQL, Git, Jira, Python, DBeaver, Google Cloud, Google, VS code, BigQuery, Kafka, DWH, Workflow, Snowflake, console, argo
Отрасль проекта
FinTech & Banking
Период работы
Март 2023 - Апрель 2024  (1 год 2 месяца)
Разработка аналитической платформы для крупной розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, интегрирующей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и проведения персонализированных маркетинговых кампаний.Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике с помощью BI-панелей.Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация позволила снизить нагрузку на ИТ-команду и улучшить контроль качества данных. "Разрабатывал ETL-конвейеры в Apache Airflow для загрузки данных в Greenplum. Поддержка хранилища данных с использованием Data Vault-модели (Star Schema). Обрабатывал большие объемы данных с помощью PySpark, Pandas для эффективных вычислений и агрегирования. Хранил необработанные данные в AWS S3 и агрегировал их в ClickHouse для BI-отчетов. Визуализация данных в Power BI и Superset. Контролировал и оптимизировал производительность запросов в Snowflake. Интегрировали PostgreSQL и MS SQL для оперативного хранения транзакционных данных. Использовал Docker и Kubernetes для контейнеризации компонентов ETL. Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании. Сотрудничал с командой аналитиков для согласования решений по обработке данных с бизнес-целями. Проводил тестирование системы для обеспечения соответствия техническим и бизнес-требованиям. Настраивал конвейеры CI/CD с помощью GitLab CI/CD, автоматизируя тестирование и развертывание компонентов ETL."
Стек специалиста на проекте
ClickHouse, Numpy, Pandas, Power BI, Superset, Apache NiFi, AWS S3, HDFS, Snowflake, PySpark, SQL, Docker, GreenPlum, GitLab CI/CD, Apache AirFlow, Microsoft, PostgreSQL, Jenkins, Kubernetes, schema, star
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2022 - Март 2023  (1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

FinTech & Banking • RnD • Telecom
НС
Никита С.
Москва
DWH разработчик
Senior
3 981,88 Р/час
Apache AirFlow
ClickHouse
Confluence
Git
GitLab
GreenPlum
Hadoop
HDFS
Hive
hue
+28

Моя основная экспертиза — разработка и развитие современных хранилищ данных (DWH), Data Lake House и решение сложных инфраструктурных задач. За плечами больше четырех лет успешного внедрения решений, позволяющих эффективно управлять огромными объемами информации. Я хотел бы развиваться в области изучения передовых подходов и новейших технологий, открывающих новые горизонты анализа больших данных и способствующих повышению эффективности бизнес-процессов компаний. В достижении поставленных целей мне помогают такие качества, как высокий уровень самоорганизации, постоянная жажда профессионального роста, активное участие в специализированных лекциях и семинарах, стремление совершенствовать технические знания и развивать экспертизу.

Подробнее
E-commerce & Retail • FinTech & Banking • Telecom
ЕБ
Евгений Б.
Москва
DWH разработчик
Senior
4 110,32 Р/час
Atlassian
bower
Builder
DWH
Identity Server
Infomix
ITIL
Jira
Kanban
Microsoft
+72

Разработчик клиент-серверных приложений в финансовом секторе с использованием Powerbuilder и различных БД (SQL Informix, Sybase ASE, Oracle, PostgreSQL) 9 лет опыт разработки клиент-серверных приложений в финансовом секторе с использованием Sybase Powerbuilder и различных БД (MS SQL, Informix, Sybase ASE, Oracle, PostgreSQL). Ключевые навыки Навыки Dwh SQL VBA ITIL Transact-SQL Informix MS SQL MS SQL Server Разработка ПО Unit Testing PowerScript Atlassian Jira Scrum Информационные технологии PowerGen Kanban MS Power Builder PowerBuilder PostgreSQL Pytest СУБД: MS SQL Server 2008-2019 (2016 Certified Professional) Informix 12 Sybase ASE Oracle PostgreSQL 14.6 Среды разработки: Sybase Powerbuilder 9.5-12.5, Appeon PowerBuilder 2017 R3 (Разработка банковских приложений, PFC/No PFC) SQL Server Management Studio Embarcadero DBArtisan DBeaver PyCharm Баг-трекинг системы: Redmine, Jira. TFS Omtitracker. Инструменты, технологии: SCRUM/Agile SoapUI/Postman Visual Basic for Applications E.Crane Powergen Microsoft VIsual Sourcesafe / Git / Gitlab Python 3 (pytest) Apache AIrflow Altova XMLSpy Опыт разработки ETL/ELT

Подробнее

Недавно просмотренные специалисты