Андрей Б. Data инженер, Senior

ID 26900
АБ
Андрей Б.
Мужчина, 34 года
Беларусь, Минск, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 2 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
Apache AirFlow
Apache Kafka
Apache Spark
athena
aurora
AWS
Bitbucket
Bitbucket Pipelines
cdk
CI/CD
ClickHouse
CloudWatch
Data
DBT
emr
ETL
eventbridge
Git
GitLab
glue
GreenPlum
HDFS
IAM
Integrations
Jenkins
Kit
Kubernetes
Lambda
Microsoft
MySQL
Oracle
Pandas
Pentaho
PostgreSQL
Power BI
PySpark
Redshift
S3
Scheduler
Snowflake
Spark Streaming
stepfunctions
tortoise svn
Базы данных
системы контроля версий
Отрасли
E-commerce & Retail
IoT
Telecom
Знание языков
Английский — B2
Немецкий — A2
Главное о специалисте
Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.
Проекты   (6 лет 8 месяцев)
Платформа для розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, объединяющей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и персонализации маркетинговых кампаний. Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике через BI-дэшборды. Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация процессов снизила нагрузку на IT-команду и улучшила контроль качества данных. Разработка ETL-пайплайнов в Apache Airflow для загрузки данных в Greenplum. Обработка больших объемов данных с использованием PySpark, Pandas для эффективных вычислений и агрегации. Хранение сырых данных в AWS S3, агрегация в ClickHouse для BI-отчётов. Визуализация данных в Power BI и Superset. Мониторинг и оптимизация производительности запросов в Snowflake. Интеграция PostgreSQL и MS SQL для оперативного хранения транзакционных данных. Использование Docker и Kubernetes для контейнеризации ETL-компонентов. Настройка и использование HDFS для надежного и отказоустойчивого хранения Создание детальных технических проектных документов, описывающих процессы работы с данными, архитектуру системы и инфраструктуру, для обеспечения ясности при дальнейшем развитии и сопровождении. Сотрудничество с командой аналитиков для согласования решений по обработке данных. Проведение тестирования системы для соответствия всем техническим и бизнес-требованиям. Настройка CI/CD-конвейеров с помощью GitLab CI/CD, автоматизация тестирования и развертывания компонентов ETL.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Power BI, Jenkins, Kubernetes, ClickHouse, Pandas, Numpy, GreenPlum, Microsoft, AWS S3, Apache AirFlow, HDFS, Snowflake, Apache NiFi, GitLab CI/CD, Superset, PySpark, DBT
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2024 - По настоящее время  (1 год 7 месяцев)
IT-компания
Роль
Data Engineer
Обязанности
Разработка DWH для крупной IT-компании, преобразование сырых данных из Data Lake и их интеграция в DWH для решения специфических ML-задач по наполнению. Проект автоматизировал сбор, обработку и интеграцию данных из Data Lake и улучшил доступ к ним для специалистов по исследованию данных благодаря предварительно агрегированным картам данных. Это повысило точность ML-моделей, ускорило прогнозирование и сделало кампании по набиванию шишек более эффективными. Разработал конвейеры ETL с использованием процедур хранения PostgreSQL, Python и Argo Workflow в качестве оркестратора для загрузки данных в DWH. Интегрировал данные из тем Kafka в БД PostgreSQL. Подготовка карт данных с предварительно агрегированными данными для ML-моделей. Предоставление результатов ML-моделей в виде наборов данных в Google BigQuery Мониторинг и оптимизация производительности запросов. Собирал и анализировал требования специалистов по исследованию данных к наборам данных Использовал Kubernetes для контейнеризации компонентов ETL. Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании. Проводил тестирование для обеспечения соответствия техническим и бизнес-требованиям. Настраивал конвейеры CI/CD с использованием Git
Стек специалиста на проекте
PostgreSQL, Git, Jira, Python, DBeaver, Google Cloud, Google, VS Code, BigQuery, Kafka, Workflow, Snowflake, console, argo
Отрасль проекта
IoT
Период работы
Март 2023 - Апрель 2024  (1 год 2 месяца)
Платформа для крупной розничной сети
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, интегрирующей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и проведения персонализированных маркетинговых кампаний.Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике с помощью BI-панелей.Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация позволила снизить нагрузку на ИТ-команду и улучшить контроль качества данных. Разрабатывал ETL-конвейеры в Apache Airflow для загрузки данных в Greenplum. Обрабатывал большие объемы данных с помощью PySpark, Pandas для эффективных вычислений и агрегирования. Хранил необработанные данные в AWS S3 и агрегировал их в ClickHouse для BI-отчетов. Визуализация данных в Power BI и Superset. Контролировал и оптимизировал производительность запросов в Snowflake. Интегрировали PostgreSQL и MS SQL для оперативного хранения транзакционных данных. Использовал Docker и Kubernetes для контейнеризации компонентов ETL. Создавал подробную техническую документацию, описывающую процессы обработки данных, архитектуру системы и инфраструктуру для обеспечения ясности при дальнейшей разработке и обслуживании. Сотрудничал с командой аналитиков для согласования решений по обработке данных с бизнес-целями. Проводил тестирование системы для обеспечения соответствия техническим и бизнес-требованиям. Настраивал конвейеры CI/CD с помощью GitLab CI/CD, автоматизируя тестирование и развертывание компонентов ETL.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Power BI, Jenkins, Kubernetes, ClickHouse, Pandas, Numpy, GreenPlum, Microsoft, AWS S3, Apache AirFlow, HDFS, Snowflake, Apache NiFi, GitLab CI/CD, Superset, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2022 - Март 2023  (1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
Bitbucket
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking
ВВ
Владлена В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache AirFlow
athena
AWS
AWS glue
Bash
BI
BigQuery
Bitbucket
ClickHouse
+44

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • EdTech
АЩ
Алексей Щ.
Смоленск
Битрикс24 разработчик
Senior
3 181,82 Р/час
PostgreSQL
RabbitMQ
Git
Docker
JavaScript
Sentry
Redis
PHP 7.3
+8

Архитектура, оптимизация, масштабирование, управление командой Backend-разработчик с более чем 6 годами опыта в создании высоконагруженных и отказоустойчивых систем. Успешно реализовал проекты в разных сферах: от e-commerce до SaaS-решений. Ключевые навыки: - Языки и технологии: JavaScript, PHP, Docker, RabbitMQ - Архитектура: Микросервисы, монолиты - Базы данных: PostgreSQL, MySQL, Redis, оптимизация запросов - Управление: Опыт руководства командой (3-5 человек), планирование задач, code review, наставничество Что я принесу в ваш проект? ✅ Надежность – пишу чистый, поддерживаемый код с покрытием тестами ✅ Масштабируемость – проектирую системы, способные выдерживать высокие нагрузки ✅ Эффективность – оптимизирую производительность и снижаю затраты на инфраструктуру ✅ Организацию – умею выстраивать процессы в команде для быстрого и предсказуемого результата Опыт работы: - Team Lead / Senior Backend Developer - Увеличил отказоустойчивость системы, снизив downtime на 40% - Оптимизировал запросы к БД, ускорив API на 25% - Выстроил процессы code review и CI/CD, сократив время релизов в 2 раза - Backend Developer - Разработал микросервисную архитектуру с нуля - Интегрировал платежные системы и CRM Почему я? Не просто пишу код, а решаю бизнес-задачи: автоматизирую процессы, сокращаю издержки и помогаю продукту расти. Готов к сложным вызовам и быстро вливаюсь в команду.

Подробнее
E-commerce & Retail • Government & Public Sector
ВС
Вадим С.
Москва
Java разработчик
Junior+
2 142,86 Р/час
PostgreSQL
Git
Docker
REST
Java
Jira
SQL
Английский язык
Bitbucket
JUnit
+32

Вадим — Java-разработчик уровня Middle из Москвы. Специализируется на разработке с использованием Java и Spring Boot. Имеет опыт работы с базами данных PostgreSQL и SQL, а также с инструментами автоматизации тестирования, такими как Jenkins CI, GitLab CI и Docker. Владеет английским языком на уровне B2. Имеет опыт работы в отраслях Government & Public Sector и E-commerce & Retail. Участвовал в проектах «Экзон Групп (Гаскар интеграция)» и «Petshopru». В проекте «Экзон Групп (Гаскар интеграция)» занимал роль инженера по автоматизации тестирования, разработал фреймворк для тестировки продукта СОД, занимался автоматизацией тест-кейсов, разработкой функционала фреймворка тестировки, написанием документации и переработкой старого кода. В проекте «Petshopru» занимался анализом требований и дизайном тест-кейсов в сотрудничестве с командой QA и аналитиком, оптимизировал процессы тестирования для улучшения эффективности.

Подробнее
BioTech, Pharma, Health care & Sports • FinTech & Banking
УР
Улан Р.
Астана
Системный аналитик
Middle+
3 246,75 Р/час
Jira
Confluence
BPMN
UML
Figma
Postman
Draw.io
Swagger
DBeaver
MVP
+26

- Более 5-ти лет опыта бизнес- и системного анализа в коммерческих или государственных проектах - Опыт работы с внешними и внутренними интеграционными взаимодействиями (REST API, SOAP, ESB, Apache Kafka, RabbitMQ) - Опыт работы с СУБД: PostgreSQL, MS SQL, Oracle DB - Опыт разработки технических заданий, руководства пользователей, программ и методик испытаний - Опыт выявления и управления требованиями (бизнес-требования, функциональные и нефункциональные требования к ПО) - Участие более чем в 16-ти проектах различных сфер в качестве бизнес- и системного аналитика, а также product owner или менеджера проектов - Опыт работы в каскадных (Waterfall) и гибких (Scrum) методологиях Участие в качестве спикера на конференциях, презентациях

Подробнее
GameDev
ВО
Виктор О.
Москва
Frontend разработчик
Junior
1 142,86 Р/час
Git
HTML
CSS
Docker
JavaScript
PHP
Python
Bash
REST API
Linux
+11

Технические компетенции: Системное администрирование: - Администрирование Windows и Linux систем - Работа с терминальными средами (cmd, PowerShell, bash, zsh, alias) - Управление доменными структурами - Настройка и мониторинг файрволов (iptables, Windows Firewall) - Конфигурация DNS-серверов - Конфигурация маршрутизации и сетевой инфраструктуры Разработка и веб-технологии: - Фронтенд: HTML5, CSS3, JavaScript - Бэкенд: PHP, Python - Работа с базами данных: MariaDB, MySQL - Фреймворки: Flask, FastAPI - Версионирование: Git, GitLab Практический опыт и достижения: Автоматизация процессов: - Разработка bash-скриптов для автоматизации рутинных задач - Автоматизация установки Linux-систем с дополнительным ПО (ускорение процесса на 50%) - Скрипты для введения компьютеров в домен (ускорение процесса на 40%) - Автоматизация установки и обновления драйверов - Оптимизация процессов удаления и установки программного обеспечения (ускорение процесса на 60%) Веб-разработка: - Разработка и поддержка веб-проектов (доступны на GitHub и в облачном хранилище) - Создание веб-приложений с регистрацией и интеграцией с базами данных - Опыт работы с REST API - Внедрение систем аутентификации и авторизации

Подробнее