Герман В. Data инженер, Middle+

ID 23395
ГВ
Герман В.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 545,15 Р/час
вкл. НДС 5% (131.43 Р)
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
DBT
DevOps
Docker
documentation
DynamoDB
EC2
ecr
emr
FastAPI
Flask
functions
Git
GitHub
GitLab
GitLab CI/CD
glue
GreenPlum
Hadoop
HDFS
Kafka
Lambda
Matplotlib
MongoDB
MSSQL
MySQL
Numpy
Oracle
Pandas
PostgreSQL
Pydantic
PySpark
Python
RabbitMQ
RDS
Redshift
S3
SciPy
Snowflake
SQL
SQLAlchemy
Steps
Testing
Базы данных
Контроль версий
Compose
Отрасли
E-commerce & Retail
Знание языков
Английский — B2
Главное о специалисте
Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.
Проекты   (5 лет 8 месяцев)
Проект по внедрению платформы снабжения и планирования для крупного производственного предприятия.
Роль
Инженер данных
Обязанности
Проект по внедрению платформы снабжения и планирования для крупного производственного предприятия. Платформа объединяет множество источников данных и предоставляет заказчику оптимальные маршруты и материалы для создания продукции. Обязанности: ● Участие в обсуждении архитектуры для обеспечения масштабируемости и производительности системы. ● Управление командой дата-инженеров, постановка задач и обеспечение эффективного выполнения задач. ● Сотрудничество с заинтересованными сторонами бизнеса и другими проектами. ● Подключение к различным источникам данных для получения, хранения и преобразования данных в соответствии с потребностями проекта. ● Оптимизация SQL-запросов в базах данных PostgreSQL и Oracle для повышения производительности и сокращения времени выполнения. ● Создание и планирование конвейеров Airflow для автоматизации процессов ETL, извлечения, преобразования и загрузки данных в хранилище данных. ● Использование Pandas для преобразования данных и применения пользовательской логики для очистки, фильтрации и подготовки данных для дальнейшей обработки. ● Написание сложных SQL-запросов и хранимых процедур для обработки данных, агрегирования и бизнес-логики. ● Настройка соединений Kafka для потоковой передачи данных в реальном времени и обеспечения интеграции с последующими процессами. ● Разработка процессов на основе таймера для запуска действий через запланированные интервалы, улучшающих автоматизацию рабочих процессов. ● Оптимизация производительности Airflow за счет улучшения планирования задач, управления зависимостями и эффективного масштабирования конвейеров. ● Создание витрин данных для информационных панелей FineBI, обеспечивающих эффективное агрегирование данных для получения глубокой бизнес-аналитики. ● Проектирование и внедрение HDFS для эффективного хранения данных в распределенной файловой системе. ● Оптимизация производительности процесса чтения/записи данных в HDFS. ● Интеграция GreenPlum с другими источниками данных (PostgreSQL, Hadoop) для обеспечения единой платформы для аналитики и отчетности. ● Внедрение ETL процессов для обработки данных в GreenPlum. ● Чтение и обработка сообщений Avro от Kafka для извлечения и хранения соответствующей информации для аналитики. ● Обеспечение корректного преобразования данных на каждом этапе конвейера, сохранение точности и согласованности данных. ● Разработка и использование пользовательских операторов Airflow для управления конкретными задачами, которые не могут быть решены встроенными операторами. ● Обсуждение требований к интеграции с клиентами для согласования потоков данных, форматов и взаимодействия с системой.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Oracle, GitLab, Apache, Avro, Hadoop, Pandas, SQLAlchemy, Numpy, GreenPlum, Pydantic, Docker Compose, Apache AirFlow, HDFS, GitLab CI/CD
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - По настоящее время  (2 года 2 месяца)
Простое в интеграции приложение для персонализированной бизнес-аналитики.
Роль
Инженер данных
Обязанности
Простое в интеграции приложение для персонализированной бизнес-аналитики — по всем функциям, от разработки до финансов и производства — на базе искусственного интеллекта. Продукт, благодаря использованию искусственного интеллекта, упрощает и автоматизирует процессы в компаниях, а также предоставляет ключевую информацию и рекомендации о том, какое решение принять дальше. Основная цель — протестировать самые современные технологии для решения бизнес-задач. Обязанности: ● Создание конечных точек Flask для реализации взаимодействия с бэкэндом ● Написание сложных SQL-запросов и хранимых процедур. ● Проведение нормализации данных ● Контроль операций хранилища данных (DWH) ● Разработка моделей DBT ● Общение с заинтересованными сторонами бизнеса ● Использовал Pandas, NumPy и SciPy для очистки, нормализации и разработки функций данных, чтобы обеспечить высококачественный ввод для моделей машинного обучения. ● Разработка функций с помощью AWS Lambda ● Разработка скриптов трансформации Python ● Использование AWS Athena для интерактивного запроса больших наборов данных, хранящихся в S3, оптимизации поиска данных и обеспечения быстрого анализа без необходимости дополнительной инфраструктуры. ● Создание конвейеров ETL/ELT с помощью Apache Airflow ● Разработка алгоритмов для группировки клиентов на основе покупательского поведения, демографических данных и данных о вовлеченности для поддержки персонализированных маркетинговых стратегий. ● Преобразование нормализованных данных в удобные бизнес-схемы ● Организация DWH и оптимизация его производительности ● Написание тестов для проверки корректности функций. ● Разработка скриптов Python для расширенного преобразования данных и интеграции искусственного интеллекта в рабочие процессы. ● Управление процессами миграции и трансформации данных ● Проведение проверок кода и поддержание стандартов кодирования.
Стек специалиста на проекте
DBT, ecr, AWS, documentation, functions, athena, Redshift, SQLAlchemy, Numpy, Pandas, SciPy, Bitbucket, S3, Steps, Pydantic, Alembic, Docker Compose, EKS, SQL, Docker, Python, Lambda, Flask, Apache AirFlow, RDS, Testing, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2021 - Май 2023  (2 года 4 месяца)
Платформа собирает и обрабатывает большие объемы данных из различных источников, предоставляя ценную информацию и рекомендации.
Роль
Инженер данных
Обязанности
Платформа собирает и обрабатывает большие объемы данных из различных источников, предоставляя ценную информацию и рекомендации. Пользователи могут исследовать данные с помощью интерактивной визуализации, выполнять расширенный анализ и создавать индивидуальные отчеты. Целью этого проекта является помощь в принятии обоснованных решений, повышение вовлеченности клиентов и повышение общей эффективности маркетинга. Обязанности: ● Администрирование внутренних и облачных баз данных. ● Разработка и оптимизация сложных SQL-запросов и хранимых процедур. ● Использование Apache Spark для эффективной обработки и анализа терабайтов данных, обеспечивающее масштабируемое машинное обучение. ● Очистка и агрегирование данных с помощью Apache Spark ● Обработка крупномасштабных наборов данных с помощью AWS EMR, оптимизация рабочих процессов Apache Spark для распределенной обработки и преобразования данных. ● Выполнение сложных статистический вычислений с помощью SciPy для получения значимой информации и проверки предположений о данных. ● Проектирование и внедрение конвейеров ETL с помощью AWS Glue для автоматизации каталогизации данных, обнаружения схем и преобразования данных. ● Использование AWS Athena для запроса структурированных и полуструктурированных данных непосредственно из S3, что позволяет выполнять специальную аналитику и составлять отчеты. ● Контроль и оптимизация операций хранилища данных (DWH) ● Анализ поведения системы для выявления недостатков, настройки производительности и рекомендаций по возможностям оптимизации производительности. ● Общение с заинтересованными сторонами бизнеса по поводу системных требований ● Выявление и исключение аномалий из набора данных ● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных. ● Проверка преобразований и миграции данных ● Проведение очистки данных для достижения наилучшего качества данных.
Стек специалиста на проекте
glue, Gitlab CI, AWS, GitLab, athena, emr, Numpy, Bash, Pandas, SciPy, FastAPI, Apache Spark, S3, Docker Compose, Snowflake, PySpark, Docker, Python, Lambda, RDS, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2019 - Февраль 2021  (1 год 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГУ
Специальность
Математики и информатики
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ВВ
Владлена В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache AirFlow
athena
AWS
AWS glue
Bash
BI
BigQuery
Bitbucket
ClickHouse
+44

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • IoT • Telecom
АБ
Андрей Б.
Минск
Data инженер
Senior
4 155,84 Р/час
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
+55

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • RnD
ВЛ
Владимир Л.
Калининград
Java разработчик
Middle
2 857,14 Р/час
Junit 4
Gitlab CI
GitLab
Spring Data
Spring Data JPA
Liquibase
Jacoco
REST
Java
JUnit
+34

Владимир — Java-разработчик уровня Middle. Специализируется на Spring Boot, Data JPA и Spring Data. Умеет работать с Docker, GitLab, Gitlab CI, Gradle, Kafka, Kubernetes и другими инструментами. Опыт работы: - Проект «Астон» (FinTech & Banking): разработка и поддержка банковского приложения, работа с базами данных PostgreSQL, H2, использование Hibernate для ORM, настройка интеграции с внешними API, контейнеризация приложений с помощью Docker, написание модульных и интеграционных тестов (JUnit), проведение код-ревью. Достижения: перевёл несколько микросервисов с REST на gRPC, оптимизировал маппинг сущностей с MapStruct, разработал стартер логирования на основе аспектно-ориентированного программирования. - Проект Flexi Workflow (RnD): разработка бэкенд-логики и функциональных модулей для веб-сервиса по созданию PDF-файлов, взаимодействие с базой данных, создание и оптимизация репозиториев с использованием Spring Data JPA, разработка скриптов для миграции данных с Liquibase. Достижения: реализовал все требуемые CRUD операции для обработки данных, дополнил Checkstyle проверки. - Стажировка BBH IT Internship Program (RnD): освоение Scrum-процессов, изучение подходов к работе с документацией и разработке бизнес-логики, углублённое изучение возможностей Spring Framework, участие в код-ревью, обучение написанию unit и интеграционных тестов. Достижения: успешно освоил программу стажировки, научился работать в команде и с системами контроля версий.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
glue
DBT
Avro
Compose
ecr
Контроль версий
AWS
GitLab
documentation
functions
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail
АШ
Антон Ш.
Новосибирск
PHP разработчик
Senior
3 246,75 Р/час
Управление командой
PHP
Solr
Elasticsearch
Git
API
Linux
Redis
Apache
Drupal
+22

Скиллы: - Разработка веб приложений аутсорс - Сервисный подход (архитектура на базе нескольких приложений) - Микро-сервисный подход (воркеры, очереди, брокеры) - Продуктовая разработка - Управление группой разработчиков - Scrum / Agile - Работа с людьми в режиме “Играющего тренера” (найм, онбординг, индивидуальные планы развития, код ревью, анализ и работа с показателями, отслеживание настроения, мотивация, увольнения) - Пресейл / технический концепт / техническая продажа - Оценки, декомпозиция, планирование - Аналитика по проекту - Проектирование архитектуры проекта - Подбор технологий для решения задачи - Контроль сроков и ресурсов - Демо, презентация результатов - Проведение ретроспектив - Работа с ожиданиями и риск менеджмент - Создание, внедрение и поддержка внутренних инструментов и процессов. - Написание и поддержка документации по проекту - Переговоры с заказчиками, выстраивание методов работы. Типовые проекты / задачи: - Авторские сайты / конструкторы страниц - Порталы / CRM системы - Интернет магазины - API бэкенд для мобильных и фронтовых приложений - Калькуляторы - Высоконагруженное API - Приложения для маркет Битрикс24 - Приложения для маркет AmoCRM - Чаты боты (телеграм / slack / Битрикс24) - Аудит производительности, оптимизация. - Настройка веб сервера

Подробнее
Cloud Services • E-commerce & Retail • EdTech • Government & Public Sector • HRTech • LifeStyle • Logistics & Transport • Social Networking
ДЛ
Даниил Л.
Суботица
Системный аналитик
Senior
3 636,36 Р/час
Grafana
UML
Kanban
Postman
Axure RP
Microsoft Excel
pg
XSD
JSON
XML
+35

Более 5 лет опыта работы в системном и бизнес-анализе Участие в отраслевых проектах: образование, CRM системы, социальные сети, недвижимость, геоданные, ритейл, логистика, в том числе проекты гос. заказчика Сбор, выявление требований, подготовка и проведение интервью со стейкхолдерами Опыт разработки технических заданий, проектной документации, руководств пользователей, программ и методик испытаний, а также опыт аналитического сопровождения разработки и эксплуатации ПО Проектирование структур БД Прототипирование экранных интерфейсов в специализированном ПО (Axure RP, Figma) Проработка User Story, Use Cases Проектирование и тестирование интеграций посредством REST API (Swagger, Postman) Опыт работы с min, DBeaver, Mockups Опыт работы с монолитной и микросервисной архитектурой Разработка тест-кейсов и ручное тестирование ПО Опыт проведения внешних демонстраций продукта. Опыт обучения сотрудников.

Подробнее