Герман В. Data инженер, Middle+

ID 23395
ГВ
Герман В.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 545,15 Р/час
вкл. НДС 5% (131.43 Р)
Специалист доступен с 20 июня 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
DBT
DevOps
Docker
documentation
DynamoDB
EC2
ecr
emr
FastAPI
Flask
functions
Git
GitHub
GitLab
GitLab CI/CD
glue
GreenPlum
Hadoop
HDFS
Kafka
Lambda
Matplotlib
MongoDB
MSSQL
MySQL
Numpy
Oracle
Pandas
PostgreSQL
Pydantic
PySpark
Python
RabbitMQ
RDS
Redshift
S3
SciPy
Snowflake
SQL
SQLAlchemy
Steps
Testing
Базы данных
Контроль версий
Compose
Отрасли
E-commerce & Retail
Знание языков
Английский — B2
Главное о специалисте
Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.
Проекты   (5 лет 7 месяцев)
Проект по внедрению платформы снабжения и планирования для крупного производственного предприятия.
Роль
Инженер данных
Обязанности
Проект по внедрению платформы снабжения и планирования для крупного производственного предприятия. Платформа объединяет множество источников данных и предоставляет заказчику оптимальные маршруты и материалы для создания продукции. Обязанности: ● Участие в обсуждении архитектуры для обеспечения масштабируемости и производительности системы. ● Управление командой дата-инженеров, постановка задач и обеспечение эффективного выполнения задач. ● Сотрудничество с заинтересованными сторонами бизнеса и другими проектами. ● Подключение к различным источникам данных для получения, хранения и преобразования данных в соответствии с потребностями проекта. ● Оптимизация SQL-запросов в базах данных PostgreSQL и Oracle для повышения производительности и сокращения времени выполнения. ● Создание и планирование конвейеров Airflow для автоматизации процессов ETL, извлечения, преобразования и загрузки данных в хранилище данных. ● Использование Pandas для преобразования данных и применения пользовательской логики для очистки, фильтрации и подготовки данных для дальнейшей обработки. ● Написание сложных SQL-запросов и хранимых процедур для обработки данных, агрегирования и бизнес-логики. ● Настройка соединений Kafka для потоковой передачи данных в реальном времени и обеспечения интеграции с последующими процессами. ● Разработка процессов на основе таймера для запуска действий через запланированные интервалы, улучшающих автоматизацию рабочих процессов. ● Оптимизация производительности Airflow за счет улучшения планирования задач, управления зависимостями и эффективного масштабирования конвейеров. ● Создание витрин данных для информационных панелей FineBI, обеспечивающих эффективное агрегирование данных для получения глубокой бизнес-аналитики. ● Проектирование и внедрение HDFS для эффективного хранения данных в распределенной файловой системе. ● Оптимизация производительности процесса чтения/записи данных в HDFS. ● Интеграция GreenPlum с другими источниками данных (PostgreSQL, Hadoop) для обеспечения единой платформы для аналитики и отчетности. ● Внедрение ETL процессов для обработки данных в GreenPlum. ● Чтение и обработка сообщений Avro от Kafka для извлечения и хранения соответствующей информации для аналитики. ● Обеспечение корректного преобразования данных на каждом этапе конвейера, сохранение точности и согласованности данных. ● Разработка и использование пользовательских операторов Airflow для управления конкретными задачами, которые не могут быть решены встроенными операторами. ● Обсуждение требований к интеграции с клиентами для согласования потоков данных, форматов и взаимодействия с системой.
Стек специалиста на проекте
Avro, GitLab, SQLAlchemy, Numpy, Pandas, Oracle, Apache, Hadoop, HDFS, Pydantic, Docker Compose, Docker, Python, GreenPlum, GitLab CI/CD, Apache AirFlow, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - По настоящее время  (2 года 1 месяц)
Простое в интеграции приложение для персонализированной бизнес-аналитики.
Роль
Инженер данных
Обязанности
Простое в интеграции приложение для персонализированной бизнес-аналитики — по всем функциям, от разработки до финансов и производства — на базе искусственного интеллекта. Продукт, благодаря использованию искусственного интеллекта, упрощает и автоматизирует процессы в компаниях, а также предоставляет ключевую информацию и рекомендации о том, какое решение принять дальше. Основная цель — протестировать самые современные технологии для решения бизнес-задач. Обязанности: ● Создание конечных точек Flask для реализации взаимодействия с бэкэндом ● Написание сложных SQL-запросов и хранимых процедур. ● Проведение нормализации данных ● Контроль операций хранилища данных (DWH) ● Разработка моделей DBT ● Общение с заинтересованными сторонами бизнеса ● Использовал Pandas, NumPy и SciPy для очистки, нормализации и разработки функций данных, чтобы обеспечить высококачественный ввод для моделей машинного обучения. ● Разработка функций с помощью AWS Lambda ● Разработка скриптов трансформации Python ● Использование AWS Athena для интерактивного запроса больших наборов данных, хранящихся в S3, оптимизации поиска данных и обеспечения быстрого анализа без необходимости дополнительной инфраструктуры. ● Создание конвейеров ETL/ELT с помощью Apache Airflow ● Разработка алгоритмов для группировки клиентов на основе покупательского поведения, демографических данных и данных о вовлеченности для поддержки персонализированных маркетинговых стратегий. ● Преобразование нормализованных данных в удобные бизнес-схемы ● Организация DWH и оптимизация его производительности ● Написание тестов для проверки корректности функций. ● Разработка скриптов Python для расширенного преобразования данных и интеграции искусственного интеллекта в рабочие процессы. ● Управление процессами миграции и трансформации данных ● Проведение проверок кода и поддержание стандартов кодирования.
Стек специалиста на проекте
DBT, ecr, AWS, documentation, functions, athena, Redshift, SQLAlchemy, Numpy, Pandas, SciPy, Bitbucket, S3, Steps, Pydantic, Alembic, Docker Compose, EKS, SQL, Docker, Python, Lambda, Flask, Apache AirFlow, RDS, Testing, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2021 - Май 2023  (2 года 4 месяца)
Платформа собирает и обрабатывает большие объемы данных из различных источников, предоставляя ценную информацию и рекомендации.
Роль
Инженер данных
Обязанности
Платформа собирает и обрабатывает большие объемы данных из различных источников, предоставляя ценную информацию и рекомендации. Пользователи могут исследовать данные с помощью интерактивной визуализации, выполнять расширенный анализ и создавать индивидуальные отчеты. Целью этого проекта является помощь в принятии обоснованных решений, повышение вовлеченности клиентов и повышение общей эффективности маркетинга. Обязанности: ● Администрирование внутренних и облачных баз данных. ● Разработка и оптимизация сложных SQL-запросов и хранимых процедур. ● Использование Apache Spark для эффективной обработки и анализа терабайтов данных, обеспечивающее масштабируемое машинное обучение. ● Очистка и агрегирование данных с помощью Apache Spark ● Обработка крупномасштабных наборов данных с помощью AWS EMR, оптимизация рабочих процессов Apache Spark для распределенной обработки и преобразования данных. ● Выполнение сложных статистический вычислений с помощью SciPy для получения значимой информации и проверки предположений о данных. ● Проектирование и внедрение конвейеров ETL с помощью AWS Glue для автоматизации каталогизации данных, обнаружения схем и преобразования данных. ● Использование AWS Athena для запроса структурированных и полуструктурированных данных непосредственно из S3, что позволяет выполнять специальную аналитику и составлять отчеты. ● Контроль и оптимизация операций хранилища данных (DWH) ● Анализ поведения системы для выявления недостатков, настройки производительности и рекомендаций по возможностям оптимизации производительности. ● Общение с заинтересованными сторонами бизнеса по поводу системных требований ● Выявление и исключение аномалий из набора данных ● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных. ● Проверка преобразований и миграции данных ● Проведение очистки данных для достижения наилучшего качества данных.
Стек специалиста на проекте
glue, Gitlab CI, AWS, GitLab, athena, emr, Numpy, Bash, Pandas, SciPy, FastAPI, Apache Spark, S3, Docker Compose, Snowflake, PySpark, Docker, Python, Lambda, RDS, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2019 - Февраль 2021  (1 год 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГУ
Специальность
Математики и информатики
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ВВ
Владлена В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache AirFlow
athena
AWS
AWS glue
Bash
BI
BigQuery
Bitbucket
ClickHouse
+44

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • IoT • Telecom
АБ
Андрей Б.
Минск
Data инженер
Senior
4 155,84 Р/час
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
+55

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
glue
DBT
Avro
Compose
ecr
Контроль версий
AWS
GitLab
documentation
functions
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
Information Security • Travel, Hospitality & Restaurant business
АА
Антон А.
Москва
Java разработчик
Senior
4 155,84 Р/час
Jedis
ArtemisMQ
Grafana
GitLab
cookies
zoom
Tomcat
core
Spring Data
skype
+88

Антон Авдеев — опытный Java-разработчик с более чем 6 годами опыта в разработке программного обеспечения. Он обладает глубокими знаниями в Java (включая версии 8, 11, 17), Spring Framework (Core, MVC, Data, Security, Boot), Hibernate, REST, GRPC, а также опытом работы с базами данных (MySQL, PostgreSQL, ClickHouse) и системами очередей (Kafka, RabbitMQ). Антон имеет опыт работы в крупных компаниях, таких как WMT Group и Luxoft, где он занимался разработкой и оптимизацией backend- и frontend-решений, миграцией данных, внедрением новых технологий и улучшением отказоустойчивости систем. Он также обладает навыками работы с инструментами CI/CD (Jenkins, TeamCity), контейнеризацией (Docker, Kubernetes) и мониторингом (Prometheus, Grafana). Антон активно участвует в code review, проектировании архитектуры и анализе задач. Он готов к переезду и командировкам, владеет английским на уровне B1.. Антон — целеустремленный специалист, который любит учиться новому, следит за трендами в IT и готов применять свои навыки для развития компаний. Его опыт и техническая экспертиза делают его отличным кандидатом.

Подробнее
FinTech & Banking • Marketing, Advertising & Design
ЕП
Егор П.
Гродно
Full Stack разработчик
Senior
4 046,49 Р/час
Grafana
Servlets
MariaDB
Bamboo
JSTL
GitLab
MS Windows
Монолитная архитектура
Postman
Tomcat
+64

Backend разработчик с 5-летним опытом работы в области back-end разработки (Java, Kotlin, Spring Boot) и front-end разработки (JavaScript, React, VueJS). Принимал участие в проектах в сфере финансовых технологий, решений для бизнеса и корпоративных приложений. Имею опыт работы с микросервисной архитектурой на Java и Spring Boot. Также есть опыт использования Kotlin на back-end части и React, VueJS на front-end части. Взаимодействовал с реляционными (PostgreSQL, MariaDB) и нереляционными (MongoDB) базами данных, занимался моделированием бизнес-процессов с Camunda, настройкой CI/CD (Jenkins, Gitlab). Знаком с технологиями контейнеризации (Docker, Kubernetes) и облачными технологиями (AWS, Cloudflare). Быстро обучаюсь, ответственно подхожу к задачам и открыт к новым технологиям и инструментам. Soft skills: Ответственность, пунктуальность, стрессоустойчивость Опыт работы в команде, в том числе опыт лидерских должностей

Подробнее
BioTech, Pharma, Health care & Sports • GameDev • Manufacturing • Telecom
ВЕ
Владислав Е.
Гродно
Full Stack разработчик
Senior
4 046,49 Р/час
C#
ASP.NET
Redux Toolkit
Redux
Onion Architecture
GitLab
MS Windows
LINQ
SOLID
WPF
+55

Full-stack разработчик с опытом более 4-х лет. Участвовал как в проектах с нуля, так и в обновлении решений. Основной стек технологий: C#, .NET, React, Angular, Docker, RabbitMQ. Придерживается принципов SOLID, KISS, DRY. Имеет опыт рефакторинга и долгосрочной поддержки кода. Имеет опыт общения с бизнесом. Активно принимает участие в обсуждении и реализации новых решений, нацеленных на безопасность и гибкость разрабатываемого ПО. Специалист может работать как индивидуально, так и в составе команды. Быстро адаптируется в новых условиях и демонстрирует свою компетентность. Постоянно расширяет свои знания в области IT. Дополнительная информация: Soft skills: - Решительность, Коммуникация, Тайм менеджмент, Стратегия развития. Увлечения: - Путешествия, Музыка, Автомобили, Игры.

Подробнее