Константин Р. Data инженер, Middle

ID 21459
КР
Константин Р.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 025,97 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Hadoop
Hive
Numpy
Openmetadata
Pandas
PySpark
Python
ClickHouse
DynamoDB
MongoDB
MSSQL
MySQL
Oracle
PostgreSQL
Redis
Apache Superset
Looker Studio
quicksight
Apache AirFlow
Apache NiFi
Kafka
RabbitMQ
athena
AWS
BigQuery
cloud
Cloud Firestore
Cloud Functions
CloudWatch
compute
Data
EC2
ECS
EKS
etc
GCP
glue
IAM
Lambda
monitoring
Object
proc
Pub/Sub
RDS
Redshift
S3
scanner
Services
Snowflake
SQL
SQS
Storage
Yandex Cloud
Bash scripting
CI/CD
Docker
Docker Compose
Kubernetes
Bitbucket
Git
GitHub
GitLab
Отрасли
E-commerce & Retail
FinTech & Banking
Media
Знание языков
Английский — B2
Главное о специалисте
Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub
Проекты   (4 года 10 месяцев)
NDA
Роль
BI-разработчик/Инженер данных
Обязанности
Проект Платформа разработана для обработки и анализа данных о продажах протоколов, уровнях запасов и поведении клиентов через различные каналы. Протокол представляет собой подписку, включающую медикаменты и анализы. Платформа генерирует панели мониторинга и визуализации, предоставляя информацию в реальном времени о тенденциях продаж, состоянии запасов и покупательских паттернах. Обязанности и достижения ● Преобразования данных с использованием Spark SQL в Yandex Data Proc. ● Развёртывание инфраструктуры и скриптов с использованием Pulumi. ● Настройка среды и хранилища Hadoop в Yandex Data Proc. ● Проектирование медальонной архитектуры в Hadoop (HDFS) на платформе Yandex Cloud. ● Интеграция с внешними API для загрузки данных о продажах и запасах в реальном времени в Yandex Data Transfer или с помощью кастомных решений. ● Создание визуализаций с помощью Yandex DataLens. ● Написание скриптов для сложных вычислений KPI. ● Преобразования данных с использованием Spark SQL в Yandex Data Proc. ● Реализация Apache NiFi пайплайнов для оркестрации ● Создание собственных процессоров и контроллеров в Apache NiFi ● Настройка Kubernetes Pods для Airflow ● Разработка моделей данных для Clickhouse ● Создание и настройка интерактивных дашбордов и отчетов с помощью Yandex DataLens в качестве BI-инструмента. ● Оптимизация запросов и визуализаций для повышения производительности BI-решений. ● Интеграция BI-системы с хранилищами данных. ● Разработка кастомного оператора обработки данных для Hadoop с использованием Bash. ● Написание PySpark-скриптов для улучшения гибкости и читаемости кода. ● Реализация логики преобразования данных для перемещения между слоями DWH в Yandex Managed Service for ClickHouse. ● Настройка мониторинга и оповещений через Yandex Monitoring для отслеживания производительности и доступности потоков данных. ● Разработка SQL-скриптов для вычисления сложных KPI и подготовки аналитических данных. ● Оптимизация и разработка SQL-запросов для работы с Yandex Managed Service for PostgreSQL или ClickHouse. ● Ревью кода Технологии Python, SQL, PySpark, Airflow, NiFi, Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud, etc), Docker, Docker Compose, Bitbucket, Kubernetes.
Стек специалиста на проекте
NiFi, ClickHouse, compute, Data, Bitbucket, proc, Object, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, etc, Apache AirFlow, Yandex Cloud, Kubernetes
Отрасль проекта
Media
Период работы
Март 2024 - По настоящее время  (1 год 3 месяца)
NDA
Роль
Инженер данных
Обязанности
Проект Распределенная система, осуществляющая сложный анализ. Платформа интегрирует данные из различных источников, таких как системы точек продаж, системы управления запасами и программы лояльности клиентов. Эти данные обрабатываются через ETL-потоки и сохраняются в централизованном хранилище данных. Затем платформа генерирует интерактивные панели мониторинга и визуализации, предоставляющие информацию о тенденциях продаж, уровнях запасов, потреблении кормов и эффективности маркетинга. Обязанности и достижения ● Поддержка системной документации по проекту ● Оптимизация SQL-запросов в Spark в Databricks ● Реализация Dagster Cloud в инфраструктуре GCP ● Создание кастомных коннекторов в Openmetadata для Looker Studio ● Разработка Python-скриптов для дополнительной обработки данных в Databricks ● Разработка панелей мониторинга в Looker Studio ● Настройка автоматических обновлений дашбордов и уведомлений в BI-системах. ● Добавление модельных данных в DWH (Хранилище данных) после встречи с абонентом ● Мониторинг заданий и потоков данных с помощью Dagster Cloud ● Использование GCP Dataproc для обработки данных ● Безсерверная часть с использованием GCP Functions ● Настройка и масштабирование виртуальных машин в GCP ● Сканирование данных Dataproc ● Настройка хранилища в Openmetadata Технологии Python, SQL, PySpark, Openmetadata, Pandas, NumPy, GCP (Google Cloud Dataproc, Cloud Storage, Data Lake, Google Cloud Dataflow, GCP Functions, DevOps, Cloud SQL, VM, Looker Studio), Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
functions, vm, Looker Studio, Numpy, Data Lake, Pandas, DevOps, Bitbucket, Google Cloud, cloud, Storage, GCP, Docker Compose, PySpark, SQL, Docker, Python, Dataflow, Openmetadata
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - Февраль 2024  (10 месяцев)
NDA
Роль
Инженер данных
Обязанности
Проект Платформа аналитики продаж для обработки огромных объемов данных с целью создания полезной статистики. Задача заключается в синхронизации данных для обработки и построения панелей мониторинга для бизнеса на их основе. Также необходимо предоставлять обработанные бизнес-данные в виде дата-мартов и статистики по ним. На основе полученного решения были проанализированы продажи и изменены стратегии развития рынка. Обязанности и достижения ● Проектирование базы данных ● Построение ETL/ELT потоков данных ● Очистка и подготовка данных с использованием Pandas ● Создание ETL-потоков с использованием MWAA на AWS ● Настройка и управление Apache Airflow для планирования и автоматизации резервных копий ● Оптимизация производительности с помощью сервисов AWS ● Обеспечение точности данных и гибкости ● Создание партиций на SQL-таблицах ● Мониторинг и оптимизация производительности потоков данных и систем ● Тестирование SQL-баз данных и исправление ошибок ● Управление и поддержка каталогов данных AWS Glue ● Реализация безсерверных вычислений с использованием AWS Lambda ● Разработка модели данных на Data Vault 2.0 ● Разработка связей между hub в виде link, по областям ● Ревью и рефакторинг кода Технологии Python, SQL, Apache Airflow, AWS (S3, RDS, Glue, Athena, Fargate , Databricks, SQS, Lambda, Redshift, etc.), PostgreSQL, Redis, MongoDB, Pysaprk, Docker, Docker-compose, GitHub.
Стек специалиста на проекте
glue, AWS Fargate, AWS, athena, Databricks, Redshift, MongoDB, Redis, GitHub, S3, Docker Compose, SQS, SQL, Docker, Python, etc, Lambda, Apache AirFlow, RDS, PostgreSQL
Отрасль проекта
FinTech & Banking
Период работы
Январь 2022 - Апрель 2023  (1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский национальный технический университет (БНТУ)
Специальность
Факультет информационных технологий и робототехники 2021
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • Media
КР
Константин Р.
Минск
Data инженер
Middle
4 025,97 Р/час
monitoring
glue
Apache Superset
AWS
GitLab
athena
quicksight
Looker Studio
ClickHouse
compute
+62

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Подробнее
FinTech & Banking • Social Networking
ДП
Дмитрий П.
Томск
Java разработчик
Middle+
3 415,58 Р/час
Maven/Gradle
Vaadin v8 and v23
ELK
Grafana
hibernate/jpa
assertj
GitLab
core
XML/JSON
WebSockets
+97

Java backend-разработчик с 4+ годами опыта. Разрабатываю микросервисные системы на Spring Boot, Kafka и Kubernetes, внедряю DevOps-практики и автоматизирую процессы CI/CD. Решаю задачи архитектуры, интеграции и безопасности, фокусируясь на стабильности, масштабируемости и чистоте кода. Есть опыт технического лидерства и развития команды Самые технически сложные и интересные задачи: Одной из сложных задач была разработка собственного SSO-сервера. До этого в компании была реализована система аутентификации на основе логина и пароля для доступа к различным API и окружениям. Используя Spring Security, удалось создать единую точку входа для всех проектов компании и внедрить вход в приложение через известных провайдеров (Google, VK, SberID), что позволило усилить контроль доступа к данным и улучшить пользовательский опыт. Также одна из задач была связана с созданием сервиса для автоматизированного расчета и распределения комиссионных сборов. До этого в компании использовалась ручная установка комиссии, что приводило к частым ошибкам в начислениях. Изменения в бизнес-логике происходили медленно, так как существующий процесс не позволял гибко и быстро адаптировать правила расчета комиссий. В результате была реализована асинхронная обработка большого потока транзакций и добавлена возможность динамического обновления правил расчёта без перезапуска сервиса. Это позволило повысить точность и прозрачность расчетов, сократить операционные затраты и улучшить клиентский опыт. Куда хочется развиваться: В сторону работы с высоконагруженными системами и работы с многопоточностью.

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • Insurance • Manufacturing • Realty & Constructoring
ВМ
Валерий М.
Ульяновск
Системный аналитик
Middle+
3 636,36 Р/час
ЧТЗ
Grafana
Исследование
Сбор и анализ требований
Работа с интеграциями
UML
архитектура
Координирование процессов
requirements
анализ
+92

Валерий — опытный системный аналитик с навыками работы в различных отраслях, таких как FinTech & Banking, Insurance, E-commerce & Retail, Manufacturing, EdTech и Realty & Constructoring. Он обладает глубокими знаниями и опытом в области системного анализа, аналитики, бизнес-процессов, разработки программного обеспечения и интеграции систем. На своих проектах Валерий успешно выполнял задачи по анализу требований, разработке технических заданий, описанию интеграций между модулями, а также разработке функциональных спецификаций и требований с учётом новых изменений. Валерий работал над проектами, связанными с разработкой банковских приложений, оформлением страховых полисов, автоматизацией процессов расчёта стоимости услуг, техническим осмотром и ремонтом, образовательной платформой и системой безопасности. Он имеет опыт работы с различными инструментами и технологиями, такими как BPMN, Camunda Modeler, Confluence, Jira, PostgreSQL, Python, RabbitMQ и другие.

Подробнее