КР
Константин Р.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 025,97 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Middle Data Engineer
Навыки
● Python
● Моделирование DWH
● Разработка ETL/ELT-конвейеров
● Опыт визуализации данных
● Опыт работы AWS, Azure и GCP
● Экспертиза в Spark
● Экспертное знание SQL
Проекты
● Платформа розничных продаж
● Платформа аналитики распределения
● Платформа анализа продаж
● Платформа аналитики розничной торговли
Образование
Степень бакалавра в области компьютерных наук Языковые навыки
Английский – B2
Опыт работы в сфере Data Engineering более 4-х лет.
Языки программирования: Python
Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel
Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse
BI Инструменты: Looker Studio, QuickSight, Apache SuperSet.
ETL Инструменты: Apache Airflow, Apache NiFi
Брокеры сообщений: Kafka, RabbitMQ
Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud.
DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD.
Системы контроля версий: Git, GitLab, Bitbucket, GitHub
Проекты
(4 года 10 месяцев)
NDA
Роль
BI-разработчик/Инженер данных
Обязанности
Проект
Платформа разработана для обработки и анализа данных о продажах протоколов, уровнях запасов и поведении клиентов через различные каналы. Протокол представляет собой подписку, включающую медикаменты и анализы. Платформа генерирует панели мониторинга и визуализации, предоставляя информацию в реальном времени о тенденциях продаж, состоянии запасов и покупательских паттернах.
Обязанности и достижения
● Преобразования данных с использованием Spark SQL в Yandex Data Proc.
● Развёртывание инфраструктуры и скриптов с использованием Pulumi.
● Настройка среды и хранилища Hadoop в Yandex Data Proc.
● Проектирование медальонной архитектуры в Hadoop (HDFS) на платформе Yandex Cloud.
● Интеграция с внешними API для загрузки данных о продажах и запасах в реальном времени в Yandex Data Transfer или с помощью кастомных решений.
● Создание визуализаций с помощью Yandex DataLens.
● Написание скриптов для сложных вычислений KPI.
● Преобразования данных с использованием Spark SQL в Yandex Data Proc.
● Реализация Apache NiFi пайплайнов для оркестрации
● Создание собственных процессоров и контроллеров в Apache NiFi
● Настройка Kubernetes Pods для Airflow
● Разработка моделей данных для Clickhouse
● Создание и настройка интерактивных дашбордов и отчетов с помощью Yandex DataLens в качестве BI-инструмента.
● Оптимизация запросов и визуализаций для повышения производительности BI-решений.
● Интеграция BI-системы с хранилищами данных.
● Разработка кастомного оператора обработки данных для Hadoop с использованием Bash.
● Написание PySpark-скриптов для улучшения гибкости и читаемости кода.
● Реализация логики преобразования данных для перемещения между слоями DWH в Yandex Managed Service for ClickHouse.
● Настройка мониторинга и оповещений через Yandex Monitoring для отслеживания производительности и доступности потоков данных.
● Разработка SQL-скриптов для вычисления сложных KPI и подготовки аналитических данных.
● Оптимизация и разработка SQL-запросов для работы с Yandex Managed Service for PostgreSQL или ClickHouse.
● Ревью кода
Технологии
Python, SQL, PySpark, Airflow, NiFi, Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud, etc), Docker, Docker Compose, Bitbucket, Kubernetes.
Стек специалиста на проекте
NiFi, ClickHouse, compute, Data, Bitbucket, proc, Object, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, etc, Apache AirFlow, Yandex Cloud, Kubernetes
Отрасль проекта
Media
Период работы
Март 2024 - По настоящее время
(1 год 3 месяца)
NDA
Роль
Инженер данных
Обязанности
Проект
Распределенная система, осуществляющая сложный анализ. Платформа интегрирует данные из различных источников, таких как системы точек продаж, системы управления запасами и программы лояльности клиентов. Эти данные обрабатываются через ETL-потоки и сохраняются в централизованном хранилище данных. Затем платформа генерирует интерактивные панели мониторинга и визуализации, предоставляющие информацию о тенденциях продаж, уровнях запасов, потреблении кормов и эффективности маркетинга.
Обязанности и достижения
● Поддержка системной документации по проекту
● Оптимизация SQL-запросов в Spark в Databricks
● Реализация Dagster Cloud в инфраструктуре GCP
● Создание кастомных коннекторов в Openmetadata для Looker Studio
● Разработка Python-скриптов для дополнительной обработки данных в Databricks
● Разработка панелей мониторинга в Looker Studio
● Настройка автоматических обновлений дашбордов и уведомлений в BI-системах.
● Добавление модельных данных в DWH (Хранилище данных) после встречи с абонентом
● Мониторинг заданий и потоков данных с помощью Dagster Cloud
● Использование GCP Dataproc для обработки данных
● Безсерверная часть с использованием GCP Functions
● Настройка и масштабирование виртуальных машин в GCP
● Сканирование данных Dataproc
● Настройка хранилища в Openmetadata
Технологии
Python, SQL, PySpark, Openmetadata, Pandas, NumPy, GCP (Google Cloud Dataproc, Cloud Storage, Data Lake, Google Cloud Dataflow, GCP Functions, DevOps, Cloud SQL, VM, Looker Studio), Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
functions, vm, Looker Studio, Numpy, Data Lake, Pandas, DevOps, Bitbucket, Google Cloud, cloud, Storage, GCP, Docker Compose, PySpark, SQL, Docker, Python, Dataflow, Openmetadata
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - Февраль 2024
(10 месяцев)
NDA
Роль
Инженер данных
Обязанности
Проект
Платформа аналитики продаж для обработки огромных объемов данных с целью создания полезной статистики. Задача заключается в синхронизации данных для обработки и построения панелей мониторинга для бизнеса на их основе. Также необходимо предоставлять обработанные бизнес-данные в виде дата-мартов и статистики по ним. На основе полученного решения были проанализированы продажи и изменены стратегии развития рынка.
Обязанности и достижения
● Проектирование базы данных
● Построение ETL/ELT потоков данных
● Очистка и подготовка данных с использованием Pandas
● Создание ETL-потоков с использованием MWAA на AWS
● Настройка и управление Apache Airflow для планирования и автоматизации резервных копий
● Оптимизация производительности с помощью сервисов AWS
● Обеспечение точности данных и гибкости
● Создание партиций на SQL-таблицах
● Мониторинг и оптимизация производительности потоков данных и систем
● Тестирование SQL-баз данных и исправление ошибок
● Управление и поддержка каталогов данных AWS Glue
● Реализация безсерверных вычислений с использованием AWS Lambda
● Разработка модели данных на Data Vault 2.0
● Разработка связей между hub в виде link, по областям
● Ревью и рефакторинг кода
Технологии
Python, SQL, Apache Airflow, AWS (S3, RDS, Glue, Athena, Fargate , Databricks, SQS, Lambda, Redshift, etc.), PostgreSQL, Redis, MongoDB, Pysaprk, Docker, Docker-compose, GitHub.
Стек специалиста на проекте
glue, AWS Fargate, AWS, athena, Databricks, Redshift, MongoDB, Redis, GitHub, S3, Docker Compose, SQS, SQL, Docker, Python, etc, Lambda, Apache AirFlow, RDS, PostgreSQL
Отрасль проекта
FinTech & Banking
Период работы
Январь 2022 - Апрель 2023
(1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский национальный технический университет (БНТУ)
Специальность
Факультет информационных технологий и робототехники 2021
Завершение учебы
2021 г.