Сергей Б. Data инженер, Senior

ID 15173
СБ
Сергей Б.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
Docker Compose
ER
FastAPI
Git
GitHub
GitLab
GreenPlum
HDFS
IAM
Java
Kubernetes
MongoDB
monitoring
Numpy
Object
Oracle
Pandas
PostgreSQL
PySpark
Python
Redis
Scala
Services
SQL
Storage
Vault
Virtual Machines
Yandex Cloud
Моделирование
apache hive
Отрасли
FinTech & Banking
Logistics & Transport
Media
Знание языков
Английский — B2
Главное о специалисте
Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.
Проекты   (6 лет 5 месяцев)
DWH ДЛЯ БАНКА
Роль
Дата инженер / Системный Аналитик
Обязанности
Комплексное программное решение в банковской сфере, включающее масштабное хранилище данных для взаимодействия с большим количеством информации о пользователях и их операциях, а также функциональность для их высокопроизводительной обработки. Обязанности Разработка модели, схемы и архитектуры данных для обеспечения эффективного хранения и поиска данных; Управление ожиданиями заказчиков и обеспечение прозрачности процесса анализа данных на каждом этапе; Проектирование и реализация схемы базы данных в Greenplum; Опыт построения ER-диаграмм для проектирования баз данных и визуализации сущностей и связей между ними Построение ETL пайплайнов с помощью Apache Airflow; Работа с заказчиком в процессе итерационного сбора требований для создания наилучшего решения; Документирование процесса создания и управления данными в хранилищах (DWH) для повышения прозрачности работы; Участие в разработке документации по управлению данными для обеспечения соответствия требованиям; Управление конфигурацией базы данных Greenplum, включая настройку параметров, управление ресурсами; Проектировал диаграммы компонентов для описания взаимодействия модулей программного обеспечения; Занимался проектированием и создание централизованных витрин данных для аналитики; Написание и оптимизация сложных SQL-запросов, функций и триггеров, а также отладка SQL-процедур; Опыт проектирования UML-диаграмм для документирования сложных архитектурных решений; Оптимизация запросов в Greenplum для снижения нагрузки на систему и ускорения выполнения аналитики; Оптимизация запросов и схем данных для повышения производительности хранилищ (DWH); Выполнение очистки, агрегирования и обогащения данных с помощью Apache Spark для подготовки данных к анализу; Модификация Apache Airflow Python DAGs для запуска заданий Apache Spark; Определение зависимостей задач, перезапусков и параметров планирования в DAGs с помощью Airflow; Внедрял схемы «Снежинка» для сложных и многомерных систем анализа данных; Разработка функциональности для маппинга метаданных хранилища под синтаксис Greenplum и Oracle; Использование Apache Spark Streaming для получения и обработки сообщений из Apache Kafka. Технологии Python, SQL, Apache Spark, PySpark, Apache Airflow, Apache Kafka, Greenplum, Yandex Cloud (Object Storage, Virtual Machines, Data Proc, Managed Kubernetes, KMS, IAM, Monitoring), Oracle, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash скриптинг, GitHub.
Стек специалиста на проекте
monitoring, Numpy, Data, Bash, Pandas, Oracle, GitHub, Object, Apache Spark, Storage, IAM, Virtual Machines, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, Apache AirFlow, Yandex Cloud, Kubernetes, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Январь 2023 - По настоящее время  (2 года 7 месяцев)
МУЗЫКАЛЬНЫЙ МАГАЗИН
Роль
Дата инженер / Системный Аналитик
Обязанности
Музыкальный магазин, где покупатели могут приобретать подписку на прослушивание музыки и получать персональные рекомендации с учетом своих вкусов. Сбор данных о музыке для пользователя. Пользователь имеет возможность скачивать музыку себе, создавать альбомы, оценивать плейлисты других пользователей и добавлять в них музыку. Обязанности Проектирование и оптимизация базы данных, выбирая подходящие технологии хранения данных и решения для хранения данных; Успешный опыт нахождения баланса между требованиями заказчика и возможностями технической реализации; Использование ER-диаграммы для проектирования схем данных в DWH-системах; Проектирование и создание DWH в ClickHouse; Создание и оптимизация сложных SQL-запросов для аналитики данных, включая использование функций ClickHouse для обработки больших объемов данных; Опыт проектирования UML-диаграмм для документирования сложных архитектурных решений; Подготовка аналитических отчетов для руководства на основе данных из хранилищ (DWH); Разработка SQL-запросов и запросов DataFrame API в Apache Spark для выполнения аналитических запросов к данным, а также оптимизация запросов для повышения производительности; Использовал ClickHouse для построения аналитических витрин данных, обеспечивающих высокую производительность и масштабируемость; Для расширения аналитических возможностей проводил локальные доработки в системе по мере поступления запросов от пользователей; Использовал Data Vault для управления изменениями в бизнес-логике и обеспечении аудируемости данных; Интеграция Apache Spark с различными источниками данных, такими как файловые системы, базы данных, потоковые системы и облачные хранилища (DWH), для считывания и записи данных; Оптимизировал процессы загрузки и обновления данных в хранилищах Data Vault; Оптимизация процессов агрегации данных в ClickHouse для увеличения скорости обработки запросов; Использование Apache Airflow для планирования заданий ETL; Обеспечение высокой производительности баз данных SQL. Технологии Python, SQL, ApacheApache Spark, PySpark, Apache Airflow, Apache Kafka, ClickHouse, Yandex Cloud (Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring), PostgreSQL, MongoDB, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash скриптинг, GitLab.
Стек специалиста на проекте
monitoring, GitLab, ClickHouse, Spark, Numpy, Data, Bash, Pandas, MongoDB, Object, Cloud Functions, Storage, IAM, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, Apache AirFlow, PostgreSQL, Yandex Cloud, Kubernetes, Apache Kafka
Отрасль проекта
Media
Период работы
Июнь 2021 - Декабрь 2022  (1 год 7 месяцев)
САЙТ ОБЪЯВЛЕНИЙ ПО ПРОДАЖЕ АВТОМОБИЛЕЙ
Роль
Дата-инженер
Обязанности
Платформа объявлений для покупки и продажи автомобилей, где пользователи могут размещать объявления с подробным описанием своих автомобилей и находить подходящие варианты для покупки. Удобная система фильтров помогает пользователям быстро находить автомобили, соответствующие их требованиям. Сайт также предлагает возможность связаться с продавцом напрямую, что упрощает процесс покупки и продажи. Обязанности Разработка и поддержка общей стратегии обработки данных и плана архитектуры для экосистемы Hadoop организации; Сбор данных из различных источников данных и их нормализация с помощью Pandas и NumPy; Проектирование и внедрение инфраструктур и методологий обработки и анализа данных с использованием MapReduce; Создание и оптимизация DAGs в Apache Airflow для определения порядка выполнения задач, зависимостей между ними и расписания запуска; Использовал 3НФ для разработки корпоративных хранилищ данных (DWH) с минимальной избыточностью; Cоздание и поддержка пользовательских плагинов и операторов Apache Airflow для реализации специфических задач обработки и анализа данных; Ведение документации по настройке и управлению хранилищами данных (DWH); Использование компонентных диаграмм для описания микросервисной архитектуры; Разработка архитектурных решений для хранилищ данных (DWH) на базе Apache Spark; Оптимизация производительности кластера Hadoop путем настройки параметров конфигурации, оптимизации запросов и процессов, а также мониторинга и решения проблем производительности; Написание сложных SQL-триггеров, процедур; Оптимизация сложных SQL- запросов; Разработка и поддержка архитектуры данных на базе Hadoop, включая создание схем данных, определение хранилищ данных (DWH) и организацию процессов загрузки; Подготовка документации для приложений, использующих SQL базы данных. Технологии Python, SQL, Apache Spark, PySpark, Apache Airflow, Apache Hadoop, HDFS, Apache Hive, PostgreSQL, Redis, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash скриптинг, GitLab.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Kubernetes, GitLab, Pandas, Numpy, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, Redis, HDFS, PySpark, apache hive
Отрасль проекта
Logistics & Transport
Период работы
Март 2019 - Май 2021  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Минский гос университет
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
monitoring
GitLab
ClickHouse
Numpy
Data
Java
Git
Pandas
Oracle
MongoDB
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее