Роман Б. Data Quality инженер, Middle+

ID 30270
РБ
Роман Б.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
4 025,97 Р/час
НДС не облагается
Специалист доступен с 3 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data Quality инженер
Грейд
Middle+
Навыки
streaming
ClickHouse
Docker
Отрасли
Information Security
Проф. сообщества
Знание языков
Английский — B2
Главное о специалисте
Data Engineer с 4-летним опытом в построении масштабируемых дата-платформ. Имею опыт в проектировании и оптимизации высоконагруженных систем и инструментов обработки данных с использованием Python, Apache Spark, Airflow, dbt и Kafka, а также в работе с хранилищами Greenplum, ClickHouse и PostgreSQL. Работал в кросс-функциональных командах численностью от 3 до 10 человек.
Проекты   (3 года 11 месяцев)
Korus Consulting
Роль
Data Engineer
Обязанности
Lakehouse - Моделировал и разрабатывал модули фреймворка для Lakehouse с использованием Apache Iceberg - Разрабатывал ETL - Джобы с использованием Python, Apache Spark, Trino и Apache Airflow - Интегрировал данные из Apache Kafka через streaming - Джобы с помощью Spark Streaming - Проводил R&D для оптимизации хранения и увеличения производительности платформы - Настраивал мониторинг и визуализацию данных с помощью Grafana Хранилище данных на Greenplum"https://data.korusconsulting.ru/press-center/blog/rzhd-novoe-khranilishche-optimiziruet-rabotu-s-dannymi" - Моделировал и разрабатывал хранилище данных с использованием методологии Data Vault - Реализовывал ETL-процессов на базе Greenplum, dbt и Apache Airflow, включая оркестрацию задач и трансформации данных - Разработал модульные части фреймворка, что сократить ресурсы на разработку и уменьшить время предоставления аналитики - Оптимизировал производительность фреймворка DWH, что привело к снижению времени обработки данных на 10.2% и повышению надежности системы - Онбордил 3 новых сотрудниковKorus Data Framework"https://www.cnews.ru/news/line/2025-03-21_dar_razrabotal_novoe_reshenie" - Разрабатывал кастомные операторы Apache Airflow для Greenplum, S3, PostgreSQL - Разрабатывал компоненты для управления метаданными и подготовки данных в фреймворке на базе open-source (Apache Airflow, dbt) - Реализация ETL/ELT-процессов и интеграция с хранилищами (Greenplum, Clickhouse, PostgreSQL) для поддержки методологий Data Vault и Звезда- Настраивал CI/CD и работал с контейнеризацией в Kubernetes
Стек специалиста на проекте
PostgreSQL, Apache Kafka, Python, Kubernetes, Apache, Data, Spark, ClickHouse, GreenPlum, Apache Spark, DWH, HTTPS, Apache AirFlow, CI/CD, S3, DBT, Framework, Linex, datax, Data Vault
Отрасль проекта
Information Security
Период работы
Октябрь 2021 - Август 2025  (3 года 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Data Vault 2023 г.
Образование
Высшее
Учебное заведение
Белорусский государственный университет информатики и радиоэлектроники, Минск
Специальность
ФКП, Инженер-системотехник
Завершение учебы
2022 г.

Недавно просмотренные специалисты

AI & Robotics • E-commerce & Retail • FinTech & Banking
КЮ
Кирилл Ю.
Санкт-Петербург
Golang разработчик
Senior
3 211,19 Р/час
Оркестрация
Grafana
Контроль версий
GitLab
контейнеризация
миграции
Базы данных
test containers
Data
AOP
+53

Опытный разработчик с 7 годами работы в области программирования. Занимаюсь созданием и оптимизацией микросервисов, разработкой API и интеграцией со сторонними сервисами. В моих проектах я рефакторил код, настраивал системы мониторинга и алертинга, а также разрабатывал функционал для управления складскими и логистическими процессами. Участвовал в проектировании баз данных, оптимизации SQL-запросов и реализации бизнес-логики. Моя работа включает тесное взаимодействие с командами аналитиков и проведение код-ревью. Стремлюсь к созданию надежных и эффективных решений, применяя современные технологии и архитектурные подходы. Опыт: 7 лет ПРОФЕССИОНАЛЬНЫЕ НАВЫКИ: ● Разработка программного обеспечения: Создание и поддержка микросервисов, реализация бизнес-логики, рефакторинг и оптимизация кода. ● Интеграции: Настройка и поддержка интеграций со сторонними сервисами и маркетплейсами, разработка API для взаимодействия микросервисов. ● Проектирование и оптимизация баз данных: Написание и оптимизация SQL-запросов, проектирование схем баз данных, использование индексации для повышения производительности. ● Мониторинг и алертинг: Настройка систем мониторинга и алертинга с использованием Prometheus и Grafana для выявления аномалий. ● Код-ревью: Проведение ревью кода для обеспечения качества и соответствия стандартам. ● Тестирование: Написание юнит- и интеграционных тестов (с использованием JUnit, Mockito, Test Containers). ● Деплой и CI/CD: Подготовка релизных веток, деплой задач в продуктовую среду, работа с инструментами автоматизации (Jenkins, TeamCity). ● Работа с архитектурой: Применение архитектурных паттернов, разработка ролевых моделей для управления правами пользователей. ● Оптимизация производительности: Разработка алгоритмов кэширования, постраничного вывода данных, оптимизация запросов к базе данных. ● Фронтенд-разработка: Создание пользовательских интерфейсов с использованием Vaadin Framework. ● Управление задачами и планирование: Участие в оценке и планировании зада

Подробнее