ВБ
Валерия Б.
Женщина, 25 лет
Беларусь, Минск, UTC+3
Ставка
4 103,89 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Python разработчик
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
5 лет опыта в проектировании, разработке и оптимизации масштабируемых дата-пайплайнов и архитектур в облачных средах (Azure, AWS);
Опыт работы с колоночными СУБД (ClickHouse) и распределенными SQL-движками;
Глубокие знания PySpark, Airflow, Databricks и SQL, опыт построения отказоустойчивых и производительных систем обработки данных;
Оптимизация CI/CD процессов для data-инженерных решений, обеспечение высокой доступности и качества данных;
Навыки диагностики узких мест, выявления причин сбоев в обработке данных и внедрения эффективных решений для повышения стабильности и производительности;
Опыт работы в международных проектах различного масштаба и состава (Германия, США, Нидерланды, Литва, ЮАР).
Проекты
(5 лет 8 месяцев)
Разработка платформы Data Lakehouse
Роль
Data Engineer
Обязанности
Разработка платформы Data Lakehouse для международной высокотехнологичной компании в области оптики и оптоэлектроники.
Решение предназначено для консолидации, обработки и предоставления больших объемов экспериментальных, производственных и сенсорных данных в режиме, близком к реальному времени. Обеспечены высокая отказоустойчивость и масштабируемость.
Разработала архитектуру ETL-пайплайнов на основе бизнес- и технических требований;
Реализовала процессы извлечения, трансформации и загрузки данных (ETL) с использованием Azure Databricks, Azure Functions и Azure DevOps;
Проводила мониторинг, тестирование и отладку ETL-процессов на тестовых данных;
Адаптировала пайплайны к растущим объемам данных и новым бизнес-правилам;
Настроила интеграцию Trino с Delta Lake для выполнения распределенных SQL-запросов;
Создала масштабируемые Spark-воркфлоу и общую библиотеку PySpark-утилит для унификации трансформаций;
Внедрила Unity Catalog для управления доступом к данным;
Настроила параметризованные Databricks-ноутбуки с использованием Jobs API и widgets.
Достижения
Спроектировала ETL-архитектуру, повысившую эффективность извлечения данных на 30%;
Реализовала ingestion-конвейер на базе Azure Functions и Delta Lake с 99.99% доступности и нулевыми потерями данных;
Обеспечила доставку данных конечным пользователям с задержкой менее 5 минут вместо запланированного 1 часа;
Оптимизировала запросы в ClickHouse для аналитики в реальном времени, сократив время выполнения на 20%;
Разработала общую библиотеку PySpark-утилит, сократившую время разработки трансформаций на 50% и обеспечившую единообразную бизнес-логику в более чем 10 задачах;
Обеспечила масштабируемую и отказоустойчивую обработку растущих объёмов данных;
Разработала и поддерживала федерированные SQL-представления (Trino) поверх таблиц Delta Lake, упростив сложные соединения и обеспечив производительный и безопасный доступ для аналитики и BI-пользователей.
Стек специалиста на проекте
PostgreSQL, SQL, Python, ClickHouse, Data Lake, Azure DevOps, Azure, PySpark, Databricks, Unity, functions, Trino
Отрасль проекта
Hardware
Период работы
Январь 2024 - По настоящее время
(1 год 7 месяцев)
Разработка облачной платформы
Роль
Data Engineer
Обязанности
Разработка облачной платформы нового поколения для сбора и управления IoT-данными в сфере ЖКХ и субметринга.
Решение включает мониторинг, аналитику, автоматизированную систему биллинга и пользовательские уведомления для клиентских устройств. Платформа оптимизирует процессы обнаружения утечек и случаев безвозвратной потери воды за счет объединения сбора и хранения данных, машинного обучения, визуализации, аналитики и мобильного приложения для конечных пользователей.
Реализовывала и развертывала микросервисную архитектуру согласно актуальным бизнес-потребностям;
Обеспечивала интеграцию новых типов клиентских устройств с сохранением стабильности работы системы;
Оптимизировала архитектуру потоков обработки данных для соответствия изменяющимся требованиям;
Разрабатывала Python-библиотеки для обработки данных и настраивала автоматизированные задачи через cron;
Конфигурировала облачную инфраструктуру с использованием Terraform.
Достижения
Разработала и внедрила набор AWS Lambda-функций, расширивших функциональность платформы;
Успешно интегрировала несколько новых категорий IoT-устройств, обеспечив их стабильную работу через:
создание специализированных микросервисов;
разработку поддерживающих библиотек;
модернизацию AWS-инфраструктуры;
Подготовила и презентовала предложения по архитектурным изменениям, получив высокую оценку за глубину проработки;
Реализовала масштабируемую архитектуру с использованием:
AWS API Gateway и DynamoDB;
инфраструктурного кода на Terraform;
новых Lambda-функций.
Это позволило платформе поддерживать устройства различных производителей.
Стек специалиста на проекте
Python, AWS, DynamoDB, Lambda, Terraform, API Gateway, eventbridge
Отрасль проекта
IoT
Период работы
Июнь 2022 - Декабрь 2023
(1 год 7 месяцев)
NDA
Роль
Data Engineer / Python Developer
Обязанности
Разработка персонализированной системы рекомендаций для повышения вовлеченности пользователей на веб-сайтах.
Решение позволяло анализировать поведение пользователей, сегментировать и профилировать их на основе активности, предоставлять индивидуальные рекомендации по продуктам и услугам, создавать персонализированные лендинги и запускать таргетированные маркетинговые кампании.
Проектировала и реализовывала архитектуру приложения в соответствии с бизнес-требованиями;
Разрабатывала комплексные ETL-процессы на Python, включая загрузку сырых данных, их очистку, формирование признаков и загрузку в аналитическое хранилище;
Оркестрировала все данные процессы с помощью Apache Airflow, определяя DAG-графы для управления зависимостями задач, повторами, проверками SLA и расписанием для обеспечения надежности сквозного процесса;
Контейнеризировала приложение и развернула его в Kubernetes-кластере.
Достижения
Разработала и внедрила масштабируемую архитектуру приложения, обеспечив стабильную работу при росте объема пользовательских данных на 200%;
Создала отказоустойчивый ETL-процесс с использованием Python, Airflow и Kafka, что обеспечило чистоту обработки данных и сократило трудозатраты на разработку благодаря единой кодовой базе;
Развернула прогнозную модель, написанную на Python, в Kubernetes-кластере;
Настроила автоматизированное развертывание с помощью GitHub, обеспечив удобный процесс тестирования и деплоя.
Стек специалиста на проекте
Python, GitHub, Kafka, Apache AirFlow, SLA, ETL-процессы
Отрасль проекта
IoT
Период работы
Декабрь 2019 - Июнь 2022
(2 года 7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский государственный университет информатики и радиоэлектроники
Специальность
Программная инженерия и экономика
Завершение учебы
2021 г.
