ВВ
Владлена В.
Женщина
Беларусь, Минск, UTC+3
Ставка
3 545,15 Р/час
вкл. НДС 5% (131.43 Р)
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие.
Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail:
- Обрабатывала и трансформировала большие данные из разных источников в хранилище.
- Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL.
- Интегрировала данные из различных источников в централизованное хранилище.
- Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных.
- Настраивала механизмы ретраев, SLA и уведомлений в Airflow.
- Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.
Проекты
(5 лет 6 месяцев)
Проект был направлен на обработку и трансформацию больших данных из различных источников в хранилище.
Роль
Data Engineer
Обязанности
Проект был направлен на обработку и трансформацию больших данных из различных источников в хранилище, с приведением их в состояние, готовое для дальнейшего аналитического использования. В рамках проекта обеспечивалась быстрая и бесперебойная доставка данных, включающая этапы предварительной обработки и очистки. Платформа обработки больших данных позволила оптимизировать процесс и гарантировала высокую производительность даже при работе с масштабными объемами информации.
Обязанности:
● Разработка ETL-пайплайнов на Apache Airflow, Python и SQL для обработки данных.
● Интеграция данных из различных источников (CSV, XLS, API) в централизованное хранилище.
● Оптимизация ETL-процессов для минимизации времени выполнения, снижения нагрузки на инфраструктуру и повышения отказоустойчивости
● Настройка механизма ретраев, SLA и уведомлений в Airflow для обеспечения надежности выполнения ETL-процессов
● Автоматизация процессов очистки, нормализации, дедупликации и агрегации данных с использованием Python и Pandas
● Разработка и оптимизация сложных SQL-запросов в Snowflake с использованием CTE, Window Functions и Materialized Views для ускорения аналитики
● Мониторинг производительности ETL-процессов, настройка алертов и логирования
● Оптимизация SQL-запросов и индексации в Snowflake и BigQuery для сокращения времени обработки запросов
● Использование Docker для контейнеризации ETL-компонентов.
● Разработка unit- и integration-тестов для ETL-пайплайнов с использованием Pytest
● Настройка CI/CD-процессов для автоматического деплоя и тестирования ETL-компонентов
● Разработка стратегий бэкапа и восстановления данных в хранилищах GCP и Snowflake
● Создание технической документации в Confluence, включая описание архитектуры, схемы потоков данных и руководства по эксплуатации
● Наставничество и консультирование команды по вопросам оптимизации ETL-процессов, написания SQL-запросов и работы с хранилищами данных
Стек специалиста на проекте
Docker, SQL, Python, Bash, GitLab, BigQuery, Pandas, Numpy, Docker Compose, Apache AirFlow, GCP, Snowflake, GitLab CI/CD
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2023 - По настоящее время
(1 год 11 месяцев)
Платформа управления кредитными продуктами предназначена для обработки и хранения данных о финансовых операциях.
Роль
Data Engineer
Обязанности
Платформа управления кредитными продуктами предназначена для обработки и хранения данных о финансовых операциях, интеграции с внешними сервисами и предоставления аналитической информации. Система обеспечивает масштабируемость, надежность и высокую скорость обработки данных, что позволяет автоматизировать ключевые процессы, связанные с управлением кредитными продуктами и их анализом.
Обязанности:
● Разработка и оптимизация ETL-пайплайнов с использованием Apache Airflow для интеграции данных из внешних API в платформу управления кредитными продуктами
● Создание кастомных операторов и сенсоров в Apache Airflow для автоматизации загрузки и обработки данных, а также мониторинга выполнения задач
● Разработка SQL-запросов для оптимизации производительности и сокращения времени выполнения запросов в ClickHouse.
● Настройка доступа к данным в промежуточном слое с помощью AWS Glue (Data Catalog, crawlers) и AWS Athena
● Разработка и внедрение стратегии резервного копирования и восстановления данных в PostgreSQL и ClickHouse
● Анализ и оптимизация SQL-запросов в PostgreSQL для улучшения производительности работы с данными и сокращения времени отклика
● Разработка и поддержка пайплайнов для мониторинга ключевых метрик с использованием AWS CloudWatch
● Создание и настройка AWS Lambda для автоматизации обработки и трансформации данных в режиме реального времени
● Оптимизация работы с AWS RDS и PostgreSQL для повышения скорости чтения и записи данных в базе данных
● Мониторинг и устранение причин дефектов, связанных с данными
● Сотрудничество с командой аналитиков данных.
Стек специалиста на проекте
glue, AWS, athena, ClickHouse, Bash, DBeaver, GitHub, Tableau, S3, Docker Compose, EC2, Docker, Python, GitHub Actions, Lambda, CloudWatch, Apache AirFlow, RDS, PostgreSQL
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2022 - Август 2023
(1 год 5 месяцев)
Разработка платформы для сбора, обработки и анализа данных о финансовых транзакциях в режиме реального времени.
Роль
Data Engineer
Обязанности
Разработка платформы для сбора, обработки и анализа данных о финансовых транзакциях в режиме реального времени. Система позволяла интегрироваться с различными внешними сервисами, анализировать большие объемы данных и предоставлять удобные отчёты для мониторинга ключевых показателей. Проект включал автоматизацию процессов обработки данных, обеспечение высокой производительности и отказоустойчивости.
Обязанности:
● Разработка и поддержка ETL-пайплайнов в Apache Airflow для обработки и трансформации данных
● Поддержка API на FastAPI для обеспечения быстрого доступа к данным и реализации механизмов аутентификации
● Оптимизация DAG-ов в Apache Airflow для уменьшения времени выполнения и более эффективного управления зависимостями задач
● Создание аналитических витрин в Power BI для мониторинга финансовых метрик и выявления аномалий
● Оптимизация хранимых процедур и индексов в MSSQL для ускорения выполнения запросов
● Разработка системы уведомлений и алертов для оперативного реагирования на сбои
● Интеграция Hadoop (HDFS) в архитектуру проекта для распределённого хранения и предварительной обработки больших объемов транзакционных данных
● Оптимизация SQL-запросов и аналитических отчётов в Greenplum для повышения производительности и сокращения времени обработки данных
● Обеспечение рекуррентного переноса данных из HDFS в Greenplum
● Поддержка Greenplum в качестве основного хранилища данных для надежного и масштабируемого хранения финансовых транзакций с обеспечением удобного доступа к данным для аналитики и отчетности.
Стек специалиста на проекте
Docker, Python, Bash, GitLab, Hadoop, Pandas, SQLAlchemy, Numpy, FastAPI, GreenPlum, Pydantic, Alembic, Docker Compose, Apache AirFlow, HDFS, MSSQL
Отрасль проекта
FinTech & Banking
Период работы
Май 2021 - Март 2022
(11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГУ
Специальность
Компьютерные науки
Завершение учебы
2022 г.