ВС
Владимир С.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход.
В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.
Проекты
(3 года 5 месяцев)
Платформа анализа поведения клиентов для ритейл-сети
Роль
Дата-инженер
Обязанности
Платформа анализа поведения клиентов для ритейл-сети
Описание: Аналитическая платформа для комплексного анализа поведения клиентов. Система собирает и обрабатывает данные о кликах на сайте, истории покупок и активности в программах лояльности для построения подробных профилей клиентов. С помощью методов продвинутой аналитики и моделей машинного обучения предсказывается намерение совершить покупку, выполняется сегментация клиентов и персонализируются маркетинговые кампании. Платформа способствует увеличению удержания клиентов и росту продаж за счет точечного и релевантного взаимодействия.
Основные обязанности:
● Оптимизация структуры хранения данных в Data Lake для эффективного анализа и отчетности;
● Разработка и оптимизация запросов в Apache Hive для работы с большими данными, хранящимися в HDFS;
● Проведение встреч со стейкхолдерами для уточнения требований и адаптации технических решений под изменяющиеся бизнес-задачи;
● Разработка масштабируемых ETL-пайплайнов на базе Apache Spark (PySpark) для обработки больших объёмов данных из разнородных источников;
● Проектирование архитектуры хранилища данных (Data Warehouse) в Greenplum;
● Разработка и внедрение пользовательских функций (UDF) на Apache Spark для расширения возможностей обработки данных и повышения гибкости ETL-процессов;
● Написание и поддержка bash-скриптов для автоматизации повседневных задач по управлению данными и запуску ETL процессов;
● Помощь в настройке и отладке Docker-окружения для локальной разработки и тестирования компонентов обработки данных;
● Проведение A/B тестирования запросов в Greenplum с различными вариантами индексов и сортировки для повышения производительности;
● Мониторинг логов PySpark для поиска и устранения ошибок;
● Написание unit-тестов для ключевых компонентов ETL-пайплайнов, обработчиков данных и утилит;
● Интеграция Greenplum с Apache Airflow и PySpark для построения end-to-end ETL пайплайнов;
● Настройка стратегий распределения в Greenplum для повышения производительности запросов;
● Разработка SQL-хранимых процедур для подготовки данных к аналитическим расчетам;
● Написание Python-модулей для интеграции и работы со сторонними API, автоматизируя рутинные задачи;
● Сопровождение сервисов, ETL пайплайнов и аналитических приложений в Kubernetes-кластерах;
● Составление и поддержка актуальной проектной документации, описывающей архитектуру решений и процессы обработки данных;
● Управление конфигурацией базы данных Greenplum, включая настройку параметров, управление ресурсами;
● Анализ и переписывание сложных SQL-запросов для минимизации времени выполнения и снижения нагрузки на базы данных;
● Участие в настройке CI/CD пайплайнов для автоматического тестирования и выката новый решений с помощью GitHub Actions;
● Оптимизация схем хранения данных в Greenplum с учетом колоночной архитектуры и партиционирования;
● Настройка и поддержка линтеров (flake8, isort, black) в проектах с Python для соблюдения единого код-стиля;
● Ревью кода и рефакторинг.
Команда: 1 тех. лид, 3 дата-инженера, 2 BI разработчика, 1 аналитик данных, 1 DevOps инженер, 1пм.
Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, PostgreSQL, Greenplum, MongoDB, Pandas, NumPy, Docker, Docker Compose, Kubernetes (K8s), Bash scripting, GitHub, GitHub Actions
Стек специалиста на проекте
Numpy, Pandas, MongoDB, GitHub, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GitHub Actions, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2023 - По настоящее время
(2 года 1 месяц)
Сервис по подбору автомобилей
Роль
Дата-инженер
Обязанности
Сервис по подбору автомобилей
Описание: Разработка интеллектуального сервиса подбора автомобилей, ориентированного на конечного пользователя. Система предлагала наиболее подходящие автомобили на основе введенных параметров, используя обширную базу данных транспортных средств с множеством технических и пользовательских характеристик. Главной задачей было обеспечить эффективную обработку, агрегацию и анализ данных из различных источников, а также построение масштабируемой архитектуры для поддержки персонализированного подбора.
Основные обязанности:
● Сбор данных из различных источников данных и их нормализация с помощью Pandas и NumPy;
● Создание и оптимизация DAGs в Apache Airflow для определения порядка выполнения задач, зависимостей между ними и расписания запуска;
● Написание SQL запросов для агрегации бизнес-метрик в ClickHouse;
● Cоздание и поддержка пользовательских плагинов и операторов Apache Airflow для реализации специфических задач обработки и анализа данных;
● Оптимизация производительности кластера Hadoop путем настройки параметров конфигурации, оптимизации запросов и процессов, а также мониторинга и решения проблем производительности;
● Написание сложных SQL-триггеров и процедур в PostgreSQL;
● Создание и оптимизация сложных SQL-запросов для аналитики данных, включая использование функций ClickHouse для обработки больших объемов данных;
● Разработка и поддержка архитектуры данных на базе Hadoop, включая создание схем данных, определение хранилищ данных и организацию процессов загрузки;
● Использование Kafka для CDC через Debezium для чтения ивентов в PostgreSQL и их репликацию в ClickHouse;
● Организация мультистейдж-сборок Docker для уменьшения размера контейнерных образов и ускорения процессов деплоя;
● Разработка и внедрение кастомных Spark UDF на Python для реализации бизнес-логики, недоступной средствами стандартного Spark API;
● Разработка и оптимизация процессов извлечения, преобразования и загрузки данных с использованием Apache Spark для подготовки данных к анализу и обработке;
● Написание тестов;
● Подготовка и поддержка технической документации для приложений и сервисов.
Команда: 1 тех. лид, 4 дата-инженера, 2 BI разработчика / аналитика данных, 1 DevOps инженер, 1пм.
Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, PostgreSQL, Clickhouse, Debezium, Kafka, Pandas, NumPy, Docker, Docker Compose, Bash scripting, GitHub
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, GitHub, ClickHouse, Pandas, Numpy, Apache Hadoop, Apache Spark, Kafka, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting, debezium
Отрасль проекта
E-commerce & Retail
Период работы
Март 2022 - Июнь 2023
(1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский государственный университет информатики и радиоэлектроники
Специальность
Специальность: Информатика и технологии проектирования
Завершение учебы
2022 г.