АЛ
Алексей Л.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет.
Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты.
Языки программирования
Python, SQL.
Инженерия данных
Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS.
Облачные сервисы
Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL).
Базы данных
PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB.
Брокеры сообщений
Kafka.
Data Science
Pandas, NumPy.
Моделирование данных
Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация.
DevOps
Docker, Docker Compose, Bash scripting, Kubernetes.
Системы контроля версий
Git, GitHub, Bitbucket.
Проекты
(5 лет 9 месяцев)
МАРКЕТИНГОВАЯ ПЛАТФОРМА
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Цель проекта заключается в создании маркетинговой платформы для удобного мониторинга, анализа и управления данными в сфере ритейла. Проект включает в себя создание централизованного хранилища данных (DWH) для обработки информации о рекламных кампаниях, поведении потребителей и конкурентной среде. Платформа предоставит аналитикам, маркетологам и специалистам по обработке данных интуитивный интерфейс для эффективного принятия решений на основе данных.
Обязанности
Проектирование архитектуры баз данных ClickHouse для поддержки высоконагруженных аналитических приложений;
Эффективное взаимодействие с заказчиками для сбора данных, которые точно отражают их бизнес-задачи;
Разработка и реализация процессов извлечения, преобразования и загрузки (ETL/ELT) для загрузки данных из Data Lake в ClickHouse;
Занимался созданием прототипов витрин данных, с интеграцией новых источников и проектированием детализированного слоя данных;
Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow;
Построил и поддерживал OLAP-хранилище данных (DWH) с ClickHouse для аналитики;
Интеграция данных из различных источников, агрегация и обогащение данных для создания окончательных датасетов и загрузки в золотой слой;
Проектировал модели данных для быстрого доступа и минимизации дублирования;
Оптимизировал производительность Greenplum путем настройки кластеров и параллельной обработки запросов;
Написание SQL-запросов высокой степени сложности для обработки и анализа данных;
Проектировал структуры таблиц для обеспечения масштабируемости данных;
Создание пайплайнов с использованием Apache Spark и PySpark;
Опыт документирования требований заказчиков для дальнейшей оптимизации процессов анализа данных;
Сократил объем передаваемых данных за счет предварительного агрегирования в ClickHouse;
Интегрировал колоночные и табличные модели для улучшения бизнес-аналитики;
Оптимизировал производительность Greenplum с помощью создания индексов и разбиения данных;
Использование Apache Airflow для планирования задач ETL/ELT, включая настройку расписания задач и триггеров на основе времени, зависимостей и внешних событий.
Технологии
Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Data Proc, DataLens, Object Storage, Virtual Machines, Compute Cloud, Cloud Functions, Managed Service for PostgreSQL, Managed Service for ClickHouse и т.д.), Kafka, Pandas, NumPy, ClickHouse, Greenplum, PostgreSQL, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Pandas, Redis, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - По настоящее время
(2 года 1 месяц)
СИСТЕМА ОПТИМИЗАЦИИ ТОРГОВОГО ПРОДВИЖЕНИЯ
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность.
Обязанности
Разрабатывал детализированные слои данных для создания многоуровневых витрин, полностью готовых к продуктивному использованию;
Собирал требования заказчиков для анализа данных и подготовки решений, которые максимально соответствуют бизнес-целям;
Разработка и моделирование хранилища данных (DWH) для эффективного хранения и извлечения информации;
Создание и оптимизация схемы данных в основном хранилище (DWH), включая таблицы, индексы, представления и другие объекты базы данных;
Занимался локальной доработкой функционала в соответствии с потребностями бизнеса и пользователей;
Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD;
Разработка и оптимизация сложных SQL-запросов для эффективной обработки больших объемов данных в ClickHouse;
Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности;
Оптимизация алгоритмов моделирования данных;
Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark;
Проектировал модели данных для поддержки реляционных и нереляционных баз данных;
Внедрял улучшения в существующие ETL/ELT процессы для повышения их производительности;
Модификация Apache Airflow Python DAGs для выполнения заданий Apache Spark;
Разработка различных пайплайнов данныхдля непрерывной поставки данных в ClickHouse для аналитических нужд;
Подключение к базам данных с помощью Kafka Connect;
Анализ существующих SQL-запросов для улучшения производительности;
Автоматизировал ежедневное обновление данных в ClickHouse, минимизировав затраты ресурсов;
Разработка высокоэффективных решений для SQL-баз данных;
Реализовывал контроль версий для нового и доработанного кода хранилищ данных (DWH);
Разрабатывал шаблоны документации для стандартных процессов и регламентов;
Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным.
Технологии
Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Compute Cloud, Object Storage, Cloud Database, DataLens, Data Proc, Cloud Functions, Managed Service for ClickHouse, и т.д.), Kafka, ClickHouse, PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
database, ClickHouse, Numpy, Data, Pandas, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - Апрель 2023
(1 год 5 месяцев)
ПРИЛОЖЕНИЕ ДЛЯ КАРШЕРИНГА
Роль
Дата Инженер
Обязанности
Приложение для каршеринга, которое связывает владельцев автомобилей с людьми, которым нужно арендовать автомобиль на короткий период времени. Различные способы добавления и оплаты. Отслеживание автомобилей и пунктов сбора на карте.
Обязанности
Создание пайплайнов с использованием Apache Spark;
Загрузка данных из различных источников в Hadoop HDFS;
Установка и настройка Greenplum для поддержки миграции данных из Data Lake.
Использование Apache Airflow для планирования заданий ETL/ELT;
Внедрял системы мониторинга производительности кластеров Greenplum и Hadoop;
Настроил структуру колоночных таблиц для работы с OLAP-нагрузками;
Использовал Greenplum для обработки данных в реальном времени и построения аналитических отчетов;
Организация данных в соответствии с требованиями проекта;
Обеспечиваю быструю доработку функционала с учетом пожеланий пользователей, сохраняя архитектурные принципы;
Оптимизировал код загрузки данных для ускорения процессов ETL/ELT;
Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark;
Настроил схемы хранения данных в Hive для поддержки бизнес-аналитики;
Создавал системы мониторинга данных в DWH для контроля качества данных;
Работал с системой документации для контроля версий и внесённых изменений;
Обеспечил мониторинг успешного выполнения Airflow DAGs;
Оптимизировал процессы загрузки данных для ускорения обновления аналитических отчетов;
Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности;
Написание Dockerfile и Bash-скриптов;
Обработка данных с использованием Pandas.
Технологии
Python, SQL, Apache Spark, PySpark, Apache Hadoop, Apache Airflow, Apache Hive, Pandas, NumPy, Bash scripting, Greenplum, PostgreSQL, HDFS, MongoDB, Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
Numpy, Pandas, Bitbucket, MongoDB, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2019 - Ноябрь 2021
(2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.