Алексей Л. Data инженер, Senior

ID 18499
АЛ
Алексей Л.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 10 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
Object
PostgreSQL
PySpark
Python
Services
SQL
Storage
Virtual Machines
Yandex Cloud
ER
GreenPlum
Kafka
MongoDB
MySQL
Numpy
Pandas
Redis
Моделирование
Bash scripting
Bitbucket
Docker
Docker Compose
Git
GitHub
Kubernetes
Отрасли
E-commerce & Retail
Logistics & Transport
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.
Проекты   (5 лет 11 месяцев)
МАРКЕТИНГОВАЯ ПЛАТФОРМА
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Цель проекта заключается в создании маркетинговой платформы для удобного мониторинга, анализа и управления данными в сфере ритейла. Проект включает в себя создание централизованного хранилища данных (DWH) для обработки информации о рекламных кампаниях, поведении потребителей и конкурентной среде. Платформа предоставит аналитикам, маркетологам и специалистам по обработке данных интуитивный интерфейс для эффективного принятия решений на основе данных. Обязанности Проектирование архитектуры баз данных ClickHouse для поддержки высоконагруженных аналитических приложений; Эффективное взаимодействие с заказчиками для сбора данных, которые точно отражают их бизнес-задачи; Разработка и реализация процессов извлечения, преобразования и загрузки (ETL/ELT) для загрузки данных из Data Lake в ClickHouse; Занимался созданием прототипов витрин данных, с интеграцией новых источников и проектированием детализированного слоя данных; Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow; Построил и поддерживал OLAP-хранилище данных (DWH) с ClickHouse для аналитики; Интеграция данных из различных источников, агрегация и обогащение данных для создания окончательных датасетов и загрузки в золотой слой; Проектировал модели данных для быстрого доступа и минимизации дублирования; Оптимизировал производительность Greenplum путем настройки кластеров и параллельной обработки запросов; Написание SQL-запросов высокой степени сложности для обработки и анализа данных; Проектировал структуры таблиц для обеспечения масштабируемости данных; Создание пайплайнов с использованием Apache Spark и PySpark; Опыт документирования требований заказчиков для дальнейшей оптимизации процессов анализа данных; Сократил объем передаваемых данных за счет предварительного агрегирования в ClickHouse; Интегрировал колоночные и табличные модели для улучшения бизнес-аналитики; Оптимизировал производительность Greenplum с помощью создания индексов и разбиения данных; Использование Apache Airflow для планирования задач ETL/ELT, включая настройку расписания задач и триггеров на основе времени, зависимостей и внешних событий. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Data Proc, DataLens, Object Storage, Virtual Machines, Compute Cloud, Cloud Functions, Managed Service for PostgreSQL, Managed Service for ClickHouse и т.д.), Kafka, Pandas, NumPy, ClickHouse, Greenplum, PostgreSQL, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Pandas, Redis, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - По настоящее время  (2 года 3 месяца)
СИСТЕМА ОПТИМИЗАЦИИ ТОРГОВОГО ПРОДВИЖЕНИЯ
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность. Обязанности Разрабатывал детализированные слои данных для создания многоуровневых витрин, полностью готовых к продуктивному использованию; Собирал требования заказчиков для анализа данных и подготовки решений, которые максимально соответствуют бизнес-целям; Разработка и моделирование хранилища данных (DWH) для эффективного хранения и извлечения информации; Создание и оптимизация схемы данных в основном хранилище (DWH), включая таблицы, индексы, представления и другие объекты базы данных; Занимался локальной доработкой функционала в соответствии с потребностями бизнеса и пользователей; Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD; Разработка и оптимизация сложных SQL-запросов для эффективной обработки больших объемов данных в ClickHouse; Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности; Оптимизация алгоритмов моделирования данных; Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark; Проектировал модели данных для поддержки реляционных и нереляционных баз данных; Внедрял улучшения в существующие ETL/ELT процессы для повышения их производительности; Модификация Apache Airflow Python DAGs для выполнения заданий Apache Spark; Разработка различных пайплайнов данныхдля непрерывной поставки данных в ClickHouse для аналитических нужд; Подключение к базам данных с помощью Kafka Connect; Анализ существующих SQL-запросов для улучшения производительности; Автоматизировал ежедневное обновление данных в ClickHouse, минимизировав затраты ресурсов; Разработка высокоэффективных решений для SQL-баз данных; Реализовывал контроль версий для нового и доработанного кода хранилищ данных (DWH); Разрабатывал шаблоны документации для стандартных процессов и регламентов; Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Compute Cloud, Object Storage, Cloud Database, DataLens, Data Proc, Cloud Functions, Managed Service for ClickHouse, и т.д.), Kafka, ClickHouse, PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
database, ClickHouse, Numpy, Data, Pandas, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - Апрель 2023  (1 год 5 месяцев)
ПРИЛОЖЕНИЕ ДЛЯ КАРШЕРИНГА
Роль
Дата Инженер
Обязанности
Приложение для каршеринга, которое связывает владельцев автомобилей с людьми, которым нужно арендовать автомобиль на короткий период времени. Различные способы добавления и оплаты. Отслеживание автомобилей и пунктов сбора на карте. Обязанности Создание пайплайнов с использованием Apache Spark; Загрузка данных из различных источников в Hadoop HDFS; Установка и настройка Greenplum для поддержки миграции данных из Data Lake. Использование Apache Airflow для планирования заданий ETL/ELT; Внедрял системы мониторинга производительности кластеров Greenplum и Hadoop; Настроил структуру колоночных таблиц для работы с OLAP-нагрузками; Использовал Greenplum для обработки данных в реальном времени и построения аналитических отчетов; Организация данных в соответствии с требованиями проекта; Обеспечиваю быструю доработку функционала с учетом пожеланий пользователей, сохраняя архитектурные принципы; Оптимизировал код загрузки данных для ускорения процессов ETL/ELT; Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark; Настроил схемы хранения данных в Hive для поддержки бизнес-аналитики; Создавал системы мониторинга данных в DWH для контроля качества данных; Работал с системой документации для контроля версий и внесённых изменений; Обеспечил мониторинг успешного выполнения Airflow DAGs; Оптимизировал процессы загрузки данных для ускорения обновления аналитических отчетов; Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности; Написание Dockerfile и Bash-скриптов; Обработка данных с использованием Pandas. Технологии Python, SQL, Apache Spark, PySpark, Apache Hadoop, Apache Airflow, Apache Hive, Pandas, NumPy, Bash scripting, Greenplum, PostgreSQL, HDFS, MongoDB, Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bitbucket, MongoDB, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2019 - Ноябрь 2021  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • FinTech & Banking
КШ
Кирилл Ш.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.

Подробнее
E-commerce & Retail
ВС
Владимир С.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.

Подробнее

Недавно просмотренные специалисты

EdTech • FinTech & Banking • Logistics & Transport • Social Networking
ДШ
Дмитрий Ш.
Минск
Full Stack разработчик
Senior
3 491,97 Р/час
Axios MUI
Draft.js
Dependencies Management
Drift
Jedis
Birt engine
AWS ECR
Servlets
UML
Redux
+96

Инженер-программист с ~5-летним опытом разработки, обладает высокой квалификацией в широком спектре языков программирования, инструментов и фреймворков, включая: Java, Spring, Hibernate, Kotlin, React, TypeScript и др. Опыт в оптимизации производительности приложений, внедрении рабочих процессов CI/CD и решении производственных проблем. Стремление к предоставлению высококачественных решений и соответствию технологических тенденций. Обширный опыт работы в области разработки образовательных систем, электронной коммерции, управления персоналом и логистики, обеспечивая бесперебойную поддержку и нацеленность на успех проекта. Soft skills: Аналитическое мышление. Активный и стратегический подход к обучению. Комплексный подход к решению проблем, а также способность справляться со сложными проблемами и неожиданными ситуациями. Лидерство. Признание своих ошибок и самоанализ.

Подробнее