Алексей Л. Data инженер, Senior

ID 18499
АЛ
Алексей Л.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
Object
PostgreSQL
PySpark
Python
Services
SQL
Storage
Virtual Machines
Yandex Cloud
ER
GreenPlum
Kafka
MongoDB
MySQL
Numpy
Pandas
Redis
Моделирование
Bash scripting
Bitbucket
Docker
Docker Compose
Git
GitHub
Kubernetes
Отрасли
E-commerce & Retail
Logistics & Transport
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.
Проекты   (5 лет 11 месяцев)
МАРКЕТИНГОВАЯ ПЛАТФОРМА
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Цель проекта заключается в создании маркетинговой платформы для удобного мониторинга, анализа и управления данными в сфере ритейла. Проект включает в себя создание централизованного хранилища данных (DWH) для обработки информации о рекламных кампаниях, поведении потребителей и конкурентной среде. Платформа предоставит аналитикам, маркетологам и специалистам по обработке данных интуитивный интерфейс для эффективного принятия решений на основе данных. Обязанности Проектирование архитектуры баз данных ClickHouse для поддержки высоконагруженных аналитических приложений; Эффективное взаимодействие с заказчиками для сбора данных, которые точно отражают их бизнес-задачи; Разработка и реализация процессов извлечения, преобразования и загрузки (ETL/ELT) для загрузки данных из Data Lake в ClickHouse; Занимался созданием прототипов витрин данных, с интеграцией новых источников и проектированием детализированного слоя данных; Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow; Построил и поддерживал OLAP-хранилище данных (DWH) с ClickHouse для аналитики; Интеграция данных из различных источников, агрегация и обогащение данных для создания окончательных датасетов и загрузки в золотой слой; Проектировал модели данных для быстрого доступа и минимизации дублирования; Оптимизировал производительность Greenplum путем настройки кластеров и параллельной обработки запросов; Написание SQL-запросов высокой степени сложности для обработки и анализа данных; Проектировал структуры таблиц для обеспечения масштабируемости данных; Создание пайплайнов с использованием Apache Spark и PySpark; Опыт документирования требований заказчиков для дальнейшей оптимизации процессов анализа данных; Сократил объем передаваемых данных за счет предварительного агрегирования в ClickHouse; Интегрировал колоночные и табличные модели для улучшения бизнес-аналитики; Оптимизировал производительность Greenplum с помощью создания индексов и разбиения данных; Использование Apache Airflow для планирования задач ETL/ELT, включая настройку расписания задач и триггеров на основе времени, зависимостей и внешних событий. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Data Proc, DataLens, Object Storage, Virtual Machines, Compute Cloud, Cloud Functions, Managed Service for PostgreSQL, Managed Service for ClickHouse и т.д.), Kafka, Pandas, NumPy, ClickHouse, Greenplum, PostgreSQL, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Pandas, Redis, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - По настоящее время  (2 года 3 месяца)
СИСТЕМА ОПТИМИЗАЦИИ ТОРГОВОГО ПРОДВИЖЕНИЯ
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность. Обязанности Разрабатывал детализированные слои данных для создания многоуровневых витрин, полностью готовых к продуктивному использованию; Собирал требования заказчиков для анализа данных и подготовки решений, которые максимально соответствуют бизнес-целям; Разработка и моделирование хранилища данных (DWH) для эффективного хранения и извлечения информации; Создание и оптимизация схемы данных в основном хранилище (DWH), включая таблицы, индексы, представления и другие объекты базы данных; Занимался локальной доработкой функционала в соответствии с потребностями бизнеса и пользователей; Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD; Разработка и оптимизация сложных SQL-запросов для эффективной обработки больших объемов данных в ClickHouse; Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности; Оптимизация алгоритмов моделирования данных; Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark; Проектировал модели данных для поддержки реляционных и нереляционных баз данных; Внедрял улучшения в существующие ETL/ELT процессы для повышения их производительности; Модификация Apache Airflow Python DAGs для выполнения заданий Apache Spark; Разработка различных пайплайнов данныхдля непрерывной поставки данных в ClickHouse для аналитических нужд; Подключение к базам данных с помощью Kafka Connect; Анализ существующих SQL-запросов для улучшения производительности; Автоматизировал ежедневное обновление данных в ClickHouse, минимизировав затраты ресурсов; Разработка высокоэффективных решений для SQL-баз данных; Реализовывал контроль версий для нового и доработанного кода хранилищ данных (DWH); Разрабатывал шаблоны документации для стандартных процессов и регламентов; Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Compute Cloud, Object Storage, Cloud Database, DataLens, Data Proc, Cloud Functions, Managed Service for ClickHouse, и т.д.), Kafka, ClickHouse, PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
database, ClickHouse, Numpy, Data, Pandas, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - Апрель 2023  (1 год 5 месяцев)
ПРИЛОЖЕНИЕ ДЛЯ КАРШЕРИНГА
Роль
Дата Инженер
Обязанности
Приложение для каршеринга, которое связывает владельцев автомобилей с людьми, которым нужно арендовать автомобиль на короткий период времени. Различные способы добавления и оплаты. Отслеживание автомобилей и пунктов сбора на карте. Обязанности Создание пайплайнов с использованием Apache Spark; Загрузка данных из различных источников в Hadoop HDFS; Установка и настройка Greenplum для поддержки миграции данных из Data Lake. Использование Apache Airflow для планирования заданий ETL/ELT; Внедрял системы мониторинга производительности кластеров Greenplum и Hadoop; Настроил структуру колоночных таблиц для работы с OLAP-нагрузками; Использовал Greenplum для обработки данных в реальном времени и построения аналитических отчетов; Организация данных в соответствии с требованиями проекта; Обеспечиваю быструю доработку функционала с учетом пожеланий пользователей, сохраняя архитектурные принципы; Оптимизировал код загрузки данных для ускорения процессов ETL/ELT; Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark; Настроил схемы хранения данных в Hive для поддержки бизнес-аналитики; Создавал системы мониторинга данных в DWH для контроля качества данных; Работал с системой документации для контроля версий и внесённых изменений; Обеспечил мониторинг успешного выполнения Airflow DAGs; Оптимизировал процессы загрузки данных для ускорения обновления аналитических отчетов; Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности; Написание Dockerfile и Bash-скриптов; Обработка данных с использованием Pandas. Технологии Python, SQL, Apache Spark, PySpark, Apache Hadoop, Apache Airflow, Apache Hive, Pandas, NumPy, Bash scripting, Greenplum, PostgreSQL, HDFS, MongoDB, Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bitbucket, MongoDB, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2019 - Ноябрь 2021  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • FinTech & Banking
КШ
Кирилл Ш.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.

Подробнее
E-commerce & Retail
ВС
Владимир С.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
ClickHouse
Numpy
Data
Git
Pandas
Bitbucket
MongoDB
ER
Redis
GitHub
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking
КБ
Ксения Б.
Минск
QA ручной
Middle
2 248,05 Р/час
Регрессионное тестирование
Zephyr
IOS
MS Windows
Postman
usability-тестирование
HTTP
DevTools
JSON
Linux
+27

Мануальный тестировщик с 4-летним опытом работы в области обеспечения качества программного обеспечения, успешно участвующий в проектах различной сложности и направленности. - Специализируется на функциональном, интеграционном, регрессионном, smoke и usability-тестировании веб-приложений, что позволяет выявлять широкий спектр дефектов и улучшать качество продукта на всех этапах разработки. - Хорошо знакома с гибкими методологиями разработки Scrum и Kanban, что обеспечивает эффективное взаимодействие и коммуникацию с командой разработчиков, менеджерами и другими участниками проекта. - Обладает навыками детального анализа требований и технической документации, разработки и выполнения тестовой документации (тест-кейсы, чек-листы, баг-репорты), а также анализа результатов тестирования для своевременного выявления и документирования дефектов. - Имеет практический опыт использования инструментов отслеживания ошибок и управления тестированием, таких как JIRA, Zephyr и Confluence, что способствует прозрачности процессов и качественной коммуникации в команде. - Опыт работы с браузерными DevTools для локализации и диагностики багов на фронтенде, а также с Postman для тестирования RESTful API, включая проверку корректности запросов, ответов и обработки ошибок. - Обладает базовыми знаниями SQL (MySQL, PostgreSQL), что позволяет выполнять запросы к базам данных для проверки целостности и корректности данных, а также для валидации бизнес-логики. - Имеет глубокое понимание жизненного цикла разработки программного обеспечения и процессов тестирования, что помогает планировать и проводить тестирование максимально эффективно. - Стремится к постоянному повышению качества продуктов и улучшению пользовательского опыта через детальное тестирование и активное участие в процессах улучшения продукта. - Умеет работать как самостоятельно, так и в команде, быстро адаптируется к новым инструментам и рабочим процессам, проявляю инициативу и ответственность в достижении поставленных целей.

Подробнее
E-commerce & Retail • FinTech & Banking • Logistics & Transport • Manufacturing
ДБ
Денис Б.
Санкт-Петербург
Системный аналитик
Senior
4 155,84 Р/час
business studio
Описание API
UML
Подготовка и проведение презентаций
Разработка
Postman
HTTP
Управление бизнес-процессами
Camunda
JSON
+50

Член APQC (American Productivity & Quality Center). Области профессиональных знаний и интересов: - Стратегический менеджмент (BSC/KPI, OKR) - Оргдизайн и оптимизация бизнес-процессов (eEPC, BPMN, IDEF) - Управление проектами (PMBOK/PMI) - Agile, Scrum, Kanban - Бюджетирование, управленческий учет - Методология Адизеса Организационное проектирование и консультирование Организационное консультирование Планирование Проектный менеджмент Управление бизнес процессами Реинжиниринг бизнес-процессов Оптимизация бизнес-процессов Моделирование бизнес процессов Разработка технических заданий Управление эффективностью Управление проектами Разработка регламентов Управление персоналом Проведение презентаций

Подробнее