Алексей Л. Data инженер, Senior

ID 18499
АЛ
Алексей Л.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
Object
PostgreSQL
PySpark
Python
Services
SQL
Storage
Virtual Machines
Yandex Cloud
ER
GreenPlum
Kafka
MongoDB
MySQL
Numpy
Pandas
Redis
Моделирование
Bash scripting
Bitbucket
Docker
Docker Compose
Git
GitHub
Kubernetes
Отрасли
E-commerce & Retail
Logistics & Transport
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.
Проекты   (5 лет 9 месяцев)
МАРКЕТИНГОВАЯ ПЛАТФОРМА
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Цель проекта заключается в создании маркетинговой платформы для удобного мониторинга, анализа и управления данными в сфере ритейла. Проект включает в себя создание централизованного хранилища данных (DWH) для обработки информации о рекламных кампаниях, поведении потребителей и конкурентной среде. Платформа предоставит аналитикам, маркетологам и специалистам по обработке данных интуитивный интерфейс для эффективного принятия решений на основе данных. Обязанности Проектирование архитектуры баз данных ClickHouse для поддержки высоконагруженных аналитических приложений; Эффективное взаимодействие с заказчиками для сбора данных, которые точно отражают их бизнес-задачи; Разработка и реализация процессов извлечения, преобразования и загрузки (ETL/ELT) для загрузки данных из Data Lake в ClickHouse; Занимался созданием прототипов витрин данных, с интеграцией новых источников и проектированием детализированного слоя данных; Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow; Построил и поддерживал OLAP-хранилище данных (DWH) с ClickHouse для аналитики; Интеграция данных из различных источников, агрегация и обогащение данных для создания окончательных датасетов и загрузки в золотой слой; Проектировал модели данных для быстрого доступа и минимизации дублирования; Оптимизировал производительность Greenplum путем настройки кластеров и параллельной обработки запросов; Написание SQL-запросов высокой степени сложности для обработки и анализа данных; Проектировал структуры таблиц для обеспечения масштабируемости данных; Создание пайплайнов с использованием Apache Spark и PySpark; Опыт документирования требований заказчиков для дальнейшей оптимизации процессов анализа данных; Сократил объем передаваемых данных за счет предварительного агрегирования в ClickHouse; Интегрировал колоночные и табличные модели для улучшения бизнес-аналитики; Оптимизировал производительность Greenplum с помощью создания индексов и разбиения данных; Использование Apache Airflow для планирования задач ETL/ELT, включая настройку расписания задач и триггеров на основе времени, зависимостей и внешних событий. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Data Proc, DataLens, Object Storage, Virtual Machines, Compute Cloud, Cloud Functions, Managed Service for PostgreSQL, Managed Service for ClickHouse и т.д.), Kafka, Pandas, NumPy, ClickHouse, Greenplum, PostgreSQL, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Pandas, Redis, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Май 2023 - По настоящее время  (2 года 1 месяц)
СИСТЕМА ОПТИМИЗАЦИИ ТОРГОВОГО ПРОДВИЖЕНИЯ
Роль
Дата Инженер / Бизнес-Аналитик
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность. Обязанности Разрабатывал детализированные слои данных для создания многоуровневых витрин, полностью готовых к продуктивному использованию; Собирал требования заказчиков для анализа данных и подготовки решений, которые максимально соответствуют бизнес-целям; Разработка и моделирование хранилища данных (DWH) для эффективного хранения и извлечения информации; Создание и оптимизация схемы данных в основном хранилище (DWH), включая таблицы, индексы, представления и другие объекты базы данных; Занимался локальной доработкой функционала в соответствии с потребностями бизнеса и пользователей; Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD; Разработка и оптимизация сложных SQL-запросов для эффективной обработки больших объемов данных в ClickHouse; Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности; Оптимизация алгоритмов моделирования данных; Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark; Проектировал модели данных для поддержки реляционных и нереляционных баз данных; Внедрял улучшения в существующие ETL/ELT процессы для повышения их производительности; Модификация Apache Airflow Python DAGs для выполнения заданий Apache Spark; Разработка различных пайплайнов данныхдля непрерывной поставки данных в ClickHouse для аналитических нужд; Подключение к базам данных с помощью Kafka Connect; Анализ существующих SQL-запросов для улучшения производительности; Автоматизировал ежедневное обновление данных в ClickHouse, минимизировав затраты ресурсов; Разработка высокоэффективных решений для SQL-баз данных; Реализовывал контроль версий для нового и доработанного кода хранилищ данных (DWH); Разрабатывал шаблоны документации для стандартных процессов и регламентов; Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным. Технологии Python, SQL, Apache Airflow, Apache Spark, PySpark, Yandex Cloud (Compute Cloud, Object Storage, Cloud Database, DataLens, Data Proc, Cloud Functions, Managed Service for ClickHouse, и т.д.), Kafka, ClickHouse, PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
database, ClickHouse, Numpy, Data, Pandas, GitHub, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - Апрель 2023  (1 год 5 месяцев)
ПРИЛОЖЕНИЕ ДЛЯ КАРШЕРИНГА
Роль
Дата Инженер
Обязанности
Приложение для каршеринга, которое связывает владельцев автомобилей с людьми, которым нужно арендовать автомобиль на короткий период времени. Различные способы добавления и оплаты. Отслеживание автомобилей и пунктов сбора на карте. Обязанности Создание пайплайнов с использованием Apache Spark; Загрузка данных из различных источников в Hadoop HDFS; Установка и настройка Greenplum для поддержки миграции данных из Data Lake. Использование Apache Airflow для планирования заданий ETL/ELT; Внедрял системы мониторинга производительности кластеров Greenplum и Hadoop; Настроил структуру колоночных таблиц для работы с OLAP-нагрузками; Использовал Greenplum для обработки данных в реальном времени и построения аналитических отчетов; Организация данных в соответствии с требованиями проекта; Обеспечиваю быструю доработку функционала с учетом пожеланий пользователей, сохраняя архитектурные принципы; Оптимизировал код загрузки данных для ускорения процессов ETL/ELT; Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark; Настроил схемы хранения данных в Hive для поддержки бизнес-аналитики; Создавал системы мониторинга данных в DWH для контроля качества данных; Работал с системой документации для контроля версий и внесённых изменений; Обеспечил мониторинг успешного выполнения Airflow DAGs; Оптимизировал процессы загрузки данных для ускорения обновления аналитических отчетов; Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности; Написание Dockerfile и Bash-скриптов; Обработка данных с использованием Pandas. Технологии Python, SQL, Apache Spark, PySpark, Apache Hadoop, Apache Airflow, Apache Hive, Pandas, NumPy, Bash scripting, Greenplum, PostgreSQL, HDFS, MongoDB, Docker, Docker Compose, Bitbucket.
Стек специалиста на проекте
Numpy, Pandas, Bitbucket, MongoDB, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2019 - Ноябрь 2021  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • FinTech & Banking • Media
КР
Константин Р.
Минск
Data инженер
Middle
4 025,97 Р/час
Hadoop
Hive
Numpy
Openmetadata
Pandas
PySpark
Python
ClickHouse
DynamoDB
MongoDB
+62

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
ClickHouse
Numpy
Data
Git
Pandas
Bitbucket
MongoDB
ER
Redis
GitHub
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking
НЕ
Николай Е.
Минск
1С разработчик
Senior
3 746,75 Р/час
МСФО
C++
РД 50
xUnitFor1C
ЖР/ADO/REST
1С:Управление торговлей
1С:Управление торговлей 8
GitLab
MS Windows
+82

Опыт работы - с 2001 года. Начинал с 1с 7.7, занимался как разработкой, так и администрированием систем - Windows server, SQL server в роли единственного специалиста в компании. В последнее время опять возникли подобные задачи в рамках импортозамещения - занимался развертыванием кластера 1С + Postgres под Linux Ubuntu Server. Постепенно перешел на платформу 1С 8, начиная с проекта в компании Хейнекен, который заключался в разработке и развертывании единой кофигурации на базе УПП для всех филиалов компании в России. В основном специализируюсь на разработке нетиповых решений с нуля. Это, например, проект в Открытие Капитал, где на базе 1С:БП была создана собственная подсистема учета биржевых операций. Также из последнего - проект для производственно-розничного предприятия по переводу учета с УПП на ERP, где я занимался разработкой интеграционной подсистемы с нуля на базе RabbitMQ. Работал в интернациональных командах (Великобритани, Вьетнам) Могу говорить на английском, но в последние несколько лет мало практики. Т.к. долгое время работал единственным разработчиком, то есть значительный опыт в роли архитектора. Занимался анализом требований, разработкой архитектуры решения, затем сам же писал код. Также есть опыт работы по ТЗ, в команде с аналитиками и архитектором. Знаком с UML, BPMN, IDEF. Use-cases и user stories. Есть опыт работы руководителем команды разработки из 9 человек. Занимался в этой роли больше подбором сотрудников и выполнял роль тех. лида.

Подробнее