Владимир С. Data инженер, Senior

ID 26033
ВС
Владимир С.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
GitHub Actions
GreenPlum
HDFS
Kafka
Kubernetes
MongoDB
Numpy
Pandas
PostgreSQL
PySpark
Python
SQL
Отрасли
E-commerce & Retail
Знание языков
Английский — B2
Главное о специалисте
Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.
Проекты   (3 года 5 месяцев)
Платформа анализа поведения клиентов для ритейл-сети
Роль
Дата-инженер
Обязанности
Платформа анализа поведения клиентов для ритейл-сети Описание: Аналитическая платформа для комплексного анализа поведения клиентов. Система собирает и обрабатывает данные о кликах на сайте, истории покупок и активности в программах лояльности для построения подробных профилей клиентов. С помощью методов продвинутой аналитики и моделей машинного обучения предсказывается намерение совершить покупку, выполняется сегментация клиентов и персонализируются маркетинговые кампании. Платформа способствует увеличению удержания клиентов и росту продаж за счет точечного и релевантного взаимодействия. Основные обязанности: ● Оптимизация структуры хранения данных в Data Lake для эффективного анализа и отчетности; ● Разработка и оптимизация запросов в Apache Hive для работы с большими данными, хранящимися в HDFS; ● Проведение встреч со стейкхолдерами для уточнения требований и адаптации технических решений под изменяющиеся бизнес-задачи; ● Разработка масштабируемых ETL-пайплайнов на базе Apache Spark (PySpark) для обработки больших объёмов данных из разнородных источников; ● Проектирование архитектуры хранилища данных (Data Warehouse) в Greenplum; ● Разработка и внедрение пользовательских функций (UDF) на Apache Spark для расширения возможностей обработки данных и повышения гибкости ETL-процессов; ● Написание и поддержка bash-скриптов для автоматизации повседневных задач по управлению данными и запуску ETL процессов; ● Помощь в настройке и отладке Docker-окружения для локальной разработки и тестирования компонентов обработки данных; ● Проведение A/B тестирования запросов в Greenplum с различными вариантами индексов и сортировки для повышения производительности; ● Мониторинг логов PySpark для поиска и устранения ошибок; ● Написание unit-тестов для ключевых компонентов ETL-пайплайнов, обработчиков данных и утилит; ● Интеграция Greenplum с Apache Airflow и PySpark для построения end-to-end ETL пайплайнов; ● Настройка стратегий распределения в Greenplum для повышения производительности запросов; ● Разработка SQL-хранимых процедур для подготовки данных к аналитическим расчетам; ● Написание Python-модулей для интеграции и работы со сторонними API, автоматизируя рутинные задачи; ● Сопровождение сервисов, ETL пайплайнов и аналитических приложений в Kubernetes-кластерах; ● Составление и поддержка актуальной проектной документации, описывающей архитектуру решений и процессы обработки данных; ● Управление конфигурацией базы данных Greenplum, включая настройку параметров, управление ресурсами; ● Анализ и переписывание сложных SQL-запросов для минимизации времени выполнения и снижения нагрузки на базы данных; ● Участие в настройке CI/CD пайплайнов для автоматического тестирования и выката новый решений с помощью GitHub Actions; ● Оптимизация схем хранения данных в Greenplum с учетом колоночной архитектуры и партиционирования; ● Настройка и поддержка линтеров (flake8, isort, black) в проектах с Python для соблюдения единого код-стиля; ● Ревью кода и рефакторинг. Команда: 1 тех. лид, 3 дата-инженера, 2 BI разработчика, 1 аналитик данных, 1 DevOps инженер, 1пм. Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, PostgreSQL, Greenplum, MongoDB, Pandas, NumPy, Docker, Docker Compose, Kubernetes (K8s), Bash scripting, GitHub, GitHub Actions
Стек специалиста на проекте
Numpy, Pandas, MongoDB, GitHub, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GitHub Actions, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2023 - По настоящее время  (2 года 1 месяц)
Сервис по подбору автомобилей
Роль
Дата-инженер
Обязанности
Сервис по подбору автомобилей Описание: Разработка интеллектуального сервиса подбора автомобилей, ориентированного на конечного пользователя. Система предлагала наиболее подходящие автомобили на основе введенных параметров, используя обширную базу данных транспортных средств с множеством технических и пользовательских характеристик. Главной задачей было обеспечить эффективную обработку, агрегацию и анализ данных из различных источников, а также построение масштабируемой архитектуры для поддержки персонализированного подбора. Основные обязанности: ● Сбор данных из различных источников данных и их нормализация с помощью Pandas и NumPy; ● Создание и оптимизация DAGs в Apache Airflow для определения порядка выполнения задач, зависимостей между ними и расписания запуска; ● Написание SQL запросов для агрегации бизнес-метрик в ClickHouse; ● Cоздание и поддержка пользовательских плагинов и операторов Apache Airflow для реализации специфических задач обработки и анализа данных; ● Оптимизация производительности кластера Hadoop путем настройки параметров конфигурации, оптимизации запросов и процессов, а также мониторинга и решения проблем производительности; ● Написание сложных SQL-триггеров и процедур в PostgreSQL; ● Создание и оптимизация сложных SQL-запросов для аналитики данных, включая использование функций ClickHouse для обработки больших объемов данных; ● Разработка и поддержка архитектуры данных на базе Hadoop, включая создание схем данных, определение хранилищ данных и организацию процессов загрузки; ● Использование Kafka для CDC через Debezium для чтения ивентов в PostgreSQL и их репликацию в ClickHouse; ● Организация мультистейдж-сборок Docker для уменьшения размера контейнерных образов и ускорения процессов деплоя; ● Разработка и внедрение кастомных Spark UDF на Python для реализации бизнес-логики, недоступной средствами стандартного Spark API; ● Разработка и оптимизация процессов извлечения, преобразования и загрузки данных с использованием Apache Spark для подготовки данных к анализу и обработке; ● Написание тестов; ● Подготовка и поддержка технической документации для приложений и сервисов. Команда: 1 тех. лид, 4 дата-инженера, 2 BI разработчика / аналитика данных, 1 DevOps инженер, 1пм. Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, PostgreSQL, Clickhouse, Debezium, Kafka, Pandas, NumPy, Docker, Docker Compose, Bash scripting, GitHub
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, GitHub, ClickHouse, Pandas, Numpy, Apache Hadoop, Apache Spark, Kafka, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting, debezium
Отрасль проекта
E-commerce & Retail
Период работы
Март 2022 - Июнь 2023  (1 год 4 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский государственный университет информатики и радиоэлектроники
Специальность
Специальность: Информатика и технологии проектирования
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
КШ
Кирилл Ш.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
ВС
Владимир С.
Минск
Data инженер
Senior
3 766,23 Р/час
debezium
ClickHouse
Numpy
Pandas
MongoDB
GitHub
Kafka
Apache Hadoop
Apache Spark
HDFS
+22

Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.

Подробнее
BioTech, Pharma, Health care & Sports • FinTech & Banking • HRTech • Manufacturing
СК
Сергей К.
Санкт-Петербург
Руководитель проекта
Senior
3 116,88 Р/час
Управление командой
WDS
Работа с интеграциями
Kanban
proxy
Подготовка и проведение презентаций
SAFe
management
MS Windows
Oracle 11G
+62

Сергей — руководитель проектов с 11-летним опытом работы. На позиции Delivery Manager Senior в крупнейшем российском биржевом холдинге занимался формированием и управлением проектной командой, контролировал исполнение задач и отчётность, работал над интеграционными решениями, витринами данных и интерфейсами для обогащения хранилища и предоставления данных внешним системам. В качестве Delivery Manager в компании SmartMed запускал и управлял delivery-командами по направлениям iOS, Android и бэкенд, выстраивал процессы внутри команды по Scrum. Занимая позицию руководителя отдела разработки в компании «Джемтех», внедрял скрам-практики, обеспечивал сопровождение проекта, решал проблемы с задержками релизов, сокращал time-to-market и количество критичных багов. Как Product/Project manager в проекте «Буду» и «Ренессанс.Здоровья» проектировал, реализовывал и улучшал набор микросервисов для взаимодействия между клиентами и врачами клиник. Работая IT-директором в «Агентстве судебного взыскания», занимался стратегическим и тактическим планированием, организацией и развитием службы информационных технологий, контролем исполнения задач, анализом внутренних процессов и постоянным совершенствованием. В роли заместителя IT-директора в «ГСР Энерго» управлял проектами, разрабатывал инструкции для внутреннего программного обеспечения, внедрял zabbix и переносил 1С на POSTGRES. На должности старшего инженера по управлению конфигурациями в «МЕЖРЕГИОНГАЗ ТЕХНОЛОГИИ» поддерживал и эксплуатировал высоконагруженную распределённую систему, администрировал MsSQL, оптимизировал конвергентные системы хранения и обработки данных.

Подробнее