Кирилл Ш. Data инженер, Senior

ID 26031
КШ
Кирилл Ш.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 8 июня 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
GitHub Actions
GreenPlum
HDFS
Kafka
Kubernetes
MongoDB
Numpy
Pandas
PostgreSQL
PySpark
Python
SQL
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B2
Главное о специалисте
Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.
Проекты   (3 года 2 месяца)
Биллинговая система
Роль
Дата-инженер
Обязанности
Биллинговая система Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики Основные обязанности: ● Проведение сессий с бизнес-аналитиками и продуктовыми владельцами для уточнения требований к источникам данных; ● Создание ETL пайплайнов с использованием Apache Spark; ● Загрузка данных из различных источников в Hadoop HDFS; ● Внедрение линтеров flake8, black в рабочий процесс команды; ● Настройка pre-commit хуков для автоматической проверки стиля и импорта; ● Помощь в настройке Greenplum для поддержки миграции данных из Data Lake. ● Внедрение системы мониторинга производительности кластеров Greenplum и Apache Hadoop; ● Разработка кастомных PySpark jobs для агрегации данных по временным интервалам с учетом бизнес-логики; ● Настройка структуры колоночных таблиц для работы с OLAP-нагрузками; ● Создание универсальных UDF с поддержкой сериализации и логированием ошибок при обработке невалидных значений; ● Использование Greenplum для обработки данных в реальном времени и построения аналитических отчетов; ● Разделение больших таблиц по партициям для ускорения фильтрации и join-операций; ● Организация данных в соответствии с требованиями проекта; ● Оптимизация кода загрузки данных для ускорения процессов ETL/ELT; ● Проведение A/B-тестирования различных подходов к партиционированию в Spark для повышения производительности; ● Настройка схемы хранения данных в Apache Hive для поддержки бизнес-аналитики; ● Написание юнит-тестов с использованием для тестирования логики трансформаций в PySpark; ● Написание Dockerfile и Bash-скриптов; ● Обработка данных на Python с использованием Pandas; ● Анализ планов выполнения SQL-запросов и устранение узких мест, влияющих на производительность; ● Составление технических спецификаций для архитектуры пайплайнов с описанием бизнес-логики обработки данных. Команда: 1 тех. лид, 2 дата-инженера, 1 BI разработчик / аналитик данных, 1 DevOps инженер, 1пм. Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, Greenplum, PostgreSQL, MongoDB, Pandas, NumPy, Kubernetes (K8s), Docker, Docker Compose, Bash scripting, Gitlab
Стек специалиста на проекте
GitLab, Numpy, Pandas, MongoDB, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - По настоящее время  (2 года 1 месяц)
Банковская система
Роль
Дата-инженер
Обязанности
Банковская система Проект по интеграции банковской системы был комплексной задачей, направленной на бесшовную интеграцию баз знаний с аналитическими системами, с особым акцентом на создание OLAP-кубов. Основной целью проекта было создание надежной инфраструктуры данных, которая позволила бы организации получать практические рекомендации, эффективно управлять данными и принимать решения. Основные обязанности: ● Управление Kubernetes (K8s) кластером для обеспечения высокой доступности приложений и данных; ● Поддержка и обслуживание запросов в Greenplum, включая оптимизацию производительности для ускорения выполнения аналитических задач; ● Разработка и модификация SQL-процедур по спецификациям аналитиков данных, чтобы обеспечить точность и эффективность обработки данных; ● Создание DAG’s в Apache Airflow; ● Настройка мониторинга ETL-процессов и витрин данных; ● Работа с командами аналитики и DevOps для интеграции Apache Airflow в общий процесс разработки и развертывания; ● Оптимизация медленно выполняющихся SQL-запросов через пересмотр логики join, партиционирование и использование CTE; ● Управление пользователями, правами доступа и безопасностью данных в Greenplum с использованием ролевой модели и гранулированных прав доступа для обеспечения защиты данных; ● Управление версионностью DAG, чтобы обеспечить откат к предыдущим версиям в случае необходимости; ● Развертывание и управление виртуальными машинами с использованием Compute Cloud и Virtual Machines для выполнения вычислительных задач и хостинга приложений; ● Реализация Spark UDF для сложных трансформаций банковских и логических правил, не поддерживаемых стандартными функциями; ● Настройка базового CI/CD пайплайна с автоматической проверкой качества кода, unit-тестами и линтерами; ● Оптимизация производительности баз данных в Managed Service for PostgreSQL, включая настройку индексов, выполнение оптимизаций запросов и мониторинг производительности; ● Обработка данных с помощью скриптов Pandas и PySpark (ETL); ● Ведение проектной документации: описание архитектуры, data flow и моделей доступа. Команда: 1 тех. лид, 5 дата-инженеров, 1 BI разработчик, 2 аналитика данных, 2 DevOps инженера, 1пм. Технологический стек: Python, SQL, Apache Spark, PySpark, Apache Airflow, Yandex Cloud(Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL), PostgreSQL, Greenplum, Pandas, NumPy, Docker, Docker Compose, Kubernetes (K8s), Bash scripting, GitHub, GitHub Actions
Стек специалиста на проекте
compute, Numpy, Data, Pandas, GitHub, proc, Object, Apache Spark, Cloud Functions, cloud, Storage, IAM, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GitHub Actions, GreenPlum, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Май 2022 - Май 2023  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский национальный технический университет
Специальность
Специальность: Информационные системы и технологии
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail
ВС
Владимир С.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
КШ
Кирилл Ш.
Минск
Data инженер
Senior
3 766,23 Р/час
debezium
ClickHouse
Numpy
Pandas
MongoDB
GitHub
Kafka
Apache Hadoop
Apache Spark
HDFS
+22

Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.

Подробнее
FinTech & Banking • HRTech
ТБ
Тынарбек Б.
Москва
Data инженер
Senior
3 766,23 Р/час
s2t
Grafana
анализ
Разработка
Базы данных
Engineering
ClickHouse
ETL-процессы
OLAP
Data
+40

● Опыт работы на коммерческих проектах более 3,5 лет ● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными ● Специализируется на использовании современных технологий для обработки, хранения и анализа данных. ● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности. ● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle) ● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных. ● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков ● Имеет опыт разработки на Python и Golang

Подробнее
Insurance
ДЛ
Дарья Л.
Самара
Бизнес аналитик
Senior
2 987,01 Р/час
Работа с базами данных
методологии
io
Работа с интеграциями
UML
Бизнес требования
Kanban
Функциональные требования
расчет
анализ
+60

Дарья, Senior Business Analyst Дарья — опытный бизнес-аналитик с опытом работы более 4 лет. Она обладает глубокими знаниями и навыками в области BPMN, бизнес-анализа, Figma, JSON, Kanban, Microsoft Office, Postman, REST API, Scrum, SQL, Swagger, Trello, UML, Use case и аналитики. На своих проектах Дарья занималась разработкой ТЗ, описанием проектов, созданием MVP, сбором, формированием и систематизацией требований, составлением и описанием бизнес-процессов в нотации BPMN 2.0, разработкой макетов интерфейса, описанием логики работы функций системы, составлением логической модели данных (ER-диаграмма), разработкой инструкций пользователя и обучением персонала работе с функционалом системы. В своей работе Дарья демонстрирует высокий уровень профессионализма, ответственности и организованности. Она способна эффективно взаимодействовать с заказчиками, заинтересованными сторонами и командой разработчиков для достижения поставленных целей.

Подробнее