Кирилл Ш. Data инженер, Senior

ID 26031
КШ
Кирилл Ш.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 14 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
GitHub Actions
GreenPlum
HDFS
Kafka
Kubernetes
MongoDB
Numpy
Pandas
PostgreSQL
PySpark
Python
SQL
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B2
Главное о специалисте
Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах. В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач. Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.
Проекты   (3 года 5 месяцев)
Биллинговая система
Роль
Дата-инженер
Обязанности
Биллинговая система Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики Основные обязанности: ● Проведение сессий с бизнес-аналитиками и продуктовыми владельцами для уточнения требований к источникам данных; ● Создание ETL пайплайнов с использованием Apache Spark; ● Загрузка данных из различных источников в Hadoop HDFS; ● Внедрение линтеров flake8, black в рабочий процесс команды; ● Настройка pre-commit хуков для автоматической проверки стиля и импорта; ● Помощь в настройке Greenplum для поддержки миграции данных из Data Lake. ● Внедрение системы мониторинга производительности кластеров Greenplum и Apache Hadoop; ● Разработка кастомных PySpark jobs для агрегации данных по временным интервалам с учетом бизнес-логики; ● Настройка структуры колоночных таблиц для работы с OLAP-нагрузками; ● Создание универсальных UDF с поддержкой сериализации и логированием ошибок при обработке невалидных значений; ● Использование Greenplum для обработки данных в реальном времени и построения аналитических отчетов; ● Разделение больших таблиц по партициям для ускорения фильтрации и join-операций; ● Организация данных в соответствии с требованиями проекта; ● Оптимизация кода загрузки данных для ускорения процессов ETL/ELT; ● Проведение A/B-тестирования различных подходов к партиционированию в Spark для повышения производительности; ● Настройка схемы хранения данных в Apache Hive для поддержки бизнес-аналитики; ● Написание юнит-тестов с использованием для тестирования логики трансформаций в PySpark; ● Написание Dockerfile и Bash-скриптов; ● Обработка данных на Python с использованием Pandas; ● Анализ планов выполнения SQL-запросов и устранение узких мест, влияющих на производительность; ● Составление технических спецификаций для архитектуры пайплайнов с описанием бизнес-логики обработки данных. Команда: 1 тех. лид, 2 дата-инженера, 1 BI разработчик / аналитик данных, 1 DevOps инженер, 1пм. Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, Greenplum, PostgreSQL, MongoDB, Pandas, NumPy, Kubernetes (K8s), Docker, Docker Compose, Bash scripting, Gitlab
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, MongoDB, Kubernetes, GitLab, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - По настоящее время  (2 года 4 месяца)
Банковская система
Роль
Дата-инженер
Обязанности
Банковская система Проект по интеграции банковской системы был комплексной задачей, направленной на бесшовную интеграцию баз знаний с аналитическими системами, с особым акцентом на создание OLAP-кубов. Основной целью проекта было создание надежной инфраструктуры данных, которая позволила бы организации получать практические рекомендации, эффективно управлять данными и принимать решения. Основные обязанности: ● Управление Kubernetes (K8s) кластером для обеспечения высокой доступности приложений и данных; ● Поддержка и обслуживание запросов в Greenplum, включая оптимизацию производительности для ускорения выполнения аналитических задач; ● Разработка и модификация SQL-процедур по спецификациям аналитиков данных, чтобы обеспечить точность и эффективность обработки данных; ● Создание DAG’s в Apache Airflow; ● Настройка мониторинга ETL-процессов и витрин данных; ● Работа с командами аналитики и DevOps для интеграции Apache Airflow в общий процесс разработки и развертывания; ● Оптимизация медленно выполняющихся SQL-запросов через пересмотр логики join, партиционирование и использование CTE; ● Управление пользователями, правами доступа и безопасностью данных в Greenplum с использованием ролевой модели и гранулированных прав доступа для обеспечения защиты данных; ● Управление версионностью DAG, чтобы обеспечить откат к предыдущим версиям в случае необходимости; ● Развертывание и управление виртуальными машинами с использованием Compute Cloud и Virtual Machines для выполнения вычислительных задач и хостинга приложений; ● Реализация Spark UDF для сложных трансформаций банковских и логических правил, не поддерживаемых стандартными функциями; ● Настройка базового CI/CD пайплайна с автоматической проверкой качества кода, unit-тестами и линтерами; ● Оптимизация производительности баз данных в Managed Service for PostgreSQL, включая настройку индексов, выполнение оптимизаций запросов и мониторинг производительности; ● Обработка данных с помощью скриптов Pandas и PySpark (ETL); ● Ведение проектной документации: описание архитектуры, data flow и моделей доступа. Команда: 1 тех. лид, 5 дата-инженеров, 1 BI разработчик, 2 аналитика данных, 2 DevOps инженера, 1пм. Технологический стек: Python, SQL, Apache Spark, PySpark, Apache Airflow, Yandex Cloud(Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL), PostgreSQL, Greenplum, Pandas, NumPy, Docker, Docker Compose, Kubernetes (K8s), Bash scripting, GitHub, GitHub Actions
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, GitHub Actions, Kubernetes, GitHub, Data, Pandas, Numpy, GreenPlum, Object, Apache Spark, Cloud Functions, Storage, Virtual Machines, Docker Compose, Services, Apache AirFlow, Yandex Cloud, IAM, PySpark, cloud, Bash scripting, proc, compute
Отрасль проекта
FinTech & Banking
Период работы
Май 2022 - Май 2023  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский национальный технический университет
Специальность
Специальность: Информационные системы и технологии
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail
ВС
Владимир С.
Минск
Data инженер
Senior
3 766,23 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
ClickHouse
debezium
Docker
Docker Compose
GitHub
+22

Здравствуйте, меня зовут Владимир. Я — дата-инженер с более чем трёхлетним опытом, специализирующийся на построении надёжных и масштабируемых аналитических систем. За это время мне удалось реализовать решения, превращающие разрозненные массивы кликов, транзакций и событий в полноценные платформы, помогающие бизнесу принимать обоснованные решения и увеличивать доход. В рамках своей работы я проектировал архитектуру хранилищ данных на Greenplum и ClickHouse, разрабатывал отказоустойчивые ETL-процессы с использованием Apache Spark и PySpark, эффективно обрабатывал большие объёмы данных в Hadoop и HDFS, а также оптимизировал SQL-запросы до высокопроизводительных значений. Я обладаю опытом интеграции Apache Airflow с различными системами, включая написание собственных операторов, и умею выстраивать CI/CD-процессы, обеспечивая стабильную и безопасную поставку кода. Также я активно участвовал в настройке и сопровождении среды на базе Docker и Kubernetes, с особым вниманием к качеству кода, тестированию и документации.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
НС
Николай С.
Пермь
Full Stack разработчик
Middle
2 285,71 Р/час
PostgreSQL
HTML
CSS
MySQL
Docker
JavaScript
PHP
Laravel
REST API
MongoDB
+26

Я системно подхожу к разработке: создаю архитектуры, которые легко масштабируются, расширяются и остаются поддерживаемыми в долгосрочной перспективе. Работаю с прицелом на продакшн, учитывая и текущие, и будущие требования продукта. ⚙️ Мой стек: NestJS, Node.js, PostgreSQL, TypeORM, MongoDB, Docker. Применяю CQRS, Event-Driven архитектуру, API Gateway, микросервисы и луковичную структуру. Внедряю логирование (Winston + Elasticsearch), метрики (Prometheus), очереди (RabbitMQ/Kafka), авторизацию (JWT, HMAC). 🧩 На проектах часто беру на себя инициативу — проектирую архитектуру, подбираю технологии, организую слои приложения и участвую в создании внутренней инженерной культуры. Умею быстро осваивать новые инструменты, писать читаемый код, документировать решения и выстраивать конструктивную коммуникацию в команде. 🎯 Мои приоритеты — устойчивый прод, чистая архитектура, понятный код, минимальный технический долг. Умею мыслить продуктово: различаю MVP и долгосрочные цели, принимаю компромиссы в пользу результата без ущерба масштабируемости.

Подробнее
E-commerce & Retail
МС
Михаил С.
Ульяновск
Vue.js разработчик
Middle
2 142,86 Р/час
Redmine
Sass
WebSockets
Pug.js
Asana
SSR
Git
Zeplin
Webpack
Illustrator
+34

Все проекты в рамках одной компании! Наш штатный сотрудник Уверенный middle разработчик с опытом коммерческой разработки более 1.5 лет Работа с багами от сторонних разработчиков, расширение функционала legacy проектов Работа в команде Работа с версткой. Написание шаблонов, семантически грамотное написание DOM. Работа с чужим кодом, умение ориентироваться в различных подходах при написании кода на JS. Рефакторинг, поддержка проектов. Проектирование тестового REST API с использованием фреймворка express для node.js. Богатый опыт в написании программ на JS. Создание крупных приложений на SPA фреймворке Vue.js. Высокая вовлеченность в процесс, нацеленность на результат, навыки эффективной коммуникации с командой и менеджерами.

Подробнее