КШ
Кирилл Ш.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 31 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Меня зовут Кирилл, я дата-инженер с опытом работы более трех лет, и я убежден, что мои навыки и знания станут ценным дополнением к вашей команде. Моя экспертиза охватывает разработку и оптимизацию ETL/ELT-процессов, работу с большими данными и внедрение эффективных решений для аналитики, что позволяет мне успешно справляться с задачами в сложных распределенных системах.
В проекте биллинговой системы я разрабатывал ETL-пайплайны с использованием Apache Spark, настраивал мониторинг производительности кластеров Greenplum и Hadoop, а также внедрял автоматизированные проверки кода, что повысило эффективность обработки данных. В банковском проекте я создавал OLAP-кубы, оптимизировал SQL-запросы и интегрировал аналитические системы, обеспечивая надежность и высокую производительность инфраструктуры. Мой технологический стек включает Python, SQL, Apache Spark, Airflow, Greenplum, Kubernetes и другие современные инструменты, что позволяет мне гибко подходить к решению задач.
Мои сильные стороны — это глубокое понимание оптимизации данных, автоматизация процессов и разработка масштабируемых решений. Я уверен, что мой опыт поможет ускорить выполнение ваших задач, оптимизировать инфраструктуру и внедрить передовые инструменты.
Проекты
(3 года 3 месяца)
Биллинговая система
Роль
Дата-инженер
Обязанности
Биллинговая система
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики
Основные обязанности:
● Проведение сессий с бизнес-аналитиками и продуктовыми владельцами для уточнения требований к источникам данных;
● Создание ETL пайплайнов с использованием Apache Spark;
● Загрузка данных из различных источников в Hadoop HDFS;
● Внедрение линтеров flake8, black в рабочий процесс команды;
● Настройка pre-commit хуков для автоматической проверки стиля и импорта;
● Помощь в настройке Greenplum для поддержки миграции данных из Data Lake.
● Внедрение системы мониторинга производительности кластеров Greenplum и Apache Hadoop;
● Разработка кастомных PySpark jobs для агрегации данных по временным интервалам с учетом бизнес-логики;
● Настройка структуры колоночных таблиц для работы с OLAP-нагрузками;
● Создание универсальных UDF с поддержкой сериализации и логированием ошибок при обработке невалидных значений;
● Использование Greenplum для обработки данных в реальном времени и построения аналитических отчетов;
● Разделение больших таблиц по партициям для ускорения фильтрации и join-операций;
● Организация данных в соответствии с требованиями проекта;
● Оптимизация кода загрузки данных для ускорения процессов ETL/ELT;
● Проведение A/B-тестирования различных подходов к партиционированию в Spark для повышения производительности;
● Настройка схемы хранения данных в Apache Hive для поддержки бизнес-аналитики;
● Написание юнит-тестов с использованием для тестирования логики трансформаций в PySpark;
● Написание Dockerfile и Bash-скриптов;
● Обработка данных на Python с использованием Pandas;
● Анализ планов выполнения SQL-запросов и устранение узких мест, влияющих на производительность;
● Составление технических спецификаций для архитектуры пайплайнов с описанием бизнес-логики обработки данных.
Команда: 1 тех. лид, 2 дата-инженера, 1 BI разработчик / аналитик данных, 1 DevOps инженер, 1пм.
Технологический стек: Python, SQL, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Apache Airflow, Greenplum, PostgreSQL, MongoDB, Pandas, NumPy, Kubernetes (K8s), Docker, Docker Compose, Bash scripting, Gitlab
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, MongoDB, Kubernetes, GitLab, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - По настоящее время
(2 года 2 месяца)
Банковская система
Роль
Дата-инженер
Обязанности
Банковская система
Проект по интеграции банковской системы был комплексной задачей, направленной на бесшовную интеграцию баз знаний с аналитическими системами, с особым акцентом на создание OLAP-кубов. Основной целью проекта было создание надежной инфраструктуры данных, которая позволила бы организации получать практические рекомендации, эффективно управлять данными и принимать решения.
Основные обязанности:
● Управление Kubernetes (K8s) кластером для обеспечения высокой доступности приложений и данных;
● Поддержка и обслуживание запросов в Greenplum, включая оптимизацию производительности для ускорения выполнения аналитических задач;
● Разработка и модификация SQL-процедур по спецификациям аналитиков данных, чтобы обеспечить точность и эффективность обработки данных;
● Создание DAG’s в Apache Airflow;
● Настройка мониторинга ETL-процессов и витрин данных;
● Работа с командами аналитики и DevOps для интеграции Apache Airflow в общий процесс разработки и развертывания;
● Оптимизация медленно выполняющихся SQL-запросов через пересмотр логики join, партиционирование и использование CTE;
● Управление пользователями, правами доступа и безопасностью данных в Greenplum с использованием ролевой модели и гранулированных прав доступа для обеспечения защиты данных;
● Управление версионностью DAG, чтобы обеспечить откат к предыдущим версиям в случае необходимости;
● Развертывание и управление виртуальными машинами с использованием Compute Cloud и Virtual Machines для выполнения вычислительных задач и хостинга приложений;
● Реализация Spark UDF для сложных трансформаций банковских и логических правил, не поддерживаемых стандартными функциями;
● Настройка базового CI/CD пайплайна с автоматической проверкой качества кода, unit-тестами и линтерами;
● Оптимизация производительности баз данных в Managed Service for PostgreSQL, включая настройку индексов, выполнение оптимизаций запросов и мониторинг производительности;
● Обработка данных с помощью скриптов Pandas и PySpark (ETL);
● Ведение проектной документации: описание архитектуры, data flow и моделей доступа.
Команда: 1 тех. лид, 5 дата-инженеров, 1 BI разработчик, 2 аналитика данных, 2 DevOps инженера, 1пм.
Технологический стек: Python, SQL, Apache Spark, PySpark, Apache Airflow, Yandex Cloud(Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL), PostgreSQL, Greenplum, Pandas, NumPy, Docker, Docker Compose, Kubernetes (K8s), Bash scripting, GitHub, GitHub Actions
Стек специалиста на проекте
compute, Numpy, Data, Pandas, GitHub, proc, Object, Apache Spark, Cloud Functions, cloud, Storage, IAM, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, GitHub Actions, GreenPlum, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Май 2022 - Май 2023
(1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский национальный технический университет
Специальность
Специальность: Информационные системы и технологии
Завершение учебы
2022 г.
