КЯ
Кирилл Я.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 545,15 Р/час
вкл. НДС 5% (131.43 Р)
Специалист доступен с 4 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking.
На проектах занимался разработкой аналитических платформ, DWH и систем аналитики.
Обязанности:
- разработка ETL-пайплайнов в Apache Airflow и Apache NiFi;
- обработка больших объёмов данных с использованием PySpark, Pandas, NumPy;
- оптимизация интеграции Hadoop (HDFS);
- агрегация данных в ClickHouse для BI-отчётов;
- визуализация данных в Power BI и Superset;
- мониторинг и оптимизация производительности запросов в Snowflake;
- интеграция PostgreSQL и MS SQL;
- использование Docker и Kubernetes для контейнеризации ETL-компонентов;
- создание детальных технических проектных документов;
- сотрудничество с командой аналитиков;
- проведение тестирования системы;
- настройка CI/CD-конвейеров с помощью GitLab CI/CD.
Проекты
(6 лет 2 месяца)
Разработка аналитической платформы для крупной розничной сети.
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, объединяющей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и персонализации маркетинговых кампаний. Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике через BI-дэшборды. Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация процессов снизила нагрузку на IT-команду и улучшила контроль качества данных.
Обязанности:
● Разработка ETL-пайплайнов в Apache Airflow и Apache NiFi для загрузки данных в Greenplum.
● Обработка больших объемов данных с использованием PySpark, Pandas, NumPy для эффективных вычислений и агрегации.
● Оптимизация интеграции Hadoop (HDFS) для распределённого хранения и предварительной обработки сырых данных.
● Агрегация данных в ClickHouse для BI-отчётов.
● Визуализация данных в Power BI и Superset.
● Мониторинг и оптимизация производительности запросов в Snowflake.
● Интеграция PostgreSQL и MS SQL для оперативного хранения транзакционных данных.
● Использование Docker и Kubernetes для контейнеризации ETL-компонентов.
● Создание детальных технических проектных документов, описывающих процессы работы с данными, архитектуру системы и инфраструктуру, для обеспечения ясности при дальнейшем развитии и сопровождении.
● Сотрудничество с командой аналитиков для согласования решений по обработке данных.
● Проведение тестирования системы для соответствия всем техническим и бизнес-требованиям.
● Настройка CI/CD-конвейеров с помощью GitLab CI/CD, автоматизация тестирования и развертывания компонентов ETL.
Стек специалиста на проекте
ClickHouse, Numpy, Pandas, Power BI, Hadoop, Superset, Apache NiFi, HDFS, Snowflake, PySpark, SQL, Docker, GreenPlum, GitLab CI/CD, Apache AirFlow, Microsoft, PostgreSQL, Jenkins, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2023 - По настоящее время
(1 год 11 месяцев)
Разработка отказоустойчивого и масштабируемого DWH для финтех-компании.
Роль
Data Engineer
Обязанности
Разработка отказоустойчивого и масштабируемого DWH для финтех-компании, обеспечивающего мониторинг транзакций, обнаружение мошеннических операций и расчёт кредитных рейтингов клиентов. Проект упростил обработку и объединение данных из разных источников (PostgreSQL, MySQL, MongoDB), автоматизировал загрузку транзакционных данных и потоковую обработку событий. Это улучшило мониторинг финансовых операций, ускорило выявление мошенничества и повысило точность кредитных рейтингов.
Обязанности:
● Сотрудничество с бизнес-аналитиками и архитекторами данных для согласования моделей данных, бизнес-требований и архитектуры данных.
● Проведение профилирования данных и анализа для обеспечения их точности, полноты и согласованности.
● Разработка ETL-процессов в Apache Airflow и DBT для загрузки данных в Snowflake.
● Обработка потоковых данных с Apache NiFi и Spark Streaming.
● Интеграция данных из PostgreSQL, MySQL и MongoDB в единое хранилище.
● Оптимизация запросов в ClickHouse для получения аналитических данных.
● Использование AWS S3 для резервного копирования данных.
● Использование PySpark для распределённой обработки данных и эффективной обработки больших объёмов данных.
● Применение Pandas и NumPy для очистки данных, трансформации и детального анализа меньших наборов данных.
● Автоматизация развертывания через GitLab CI/CD и управление контейнерами с Docker Compose.
● Построение аналитических конвейеров для генерации полезных инсайтов и улучшения процессов принятия решений.
● Создание и оптимизация сложных SQL-запросов.
● Настройка решений для резервного копирования SQL-баз данных.
● Выполнение проверок качества данных, включая создание тест-кейсов и контрольных списков.
● Организация и настройка систем и объектов баз данных для максимальной эффективности и функциональности.
● Проведение исследовательского анализа данных.
Стек специалиста на проекте
PostgreSQL, MySQL, Python, MongoDB, ClickHouse, Pandas, Numpy, AWS S3, Docker Compose, Apache AirFlow, Snowflake, Apache NiFi, GitLab CI/CD, DBT, Spark Streaming
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2021 - Август 2023
(2 года 3 месяца)
Разработка системы аналитики для маркетплейса.
Роль
Data Engineer
Обязанности
Разработка системы аналитики для маркетплейса, обрабатывающей данные о заказах, поведении пользователей и эффективности рекламных кампаний для повышения конверсии и доходности платформы. Проект упростил сбор и обработку данных о заказах, поведении пользователей и рекламных кампаниях, автоматизировав работу ETL-конвейеров. Это улучшило аналитику продаж, персонализацию рекомендаций и оптимизацию маркетинговых стратегий.
Обязанности:
● Разработка ETL-процессов в Apache Airflow для обработки данных в Greenplum.
● Обработка пользовательских действий в реальном времени с помощью PySpark и Kafka.
● Проектирование процессов извлечения и трансформации данных на основе SQL для поддержки миграции систем и инициатив по обеспечению качества данных.
● Подготовка технической документации, описывающей процессы ETL, архитектурные решения и рабочие процессы поддержки для дальнейшего сопровождения.
● Интеграция ClickHouse для быстрой аналитики маркетинговых кампаний.
● Хранение транзакционных данных в DynamoDB и PostgreSQL.
● Проведение детального анализа данных для выявления несоответствий между ожидаемыми и фактическими результатами.
● Оптимизация работы с Hadoop (HDFS) и AWS S3 для хранения и обработки данных.
● Разработка масштабируемых и надёжных решений на основе сервисов AWS, включая S3 для хранения и Lambda для бессерверных вычислений.
● Визуализация данных в Power BI.
● Развертывание микросервисов с Kubernetes и Docker.
● Настройка CI/CD с Bitbucket Pipelines и Jenkins.
● Анализ первопричин дефектов, связанных с данными, и внедрение эффективных решений для обеспечения их целостности.
Стек специалиста на проекте
Bitbucket Pipelines, AWS, ClickHouse, Numpy, Pandas, Power BI, DevOps, Hadoop, Kafka, S3, HDFS, PySpark, Docker, Python, etc, Lambda, DynamoDB, GreenPlum, Apache AirFlow, PostgreSQL, Jenkins, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2020 - Май 2021
(1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГТУ
Специальность
Компьютерные науки
Завершение учебы
2022 г.