Кирилл Я. Data инженер, Middle+

ID 23391
КЯ
Кирилл Я.
Мужчина
Беларусь, Минск, UTC+3
Ставка
3 545,15 Р/час
вкл. НДС 5% (131.43 Р)
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
Bitbucket
Bitbucket Pipelines
blob
CI/CD
ClickHouse
CloudWatch
Cosmos DB
Data Lake
DBT
DevOps
Docker
Docker Compose
DynamoDB
EC2
etc
Git
GitLab CI/CD
GreenPlum
Hadoop
HDFS
Jenkins
Kubernetes
Lambda
Microsoft
MongoDB
MySQL
Numpy
Pandas
PostgreSQL
Power BI
PySpark
Python
S3
Scala
Snowflake
SQL
Storage
Synapse
Базы данных
Облачные технологии
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.
Проекты   (6 лет 2 месяца)
Разработка аналитической платформы для крупной розничной сети.
Роль
Data Engineer
Обязанности
Разработка аналитической платформы для крупной розничной сети, объединяющей данные из различных источников (CRM, ERP, POS-системы) для анализа продаж, прогнозирования спроса и персонализации маркетинговых кампаний. Проект упростил сбор, обработку и интеграцию данных из CRM, ERP и POS-систем, автоматизировал обновление данных и улучшил доступ к аналитике через BI-дэшборды. Это повысило точность анализа продаж, ускорило прогнозирование спроса и сделало маркетинговые кампании более эффективными. Автоматизация процессов снизила нагрузку на IT-команду и улучшила контроль качества данных. Обязанности: ● Разработка ETL-пайплайнов в Apache Airflow и Apache NiFi для загрузки данных в Greenplum. ● Обработка больших объемов данных с использованием PySpark, Pandas, NumPy для эффективных вычислений и агрегации. ● Оптимизация интеграции Hadoop (HDFS) для распределённого хранения и предварительной обработки сырых данных. ● Агрегация данных в ClickHouse для BI-отчётов. ● Визуализация данных в Power BI и Superset. ● Мониторинг и оптимизация производительности запросов в Snowflake. ● Интеграция PostgreSQL и MS SQL для оперативного хранения транзакционных данных. ● Использование Docker и Kubernetes для контейнеризации ETL-компонентов. ● Создание детальных технических проектных документов, описывающих процессы работы с данными, архитектуру системы и инфраструктуру, для обеспечения ясности при дальнейшем развитии и сопровождении. ● Сотрудничество с командой аналитиков для согласования решений по обработке данных. ● Проведение тестирования системы для соответствия всем техническим и бизнес-требованиям. ● Настройка CI/CD-конвейеров с помощью GitLab CI/CD, автоматизация тестирования и развертывания компонентов ETL.
Стек специалиста на проекте
ClickHouse, Numpy, Pandas, Power BI, Hadoop, Superset, Apache NiFi, HDFS, Snowflake, PySpark, SQL, Docker, GreenPlum, GitLab CI/CD, Apache AirFlow, Microsoft, PostgreSQL, Jenkins, Kubernetes
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2023 - По настоящее время  (1 год 11 месяцев)
Разработка отказоустойчивого и масштабируемого DWH для финтех-компании.
Роль
Data Engineer
Обязанности
Разработка отказоустойчивого и масштабируемого DWH для финтех-компании, обеспечивающего мониторинг транзакций, обнаружение мошеннических операций и расчёт кредитных рейтингов клиентов. Проект упростил обработку и объединение данных из разных источников (PostgreSQL, MySQL, MongoDB), автоматизировал загрузку транзакционных данных и потоковую обработку событий. Это улучшило мониторинг финансовых операций, ускорило выявление мошенничества и повысило точность кредитных рейтингов. Обязанности: ● Сотрудничество с бизнес-аналитиками и архитекторами данных для согласования моделей данных, бизнес-требований и архитектуры данных. ● Проведение профилирования данных и анализа для обеспечения их точности, полноты и согласованности. ● Разработка ETL-процессов в Apache Airflow и DBT для загрузки данных в Snowflake. ● Обработка потоковых данных с Apache NiFi и Spark Streaming. ● Интеграция данных из PostgreSQL, MySQL и MongoDB в единое хранилище. ● Оптимизация запросов в ClickHouse для получения аналитических данных. ● Использование AWS S3 для резервного копирования данных. ● Использование PySpark для распределённой обработки данных и эффективной обработки больших объёмов данных. ● Применение Pandas и NumPy для очистки данных, трансформации и детального анализа меньших наборов данных. ● Автоматизация развертывания через GitLab CI/CD и управление контейнерами с Docker Compose. ● Построение аналитических конвейеров для генерации полезных инсайтов и улучшения процессов принятия решений. ● Создание и оптимизация сложных SQL-запросов. ● Настройка решений для резервного копирования SQL-баз данных. ● Выполнение проверок качества данных, включая создание тест-кейсов и контрольных списков. ● Организация и настройка систем и объектов баз данных для максимальной эффективности и функциональности. ● Проведение исследовательского анализа данных.
Стек специалиста на проекте
PostgreSQL, MySQL, Python, MongoDB, ClickHouse, Pandas, Numpy, AWS S3, Docker Compose, Apache AirFlow, Snowflake, Apache NiFi, GitLab CI/CD, DBT, Spark Streaming
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2021 - Август 2023  (2 года 3 месяца)
Разработка системы аналитики для маркетплейса.
Роль
Data Engineer
Обязанности
Разработка системы аналитики для маркетплейса, обрабатывающей данные о заказах, поведении пользователей и эффективности рекламных кампаний для повышения конверсии и доходности платформы. Проект упростил сбор и обработку данных о заказах, поведении пользователей и рекламных кампаниях, автоматизировав работу ETL-конвейеров. Это улучшило аналитику продаж, персонализацию рекомендаций и оптимизацию маркетинговых стратегий. Обязанности: ● Разработка ETL-процессов в Apache Airflow для обработки данных в Greenplum. ● Обработка пользовательских действий в реальном времени с помощью PySpark и Kafka. ● Проектирование процессов извлечения и трансформации данных на основе SQL для поддержки миграции систем и инициатив по обеспечению качества данных. ● Подготовка технической документации, описывающей процессы ETL, архитектурные решения и рабочие процессы поддержки для дальнейшего сопровождения. ● Интеграция ClickHouse для быстрой аналитики маркетинговых кампаний. ● Хранение транзакционных данных в DynamoDB и PostgreSQL. ● Проведение детального анализа данных для выявления несоответствий между ожидаемыми и фактическими результатами. ● Оптимизация работы с Hadoop (HDFS) и AWS S3 для хранения и обработки данных. ● Разработка масштабируемых и надёжных решений на основе сервисов AWS, включая S3 для хранения и Lambda для бессерверных вычислений. ● Визуализация данных в Power BI. ● Развертывание микросервисов с Kubernetes и Docker. ● Настройка CI/CD с Bitbucket Pipelines и Jenkins. ● Анализ первопричин дефектов, связанных с данными, и внедрение эффективных решений для обеспечения их целостности.
Стек специалиста на проекте
Bitbucket Pipelines, AWS, ClickHouse, Numpy, Pandas, Power BI, DevOps, Hadoop, Kafka, S3, HDFS, PySpark, Docker, Python, etc, Lambda, DynamoDB, GreenPlum, Apache AirFlow, PostgreSQL, Jenkins, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2020 - Май 2021  (1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГТУ
Специальность
Компьютерные науки
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • IoT • Telecom
АБ
Андрей Б.
Минск
Data инженер
Senior
4 155,84 Р/час
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
+55

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking
ВВ
Владлена В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache AirFlow
athena
AWS
AWS glue
Bash
BI
BigQuery
Bitbucket
ClickHouse
+44

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
DBT
Apache Superset
Bitbucket Pipelines
Synapse
AWS
Базы данных
blob
ClickHouse
Azure SQL
Numpy
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее