Никита К. Data инженер, Middle+

ID 16961
НК
Никита К.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 20 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Kafka
Apache Spark
Bash scripting
Bitbucket
ClickHouse
cloud
Cloud Functions
Data
Docker
Docker Compose
Elasticsearch
ER
FastAPI
Flask
Git
GitHub
GreenPlum
HDFS
IAM
Kibana
Kubernetes
Microsoft
MongoDB
Numpy
Object
Pandas
PostgreSQL
Power BI
PySpark
Python
Redis
Services
SQL
Storage
Vault
Virtual Machines
Yandex Cloud
Анализ данных
архитектура
Базы данных
брокеры сообщений
Визуализация данных
инженерия данных
Моделирование
Облачные технологии
языки программирования
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — C1
Главное о специалисте
Дата-инженер с опытом работы более 5 лет. Языки программирования Python, SQL. Инженерия данных HDFS, Apache Hadoop, Apache Hive, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL). Базы данных PostgreSQL, ClickHouse, Greenplum, MongoDB, Elasticsearch, MS SQL, Redis. Брокеры сообщений Apache Kafka. Анализ данных Pandas, NumPy. Визуализация данных Power BI, Kibana. Бэкенд FastAPI, Flask. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Медальонная Архитектура, Data Vault, Нормализация / Денормализация. DevOps Docker, Docker Compose, Kubernetes, Bash scripting. Системы контроля версий Git, GitHub, Bitbucket.
Проекты   (5 лет 11 месяцев)
ПЛАТФОРМА ЭЛЕКТРОННОЙ КОММЕРЦИИ
Роль
Дата-инженер
Обязанности
Интернет-магазин товаров известных брендов, таких как: дизайнерская одежда, обувь и аксессуары для детей и взрослых. Магазин специализируется на распродажах, где вы можете купить брендовые вещи с большой скидкой. Обязанности Разработка и внедрение стандартов управления данными в среде Apache Spark и HDFS, чтобы обеспечить соответствие требованиям регуляторов и внутренних политик; Настройка и управление связанными службами и наборами данных в Apache Kafka для обеспечения бесшовной передачи данных между различными системами; Разработка и поддержка индексов Elasticsearch для эффективного хранения и поиска больших объемов данных; Написание и оптимизация запросов HiveQL в Apache Hive для выполнения сложных аналитических запросов и отчетов на больших объемах данных, хранящихся в HDFS; Создание и оптимизация SQL-запросов и хранимых процедур в Greenplum для обработки больших объемов данных и обеспечения быстрой аналитики; Разработка и настройка дашбордов Kibana для визуализации данных из Elasticsearch, включая создание графиков, диаграмм и отчетов для анализа данных и выявления ключевых трендов; Разработка и поддержка Kafka Topics и консьюмеров, обеспечивающих надежную и эффективную передачу и обработку данных; Создание RESTful API с использованием FastAPI для предоставления доступа к аналитическим данным и сервисам, поддерживая высокую производительность и масштабируемость; Интеграция FastAPI с потоками данных Apache Kafka для обработки и предоставления данных в реальном времени через API; Создание масштабируемых схем данных в Greenplum для обеспечения эффективного хранения и обработки больших объемов данных; Разработка и поддержка интеграций между HDFS и Spark (ETL), что позволяет выполнять распределенные вычисления и анализ данных в рамках единой архитектуры обработки больших данных; Онбординг новых дата-инженеров. Технологии Python, SQL, Apache Spark, PySpark, Apache Airflow, Apache Hadoop, HDFS, Apache Hive, Greenplum, Pandas, NumPy, Power BI, PostgreSQL, Elasticsearch, Kubernetes, Kibana, Apache Kafka, FastAPI, Docker, Docker Compose, Bash Scripting, GitHub.
Стек специалиста на проекте
Numpy, Elasticsearch, Pandas, Power BI, Kibana, GitHub, FastAPI, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, Apache AirFlow, Bash scripting, apache hive, PostgreSQL, Kubernetes, Apache Kafka
Отрасль проекта
E-commerce & Retail
Период работы
Август 2022 - По настоящее время  (2 года 10 месяцев)
БАНКОВСКАЯ СИСТЕМА
Роль
Дата-инженер
Обязанности
Проект по интеграции банковской системы был комплексной задачей, направленной на бесшовную интеграцию баз знаний с аналитическими системами, с особым акцентом на создание OLAP-кубов. Основной целью проекта было создание надежной инфраструктуры данных, которая позволила бы организации получать практические рекомендации, эффективно управлять данными и принимать решения. Обязанности Настройка и управление Kubernetes кластером для обеспечения высокой доступности приложений и данных; Создание хранилищ данных, адаптированных к конкретным бизнес-потребностям и отделам в ClickHouse; Разработка и модификация SQL-процедур по спецификациям аналитиков данных, чтобы обеспечить точность и эффективность обработки данных; Интеграция и настройка Elasticsearch для полнотекстового поиска и анализа данных, включая создание индексов и настройку кластеров для повышения эффективности поиска и аналитики; Развертывание и конфигурация ClickHouse для высокоскоростной аналитики больших объемов данных, включая настройку кластера, создание таблиц и оптимизацию запросов для обеспечения быстрой обработки данных; Оптимизация производительности и масштабируемости Elasticsearch и ClickHouse кластеров путем настройки параметров, мониторинга нагрузки и выполнения операций по поддержке и обслуживанию; Создание и поддержка Helm-чартов для автоматизации развертывания приложений в Kubernetes, упрощая управление конфигурациями и зависимостями; Развертывание и управление виртуальными машинами с использованием Compute Cloud и Virtual Machines для выполнения вычислительных задач и хостинга приложений; Оптимизация производительности баз данных в Managed Service for PostgreSQL, включая настройку индексов, выполнение оптимизаций запросов и мониторинг производительности.; Обработка данных с помощью скриптов Pandas и PySpark (ETL); Создание и настройка Kibana дашбордов для визуализации данных, индексируемых в Elasticsearch; Создание сложных поисковых запросов с использованием Elasticsearch Query DSL для поддержки различных бизнес-логик и сценариев поиска; Разработка отчетов и аналитических инструментов, используя данные из Elasticsearch для поддержки бизнес-аналитики и принятия решений. Технологии Python, SQL, Apache Spark, PySpark, Apache Airflow, ClickHouse, Yandex Cloud(Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL), Pandas, NumPy, Kibana, Power BI, PostgreSQL, Elasticsearch, Docker, Docker Compose, Bash scripting, Kubernetes, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Elasticsearch, Pandas, Power BI, Kibana, GitHub, Object, Apache Spark, Cloud Functions, cloud, Storage, IAM, Virtual Machines, Docker Compose, Services, PySpark, SQL, Docker, Python, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2020 - Июль 2022  (1 год 11 месяцев)
СИСТЕМА АНАЛИЗА ЭФФЕКТИВНОСТИ СЕРВИСА
Роль
Дата-инженер
Обязанности
Проект по анализу эффективности сервиса для получения информации о поведении адаптеров и улучшения их производительности. В рамках проекта использовался статистический анализ с визуализацией данных для выявления источников трафика, проблем и слабых мест платформы на основе сотен веб-сервисов. Обязанности Интеграция OLTP и OLAP системы с Data Lake для комплексного хранения и анализа данных, используя Apache Hive и HDFS; Разработка и оптимизация запросов в Apache Hive для работы с большими объемами данных, хранящимися в HDFS; Создание DAX в Power BI для выполнения сложных агрегаций и вычислений на разных уровнях детализации, таких как фиксированные, включаемые и исключаемые LOD-выражения; Проведение анализа данных и их исследование с использованием Power BI для выявления трендов, паттернов и инсайтов, поддерживая принятие решений на основе данных; Организация и мониторинг пайплайнов (ETL) данных и рабочие процессы с помощью Apache Airflow; Интеграция Flask-приложений с системами обработки данных, чтобы обеспечить динамическое извлечение и представление данных в реальном времени; Создание агрегирующих SQL запросов для расчета метрик конверсий; Планировка задачи с использованием Apache Airflow; Мониторинг логов Spark в консоли логов Apache Airflow для целей отладки и устранения неполадок; Оптимизация баз данных MS SQL и Redis для улучшения производительности запросов и обработки данных; Индексирование базы данных MS SQL для достижения лучшей производительности; Написание Bash-скриптов для автоматизации рутинных задач и управления инфраструктурой; Написание документации по структуре баз данных и SQL-процедурам; Подготовка unit-тестов. Технологии Python, SQL, Power BI, Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Hive, Flask, Apache Airflow, MS SQL, Pandas, NumPy, MongoDB, Docker, Docker Compose, Bash scripting, Bitbucket.
Стек специалиста на проекте
Numpy, Pandas, Power BI, Bitbucket, MongoDB, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, SQL, Docker, Python, Flask, Apache AirFlow, Bash scripting, Microsoft, apache hive
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2019 - Август 2020  (1 год 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking • Media
КР
Константин Р.
Минск
Data инженер
Middle
4 025,97 Р/час
Hadoop
Hive
Numpy
Openmetadata
Pandas
PySpark
Python
ClickHouse
DynamoDB
MongoDB
+62

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее

Недавно просмотренные специалисты