Матвей К. Data инженер, Senior

ID 15171
МК
Матвей К.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
Data
DataLens
Docker
Docker Compose
ER
FastAPI
Git
GitHub
HDFS
Java
Kafka
Kubernetes
MongoDB
MVC
Numpy
Object
Pandas
PostgreSQL
Power BI
PySpark
Python
Redis
Security
Services
Spring
SQL
Storage
Tableau
Vault
Yandex Cloud
Моделирование
Hibernate
Data Lake
Отрасли
AI & Robotics
FinTech & Banking
Travel, Hospitality & Restaurant business
Знание языков
Английский — B2
Главное о специалисте
Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.
Проекты   (7 лет 4 месяца)
ПЛАТФОРМА ДАННЫХ ДЛЯ СЕТИ РЕСТОРАНОВ БЫСТРОГО ПИТАНИЯ
Роль
Дата Инженер
Обязанности
В рамках проекта мы создали масштабируемую инфраструктуру для интеграции данных из различных источников в режиме реального времени на базе Kubernetes. Есть несколько команд, которые отвечают за IoT, потоковые и событийно-управляемые части, рекламу, логистику и т. д. Обязанности Разработка и поддержка Apache Spark алгоритмов для ETL процессов. Оптимизация производительности Apache Spark алгоритмов путем конфигурирования и разбиения данных на партиции; Разработка стратегии миграции данных, включая оценку объемов данных, определение целей миграции и разработку плана проекта; Разработка пользовательских функций и расширений для ClickHouse для удовлетворения специфических требований обработки данных; Разработка и поддержка пайплайнов непрерывной интеграции и развертывания приложений в Kubernetes; Проектирование и разработка пользовательских интерфейсов в Power BI и Tableau для удобства работы с данными и интуитивного взаимодействия; Реализация механизмов аутентификации и авторизации пользователей в API с помощью FastAPI; Поддержка легаси Spark кода на Java; Миграция устаревших Java Spark алгоритмов на PySpark; Написание пользовательских операторов, хуков, сенсоров и триггеров для Apache Airflow при помощи плагинов; Оптимизация SQL-запросов и моделей данных для повышения производительности и эффективности трансформаций в dbt; Мониторинг и оптимизация времени выполнения стадий в пайплайнах Apache Airflow; Управление временными рядами данных, включая агрегацию, интерполяцию и прогнозирование для применения моделей временных рядов; Валидация и обработка входных данных, получаемых через API, с использованием встроенных инструментов FastAPI; Выполнение различных аналитических операций, таких как агрегирование, вычисления и статистические операции над наборами данных в MS SQL; Внедрение мер обеспечения безопасности данных, включая шифрование и контроль доступа, для защиты конфиденциальной информации; Ревью кода. Технологии Python, Java, FastAPI, SQL, Snowflake, dbt, Tableau, Power BI, ClickHouse, Apache Airflow, Apache Spark, PySpark, Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions), Redis, MS SQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Java, Pandas, Power BI, Redis, GitHub, FastAPI, Object, Apache Spark, Cloud Functions, cloud, Storage, Tableau, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
Travel, Hospitality & Restaurant business
Период работы
Сентябрь 2022 - По настоящее время  (2 года 11 месяцев)
ВНУТРЕННЯЯ АНАЛИТИЧЕСКАЯ ПЛАТФОРМА НА ОСНОВЕ AI LLM
Роль
Дата Инженер
Обязанности
Аналитическая платформа Internal AI LLM - это сложное решение, использующее искусственный интеллект для интерпретации пользовательских запросов и предоставления конкретных данных с помощью больших языковых моделей. Эта платформа способна понимать нюансы языка, предоставлять точную и контекстную информацию, преобразовывать вопросы на естественном языке в код SQL/Python и собирать конкретные данные, одновременно интерпретируя их. Обязанности Решение технических вопросов, связанных с данными (в частности, вопросы миграции данных / ETL); Настройка механизмов управления доступом и шифрования данных в Data Lake; Общение с командой для сбора полных требований к данным, тем самым обеспечивая себе полное понимание того, чего от этих данных ожидают и как удовлетворить эти ожидания; Составление стратегии процесса оптимизации моделей данных для повышения их масштабируемости и эффективности, используя общеизвестные лучшие практики; Анализ схем таблиц для последующей, в зависимости от целей, нормализации и денормализации; Создание новых и рефакторинг существующих ETL/ELT-пайплайнов; Работа с большими объемами данных и их эффективная обработка с использованием современных инструментов; Обработка текстовых данных, включая токенизацию, лемматизацию и векторизацию текста для использования в моделях машинного обучения; Обработка Kafka сообщений для заполнения DWH новыми данными; Следование лучшим практикам оптимизации позволило значительно повысить производительность заданий PySpark; Написание SQL-запросов и сложных аналитических процедур, их анализ и оптимизация. Технологии Python, Java, SQL, FastAPI, Kafka, ClickHouse, Apache Spark, PySpark, YandexCloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL), MongoDB, Pandas, NumPy, Docker, Docker Compose, Bash scripting, Bitbucket.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Java, Pandas, Bitbucket, MongoDB, FastAPI, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
AI & Robotics
Период работы
Февраль 2021 - Август 2022  (1 год 7 месяцев)
СИСТЕМА ВЫСТАВЛЕНИЯ СЧЕТОВ
Роль
Дата Инженер / Бэкенд Разработчик
Обязанности
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики. Обязанности Сокращение времени работы пайплайнов обработки данных за счет переписывания кода с Pandas на PySpark; Внедрение метрик для отслеживания производительности Apache Spark алгоритмов; Проектирование и реализация эффективных алгоритмов обработки и преобразования данных с помощью Apache Spark; Реализовано кэширование запросов к эндпоинтам с помощью Redis; Написание и поддержка Apache Airflow дагов на Python для оркестрации Spark алгоритмов; Оптимизировал все основные запросы к базам данных путем рефакторинга SQL-запросов; Использовал Apache Airflow для планирования заданий ETL; Настройка уровня доступа к данным в приложении Spring; Использовал автоматическую генерацию в Spring Data для генерации CRUD эндпоинтов; Написание сложных SQL-запросов, процедур; Реализация бизнес-логики Spring-приложений, управление эндпоинтами RESTful API, управление политиками доступа к эндпоинтам и т.д; Использование Hadoop для обработки и хранения больших объемов данных; Работа с различными форматами данных, включая Parquet и ORC, в контексте Hadoop и Hive; Реализация аутентификации, авторизации и других функций безопасности для защиты внутренних ресурсов и конечных точек; Создание локальной тестовой среды с помощью Docker; Отладка и исправление ошибок. Технологии Python, Java, SQL, Apache Hadoop, HDFS, Apache Hive, Spring (MVC, Boot, Security, Data), Hibernate, Apache Airflow, Apache Spark, PySpark, , Pandas, Kafka, NumPy, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
Numpy, Data, Java, Pandas, Redis, MVC, GitHub, Kafka, Apache Hadoop, Apache Spark, boot, Security, HDFS, Docker Compose, PySpark, SQL, Docker, Python, Hibernate, Apache AirFlow, Bash scripting, Spring, apache hive
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2018 - Январь 2021  (2 года 10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • HRTech • Marketing, Advertising & Design • Urban technology
НЧ
Никита Ч.
Тюмень
PHP разработчик
Middle+
2 389,61 Р/час
*nix
PHP 7.2
PHP 8.1
Laravel 10
PHP
структуры данных
Postman
PHP 8.2
SOLID
+48

Опытный, технически подкованный, увлеченный бэкенд-разработкой специалист. Вникает в суть. Знает паттерны проектирования, соблюдает стандарты разработки. Любит новые технические вызовы. Навыки работы с командой: Проводит Code Review коллег; Управлял небольшой командой; Умение разрешать конфликтные ситуации; Умение работать в стрессовых ситуациях; Наставничество младших разработчиков и тестировщиков. Работа с проектами: Быстро обучаем, изучал новые технологии для проекта; Знает структуры данных; Знает паттерны проектирования; Самостоятельно ставил задачи; Предлагает собственные идеи и решения для различных запросов и задач клиента; Проводит аналитику; Опыт в самостоятельной оценке проектов; Опыт разработки продуктов с нуля; Оценивал поставленные задачи; Общение напрямую с клиентом, уточнение требований и задач.

Подробнее
E-commerce & Retail • EdTech • Government & Public Sector • HRTech • Travel, Hospitality & Restaurant business
МС
Максим С.
Москва
Системный аналитик
Senior
4 495,67 Р/час
Сбор и анализ требований
mermaid
UML
расчет
анализ
Разработка
Программное обеспечение
Описание процессов
Postman
написание скриптов
+43

Hard skills ● Описание API, процессов и архитектуры (sequence diagram, UML, BPMN, С4) ● Реляционные СУБД (PostgreSQL), навык проектирования БД ● Figma, Balsamiq, навык прототипирования UI/UX ● Современные методы интеграции: REST/SOA/SOAP/MQ (Kafka, RabbitMQ) Soft skills ● Командная работа: опыт коммуникации с разработчиками для разделения задач, включая оценку времени и ресурсов, необходимых для выполнения проектов. Опыт коммуникации с бизнес-аналитиками, дизайнерами для утверждения требований/ предложение своих решений ● Ответственность и пунктуальность: соблюдение сроков разработки, проведение ревью кода коллег перед внесением изменений, написание комментариев к пулл реквестам и написание тестов ● Умение планировать и декомпозировать задачи: опыт разработки планов задач и приоритизация задач для достижения проектных целей ● Гибкость и адаптивность: способность адаптироваться к различным технологиям и проектным условиям Предметная область проектов

Подробнее
E-commerce & Retail • Logistics & Transport
СК
Сергей К.
Краснодар
Golang разработчик
Middle
3 391,02 Р/час
ELK
Grafana
Tempo
GraphQL
GitLab
DNS
HTTP
ClickHouse
Elasticsearch
REST
+35

Golang-разработчик с опытом работы на проектах в сферах e-commerce & retail и logistics & transport. Участвовал в разработке высоконагруженной системы управления складом (WMS) на микросервисной архитектуре. Разрабатывал и поддерживал ключевые микросервисы, отвечал за административный функционал, реализовывал бизнес-логику, оптимизировал производительность и обеспечивал отказоустойчивость и масштабируемость решений. Настраивал мониторинг через Prometheus и визуализацию в Grafana. Работал над системой мониторинга судов и расчёта стоимости морских перевозок. Занимался разработкой и поддержкой микросервисов на Go, интегрировал систему со сторонними API, рассчитывал маршруты и стоимость доставки. Создавал распределённые системы на базе микросервисной архитектуры для аутсорс-команды. Внедрял взаимодействие между сервисами через Kafka и gRPC. Разрабатывал приложение для бронирования косметических услуг как часть социальной сети.

Подробнее
Cloud Services • EdTech • FinTech & Banking • Manufacturing • Realty & Constructoring • RnD
ИК
Илья К.
Москва
DevOps
Senior
3 636,36 Р/час
Управление базами данных
ELK
Grafana
GitLab
MS Windows
Логирование
PowerShell
Zabbix
Keycloak
Bash
+32

Илья — DevOps-специалист с опытом работы более 11 лет. На последнем месте работы занимал должность директора по инфраструктуре и базовому программному обеспечению в компании «Оптимакрос (ИТ)». В рамках проекта занимался организацией работы IT-направления, разработкой аналитики компании, реализацией проектов по созданию и модернизации ключевых компонентов IT-инфраструктуры, обеспечением бесперебойной работы инфраструктуры, а также внедрением продуктов Atlassian (Jira, Confluence), VMWare, Mattermost, Jitsi, Peertube, AD, SSO. В роли Senior DevOps Engineer в компании «Оптимакрос (ИТ)» написал автоматизацию на Ansible для 200 реверс прокси серверов и внедрил ELK Stack, KeyCloak. Во время работы в Альфа-Банке участвовал в проекте по выбору целевого Service Mesh, внедрял и пилотировал технологию Opentracing, настраивал гибкую стратегию деплоя. Обладает навыками работы с широким спектром технологий: Ansible, Bash, CI/CD, Docker, ELK, GitLab, Grafana, Kubernetes, PowerShell, Prometheus, Zabbix и другими. Специализируется на автоматизации процессов, администрировании серверов Linux, логировании, мониторинге и управлении базами данных.

Подробнее