Матвей К. Data инженер, Senior

ID 15171
МК
Матвей К.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 12 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
Data
DataLens
Docker
Docker Compose
ER
FastAPI
Git
GitHub
HDFS
Java
Kafka
Kubernetes
MongoDB
MVC
Numpy
Object
Pandas
PostgreSQL
Power BI
PySpark
Python
Redis
Security
Services
Spring
SQL
Storage
Tableau
Vault
Yandex Cloud
Моделирование
Hibernate
Data Lake
Отрасли
AI & Robotics
FinTech & Banking
Travel, Hospitality & Restaurant business
Знание языков
Английский — B2
Главное о специалисте
Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.
Проекты   (7 лет 7 месяцев)
ПЛАТФОРМА ДАННЫХ ДЛЯ СЕТИ РЕСТОРАНОВ БЫСТРОГО ПИТАНИЯ
Роль
Дата Инженер
Обязанности
В рамках проекта мы создали масштабируемую инфраструктуру для интеграции данных из различных источников в режиме реального времени на базе Kubernetes. Есть несколько команд, которые отвечают за IoT, потоковые и событийно-управляемые части, рекламу, логистику и т. д. Обязанности Разработка и поддержка Apache Spark алгоритмов для ETL процессов. Оптимизация производительности Apache Spark алгоритмов путем конфигурирования и разбиения данных на партиции; Разработка стратегии миграции данных, включая оценку объемов данных, определение целей миграции и разработку плана проекта; Разработка пользовательских функций и расширений для ClickHouse для удовлетворения специфических требований обработки данных; Разработка и поддержка пайплайнов непрерывной интеграции и развертывания приложений в Kubernetes; Проектирование и разработка пользовательских интерфейсов в Power BI и Tableau для удобства работы с данными и интуитивного взаимодействия; Реализация механизмов аутентификации и авторизации пользователей в API с помощью FastAPI; Поддержка легаси Spark кода на Java; Миграция устаревших Java Spark алгоритмов на PySpark; Написание пользовательских операторов, хуков, сенсоров и триггеров для Apache Airflow при помощи плагинов; Оптимизация SQL-запросов и моделей данных для повышения производительности и эффективности трансформаций в dbt; Мониторинг и оптимизация времени выполнения стадий в пайплайнах Apache Airflow; Управление временными рядами данных, включая агрегацию, интерполяцию и прогнозирование для применения моделей временных рядов; Валидация и обработка входных данных, получаемых через API, с использованием встроенных инструментов FastAPI; Выполнение различных аналитических операций, таких как агрегирование, вычисления и статистические операции над наборами данных в MS SQL; Внедрение мер обеспечения безопасности данных, включая шифрование и контроль доступа, для защиты конфиденциальной информации; Ревью кода. Технологии Python, Java, FastAPI, SQL, Snowflake, dbt, Tableau, Power BI, ClickHouse, Apache Airflow, Apache Spark, PySpark, Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions), Redis, MS SQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
PostgreSQL, Docker, Java, SQL, Python, Power BI, Kubernetes, GitHub, Data, ClickHouse, Pandas, Numpy, FastAPI, Object, Apache Spark, Cloud Functions, Storage, Tableau, Docker Compose, Services, Apache AirFlow, Redis, Yandex Cloud, PySpark, cloud, DataLens, Bash scripting
Отрасль проекта
Travel, Hospitality & Restaurant business
Период работы
Сентябрь 2022 - По настоящее время  (3 года 2 месяца)
ВНУТРЕННЯЯ АНАЛИТИЧЕСКАЯ ПЛАТФОРМА НА ОСНОВЕ AI LLM
Роль
Дата Инженер
Обязанности
Аналитическая платформа Internal AI LLM - это сложное решение, использующее искусственный интеллект для интерпретации пользовательских запросов и предоставления конкретных данных с помощью больших языковых моделей. Эта платформа способна понимать нюансы языка, предоставлять точную и контекстную информацию, преобразовывать вопросы на естественном языке в код SQL/Python и собирать конкретные данные, одновременно интерпретируя их. Обязанности Решение технических вопросов, связанных с данными (в частности, вопросы миграции данных / ETL); Настройка механизмов управления доступом и шифрования данных в Data Lake; Общение с командой для сбора полных требований к данным, тем самым обеспечивая себе полное понимание того, чего от этих данных ожидают и как удовлетворить эти ожидания; Составление стратегии процесса оптимизации моделей данных для повышения их масштабируемости и эффективности, используя общеизвестные лучшие практики; Анализ схем таблиц для последующей, в зависимости от целей, нормализации и денормализации; Создание новых и рефакторинг существующих ETL/ELT-пайплайнов; Работа с большими объемами данных и их эффективная обработка с использованием современных инструментов; Обработка текстовых данных, включая токенизацию, лемматизацию и векторизацию текста для использования в моделях машинного обучения; Обработка Kafka сообщений для заполнения DWH новыми данными; Следование лучшим практикам оптимизации позволило значительно повысить производительность заданий PySpark; Написание SQL-запросов и сложных аналитических процедур, их анализ и оптимизация. Технологии Python, Java, SQL, FastAPI, Kafka, ClickHouse, Apache Spark, PySpark, YandexCloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL), MongoDB, Pandas, NumPy, Docker, Docker Compose, Bash scripting, Bitbucket.
Стек специалиста на проекте
PostgreSQL, Docker, Java, SQL, Python, Bitbucket, MongoDB, Data, ClickHouse, Pandas, Numpy, FastAPI, Object, Apache Spark, Cloud Functions, Kafka, Storage, Docker Compose, Services, Yandex Cloud, PySpark, cloud, DataLens, Bash scripting
Отрасль проекта
AI & Robotics
Период работы
Февраль 2021 - Август 2022  (1 год 7 месяцев)
СИСТЕМА ВЫСТАВЛЕНИЯ СЧЕТОВ
Роль
Дата Инженер / Бэкенд Разработчик
Обязанности
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики. Обязанности Сокращение времени работы пайплайнов обработки данных за счет переписывания кода с Pandas на PySpark; Внедрение метрик для отслеживания производительности Apache Spark алгоритмов; Проектирование и реализация эффективных алгоритмов обработки и преобразования данных с помощью Apache Spark; Реализовано кэширование запросов к эндпоинтам с помощью Redis; Написание и поддержка Apache Airflow дагов на Python для оркестрации Spark алгоритмов; Оптимизировал все основные запросы к базам данных путем рефакторинга SQL-запросов; Использовал Apache Airflow для планирования заданий ETL; Настройка уровня доступа к данным в приложении Spring; Использовал автоматическую генерацию в Spring Data для генерации CRUD эндпоинтов; Написание сложных SQL-запросов, процедур; Реализация бизнес-логики Spring-приложений, управление эндпоинтами RESTful API, управление политиками доступа к эндпоинтам и т.д; Использование Hadoop для обработки и хранения больших объемов данных; Работа с различными форматами данных, включая Parquet и ORC, в контексте Hadoop и Hive; Реализация аутентификации, авторизации и других функций безопасности для защиты внутренних ресурсов и конечных точек; Создание локальной тестовой среды с помощью Docker; Отладка и исправление ошибок. Технологии Python, Java, SQL, Apache Hadoop, HDFS, Apache Hive, Spring (MVC, Boot, Security, Data), Hibernate, Apache Airflow, Apache Spark, PySpark, , Pandas, Kafka, NumPy, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
Docker, Java, SQL, Python, Hibernate, MVC, GitHub, Data, Pandas, Numpy, Apache Hadoop, Apache Spark, Kafka, Security, Docker Compose, Apache AirFlow, Redis, Spring, HDFS, PySpark, apache hive, boot, Bash scripting
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2018 - Январь 2021  (2 года 10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • LifeStyle • Urban technology
НД
Никита Д.
Ереван
QA ручной
Middle+
2 747,62 Р/час
RabbitMQ
Git
MySQL
API
JavaScript
SQL
Agile
Postman
Scrum
Linux
+24

Soft Skills Социальные компетенции Грамотная письменная и устная речь Коммуникабельность Гибкость и принятие критики Интеллектуальные компетенции Умение видеть и решать проблему Умение сосредоточиться на важных деталях для получения максимального результата Аналитический склад ума Умение задавать правильные вопросы Внимательность к деталям Волевые компетенции Ориентированность на результат Стрессоустойчивость Управление временем Лидерские компетенции Умение принимать решения Ответственность Опыт в организации внеплановых мероприятий Hard Skills Понимание SDLC и STLC Понимание основ тестирования Создание и поддержка тестовой документации Применение техник тест-дизайна Умение оформлять отчеты о дефектах Знание методологий тестирования Знание принципов работы веб-приложений Знание особенностей тестирования мобильных приложений Умение пользоваться различными ОС: Mac, Windows Умение использовать мобильные ОС: iOS, Android, в том числе через облачную платформу BrowserStack Работа с Developer tools браузеров Работа с командной строкой Linux, чтение логов Работа со снифферами Работа с БД через DBeaver/DataGrip, в том числе с помощью написания SQL-запросов Умение тестировать API через Postman Понимание гибких методологий и умение работать по ним Базы данных MySQL Redis Другое Git Postman Charles Proxy Agile-методологии Scrum Kanban Agile

Подробнее
Cloud Services • FinTech & Banking
ИБ
Иса Б.
Санкт-Петербург
Java разработчик
Senior
2 727,27 Р/час
PostgreSQL
Git
MySQL
API
Java
SQL
Scrum
JUnit
Spring Boot
Maven
+23

Иса — Java-разработчик уровня Senior из Санкт-Петербурга. Специализируется на разработке в сферах FinTech & Banking и Cloud Services. Имеет высшее образование по специальности «Программная инженерия» Чеченского государственного университета имени Ахмата Абдулхамидовича Кадырова. Ключевые навыки: Java, PostgreSQL, MySQL, MongoDB, Git, Spring, Spring Boot, SQL, CI/CD, JUnit, API, Redash, Swagger, Kubernetes, Hibernate, SOLID, Camunda, WebFlux, Maven, Kafka, Prometheus, Grafana, Scrum. Работал на проектах: - «РосТендер» (FinTech & Banking): переписал сервис для формирования бухгалтерских отчётов, внедрил реактивное программирование для обработки данных в реальном времени, настроил конфигурационный сервис при помощи Spring Cloud Config Server, занимался написанием сервиса для формирования отчётов в разных форматах, реализовал один из ключевых высоконагруженных методов API для внутреннего использования. - «Open Soft» (Cloud Services): переписывал монолитный проект в микросервисы, оптимизировал узкие места в приложении, проводил код-ревью, рефакторинг больших участков кода, увеличил покрытие кода тестами с 30 % до 80 %, оптимизировал ключевые части приложения, что позволило уменьшить время отклика на 30–40 %. Общая продолжительность работы на проектах — 4 года 6 месяцев.

Подробнее
E-commerce & Retail • Telecom
ББ
Белек Б.
Бишкек
QA FullStack
Middle+
3 376,62 Р/час
C#
C++
Регрессионное тестирование
Selenium WebDriver
Auto testing
IOS
Работа с интеграциями
UI Testing
TestTrail
Разработка
+55

Белек Баратов — опытный QA FullStack специалист с грейдом Middle+. Он обладает широким спектром навыков в области программирования, тестирования и разработки. Белек имеет опыт работы на проектах в сфере электронной коммерции и розничной торговли, а также телекоммуникаций. На своих предыдущих местах работы он занимался ручным тестированием веб-приложений, разработкой тестовой документации, созданием фреймворков для автоматизации тестирования, проведением автоматических тестов и интеграцией сценариев автоматизации с Jenkins. Он работал с кросс-функциональными командами, включая разработчиков, бизнес-аналитиков и руководителей проектов, обеспечивая высококачественную поставку программного обеспечения. Белек о себе: "C 2019 года работаю инженером по тестировнию программного обеспечения разработки WEB приложений в сфере образования. Отвечал за стратегии тестирования и автоматизации тестирования. Хорошее пониаминие SDLC, STLC, SCRUM ceremonies, СУБД. Обладаю опытом работы с различными инструментами автоматизации и языками программирования. Работал с Jira, Confluence, Allure TestOps, Gradle, JUnit5, Postman, DBeaver, Android Studio, Swagger, chucker, REST Assured, GitLab CI, RabbitMq, Selenium, Selenide, Lombok, TestNg. Занимался в основном ручным тестированием на мобилке. До автоматизации не дошел. Автоматизацией на вэб занимался."

Подробнее