Матвей К. Data инженер, Senior

ID 15171
МК
Матвей К.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 16 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
ClickHouse
cloud
Cloud Functions
Data
DataLens
Docker
Docker Compose
ER
FastAPI
Git
GitHub
HDFS
Java
Kafka
Kubernetes
MongoDB
MVC
Numpy
Object
Pandas
PostgreSQL
Power BI
PySpark
Python
Redis
Security
Services
Spring
SQL
Storage
Tableau
Vault
Yandex Cloud
Моделирование
Hibernate
Data Lake
Отрасли
AI & Robotics
FinTech & Banking
Travel, Hospitality & Restaurant business
Знание языков
Английский — B2
Главное о специалисте
Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.
Проекты   (7 лет 4 месяца)
ПЛАТФОРМА ДАННЫХ ДЛЯ СЕТИ РЕСТОРАНОВ БЫСТРОГО ПИТАНИЯ
Роль
Дата Инженер
Обязанности
В рамках проекта мы создали масштабируемую инфраструктуру для интеграции данных из различных источников в режиме реального времени на базе Kubernetes. Есть несколько команд, которые отвечают за IoT, потоковые и событийно-управляемые части, рекламу, логистику и т. д. Обязанности Разработка и поддержка Apache Spark алгоритмов для ETL процессов. Оптимизация производительности Apache Spark алгоритмов путем конфигурирования и разбиения данных на партиции; Разработка стратегии миграции данных, включая оценку объемов данных, определение целей миграции и разработку плана проекта; Разработка пользовательских функций и расширений для ClickHouse для удовлетворения специфических требований обработки данных; Разработка и поддержка пайплайнов непрерывной интеграции и развертывания приложений в Kubernetes; Проектирование и разработка пользовательских интерфейсов в Power BI и Tableau для удобства работы с данными и интуитивного взаимодействия; Реализация механизмов аутентификации и авторизации пользователей в API с помощью FastAPI; Поддержка легаси Spark кода на Java; Миграция устаревших Java Spark алгоритмов на PySpark; Написание пользовательских операторов, хуков, сенсоров и триггеров для Apache Airflow при помощи плагинов; Оптимизация SQL-запросов и моделей данных для повышения производительности и эффективности трансформаций в dbt; Мониторинг и оптимизация времени выполнения стадий в пайплайнах Apache Airflow; Управление временными рядами данных, включая агрегацию, интерполяцию и прогнозирование для применения моделей временных рядов; Валидация и обработка входных данных, получаемых через API, с использованием встроенных инструментов FastAPI; Выполнение различных аналитических операций, таких как агрегирование, вычисления и статистические операции над наборами данных в MS SQL; Внедрение мер обеспечения безопасности данных, включая шифрование и контроль доступа, для защиты конфиденциальной информации; Ревью кода. Технологии Python, Java, FastAPI, SQL, Snowflake, dbt, Tableau, Power BI, ClickHouse, Apache Airflow, Apache Spark, PySpark, Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions), Redis, MS SQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash scripting, GitHub.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Java, Pandas, Power BI, Redis, GitHub, FastAPI, Object, Apache Spark, Cloud Functions, cloud, Storage, Tableau, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Apache AirFlow, Bash scripting, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
Travel, Hospitality & Restaurant business
Период работы
Сентябрь 2022 - По настоящее время  (2 года 11 месяцев)
ВНУТРЕННЯЯ АНАЛИТИЧЕСКАЯ ПЛАТФОРМА НА ОСНОВЕ AI LLM
Роль
Дата Инженер
Обязанности
Аналитическая платформа Internal AI LLM - это сложное решение, использующее искусственный интеллект для интерпретации пользовательских запросов и предоставления конкретных данных с помощью больших языковых моделей. Эта платформа способна понимать нюансы языка, предоставлять точную и контекстную информацию, преобразовывать вопросы на естественном языке в код SQL/Python и собирать конкретные данные, одновременно интерпретируя их. Обязанности Решение технических вопросов, связанных с данными (в частности, вопросы миграции данных / ETL); Настройка механизмов управления доступом и шифрования данных в Data Lake; Общение с командой для сбора полных требований к данным, тем самым обеспечивая себе полное понимание того, чего от этих данных ожидают и как удовлетворить эти ожидания; Составление стратегии процесса оптимизации моделей данных для повышения их масштабируемости и эффективности, используя общеизвестные лучшие практики; Анализ схем таблиц для последующей, в зависимости от целей, нормализации и денормализации; Создание новых и рефакторинг существующих ETL/ELT-пайплайнов; Работа с большими объемами данных и их эффективная обработка с использованием современных инструментов; Обработка текстовых данных, включая токенизацию, лемматизацию и векторизацию текста для использования в моделях машинного обучения; Обработка Kafka сообщений для заполнения DWH новыми данными; Следование лучшим практикам оптимизации позволило значительно повысить производительность заданий PySpark; Написание SQL-запросов и сложных аналитических процедур, их анализ и оптимизация. Технологии Python, Java, SQL, FastAPI, Kafka, ClickHouse, Apache Spark, PySpark, YandexCloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL), MongoDB, Pandas, NumPy, Docker, Docker Compose, Bash scripting, Bitbucket.
Стек специалиста на проекте
ClickHouse, Numpy, Data, Java, Pandas, Bitbucket, MongoDB, FastAPI, Kafka, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, Services, PySpark, SQL, Docker, Python, DataLens, Bash scripting, PostgreSQL, Yandex Cloud
Отрасль проекта
AI & Robotics
Период работы
Февраль 2021 - Август 2022  (1 год 7 месяцев)
СИСТЕМА ВЫСТАВЛЕНИЯ СЧЕТОВ
Роль
Дата Инженер / Бэкенд Разработчик
Обязанности
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки и анализа информации о финансовых операциях, а также автоматизированного построения финансовых отчетов за определенный период времени для отслеживания динамики. Обязанности Сокращение времени работы пайплайнов обработки данных за счет переписывания кода с Pandas на PySpark; Внедрение метрик для отслеживания производительности Apache Spark алгоритмов; Проектирование и реализация эффективных алгоритмов обработки и преобразования данных с помощью Apache Spark; Реализовано кэширование запросов к эндпоинтам с помощью Redis; Написание и поддержка Apache Airflow дагов на Python для оркестрации Spark алгоритмов; Оптимизировал все основные запросы к базам данных путем рефакторинга SQL-запросов; Использовал Apache Airflow для планирования заданий ETL; Настройка уровня доступа к данным в приложении Spring; Использовал автоматическую генерацию в Spring Data для генерации CRUD эндпоинтов; Написание сложных SQL-запросов, процедур; Реализация бизнес-логики Spring-приложений, управление эндпоинтами RESTful API, управление политиками доступа к эндпоинтам и т.д; Использование Hadoop для обработки и хранения больших объемов данных; Работа с различными форматами данных, включая Parquet и ORC, в контексте Hadoop и Hive; Реализация аутентификации, авторизации и других функций безопасности для защиты внутренних ресурсов и конечных точек; Создание локальной тестовой среды с помощью Docker; Отладка и исправление ошибок. Технологии Python, Java, SQL, Apache Hadoop, HDFS, Apache Hive, Spring (MVC, Boot, Security, Data), Hibernate, Apache Airflow, Apache Spark, PySpark, , Pandas, Kafka, NumPy, Redis, Bash scripting, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
Numpy, Data, Java, Pandas, Redis, MVC, GitHub, Kafka, Apache Hadoop, Apache Spark, boot, Security, HDFS, Docker Compose, PySpark, SQL, Docker, Python, Hibernate, Apache AirFlow, Bash scripting, Spring, apache hive
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2018 - Январь 2021  (2 года 10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • Logistics & Transport
АЛ
Алексей Л.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
ClickHouse
cloud
Cloud Functions
Data
DataLens
HDFS
+35

Дата Инженер / Бизнес-Аналитик с опытом работы более 5+ лет. Квалифицированный специалист с богатым опытом использования различных технологий для решения сложных задач. Мой опыт позволяет мне эффективно ориентироваться в стеке технологий и быстро находить наиболее эффективные решения. Стремлюсь быть в курсе последних событий в отрасли, чтобы всегда обеспечивать наилучшие результаты. Языки программирования Python, SQL. Инженерия данных Apache Airflow, Apache Spark, PySpark, Apache Hadoop, Apache Hive, HDFS. Облачные сервисы Yandex Cloud (DataLens, Object Storage, Compute Cloud, Data Proc, Virtual Machines, Cloud Functions, Managed Service for ClickHouse, Managed Service for PostgreSQL). Базы данных PostgreSQL, MySQL, Redis, ClickHouse, Greenplum, MongoDB. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, GitHub, Bitbucket.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее

Недавно просмотренные специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
ClickHouse
Numpy
Data
Data Lake
Java
Git
Pandas
Power BI
Bitbucket
MongoDB
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • GameDev • Information Security • LifeStyle • Marketing, Advertising & Design • RnD • Telecom
ДД
Денис Д.
Москва
QA авто
Lead
4 620,99 Р/час
C#
C++
Selenium WebDriver
IP-телефония
Redmine
firefox
Координация работ
ASP.NET
credit
Junit 4
+114

Денис — опытный QA-специалист с 15-летним опытом работы в различных проектах. Он обладает широким набором навыков и знаний, включая работу с различными языками программирования, инструментами и технологиями. Денис работал над проектами в таких отраслях, как лайфстайл, электронная коммерция и ритейл, финтех и банкинг, телеком, R&D, геймдев, маркетинг, реклама и дизайн, информационная безопасность, EdTech. На своих проектах Денис выполнял различные обязанности, такие как набор и обучение команды, создание документации, организация, планирование и оценка задач процесса тестирования, взаимодействие с подрядчиками и проектными командами, автоматизация процесса тестирования. Он участвовал в реализации таких проектов, как Gosuslugi.ru, 585, Холдинг, Новые Финансовые Технологии, Интелком Лайн, Bright Pattern, Inc, KSI Corporation, Adlabs, S&T International (banking), Моринформсистема-Агат, Концерн, ОАО, Кодос — системы безопасности, Электронная школа. Специалист о себе: Аналитический склад ума. Умение работать с большим объемом информации. Быстро включаюсь в рабочий процесс и легко адаптируюсь к новым условиям. Инициативный, нацеленный на результат. Проявляю интерес к сложным и нетривиальным задачам. Заинтересован в постоянном саморазвитии. Умею работать как индивидуально, так и в команде.

Подробнее