Максим П. Инженер БД, Middle+

ID 20395
МП
Максим П.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 545,45 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Инженер БД
Грейд
Middle+
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache NiFi
Apache Spark
athena
AWS
Bash scripting
Bitbucket
ClickHouse
cloud
Cloud Functions
CloudWatch
Data
DataLens
Docker
Docker Compose
EKS
etc
functions
Git
GitHub
GreenPlum
HDFS
Java
Jenkins
Kubernetes
Lambda
MongoDB
Numpy
Object
Oracle
Pandas
PostgreSQL
PySpark
Python
RDS
Redis
S3
SNS
SQL
SQS
Steps
Storage
Vault
Yandex Cloud
Моделирование
схема звезда
схема снежинка
нормализация денормализация
emr
msk
proc
compute
Отрасли
AgroTech
Cloud Services
Travel, Hospitality & Restaurant business
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер баз данных с опытом работы более 5 лет. Квалифицированный специалист с обширным опытом работы в области проектирования, разработки и оптимизации решений для обработки и хранения данных. Уверенно использую широкий стек технологий, включая Java, Python, SQL, Apache Airflow, Hadoop, HDFS, Hive, Yandex Cloud и AWS, для реализации сложных проектов и автоматизации процессов. Обладаю навыками разработки и управления крупномасштабными системами, такими как DWH и Data Lake, а также оптимизацией ETL/ELT-процессов для повышения производительности. Внимательно слежу за последними тенденциями в отрасли, что позволяет внедрять инновационные решения для достижения наилучших результатов. Стремлюсь развивать свои компетенции и вносить значительный вклад в реализацию стратегических целей команды и компании.
Проекты   (6 лет)
ПЛАТФОРМА ДАННЫХ ДЛЯ СЕТИ РЕСТОРАНОВ БЫСТРОГО ПИТАНИЯ
Роль
Дата Инженер
Обязанности
В рамках проекта мы создали масштабируемую инфраструктуру для интеграции данных из различных источников (потоковые и событийно-управляемые данные, данные о рекламе, логистике и т. д.) в режиме реального времени. Обязанности ● Написание пользовательских операторов, хуков, сенсоров и триггеров для Apache Airflow при помощи плагинов; ● Автоматизировал задачи обработки данных в Yandex Cloud с использованием Yandex Cloud Functions и Airflow; ● Разрабатывал и оптимизировал архитектуру Data Lake для хранения и обработки больших объемов данных; ● Разработал ETL процессы для загрузки данных в Greenplum, минимизировав время обработки больших наборов данных ● Разрабатывал пайплайны данных в Apache Airflow для обеспечения обработки данных в Data Lake и DWH; ● Автоматизировал тестирование ETL-процессов с помощью специализированных библиотек Python, таких как unittest и pytest; ● Реализовал процессы загрузки данных в DWH с учётом бизнес-логики и аналитических требований; ● Работал с различными форматами данных, включая CSV, JSON, Parquet, Avro, и оптимизировал их хранение и обработку; ● Разрабатывал сложные процедуры на PL/pgSQL для автоматизации расчёта метрик и бизнес-логики в PostgreSQL; ● Автоматизировал создание и управление версиями образов Docker с использованием инструментов CI/CD, а именно - Jenkins; ● Разрабатывал Spark-процессы для обработки данных в реальном времени; ● Писал SQL-функции для расчёта агрегатов с нестандартной логикой, оптимизируя сложные вычисления; ● Внедрил механизмы бэкапов для Kubernetes-кластера; ● Работа с особенностями СУБД PostgreSQL (структура каталога, статистика использования, план запроса, транзакции, журнал предзаписи) ● Настроил эффективное распределение данных между сегментами Greenplum для улучшения производительности; ● Разработал сложные SQL-запросы для обработки больших объемов данных в реальном времени; ● Выполнял аудит производительности Greenplum кластера, устраняя проблемы с памятью и процессорами; ● Написал исчерпывающую документацию по всем процессам автоматизации тестирования; ● Применение SQL-триггеров и процедур для автоматизации бизнес-логики; ● Тесное сотрудничество с командой DevOps для создания комплексных и надежных пайплайнов CI/CD.
Стек специалиста на проекте
PowerShell, Numpy, Data, XML, Pandas, Redis, GitHub, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, Microsoft, Identity Server, PostgreSQL, Jenkins, Yandex Cloud, Kubernetes
Отрасль проекта
Travel, Hospitality & Restaurant business
Период работы
Декабрь 2022 - По настоящее время  (2 года 8 месяцев)
ФЕРМЕРСКИЙ ПРОЕКТ
Роль
Дата Инженер
Обязанности
Программное решение для сельского хозяйства, позволяющее клиентам и их пользователям получать важную информацию о земельных ресурсах в выбранных сельскохозяйственных районах. Оно объединяет в себе передовые технологии и надежную аналитику данных. Обязанности ● Решение технических вопросов, связанных с данными (в частности, вопросы миграции данных / ETL); ● Написание SQL-запросов и сложных аналитических процедур, их анализ и оптимизация; ● Оптимизировал ETL-процессы для минимизации времени загрузки данных в DWH; ● Разрабатывал, тестировал и настраивал пайплайны данных в Apache NiFi для автоматизации потоков данных между различными системами; ● Использовал Apache NiFi для мониторинга и обработки данных в реальном времени, включая фильтрацию, преобразование и маршрутизацию данных; ● Оптимизировал запросы для ClickHouse, чтобы уменьшить время обработки больших объемов данных в OLAP-системах; ● Настроил механизмы уведомлений в Airflow для отправки оповещений в случае ошибок; ● Управлял схемами баз данных в Oracle, включая настройку ролей и пользователей; ● Использовал Jenkins для автоматизации процессов сборки, тестирования и развертывания; ● Оптимизировал схемы хранения данных в ClickHouse для уменьшения объема хранимой информации; ● Адаптировал существующий SQL-код под современные стандарты базы данных; ● Работал с Jenkins-плагинами для расширения функциональности пайплайнов; ● Разрабатывал архитектуру CI/CD для автоматизации процесса релиза; ● Настроил интеграцию Airflow с системами логирования для отслеживания выполнения задач; ● Настраивал Kubernetes кластеры в облачных средах - AWS EKS; ● Переработка схемы "снежинка" в DWH для повышения аналитического потенциала и оптимизации существующих аналитических запросов; ● Документировал сложные PL/SQL-коды для облегчения их поддержки. ● Работа с особенностями СУБД PostgreSQL. ● Работа с принципами построения составных SQL запросов (CTE, рекурсивные, вложенные); ● Анализ журналы БД, тяжелых запросов, узких мест в производительности БД
Стек специалиста на проекте
AWS, functions, athena, ClickHouse, Numpy, XML, Pandas, Oracle, Bitbucket, MongoDB, Apache NiFi, Apache Spark, T-SQL, S3, Steps, SNS, Docker Compose, EKS, SQS, PySpark, SQL, Docker, Python, etc, Lambda, CloudWatch, Apache AirFlow, Bash scripting, RDS, Jenkins, Kubernetes
Отрасль проекта
AgroTech
Период работы
Апрель 2021 - Ноябрь 2022  (1 год 8 месяцев)
СИСТЕМА ВЫСТАВЛЕНИЯ СЧЕТОВ
Роль
Дата Инженер
Обязанности
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки, анализа информации о финансовых операциях и построения финансовых отчетов за определенный период времени для отслеживания динамики. Обязанности ● Написание и оптимизация сложных SQL-запросов; ● Создание пайплайнов с использованием Apache Spark; ● Разработка и оптимизация ETL/ELT процессов для построения и поддержки хранилищ данных (DWH); ● Интеграция данных из множества источников с использованием Java; ● Загрузка данных из различных источников в Hadoop HDFS; ● Установка и настройка Greenplum для поддержки миграции данных из Data Lake. ● Обработка и проверка целостности данных перед загрузкой; ● Управление ресурсами Hadoop, мониторинг производительности, настройка кластеров для повышения их устойчивости и производительности; ● Реализация механизмов мониторинга и обработки ошибок в пайплайнах на основе Java; ● Работа с разными форматами данных (JSON, CSV, Parquet, Avro, ORC и другими); ● Использование Apache Airflow для планирования заданий ELT/ETL; ● Организация данных в соответствии с требованиями проекта; ● Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark; ● Тестирование SQL-баз данных и устранение ошибок; ● Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности; ● Написание Bash-скриптов и Dockerfile; ● Очистка данных с использованием Pandas. ● Работа с принципами построения составных SQL запросов (CTE, рекурсивные, вложенные); ● Анализ журналы БД, тяжелых запросов, узких мест в производительности БД
Стек специалиста на проекте
PostgreSQL, Docker, Java, SQL, Python, Bitbucket, MongoDB, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
Cloud Services
Период работы
Август 2019 - Март 2021  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • Media
НШ
Наталья Ш.
Минск
Инженер БД
Middle+
4 415,58 Р/час
Python
SQL
Apache
Matplotlib
Seaborn
Superset
YANDEX DATALENS
Numpy
Pandas
axure
+42

BI-разработчик / Дата аналитик с 4+ годами опыта. Чтобы сделать проект высокого уровня, я ориентируюсь на результат, а не на процесс. Благодаря такому подходу я декомпозирую сложные, длительные задачи на короткие спринты. Я готова выслушать требования, задать вопросы и предложить свои идеи по их улучшению. Языки программирования Python, SQL. BI и визуализация данных Apache Superset, Yandex DataLens, Matplotlib, Seaborn. Data Science Pandas, Numpy. Облачные технологии Azure(Data Factory, Data Lake, Synapse, Cosmos DB, DataBricks, SQL Azure, etc.), GCP(Compute Engine, BigQuery, BigTable, Cloud Functions, Cloud Storage, etc). Data Modeling Dimensional Modeling (Star схема, Snowflake схема), Entity-Relationship (ER) Modeling, Data Vault Modeling, Нормализация / Денормализация. Базы данных PostgreSQL, MySQL, Clickhouse, Redis. Маркетинг Google Analytics, Yandex Metrics. Системы контроля версий Git, Github, Bitbucket. Домены Электронная коммерция, Музыкальный магазин Достижения SQL оптимизация Проведены проверки кода SQL для обеспечения соблюдения стандартов кодирования и выявления возможностей оптимизации, что привело к снижению скорости кода SQL на 20 % и повышению удобства сопровождения рабочих процессов обработки данных. Оптимизация дашбордов Интегрирование расширенных средств визуализации, такие как тепловые карты, древовидные карты и расширенные диаграммы, в информационные панели для выявления скрытых тенденций и закономерностей в данных, что позволяет принимать решения и повысить операционную эффективность на 20%.

Подробнее
E-commerce & Retail • FinTech & Banking • Insurance
ВБ
Вадим Б.
Гродно
Инженер БД
Middle+
4 496,1 Р/час
Python
Pandas
SciPy
Scikit-learn
ETL
Apache AirFlow
C#
Java
SQL
Tableau
+46

Разработчик с 5 годами опыта в Data engineering, Data Mining, Data Science и Machine Learning. В настоящее время специализируется на цифровой обработке изображений и анализе данных с использованием Python. Во время учебы в университете входил в состав университетской команды по участию в ICPC. Хорошо знаком со структурами данных, а также алгоритмическим программированием. В своих бакалаврских и магистерских дипломных работах описал идеи решения задач классификации данных с использованием метаэвристических и эволюционных алгоритмов. Обучался на курсах Java EE (Java SE, Spring, Hibernate). Большой опыт работы над задачами классификации изображений, извлечения информации из сложных изображений, классификации данных и обнаружения объектов. Развиты навыки статистического анализа сложных наборов данных и построения прогнозных моделей.

Подробнее
Cloud Services • EdTech • Information Security • Logistics & Transport
АБ
Александр Б.
Москва
Инженер БД
Senior
4 025,97 Р/час
.NET Core
ADO.NET
AllFusion ERwin Data Modeler
Angular
Antlr
Apache NiFi
API
ASP.NET
C#
ClickHouse
+39

На данный момент я занимаюсь миграцией базы данных с MSSQL на PostgreSQL, работой с Docker и тестированием API разрабатываемого продукта, а так же дополнением и поддержанием кастомного решения стек: Go / postgres / redis / Kafka / clickhouse / Yandex cloud / nginx / docker / kubernetes / vue3 / nuxt / grafana / Loki / prometius / helm / jsonnet. Мой опыт включает администрирование баз данных, проектирование и оптимизацию структуры базы. Миграции OLAP и OLTP баз данных, в основном с MSSQL/ORACLE на PostgreSQL/Tantor. Я имею навыки анализа запросов, разработки индексов и использования механизма секционирования. Кроме того, я имею опыт настройки планировщика задач и формирования отчетов, а также написания и оптимизации сложных запросов, работа с транзакциями и etc. Спектр моих познаний и задач над которыми я работал очень большой начиная от проектирования, тестирования, оптимизации и заканчивая общением с внешним заказчиком. Я умею работать с различными ресурсами, такими как Github, Gitlab, Docker, Jira, Slack, YouTrack, Confluence, TFS и BI, CI/CD, разворачивание контейнеров Docker, тестирование API при помощи Postman и TypeScript. В области работы с СУБД я имею опыт работы с MSSQL, MySQL, PostgreSQL и T-SQL, PLPGSQL, Clickhouse, Greenplump. Я разрабатывал и настраивал job на MSSQL, а также работал с SSIS. У меня также есть опыт работы с SQL + JSON и XML. Я обладаю пониманием и опытом разработки ETL процессов, написания Merge и работы с Apache Nifi. В области разработки на C# я имею опыт написания приложений на ASP.NET, ASP.NET CORE, Razor Pages, WPF и Windows Form. Я также использую JS в веб-проектах и применяю паттерны проектирования MVC и MVVM. Я знаком с принципами SOLID и использованием ORM Entity Framework. Небольшой опыт разработки на языке Goland. Я также использую Python для визуализации и анализа данных, включая библиотеки numpy, pandas и matplotlib.

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail • FinTech & Banking • GameDev • Government & Public Sector • Logistics & Transport
МД
Максим Д.
Абакан
Инженер БД
Senior
3 571,43 Р/час
SQL
SQL Developer
SQL Server
MS SQL Server
MySQL 8+
PostgreSQL 16
Python
C/C++
C#
PHP
+28

Максим — опытный инженер баз данных с более чем пятилетним опытом работы в различных отраслях, включая логистику и транспорт, биотехнологии, фармацевтику, здравоохранение и спорт, финтех и банковское дело, игровую индустрию, государственный сектор, электронную коммерцию и розничную торговлю. На проектах выполнял роли технического специалиста, главного разработчика, разработчика и разработчика баз данных. Занимался разработкой и поддержкой ETL-процессов, работал с MSSQL, PostgreSQL, MySQL, а также другими системами управления базами данных, такими как Docker, Git и Apache AirFlow. Среди достижений — улучшение отказоустойчивости моделей, реализация функционала рассылки анализов на email пациента, разработка сложных финансовых алгоритмов, изучение новых языков программирования (Java), повышение уровня английского языка до B1+, а также улучшение навыков работы с Python.

Подробнее

Недавно просмотренные специалисты

AgroTech • Cloud Services • Travel, Hospitality & Restaurant business
МП
Максим П.
Минск
Инженер БД
Middle+
4 545,45 Р/час
AWS
functions
athena
ClickHouse
схема звезда
emr
схема снежинка
compute
Numpy
Data
+54

Дата Инженер баз данных с опытом работы более 5 лет. Квалифицированный специалист с обширным опытом работы в области проектирования, разработки и оптимизации решений для обработки и хранения данных. Уверенно использую широкий стек технологий, включая Java, Python, SQL, Apache Airflow, Hadoop, HDFS, Hive, Yandex Cloud и AWS, для реализации сложных проектов и автоматизации процессов. Обладаю навыками разработки и управления крупномасштабными системами, такими как DWH и Data Lake, а также оптимизацией ETL/ELT-процессов для повышения производительности. Внимательно слежу за последними тенденциями в отрасли, что позволяет внедрять инновационные решения для достижения наилучших результатов. Стремлюсь развивать свои компетенции и вносить значительный вклад в реализацию стратегических целей команды и компании.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing • Urban technology
ОМ
Ольга М.
Волгоград
Системный аналитик
Senior
3 773,52 Р/час
Работа с базами данных
Saga
UML
Проектирование БД
Kanban
office
GitLab
Use Cases
pants
Data Flow Diagrams (DFD)
+54

Умеет эффективно коммуницировать с командой и стейкхолдерами. Четко формулирует свои мысли. Ответственно подходит к поставленным задачам. Имеет опыт ручного тестирования. Считает постоянное развитие важной частью своей жизни. · Системный и бизнес-анализ на проектах заказчиков · Анализ потребностей со стороны бизнес-заказчиков, формализация и согласование требований к информационным системам · Написание, верификация и валидация пользовательских и системных требований · Формализация требований с использованием разных техник (в том числе Use Cases, User Stories) · BABOK · Моделирование бизнес-процессов (BPMN) · Проектирование БД (ER модель) · Проектирование функциональных решений · Навык чтения хранимых процедур EPC, plsql · UML · IDEF · DFD · Confluence · Jira · REST · Трехзвенная архитектура · Клиент - Сервер · Толстый и тонкий клиент · MVC/CB/SAGA · MS Office · Word · Excel · PowerPoint · Visio · CJM · User Story Map · Enterprise architect · Swagger · Web Services (SOAP, REST) · Camunda · Groovy · Kafka · Redis · ElasticSearch · XML/XSD, JSON, YAML · SQL · PostgreSQL · Oracle · OpenAPI/Swagger · Figma · Miro · Draw.io · Plant UML · Jenkins · Gitlab · Микросервисы · Oracle Discoverer · Oracle Designer · Интеграция систем · Опыт работы по Agile-методологиям (Scrum, Kanban) · Написание документации · Архитектура ИТ-ландшафта · Опыт работы с графическими решениями для построения схемы бизнес и системного процесса · Составление инструкций / памяток и обучение конечных пользователей; участие в тестировании, поддержка пользователей системы в период ОПЭ · Проведение встреч, коммуникации с заказчиком · Управление требованиями · Моделирование бизнес-процессов · Работа с данными - аналитика, обработка, расчет, управление базой данных

Подробнее
E-commerce & Retail • FinTech & Banking • Logistics & Transport • Social Networking
ИИ
Игорь И.
Москва
Системный аналитик
Senior
4 495,67 Р/час
разработка документации
Работа с интеграциями
UML
GraphQL
AWS
Проектирование интерфейсов
prometeus
REST
Kibana
Проектирование архитектуры
+38

Игорь — системный аналитик уровня senior из Москвы. Обладает навыками работы с Apollo, AWS, Confluence, DDD, Jira, Kafka, Kibana, Microservice Architecture, NestJS, Node.js, PostgreSQL, Rabbit, Redis, REST, SQL и другими. Имеет опыт работы на проектах в сферах логистики и транспорта, социальных сетей, FinTech & Banking, E-commerce & Retail. Среди задач были проектирование документов интеграции, разработка технической документации, составление и описание задач для команды, консультация и проведение демо, согласование выпусков. Достижения: запуск нового сервиса-адаптера, рефакторинг технической документации для интеграции API внешних курьерских служб, инициация проекта и команды, налаживание процессов, проектирование микросервисной архитектуры, разработка Solution для запуска web-приложения на «неподдерживаемых» браузерах, проектирование и реализация технологии «мгновенной-отзывчивости».

Подробнее