Максим П. Инженер БД, Middle+
ID 20395
МП
Максим П.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 545,45 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Инженер БД
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Дата Инженер баз данных с опытом работы более 5 лет.
Квалифицированный специалист с обширным опытом работы в области проектирования, разработки и оптимизации решений для обработки и хранения данных. Уверенно использую широкий стек технологий, включая Java, Python, SQL, Apache Airflow, Hadoop, HDFS, Hive, Yandex Cloud и AWS, для реализации сложных проектов и автоматизации процессов. Обладаю навыками разработки и управления крупномасштабными системами, такими как DWH и Data Lake, а также оптимизацией ETL/ELT-процессов для повышения производительности. Внимательно слежу за последними тенденциями в отрасли, что позволяет внедрять инновационные решения для достижения наилучших результатов. Стремлюсь развивать свои компетенции и вносить значительный вклад в реализацию стратегических целей команды и компании.
Проекты
(6 лет)
ПЛАТФОРМА ДАННЫХ ДЛЯ СЕТИ РЕСТОРАНОВ БЫСТРОГО ПИТАНИЯ
Роль
Дата Инженер
Обязанности
В рамках проекта мы создали масштабируемую инфраструктуру для интеграции данных из различных источников (потоковые и событийно-управляемые данные, данные о рекламе, логистике и т. д.) в режиме реального времени.
Обязанности
● Написание пользовательских операторов, хуков, сенсоров и триггеров для Apache Airflow при помощи плагинов;
● Автоматизировал задачи обработки данных в Yandex Cloud с использованием Yandex Cloud Functions и Airflow;
● Разрабатывал и оптимизировал архитектуру Data Lake для хранения и обработки больших объемов данных;
● Разработал ETL процессы для загрузки данных в Greenplum, минимизировав время обработки больших наборов данных
● Разрабатывал пайплайны данных в Apache Airflow для обеспечения обработки данных в Data Lake и DWH;
● Автоматизировал тестирование ETL-процессов с помощью специализированных библиотек Python, таких как unittest и pytest;
● Реализовал процессы загрузки данных в DWH с учётом бизнес-логики и аналитических требований;
● Работал с различными форматами данных, включая CSV, JSON, Parquet, Avro, и оптимизировал их хранение и обработку;
● Разрабатывал сложные процедуры на PL/pgSQL для автоматизации расчёта метрик и бизнес-логики в PostgreSQL;
● Автоматизировал создание и управление версиями образов Docker с использованием инструментов CI/CD, а именно - Jenkins;
● Разрабатывал Spark-процессы для обработки данных в реальном времени;
● Писал SQL-функции для расчёта агрегатов с нестандартной логикой, оптимизируя сложные вычисления;
● Внедрил механизмы бэкапов для Kubernetes-кластера;
● Работа с особенностями СУБД PostgreSQL (структура каталога, статистика использования, план запроса, транзакции, журнал предзаписи)
● Настроил эффективное распределение данных между сегментами Greenplum для улучшения производительности;
● Разработал сложные SQL-запросы для обработки больших объемов данных в реальном времени;
● Выполнял аудит производительности Greenplum кластера, устраняя проблемы с памятью и процессорами;
● Написал исчерпывающую документацию по всем процессам автоматизации тестирования;
● Применение SQL-триггеров и процедур для автоматизации бизнес-логики;
● Тесное сотрудничество с командой DevOps для создания комплексных и надежных пайплайнов CI/CD.
Стек специалиста на проекте
PowerShell, Numpy, Data, XML, Pandas, Redis, GitHub, Object, Apache Spark, Cloud Functions, cloud, Storage, Docker Compose, PySpark, SQL, Docker, Python, GreenPlum, DataLens, Apache AirFlow, Bash scripting, Microsoft, Identity Server, PostgreSQL, Jenkins, Yandex Cloud, Kubernetes
Отрасль проекта
Travel, Hospitality & Restaurant business
Период работы
Декабрь 2022 - По настоящее время
(2 года 8 месяцев)
ФЕРМЕРСКИЙ ПРОЕКТ
Роль
Дата Инженер
Обязанности
Программное решение для сельского хозяйства, позволяющее клиентам и их пользователям получать важную информацию о земельных ресурсах в выбранных сельскохозяйственных районах. Оно объединяет в себе передовые технологии и надежную аналитику данных.
Обязанности
● Решение технических вопросов, связанных с данными (в частности, вопросы миграции данных / ETL);
● Написание SQL-запросов и сложных аналитических процедур, их анализ и оптимизация;
● Оптимизировал ETL-процессы для минимизации времени загрузки данных в DWH;
● Разрабатывал, тестировал и настраивал пайплайны данных в Apache NiFi для автоматизации потоков данных между различными системами;
● Использовал Apache NiFi для мониторинга и обработки данных в реальном времени, включая фильтрацию, преобразование и маршрутизацию данных;
● Оптимизировал запросы для ClickHouse, чтобы уменьшить время обработки больших объемов данных в OLAP-системах;
● Настроил механизмы уведомлений в Airflow для отправки оповещений в случае ошибок;
● Управлял схемами баз данных в Oracle, включая настройку ролей и пользователей;
● Использовал Jenkins для автоматизации процессов сборки, тестирования и развертывания;
● Оптимизировал схемы хранения данных в ClickHouse для уменьшения объема хранимой информации;
● Адаптировал существующий SQL-код под современные стандарты базы данных;
● Работал с Jenkins-плагинами для расширения функциональности пайплайнов;
● Разрабатывал архитектуру CI/CD для автоматизации процесса релиза;
● Настроил интеграцию Airflow с системами логирования для отслеживания выполнения задач;
● Настраивал Kubernetes кластеры в облачных средах - AWS EKS;
● Переработка схемы "снежинка" в DWH для повышения аналитического потенциала и оптимизации существующих аналитических запросов;
● Документировал сложные PL/SQL-коды для облегчения их поддержки.
● Работа с особенностями СУБД PostgreSQL.
● Работа с принципами построения составных SQL запросов (CTE, рекурсивные, вложенные);
● Анализ журналы БД, тяжелых запросов, узких мест в производительности БД
Стек специалиста на проекте
AWS, functions, athena, ClickHouse, Numpy, XML, Pandas, Oracle, Bitbucket, MongoDB, Apache NiFi, Apache Spark, T-SQL, S3, Steps, SNS, Docker Compose, EKS, SQS, PySpark, SQL, Docker, Python, etc, Lambda, CloudWatch, Apache AirFlow, Bash scripting, RDS, Jenkins, Kubernetes
Отрасль проекта
AgroTech
Период работы
Апрель 2021 - Ноябрь 2022
(1 год 8 месяцев)
СИСТЕМА ВЫСТАВЛЕНИЯ СЧЕТОВ
Роль
Дата Инженер
Обязанности
Биллинговая система для поставщиков цифровых услуг, позволяющая хранить и контролировать финансовую и техническую информацию, а также информацию об оборудовании. Проект представляет собой автоматизированную систему учета, обработки, анализа информации о финансовых операциях и построения финансовых отчетов за определенный период времени для отслеживания динамики.
Обязанности
● Написание и оптимизация сложных SQL-запросов;
● Создание пайплайнов с использованием Apache Spark;
● Разработка и оптимизация ETL/ELT процессов для построения и поддержки хранилищ данных (DWH);
● Интеграция данных из множества источников с использованием Java;
● Загрузка данных из различных источников в Hadoop HDFS;
● Установка и настройка Greenplum для поддержки миграции данных из Data Lake.
● Обработка и проверка целостности данных перед загрузкой;
● Управление ресурсами Hadoop, мониторинг производительности, настройка кластеров для повышения их устойчивости и производительности;
● Реализация механизмов мониторинга и обработки ошибок в пайплайнах на основе Java;
● Работа с разными форматами данных (JSON, CSV, Parquet, Avro, ORC и другими);
● Использование Apache Airflow для планирования заданий ELT/ETL;
● Организация данных в соответствии с требованиями проекта;
● Развертывание и управление кластерами обработки данных, такими как Apache Hadoop и Apache Spark;
● Тестирование SQL-баз данных и устранение ошибок;
● Разработка и внедрение механизмов резервного копирования и восстановления данных для обеспечения их надежности и доступности;
● Написание Bash-скриптов и Dockerfile;
● Очистка данных с использованием Pandas.
● Работа с принципами построения составных SQL запросов (CTE, рекурсивные, вложенные);
● Анализ журналы БД, тяжелых запросов, узких мест в производительности БД
Стек специалиста на проекте
PostgreSQL, Docker, Java, SQL, Python, Bitbucket, MongoDB, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, HDFS, PySpark, apache hive, Bash scripting
Отрасль проекта
Cloud Services
Период работы
Август 2019 - Март 2021
(1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет