ПА
Павел А.
Мужчина, 51 год
Сербия, Нови-Сад, UTC+1
Ставка
3 506,49 Р/час
НДС не облагается
Специалист доступен с 21 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Python разработчик
Грейд
Навыки
Отрасли
Главное о специалисте
Главное о специалисте
Старший инженер-программист и архитектор решений с более чем 20-летним опытом в разработке корпоративных систем, построении аналитических платформ, обработке данных и управлении проектами. Специализация в интеграции больших данных (Big Data), облачных решениях AWS и архитектуре высоконагруженных систем. Ведет разработку от проектирования архитектуры до промышленной эксплуатации. Имеет опыт управления командами разработки и данными, успешно реализовывал проекты в финансовом секторе, телекоммуникациях и системной интеграции.
Ключевые навыки
Языки: Python, SQL, Java, Scala, Bash
Big Data: Hadoop, Spark, Hive, Impala
Потоковые данные: Kafka, Spark Streaming
Оркестрация: Airflow, Oozie, Kestra
Облачные технологии: AWS (S3, Lambda, Redshift, DynamoDB, CDK, boto3)
Инфраструктура: Terraform, Docker, Linux
Базы данных: PostgreSQL, Snowflake, Neo4j
BI-системы: Oracle BI EE
DevOps: Mlflow, DBT
Портальные решения: MS SharePoint, IBM WebSphere Portal
Администрирование кластеров: Hortonworks, Cloudera CDH (установка, настройка, поддержка)
Проекты
(20 лет 1 месяц)
Разработка Customer Data Platform для крупного клиента.
Роль
Senior Software Engineer
Обязанности
Проектирование архитектуры и моделей данных.
Разработка batch и streaming пайплайнов данных.
Разработка системы Client Identity Resolution.
Внедрение MLOps-процессов для работы моделей рекомендаций.
Автоматизация инфраструктуры через AWS CDK и Terraform.
Достижения
Спроектировал и реализовал Customer Data Platform, обеспечив снижение времени обработки запросов.
Настроил полный процесс автоматизации инфраструктуры, что сократило время вывода новых фич.
Стек специалиста на проекте
Docker, Python, AWS, Redshift, DynamoDB, Lambda, Kafka, Neo4j, Apache AirFlow, S3, MLflow, Snowflake, DBT, cdk, astra
Отрасль проекта
RnD
Период работы
Январь 2023 - По настоящее время
(2 года 7 месяцев)
Построение аналитической платформы для транзакционного бизнеса.
Роль
Solution Architect / Senior Data Engineer
Обязанности
Проектирование и разработка фреймворка оркестрации ETL задач (Airflow, Oozie).
Разработка ETL процессов: загрузка из 12 БД и 9 файловых источников.
Администрирование Hadoop HortonWorks: установка и настройка двух кластеров (37 серверов).
Оптимизация Spark приложений (ускорение выполнения до 10 раз).
Лидерство команды разработчиков и инженеров данных.
Достижения
Разработал ETL-систему, загрузившую более 480 таблиц.
Увеличил производительность ключевых Spark задач после оптимизации.
Стек специалиста на проекте
лидерство, Разработка, ДО, Базы данных, Администрирование, Spark, Hive, Bash, Scala, Hadoop, Проектирование, ETL, SQL, Python, Apache AirFlow, оптимизация, oozie, данных, PostgreSQL, Framework, настройка
Отрасль проекта
FinTech & Banking
Период работы
Август 2020 - Ноябрь 2022
(2 года 4 месяца)
Разработка хранилища данных на основе Hadoop (Data Lab).
Роль
Developer Team Lead (Big Data Division)
Обязанности
Разработка компонентов для загрузки файловых данных (Python, XML, HDFS).
Разработка стриминговых решений для данных из Kafka (Spark Streaming, Java, Spring).
Помощь инженерам поддержки через разработку вспомогательных инструментов.
Установка и настройка кластера Cloudera CDH (5 узлов, SSL, Kerberos).
Достижения
Успешно реализовал ingestion-функционал потоковых данных, увеличив скорость поступления данных в DWH.
Провёл миграцию и настройку Hadoop кластера в защищенной инфраструктуре.
Стек специалиста на проекте
sqoop, cdh, cloudera, Разработка, Yarn, Spark Streaming, impala, kerberos, Spark, XML, Java, Scala, Apache, SSL, Kafka, HDFS, Python, Spring, данных, Поддержка, настройка
Отрасль проекта
FinTech & Banking
Период работы
Март 2018 - Август 2020
(2 года 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм, Парт-тайм (4 ч/день)
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
AWS Certified Solutions Architect – Associate 2024 г.
AWS Certified Data Analytics – Specialty 2023 г.
Snowflake SnowPro Core Certification 2023 г.
Databricks Certified Data Engineer Associate 2023 г.
Образование
Высшее
Учебное заведение
Московский физико-технический институт (государственный университет)
Специальность
Магистр прикладной математики и физики (с отличием)
Завершение учебы
1997 г.
