ПК
Павел К.
Мужчина, 22 года
Россия, Москва, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 12 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Проекты
(3 года 5 месяцев)
РОСТЕЛЕКОМ
Роль
Data Engineer
Обязанности
Рефакторинг DWH на Greenplum:
• Зарефакторил средний слой DWH из «снежинки» на Data Vault для возможности масштабироваться под растущие бизнес-требования
• Реализовал batch-загрузку данных в Greenplum с помощью Spark и PXF с суммарным объёмом данных до 3 млрд/строк в сутки
• Реализовал нагрузочное тестирование и оптимизацию Data Vault с обновлением ключевых дашбордов до 3 часов
Достижение: Увеличил скорость интеграции новых сущностей в 5 раз
Развитие Data Lake на Hadoop:
• Загрузка данных из Kafka, бэкенд-систем и СУБД(Postgre, Oracle) с помощью Apache NiFi, Spark, PXF
• Парсинг, преобразование данных из сырых источников(csv, json, etc..) в ORC/Avro и другие файловые форматы и их последующая обработка/агрегация в датасеты с помощью Spark
• Подготовка и выгрузка широких деноромализованных Feature Store в ClickHouse из HDFS для аналитики и ML-разработки
Достижение: Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ
SQL: Сложные оптимизированные запросы, владею оконными функциями, CTE, знаю нюансы производительности работа с Data Vault
Достижения
- Увеличил скорость интеграции новых сущностей в 5 раз
- Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ
Стек специалиста на проекте
Docker, SQL, Python, Bash, Linux, Hive, YAML, Spark, ClickHouse, Hadoop, GreenPlum, Kafka, Apache AirFlow, HDFS, NiFi, Data Vault
Отрасль проекта
Telecom
Период работы
Март 2022 - По настоящее время
(3 года 5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
НИУ «МАИ»
Специальность
ПРИКЛАДНАЯ МАТЕМАТИКА И ИНФОРМАТИКА
Завершение учебы
2026 г.