Павел К. Data инженер, Middle+

ID 28227
ПК
Павел К.
Мужчина, 22 года
Россия, Москва, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 27 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache NiFi
ClickHouse
DWH
ETL
Git
GitLab
GreenPlum
Hadoop
Hbase
Oracle
PostgreSQL
Python
Spark
SQL
Apache AirFlow
Data Vault
OLAP/OLTP
MS Excel
Отрасли
Telecom
Знание языков
Английский — B2
Проекты   (3 года 6 месяцев)
РОСТЕЛЕКОМ
Роль
Data Engineer
Обязанности
Рефакторинг DWH на Greenplum: • Зарефакторил средний слой DWH из «снежинки» на Data Vault для возможности масштабироваться под растущие бизнес-требования • Реализовал batch-загрузку данных в Greenplum с помощью Spark и PXF с суммарным объёмом данных до 3 млрд/строк в сутки • Реализовал нагрузочное тестирование и оптимизацию Data Vault с обновлением ключевых дашбордов до 3 часов Достижение: Увеличил скорость интеграции новых сущностей в 5 раз Развитие Data Lake на Hadoop: • Загрузка данных из Kafka, бэкенд-систем и СУБД(Postgre, Oracle) с помощью Apache NiFi, Spark, PXF • Парсинг, преобразование данных из сырых источников(csv, json, etc..) в ORC/Avro и другие файловые форматы и их последующая обработка/агрегация в датасеты с помощью Spark • Подготовка и выгрузка широких деноромализованных Feature Store в ClickHouse из HDFS для аналитики и ML-разработки Достижение: Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ SQL: Сложные оптимизированные запросы, владею оконными функциями, CTE, знаю нюансы производительности работа с Data Vault
Достижения
- Увеличил скорость интеграции новых сущностей в 5 раз - Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ
Стек специалиста на проекте
Docker, SQL, Python, Bash, Linux, Hive, YAML, Spark, ClickHouse, Hadoop, GreenPlum, Kafka, Apache AirFlow, HDFS, NiFi, Data Vault
Отрасль проекта
Telecom
Период работы
Март 2022 - По настоящее время  (3 года 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
НИУ «МАИ»
Специальность
ПРИКЛАДНАЯ МАТЕМАТИКА И ИНФОРМАТИКА
Завершение учебы
2026 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Realty & Constructoring • Telecom
МО
Максим О.
Пенза
QA ручной
Middle+
2 077,92 Р/час
Jira
Confluence
Figma
Postman
Kibana
Oracle
TeamCity
REST API
Fiddler
TOAD
+23

Максим — специалист в области ручного тестирования качества программного обеспечения (QA) с грейдом Middle+. Имеет опыт работы в отраслях Realty & Constructoring, Telecom, FinTech & Banking. Владеет английским языком на уровне B1. Обладает навыками UI/UX-тестирования, тестирования API, REST, Android. Умеет работать с инструментами Postman, Swagger UI, DevTools, Kibana, Gitlab CI, TeamCity, TOAD, Oracle, PostgreSQL (DBeaver), Jira, Confluence, Zephyr, figma, Fiddler, Kafka, REST API. Принимал участие в следующих проектах: - разработка web-приложения по агрегации объектов недвижимости для риэлторов; - разработка и поддержка функционала платёжной системы; - создание функционала взаимодействия с приложениями сторонних партнёров в рамках web-приложения телеком-компании; - разработка и поддержка web-приложения для пользователей телеком-компании; - разработка мобильного web-приложения для самостоятельной онлайн-регистрации SIM-карт; - поддержка и тестирование desktop-приложения для работы с биллинговой системой мобильных операторов. Общая продолжительность работы на проектах — 5 лет.

Подробнее