Павел К. Data инженер, Middle+

ID 28227
ПК
Павел К.
Мужчина, 22 года
Россия, Москва, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache NiFi
ClickHouse
DWH
ETL
Excel
Git
GitLab
GreenPlum
Hadoop
Hbase
Oracle
PostgreSQL
Python
Spark
SQL
Apache AirFlow
Data Vault
OLAP/OLTP
Отрасли
Telecom
Знание языков
Английский — B2
Проекты   (3 года 5 месяцев)
РОСТЕЛЕКОМ
Роль
Data Engineer
Обязанности
Рефакторинг DWH на Greenplum: • Зарефакторил средний слой DWH из «снежинки» на Data Vault для возможности масштабироваться под растущие бизнес-требования • Реализовал batch-загрузку данных в Greenplum с помощью Spark и PXF с суммарным объёмом данных до 3 млрд/строк в сутки • Реализовал нагрузочное тестирование и оптимизацию Data Vault с обновлением ключевых дашбордов до 3 часов Достижение: Увеличил скорость интеграции новых сущностей в 5 раз Развитие Data Lake на Hadoop: • Загрузка данных из Kafka, бэкенд-систем и СУБД(Postgre, Oracle) с помощью Apache NiFi, Spark, PXF • Парсинг, преобразование данных из сырых источников(csv, json, etc..) в ORC/Avro и другие файловые форматы и их последующая обработка/агрегация в датасеты с помощью Spark • Подготовка и выгрузка широких деноромализованных Feature Store в ClickHouse из HDFS для аналитики и ML-разработки Достижение: Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ SQL: Сложные оптимизированные запросы, владею оконными функциями, CTE, знаю нюансы производительности работа с Data Vault
Достижения
- Увеличил скорость интеграции новых сущностей в 5 раз - Реализовал полный цикл сбора и выгрузки витрин на основе сырых данных из backend-источников с сохранением в широкие витрины Clickhouse(150+ атрибутов) и общим объёмом данных до 250 ТБ
Стек специалиста на проекте
Docker, SQL, Python, Bash, Linux, Hive, YAML, Spark, ClickHouse, Hadoop, GreenPlum, Kafka, Apache AirFlow, HDFS, NiFi, Data Vault
Отрасль проекта
Telecom
Период работы
Март 2022 - По настоящее время  (3 года 5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
НИУ «МАИ»
Специальность
ПРИКЛАДНАЯ МАТЕМАТИКА И ИНФОРМАТИКА
Завершение учебы
2026 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking
ЯТ
Ярослав Т.
Ижевск
Kotlin разработчик
Senior
4 007,57 Р/час
Avro
ELK
Grafana
языки программирования
GitLab
брокеры сообщений
Spring Core
Базы данных
Spring Data
WebFlux
+50

Ярослав — Senior Kotlin разработчик из Ижевска, Россия. Специализируется на разработке серверной части приложений, имеет опыт работы в отрасли FinTech & Banking. Участвовал в трёх проектах: 1. Разработка и поддержка CRM-системы для платформы управления медиа-контентом в роли Junior Java разработчика (1 год 6 месяцев). 2. Разработка и поддержка серверной части высоконагруженного банковского приложения в роли Middle Java разработчика (2 года 1 месяц). 3. Разработка и поддержка системы электронного документооборота в роли Senior Java разработчика (2 года 10 месяцев). В рамках проектов занимался разработкой и поддержкой микросервисов, интеграцией с внешними платформами, написанием unit- и интеграционных тестов, проведением код-ревью. Участвовал в проектировании и разработке новых микросервисов с использованием Kafka, оптимизации производительности и масштабируемости компонентов приложения. Ключевые навыки: ELK, Grafana, Spring Core, Spring Data, WebFlux, Liquibase, Flyway, Git, DevOps, Kibana, Oracle, JUnit, MongoDB, Mockito, JPA, Gradle, Redis, gRPC, Kafka, Confluence, Docker, Spring Security, Hibernate, OpenShift, Spring Web, Maven, RabbitMQ, Spring Boot, PostgreSQL, CI/CD, Kubernetes, Jenkins, Apache AirFlow, GreenPlum, TestContainers, WireMock.

Подробнее
E-commerce & Retail • FinTech & Banking • Manufacturing
ДВ
Денис В.
Москва
Java разработчик
Middle+
2 987,01 Р/час
C++
Spring Data
HTTP
Spring Data JPA
Liquibase
REST
Scrum
Git
JUnit
Bitbucket
+23

Денис — Java-разработчик уровня Middle+ из Москвы. Специализируется на разработке микросервисов и монолитов, интеграции с API, оптимизации SQL-запросов и производительности. Имеет опыт работы с Apache Kafka, Bitbucket, C++, Docker, Git, Gradle, Hibernate, HTTP, Java 17, Jenkins, JUnit, Kubernetes, Liquibase, Maven, OpenAPI Generator, PostgreSQL, REST, Scrum, Spring Boot 2, Spring Data, Spring Data JPA, SQL. Участвовал в проектах в отраслях FinTech & Banking, Manufacturing, E-commerce & Retail. Работал над следующими проектами: - Металлинвестбанк: разработка и поддержка микросервисов и монолитов, интеграция с внешними и внутренними API, переход с Java 8 на Java 21, оптимизация SQL-запросов и производительности, поддержка и решение инцидентов на проде. - Автоматизация документооборота для интегратора (Key Group): разработка backend и frontend-интерфейса, интеграция с Apache POI, формирование Word/PDF документов. - Автоматизация CRM и аудита (A1): разработка REST API и микросервисов на Spring Boot, CRM-модуль для обработки клиентов и событий. - Интеграционные шлюзы для 1С и внешних систем (НИКС): разработка Java-сервисов, адаптеров, генерация отчётов, интеграция с банковскими и логистическими API.

Подробнее