ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 21 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат.
Технические компетенции:
Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt.
Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB).
Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP.
Парсинг данных из открытых источников (requests, selenium, aiohttp).
Визуализация данных в Apache Superset и Datalens.
Настройка CI/CD процессов для автоматизации развертывания.
Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash.
Оптимизация производительности хранилищ и ETL-процессов.
Формирование архитектурных решений для миграции данных.
Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata)
Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).
Проекты
(3 года 5 месяцев)
Разработка продуктов ETL для платформы данных
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ и миграцию аналитического хранилища с PostgreSQL на Arenadata DB.
Обязанности:
Разработка аналитической отчетности для домена ИИ.
Настройка CI/CD процессов для автоматизации развертывания.
Написание Spark-процедур на Scala в рамках внутреннего фреймворка.
Демонстрация функционала продукта заказчикам.
Подготовка технической документации для проектов.
Разработка архитектурных решений для миграции данных.
Оптимизация ETL-процессов для повышения производительности.
Интеграция данных с внешними источниками (Kafka, PostgreSQL).
Тестирование и отладка ETL-пайплайнов.
Участие в обсуждении требований и архитектуры с командой.
Достижения
Оптимизировал время обработки данных в 10 раз.
Разработал ключевые процедуры для вывода продукта на MVP.
Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Kubernetes, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
IoT
Период работы
Ноябрь 2024 - По настоящее время
(10 месяцев)
МТС Диджитал
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka).
Обязанности:
Оптимизация и доработка существующих ETL-пайплайнов.
Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL).
Настройка обратного ETL для интеграции данных.
Разработка хранимых процедур на PL/pgSQL.
Оркестрация процессов с использованием Airflow.
Оптимизация хранилища данных для повышения производительности.
Интеграция данных через Kafka и SFTP.
Тестирование и отладка ETL-процессов.
Взаимодействие с аналитиками для уточнения требований.
Подготовка документации для ETL-пайплайнов.
Достижения
Оптимизировал хранение данных в DWH на 32%.
Сократил время расчета сложных витрин на 37%.
Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024
(8 месяцев)
Компания Диалог Регионы
Роль
ETL-разработчик
Обязанности
Краткое описание проекта: Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens.
Обязанности:
Парсинг данных с открытых источников (requests, selenium, aiohttp).
Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV.
Обработка данных с использованием pandas, NumPy, SQL и CTE.
Формирование аналитических хранилищ и витрин данных.
Визуализация данных в Apache Superset и Datalens.
Оркестрация ETL-процессов с помощью Airflow.
Выполнение ad-hoc запросов для аналитиков.
Создание графиков и сводных таблиц в MS Excel.
Автоматизация процессов оценки эффективности кампаний.
Документирование ETL-процессов и архитектуры.
Достижения
Автоматизировал оценку эффективности рекламных кампаний в соцсетях.
Разработал систему оценки работы госпабликов по всей России.
Сэкономил компании 360 часов в месяц за счет автоматизации отчетности.
Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, MS Excel, Microsoft, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Апрель 2024
(2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский педагогический государственный университет, Институт истории и политики
Специальность
Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.