ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 142,85 Р/час
НДС не облагается
Специалист доступен с 31 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат.
Проекты
(3 года 4 месяца)
Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ
Роль
Data Engineer
Обязанности
- Разработка аналитической отчетности для домена ИИ.
- Настройка CI/CD процессов для автоматизации развертывания.
- Написание Spark-процедур на Scala в рамках внутреннего фреймворка.
- Демонстрация функционала продукта заказчикам.
- Подготовка технической документации для проектов.
- Разработка архитектурных решений для миграции данных.
-Оптимизация ETL-процессов для повышения производительности.
- Интеграция данных с внешними источниками (Kafka, PostgreSQL).
- Тестирование и отладка ETL-пайплайнов.
- Участие в обсуждении требований и архитектуры с командой.
Достижения
- Оптимизировал время обработки данных в 10 раз.
- Разработал ключевые процедуры для вывода продукта на MVP.
- Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
LifeStyle
Период работы
Ноябрь 2024 - Июль 2025
(9 месяцев)
Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka).
Роль
Data Engineer
Обязанности
- Оптимизация и доработка существующих ETL-пайплайнов.
- Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL).
- Настройка обратного ETL для интеграции данных.
- Разработка хранимых процедур на PL/pgSQL.
- Оркестрация процессов с использованием Airflow.
- Оптимизация хранилища данных для повышения производительности.
- Интеграция данных через Kafka и SFTP.
- Тестирование и отладка ETL-процессов.
- Взаимодействие с аналитиками для уточнения требований.
- Подготовка документации для ETL-пайплайнов.
Достижения
- Оптимизировал хранение данных в DWH на 32%.
- Сократил время расчета сложных витрин на 37%.
- Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024
(8 месяцев)
Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens.
Роль
ETL-разработчик
Обязанности
- Парсинг данных с открытых источников (requests, selenium, aiohttp).
- Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV.
- Обработка данных с использованием pandas, NumPy, SQL и CTE.
- Формирование аналитических хранилищ и витрин данных.
- Визуализация данных в Apache Superset и Datalens.
- Оркестрация ETL-процессов с помощью Airflow.
- Выполнение ad-hoc запросов для аналитиков.
- Создание графиков и сводных таблиц в MS Excel.
- Автоматизация процессов оценки эффективности кампаний.
- Документирование ETL-процессов и архитектуры.
Достижения
- Автоматизировал оценку эффективности рекламных кампаний в соцсетях.
- Разработал систему оценки работы госпабликов по всей России.
- Сэкономил компании 360 часов в месяц за счет автоматизации отчетности.
- Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, Microsoft, Excel, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
LifeStyle
Период работы
Апрель 2022 - Апрель 2024
(2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
осковский педагогический государственный университет
Специальность
Институт истории и политики, Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.