Павел З. Data инженер, Middle+

ID 29050
ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 142,85 Р/час
НДС не облагается
Специалист доступен с 31 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
DBT
Apache Superset
Базы данных
arenadata
ClickHouse
Numpy
Bash
Scrum
Git
Pandas
Selenium
Scala
aiohttp
Requests
Kafka
Apache Spark
PL/pgSQL
PySpark
SQL
Docker
Agile
Python
GreenPlum
DataLens
Apache AirFlow
PostgreSQL
CI/CD
Отрасли
LifeStyle
Telecom
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат.
Проекты   (3 года 4 месяца)
Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ
Роль
Data Engineer
Обязанности
- Разработка аналитической отчетности для домена ИИ. - Настройка CI/CD процессов для автоматизации развертывания. - Написание Spark-процедур на Scala в рамках внутреннего фреймворка. - Демонстрация функционала продукта заказчикам. - Подготовка технической документации для проектов. - Разработка архитектурных решений для миграции данных. -Оптимизация ETL-процессов для повышения производительности. - Интеграция данных с внешними источниками (Kafka, PostgreSQL). - Тестирование и отладка ETL-пайплайнов. - Участие в обсуждении требований и архитектуры с командой.
Достижения
- Оптимизировал время обработки данных в 10 раз. - Разработал ключевые процедуры для вывода продукта на MVP. - Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
LifeStyle
Период работы
Ноябрь 2024 - Июль 2025  (9 месяцев)
Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka).
Роль
Data Engineer
Обязанности
- Оптимизация и доработка существующих ETL-пайплайнов. - Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL). - Настройка обратного ETL для интеграции данных. - Разработка хранимых процедур на PL/pgSQL. - Оркестрация процессов с использованием Airflow. - Оптимизация хранилища данных для повышения производительности. - Интеграция данных через Kafka и SFTP. - Тестирование и отладка ETL-процессов. - Взаимодействие с аналитиками для уточнения требований. - Подготовка документации для ETL-пайплайнов.
Достижения
- Оптимизировал хранение данных в DWH на 32%. - Сократил время расчета сложных витрин на 37%. - Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024  (8 месяцев)
Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens.
Роль
ETL-разработчик
Обязанности
- Парсинг данных с открытых источников (requests, selenium, aiohttp). - Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV. - Обработка данных с использованием pandas, NumPy, SQL и CTE. - Формирование аналитических хранилищ и витрин данных. - Визуализация данных в Apache Superset и Datalens. - Оркестрация ETL-процессов с помощью Airflow. - Выполнение ad-hoc запросов для аналитиков. - Создание графиков и сводных таблиц в MS Excel. - Автоматизация процессов оценки эффективности кампаний. - Документирование ETL-процессов и архитектуры.
Достижения
- Автоматизировал оценку эффективности рекламных кампаний в соцсетях. - Разработал систему оценки работы госпабликов по всей России. - Сэкономил компании 360 часов в месяц за счет автоматизации отчетности. - Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, Microsoft, Excel, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
LifeStyle
Период работы
Апрель 2022 - Апрель 2024  (2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
осковский педагогический государственный университет
Специальность
Институт истории и политики, Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
ВМ
Владимир М.
Кемерово
Битрикс24 разработчик
Middle
3 506,62 Р/час
Git
HTML
CSS
MySQL
JavaScript
PHP
REST API
Битрикс24
Bitrix Framework
Bootstrap
+22

Владимир — специалист уровня Middle, разработчик Битрикс24. Опыт работы на проектах в сфере E-commerce & Retail: - доработка бизнес-процессов «Согласование Договоров» и «Заявка на отпуск», реализация механизма логирования и архивирования логов для API; - интеграция с 1С, реализация обработчика для генерации шаблонов документов коммерческого предложения и договоров; - создание компонентов для вывода просмотренных и похожих товаров, установка и настройка модуля конвертации изображений в формат webp; - установка, настройка и доработка модуля «Умный поиск»; - реализация и доработка форм обратной связи, адаптивной вёрстки, умного фильтра; - настройка шаблона сайта и внесение правок по функционалу и вёрстке; - вывод канонических ссылок для необходимых страниц; - реализация отложенной загрузки изображений, компонента для вывода популярных товаров; - внедрение готовой вёрстки в шаблоны компонентов.

Подробнее
EdTech • LifeStyle
АУ
Азат У.
Москва
C# разработчик
Senior
3 376,62 Р/час
C#
GitLab
MS Windows
Postman
.NET
ClickHouse
Autofac
SOLID
Go
MongoDB
+37

Senior .NET Backend Developer с 8+ годами опыта, который уверенно работает с C#, .NET Core, ASP.NET MVC, Entity Framework, NHibernate и микросервисными архитектурами. Азат специализируется на разработке высоконагруженных систем, интеграции платежных решений и оптимизации архитектурных подходов. Он обладает опытом работы с PostgreSQL, RabbitMQ, CI/CD-процессами и виртуализацией (Docker, Kubernetes), а также активно занимается рефакторингом легаси-кода и модернизацией систем. Разрабатывал микросервисные системы, внедрял CQRS и DDD для отказоустойчивых сервисов. Оптимизировал SQL-запросы и работу Entity Framework, повысив производительность на крупных проектах. Интегрировал платежные системы (YandexPay, Stripe, PaySelection) и внешние API. Перевел проекты на .NET 8, обеспечив лучшую масштабируемость и поддержку современных технологий. Настроил CI/CD и автоматизацию тестирования, улучшив качество развертывания. Менторил младших разработчиков, помогал команде осваивать новые инструменты.

Подробнее