Павел З. Data инженер, Senior

ID 30130
ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 10 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
aiohttp
Apache AirFlow
Apache Spark
Apache Superset
arenadata
Bash
CI/CD
ClickHouse
DataLens
DBT
Docker
Framework
Git
GreenPlum
Kafka
mpp
Numpy
Pandas
PL/pgSQL
PostgreSQL
PySpark
Python
Requests
REST API
Scala
Scrum
Selenium
sftp
Snowflake
SQL
Teradata
Базы данных
библиотеки
Визуализация данных
данных
инструменты
методологии
миграции
настройка
оптимизация
парсинг
Поддержка
Работа с интеграциями
Разработка
технологии
языки программирования
Отрасли
IoT
Manufacturing
Telecom
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).
Проекты   (3 года 7 месяцев)
Разработка продуктов ETL для платформы данных
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ и миграцию аналитического хранилища с PostgreSQL на Arenadata DB. Обязанности: Разработка аналитической отчетности для домена ИИ. Настройка CI/CD процессов для автоматизации развертывания. Написание Spark-процедур на Scala в рамках внутреннего фреймворка. Демонстрация функционала продукта заказчикам. Подготовка технической документации для проектов. Разработка архитектурных решений для миграции данных. Оптимизация ETL-процессов для повышения производительности. Интеграция данных с внешними источниками (Kafka, PostgreSQL). Тестирование и отладка ETL-пайплайнов. Участие в обсуждении требований и архитектуры с командой.
Достижения
Оптимизировал время обработки данных в 10 раз. Разработал ключевые процедуры для вывода продукта на MVP. Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Kubernetes, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
IoT
Период работы
Ноябрь 2024 - По настоящее время  (1 год)
МТС Диджитал
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka). Обязанности: Оптимизация и доработка существующих ETL-пайплайнов. Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL). Настройка обратного ETL для интеграции данных. Разработка хранимых процедур на PL/pgSQL. Оркестрация процессов с использованием Airflow. Оптимизация хранилища данных для повышения производительности. Интеграция данных через Kafka и SFTP. Тестирование и отладка ETL-процессов. Взаимодействие с аналитиками для уточнения требований. Подготовка документации для ETL-пайплайнов.
Достижения
Оптимизировал хранение данных в DWH на 32%. Сократил время расчета сложных витрин на 37%. Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024  (8 месяцев)
Компания Диалог Регионы
Роль
ETL-разработчик
Обязанности
Краткое описание проекта: Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens. Обязанности: Парсинг данных с открытых источников (requests, selenium, aiohttp). Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV. Обработка данных с использованием pandas, NumPy, SQL и CTE. Формирование аналитических хранилищ и витрин данных. Визуализация данных в Apache Superset и Datalens. Оркестрация ETL-процессов с помощью Airflow. Выполнение ad-hoc запросов для аналитиков. Создание графиков и сводных таблиц в MS Excel. Автоматизация процессов оценки эффективности кампаний. Документирование ETL-процессов и архитектуры.
Достижения
Автоматизировал оценку эффективности рекламных кампаний в соцсетях. Разработал систему оценки работы госпабликов по всей России. Сэкономил компании 360 часов в месяц за счет автоматизации отчетности. Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, MS Excel, Microsoft, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Апрель 2024  (2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский педагогический государственный университет, Институт истории и политики
Специальность
Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
Bitbucket
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

Logistics & Transport • Travel, Hospitality & Restaurant business • Urban technology
ДС
Дмитрий С.
Новосибирск
Backend разработчик
Middle
2 727,27 Р/час
PostgreSQL
RabbitMQ
Apache Kafka
Git
MySQL
Docker
JavaScript
Node.js
PHP
Jira
+23

Разработчик с опытом работы более 3 лет. Хорошие навыки в разработке и внедрении программного обеспечения, проектировании реляционных баз данных, сетевом администрировании, архитектуре проектов. - Хорошее знание различных движков БД (MySql, MariaDB, PostgreSQL + postgis, Redis, MongoDB). Опыт использования сложных запросов, хранимых функций, триггеров и процедур. - Кэширование (Memcached) - Опыт объектно-ориентированного программирования. Функциональное программирование. Большой опыт работы с шаблонами дизайна. - PHP-программирование (PHP5.3 +, PHP7.0-7.4, REST API, WebSocket, фреймворки: Yii, Yii2, Laravel) - Программирование на Kotlin (Ktor, Exposed, socket.io) - Опыт работы с Javascript: React.js, Node.js, Socket.IO. - Большой опыт использования брокеров очередей (RabbitMQ, Apache Kafka) - Опыт работы с Docker: создание образов, использование среды разработки с помощью docker-compose, опыт использования в производственной среде - Регулярное использование шаблонов проектирования и Unit-тестов, непрерывная интеграция, автоматизация сборок - Дизайн и планирование проекта. Опыт экстремального программирования - Разработка и программирование клиент-серверных приложений (REST API, GraphQL, документация по swagger). - CI / CD: настройка и оптимизация заданий Gitlab CI (запускающие оболочки и докеры) - Отладка и рефакторинг кода. Большой опыт поддержки и улучшения существующего кода - Оптимизация производительности приложений (оптимизация базы данных, профилирование и оптимизация приложений) - Работа в команде, работа с трекерами и планировщиками (JIRA, Youtrack, Redmine). Опыт работы с системами контроля версий GIT

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail • FinTech & Banking • Telecom
НС
Никита С.
Москва
QA авто
Senior
3 660,76 Р/час
Тест-дизайн
Регрессионное тестирование
Selenium WebDriver
Grafana
Allure TestOps
Тестирование интеграций
GraphQL
Обучение
Postman
автоматизация
+76

Никита — Senior специалист в области QA авто с опытом работы 5 лет 10 месяцев. Имеет высшее образование по направлениям «Прикладная информатика» и «Информационная безопасность телекоммуникационных систем». Владеет русским языком на уровне C2, английским — на уровне B2. Работал в проектах из отраслей E-commerce & Retail, Telecom, FinTech & Banking, BioTech, Pharma, Health care & Sports. Среди проектов, над которыми работал Никита: - Сервис сбора и визуализации данных по складам для интернет-магазина (роль — старший инженер по тестированию); - Веб-сервис для путешествий и сервис ID Личный кабинет в телеком-компании (роль — инженер по тестированию); - Построение центрального хранилища данных DWH (роль — старший специалист по тестированию); - Хранилище данных для Сбербанка (роль — специалист по тестированию); - Интеграция платёжных систем с Юmoney (роль — тестировщик ПО); - Интеграция медицинского оборудования с зарубежными заказчиками (роль — специалист по тестированию). В рамках проектов занимался тестированием и автоматизацией различных процессов, разработкой фреймворков, составлением тестовой документации, ведением отчётов, анализом уязвимостей и другими задачами.

Подробнее
Hardware • Telecom
ЮК
Юля К.
Волгоград
Frontend разработчик
Middle
2 183,61 Р/час
CSS
JavaScript
Figma
Webpack
Vuex
Nuxt.js
Gulp
CSS3
*nix
TypeScript
+29

Опыт разработки - 3 года. Участвовала в разработке клиентской части сайта с использование Vue/Nuxt. Работал с разными технологиями: верстка (HTML/CSS/JS), фреймворки (Vue 2),. Опыт работы в командах, а также выстраивание коммуникации с другими ее членами. В качестве системы контроля версий использую git. Для отслеживания задач пользуюсь Youtrack/Bitrix24. Для общения - любой мессенджер (Discord, Telegram, Slack). Умею оценивать задачи и предлагать разные варианты решения, в зависимости от пожеланий заказчика. Предупреждая о возможных нюансах, которое несет в себе решение, которые в будущем могут повлиять на ход разработки. Также имеется опыт разработки универсальных компонентов с учетом требований дизайн системы, с дальнейшим многократным переиспользование. Ответственно подхожу к рабочему процессу. Есть опыт демонстрации продукта заказчику. Семантическая, валидная верстка.

Подробнее