Павел З. Data инженер, Senior

ID 30130
ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 21 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
aiohttp
Apache AirFlow
Apache Spark
Apache Superset
arenadata
Bash
CI/CD
ClickHouse
DataLens
DBT
Docker
Framework
Git
GreenPlum
Kafka
mpp
Numpy
Pandas
PL/pgSQL
PostgreSQL
PySpark
Python
Requests
REST API
Scala
Scrum
Selenium
sftp
Snowflake
SQL
Teradata
Базы данных
библиотеки
Визуализация данных
данных
инструменты
методологии
миграции
настройка
обработка
оптимизация
парсинг
Поддержка
Работа с интеграциями
Разработка
технологии
языки программирования
Отрасли
IoT
Manufacturing
Telecom
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).
Проекты   (3 года 5 месяцев)
Разработка продуктов ETL для платформы данных
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ и миграцию аналитического хранилища с PostgreSQL на Arenadata DB. Обязанности: Разработка аналитической отчетности для домена ИИ. Настройка CI/CD процессов для автоматизации развертывания. Написание Spark-процедур на Scala в рамках внутреннего фреймворка. Демонстрация функционала продукта заказчикам. Подготовка технической документации для проектов. Разработка архитектурных решений для миграции данных. Оптимизация ETL-процессов для повышения производительности. Интеграция данных с внешними источниками (Kafka, PostgreSQL). Тестирование и отладка ETL-пайплайнов. Участие в обсуждении требований и архитектуры с командой.
Достижения
Оптимизировал время обработки данных в 10 раз. Разработал ключевые процедуры для вывода продукта на MVP. Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Kubernetes, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
IoT
Период работы
Ноябрь 2024 - По настоящее время  (10 месяцев)
МТС Диджитал
Роль
Data Engineer
Обязанности
Краткое описание проекта: Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka). Обязанности: Оптимизация и доработка существующих ETL-пайплайнов. Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL). Настройка обратного ETL для интеграции данных. Разработка хранимых процедур на PL/pgSQL. Оркестрация процессов с использованием Airflow. Оптимизация хранилища данных для повышения производительности. Интеграция данных через Kafka и SFTP. Тестирование и отладка ETL-процессов. Взаимодействие с аналитиками для уточнения требований. Подготовка документации для ETL-пайплайнов.
Достижения
Оптимизировал хранение данных в DWH на 32%. Сократил время расчета сложных витрин на 37%. Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024  (8 месяцев)
Компания Диалог Регионы
Роль
ETL-разработчик
Обязанности
Краткое описание проекта: Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens. Обязанности: Парсинг данных с открытых источников (requests, selenium, aiohttp). Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV. Обработка данных с использованием pandas, NumPy, SQL и CTE. Формирование аналитических хранилищ и витрин данных. Визуализация данных в Apache Superset и Datalens. Оркестрация ETL-процессов с помощью Airflow. Выполнение ad-hoc запросов для аналитиков. Создание графиков и сводных таблиц в MS Excel. Автоматизация процессов оценки эффективности кампаний. Документирование ETL-процессов и архитектуры.
Достижения
Автоматизировал оценку эффективности рекламных кампаний в соцсетях. Разработал систему оценки работы госпабликов по всей России. Сэкономил компании 360 часов в месяц за счет автоматизации отчетности. Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, MS Excel, Microsoft, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Апрель 2024  (2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский педагогический государственный университет, Институт истории и политики
Специальность
Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.

Похожие специалисты

FinTech & Banking • IoT • Manufacturing
МУ
Максим У.
Казань
Data инженер
Senior
3 896,1 Р/час
Agile
Apache AirFlow
Apache NiFi
API
Bash
BI инструменты
Big Data
CatBoost
ClickHouse
+57

Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных. Технические компетенции Разработка и миграция ETL-процессов (Airflow, NiFi, dbt, Informatica Power Center). Построение аналитических витрин для BI-решений (Datalens, Power BI, Looker, Superset). Интеграция данных из внешних источников (API, веб-сайты, облачные хранилища, 1С). Оптимизация производительности MPP-баз (Greenplum, Snowflake, Teradata). Разработка и обучение ML-моделей для классификации контента (CatBoost, LLM). Настройка мониторинга и контроля качества данных. Автоматизация миграции данных и очистка данных. Работа с большими данными (Hadoop, Kafka, Ytsaurus). Разработка дашбордов и визуализация данных. Руководство командами и постановка задач разработчикам.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее

Недавно просмотренные специалисты

RnD • Telecom
ЭХ
Эрик Х.
Ереван
Frontend разработчик
Senior
2 597,4 Р/час
методологии
паттерны
Sass
OOD
Redux Toolkit
MariaDB
PHP
Kanban
Redux
Scrumban
+53

Эрик — опытный Full Stack -разработчик, специализирующийся на разработке адаптивных и удобных интерфейсов для веб-приложений. Обладает глубокими знаниями в области современных технологий и методологий разработки, таких как ACID, Agile, Ajax, Ant Design, JavaScript, Jira, JSON, Kanban, KISS, Laravel, LESS, Material UI, MongoDB, NestJS, Next.js, Node.js, NoSQL, Nuxt.js, OOD, PHP, PostgreSQL, React, Redux, Scrum, SOLID, Tailwind CSS, TypeScript, Vue.js. В его обязанности входили разработка и внедрение интерфейсов, интеграция API, создание информационных панелей, реализация адаптивного дизайна, разработка серверных платформ, автоматизированное тестирование, оптимизация производительности и обеспечение безопасности. В резюме Эрика также упоминается его опыт разработки высокопроизводительных клиентских приложений, пользовательских компонентов UX-библиотеки, а также собственного уровня API. Он активно сотрудничал с командами разработчиков и дизайнеров, обеспечивая высокое качество кода и привлекательный пользовательский интерфейс.

Подробнее
E-commerce & Retail • FinTech & Banking • HRTech • Travel, Hospitality & Restaurant business
ВС
Владимир С.
Краснодар
QA мобильный
Senior
2 652,7 Р/час
PostgreSQL
Git
REST
API
JSON
Jira
Confluence
SQL
Agile
Figma
+24

Опытный QA-инженер с опытом работы в сфере финансовых технологий. Имеет опыт работы с веб- и десктоп-приложениями, автоматизацией тестирования (Java, Selenide), базами данных (Oracle, MongoDB), брокерами сообщений (RabbitMQ) и инструментами CI/CD (TeamCity, Octopus). Умеет работать в командах по методологии Agile (Scrum, Kanban), использовать различные техники тест-дизайна, анализировать логи и выявлять проблемы. Обладает навыками тестирования интеграций и сложного функционала. Ключевые навыки и опыт: Тестирование: Веб, десктоп, API, интеграционное, регрессионное, автоматизированное. Автоматизация: Java, Selenide. Методологии: Scrum, Kanban. Инструменты: Jira, TestLink, Redmine, TeamCity, Octopus, Kibana, Grafana, Swagger, Postman, SoapUI, Proxyman. Использовал техники тест-дизайна (Классами Эквивалентности, Тестирование Граничных Значений, Таблица Принятия Решений, Тестирование Состояний и Переходов) Клиент-серверное взаимодействие (Смотрел взаимодействие фронта с беком, иногда клиент отсутствовал, был api. Базы данных, api, очереди, логи) Работал с базами данных, снифферами Proxyman (Работал с реляционными БД Oracle и PosgreSQL, делал селекты, апдейты, инсерты, джойнил таблицы. Много писал запросов когда подготавливал данные для автотестов. Так же работал с нереляционной БД mongoDB Снифферы использовал для веба чаще всего это mokku, для мобилок charles proxy) Другое: Анализ логов, техники тест-дизайна, клиент-серверное взаимодействие.

Подробнее
FinTech & Banking • Manufacturing • RnD
ДГ
Дмитрий Г.
Пенза
Системный аналитик
Middle+
2 727,27 Р/час
UML
Подготовка и проведение презентаций
GitLab
Use Cases
Postman
Data Flow Diagrams (DFD)
XML/XSD
Camunda
JSON
REST
+44

Дмитрий — системный аналитик уровня Middle+ из Пензы. Специализируется на анализе предметной области, сборе и формализации требований, управлении жизненным циклом требований и разработке технической документации. Имеет опыт работы с широким спектром инструментов и технологий, включая BPMN, EPC, UML, Confluence, GitLab, Jira, PostgreSQL, Swagger, REST и другие. Участвовал в проектах в отраслях FinTech & Banking, RnD и Manufacturing. В рамках проектов занимался предпроектным обследованием, проведением интервью, выявлением и анализом требований, подготовкой документации, описанием процессов, физическим проектированием доработок БД, прототипированием интерфейсов, сопровождением жизненного цикла требований и разработки ПО, постановкой задач на разработку и функциональным тестированием. Имеет опыт работы на следующих проектах: - Система контроля версий «GitVerse» (FinTech & Banking) — 11 месяцев. - Приложение по бесконтактной аренде жилья «Flat Renta» (RnD) — 1 год 7 месяцев. - Система ведения договоров (Manufacturing) — 1 год 3 месяца.

Подробнее