Павел З. Data инженер, Middle+

ID 29050
ПЗ
Павел З.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
3 142,85 Р/час
НДС не облагается
Специалист доступен с 1 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
DBT
Apache Superset
Базы данных
arenadata
ClickHouse
Numpy
Bash
Scrum
Git
Pandas
Selenium
Scala
aiohttp
Requests
Kafka
Apache Spark
PL/pgSQL
PySpark
SQL
Docker
Agile
Python
GreenPlum
DataLens
Apache AirFlow
PostgreSQL
CI/CD
Отрасли
LifeStyle
Telecom
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат.
Проекты   (3 года 4 месяца)
Разработка продуктов ETL для платформы данных, включая "Нормализатор Данных", систему кодификации нормативно-правовых актов на основе LLM, витрины аналитической отчетности домена ИИ
Роль
Data Engineer
Обязанности
- Разработка аналитической отчетности для домена ИИ. - Настройка CI/CD процессов для автоматизации развертывания. - Написание Spark-процедур на Scala в рамках внутреннего фреймворка. - Демонстрация функционала продукта заказчикам. - Подготовка технической документации для проектов. - Разработка архитектурных решений для миграции данных. -Оптимизация ETL-процессов для повышения производительности. - Интеграция данных с внешними источниками (Kafka, PostgreSQL). - Тестирование и отладка ETL-пайплайнов. - Участие в обсуждении требований и архитектуры с командой.
Достижения
- Оптимизировал время обработки данных в 10 раз. - Разработал ключевые процедуры для вывода продукта на MVP. - Лидировал архитектурные решения для репликации данных при миграции.
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Scala, Spark, Базы данных, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, DBT, arenadata
Отрасль проекта
LifeStyle
Период работы
Ноябрь 2024 - Июль 2025  (9 месяцев)
Разработка витрин для операционной аналитики с использованием Greenplum и Airflow. Интеграция со сторонними сервисами (ClickHouse, Hive, PostgreSQL, SFTP, Kafka).
Роль
Data Engineer
Обязанности
- Оптимизация и доработка существующих ETL-пайплайнов. - Загрузка данных из различных источников (ClickHouse, Hive, PostgreSQL). - Настройка обратного ETL для интеграции данных. - Разработка хранимых процедур на PL/pgSQL. - Оркестрация процессов с использованием Airflow. - Оптимизация хранилища данных для повышения производительности. - Интеграция данных через Kafka и SFTP. - Тестирование и отладка ETL-процессов. - Взаимодействие с аналитиками для уточнения требований. - Подготовка документации для ETL-пайплайнов.
Достижения
- Оптимизировал хранение данных в DWH на 32%. - Сократил время расчета сложных витрин на 37%. - Настроил сложные интеграционные пайплайны с внешними сервисами.
Стек специалиста на проекте
PostgreSQL, Python, Bash, Hive, ClickHouse, GreenPlum, Kafka, PL/pgSQL, Apache AirFlow, CI/CD, PySpark, sftp
Отрасль проекта
Telecom
Период работы
Апрель 2024 - Ноябрь 2024  (8 месяцев)
Разработка аналитической отчетности для информационных продуктов, автоматизация процессов сбора и обработки данных, визуализация в Apache Superset и Datalens.
Роль
ETL-разработчик
Обязанности
- Парсинг данных с открытых источников (requests, selenium, aiohttp). - Загрузка структурированных и неструктурированных данных в MongoDB, PostgreSQL, CSV. - Обработка данных с использованием pandas, NumPy, SQL и CTE. - Формирование аналитических хранилищ и витрин данных. - Визуализация данных в Apache Superset и Datalens. - Оркестрация ETL-процессов с помощью Airflow. - Выполнение ad-hoc запросов для аналитиков. - Создание графиков и сводных таблиц в MS Excel. - Автоматизация процессов оценки эффективности кампаний. - Документирование ETL-процессов и архитектуры.
Достижения
- Автоматизировал оценку эффективности рекламных кампаний в соцсетях. - Разработал систему оценки работы госпабликов по всей России. - Сэкономил компании 360 часов в месяц за счет автоматизации отчетности. - Заложил основы DWH подразделения.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Bash, Selenium, MongoDB, Pandas, Numpy, aiohttp, Requests, MS Excel, Microsoft, Apache AirFlow, CI/CD, DataLens, DBT, Apache Superset
Отрасль проекта
LifeStyle
Период работы
Апрель 2022 - Апрель 2024  (2 года 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
осковский педагогический государственный университет
Специальность
Институт истории и политики, Проектная и экспертно-аналитическая деятельность в социогуманитарной сфере (Магистр)
Завершение учебы
2023 г.
Высшее
Учебное заведение
Московский педагогический государственный университет
Специальность
Институт истории и политики, Политология (Бакалавр)
Завершение учебы
2021 г.

Похожие специалисты

IoT • Manufacturing • Telecom
ПЗ
Павел З.
Москва
Data инженер
Senior
3 896,1 Р/час
Agile
aiohttp
Apache AirFlow
Apache Spark
Apache Superset
arenadata
Bash
CI/CD
ClickHouse
DataLens
+47

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
Bitbucket
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
АК
Алексей К.
Абай
IOS разработчик
Middle+
3 441,56 Р/час
Figma
Swift
Alamofire
Firebase
MVC
MVP
MVVM
Objective-C
Push Notifications
IOS
+22

iOS Xcode Swift UIKit Figma MVP MVC SwiftUI MVVM Firebase SOLID Swift, Objective-C – MVC, MVP, MVVM – UIKit, Storyboard – GCD, Operations – CoreData – Google Services: Firebase, Crashlytics - Swift, Objective-C – UIKit, SwiftUI – Архитектуры: MVP, MVC, MVVM – SnapKit – UserDefaults, CoreData – URLSession, Alamofire – Push notifications Программирование Умение разбираться в чужом коде Разработка мобильных приложений Рефакторинг кода Обо мне iOS разработчик с большой любовью к своей профессии. Работал в командах от 2 до 12 человек. Могу принять от бизнеса задачу и организовать полный цикл ее разработки: от ТЗ до релиза в продакшен. Считаю, что разработчик должен не только писать код, но и понимать зачем он это делает, участвовать в обсуждениях фич и вносить идеи в проект. Стараюсь быть частью сообщества. Регулярно посещаю митинги, как кофе и код, или смотрю конференции. Увлечен книгами по программированию и бизнес-литературой. В свободное время хожу в однодневные походы в горы. На данный момент нахожусь в Казахстане, Алматы. Рассматриваю компании с удаленной работой

Подробнее
E-commerce & Retail • Government & Public Sector • Manufacturing • Realty & Constructoring • Telecom
СБ
Сергей Б.
Москва
1С разработчик
Senior
3 468,09 Р/час
Оптимизация ПО
srm
ocelot
ГРМ
Работа с интеграциями
ГИС
Разработка
Программное обеспечение
1С: Зарплата и управление персоналом КОРП
+37

Компетенции: • Опыт управления командой разработки от 10 человек – от 2-х лет. • Опыт построения команд разработки, подбор сотрудников в команду, организация взаимодействия в командах, постановка задач, контроль качества выполнения (code-review). • Экспертные знания в области разработки решений на платформе 1С. • Опыт внедрения решений уровня ERP в крупных компаниях. • Знания технологий интеграции. • Хорошее понимание современного ИТ-ландшафта крупных компаний. • Опыт применения автоматического тестирования. • Знания и навыки описания бизнес процессов в ключевых нотациях. • Оптимизация высоконагруженных систем на базе 1С. • Доработка и разработка правил для обмена в 1С: Конвертация данных 2.0 или 1С: Конвертация данных 3.0. • Опыт работы с web и http сервисами. • Знание стандартов разработки 1С, БСП, СКД, управляемых форм, механизма расширений и регламентных заданий, хорошие знания клиент серверного взаимодействия. • Знания бизнес-процессов по управленческому, производственному, финансовому, кадровому и бухгалтерскому учету. Основной опыт - ЗУП 3.0, 2.5, 1С ERP 2.4, 2.5, Документооборот, БП 2.0, 3.0, УТ 10-11, УХ, УПП, ТОИР, КА 1-2, КД 2

Подробнее