Павел З. Data инженер, Middle+

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат.

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Data Engineer с более чем 3 годами опыта в автоматизации ETL-процессов и проектировании аналитических хранилищ данных (DWH). Специализируется на построении витрин данных (raw, ODS, data marts) с использованием Apache Airflow, Python, SQL и GreenPlum. Оптимизировал SQL-запросы, внедрил проверку качества данных (Great Expectations) и разработал архитектуру для BI-дашбордов (Power BI, Apache Superset). Имеет опыт работы с большими данными (Hadoop, Spark) и интеграции данных между PostgreSQL, GreenPlum и BI-решениями. Обладает навыками настройки DAG’ов Airflow, контейнеризации (Docker) и анализа данных с использованием Pandas, NumPy и Scikit-learn. Коммуникабелен, ориентирован на улучшение процессов и командное взаимодействие.

Красный диплом бакалавра техники и технологии. Окончил магистратуру также с красным дипломом, имею ряд публикаций в сборниках научных конференций, дипломы за участие в научных конференциях, являлся стипендиатом специальной стипендии Президента РФ. В процессе работы проходил различные курсы по повышению soft и hard скиллов. Из личных качеств целеустремленность, усидчивость, самостоятельность, но также и умение работать в команде. Увлекаюсь велопрогулками, игрой в квизы и шахматы.

Лев — бизнес/системный аналитик с 4-летним опытом работы в проектах. Он обладает глубокими знаниями и навыками в области разработки и анализа программного обеспечения, а также в смежных областях, таких как бизнес-анализ, управление проектами и психология. Лев работал над проектами в различных отраслях, включая e-commerce & retail, fintech & banking и manufacturing. В его портфолио есть проекты по интеграции искусственного интеллекта в индустрии дейлифэнтэзи спорта, диджитал-трансформации в Sberbank CIB и автоматизации отчётности в «Сибинтеке» (Роснефть). На каждом проекте Лев выполнял широкий спектр задач, включая анализ требований, разработку технических спецификаций и требований, тестирование, анализ данных, взаимодействие с заказчиками и пользователями, дизайн баз данных и интерфейсов.

Java-разработчик с опытом работы на проектах в сфере FinTech более 2х лет. Специализация: - Spring Boot; - SQL; - Liquibase; - Apache Kafka; - Maven; - Git; - GitLab; - Criteria API/Specification; - Java 11. Опыт работы: - Проект «Разработка сервиса SBERCONNECT» (отрасль — FinTech & Banking). Роль — разработчик Java. Выполненные работы: оптимизация и написание запросов PostgreSQL с помощью SQL и Criteria API, разработка Spring Boot приложения, интеграция с другими сервисами по REST API, написание скриптов для Liquibase, доработка UI с помощью HTML и Thymeleaf. - Работы на МРСК Урал, Сибур, РусАгро, Магнит, НЛМК (отрасль — Manufacturing). Роль — разработчик ABAP. Выполненные работы: знание предметной области IS-U, HCM, MM, WF, GRC, SD, работа с отчётами, выгрузка данных в формате MS Word/Excel/PDF, объектно-ориентированное программирование, использование BAPI и BADI.

Hard skills: ● Функциональное тестирование прикладного программного обеспечения и веб-ресурсов в различных средах и конфигурациях. ● Внешнее тестирование ● Внутреннее тестирование и тестирование API. ● Тестирование на мобильных устройствах (iOS, Android) ● Автоматические тесты с помощью Python->Pytest (Selenium Webdriver). ● Также Java+Selenium+Allure Blackbox testing ● Навыки создания и формализации процессов разработки и тестирования ● Создавать собственные сценарии и отчеты о тестировании. ● Кроссбраузерное тестирование. ● Разработка выпуска ● Настройка и работа с CI/DI ● Правильное представление ошибок с помощью алгоритма повторных попыток. ● Работа с любыми ошибками, хранящимися в системах ● Разработка через итерацию ● Использование программного обеспечения для шифрования, сертификатов, виртуальных машин и сети. ● Знание языков программирования (HTML,CSS,PHP,JavaScript,mySQL) ● Поддержка и консультация клиентов ● SCRUM-подход ● Использую Slack, hipchat и т. д. для взаимодействия с командой. Soft skills: ● Коммуникация с командой разработчиков Research ● Критическое мышление ● Исследования ● Нестандартное мышление ● Свободный метод поиска Инструменты: Code store - GitHub, Gitlab, BitBucket, TFS Performance tests - Grafana, LoadRunner, Jmeter, Yandex tank Bug tracker - Redmine, Trac, Assembla, BugZilla, Jira,Trello, Youtrack, Bitrix24, DataBase - MySQL, PostgresQL, MS SQL Server, DBeaver CI/CD systems - Teamcity, CircleCI, Heroku, Codeship Code - Python, HTML,CSS, PHP, JavaScript, Cypress framework, Jest, Puppeteer OS - XX MS Windows Server, MS SQL Server, MS IIS Server, Linux, Ubuntu VM solutions - Docker, VMWare, VirtualBox, HyperV, Parallels Saas store - AWS, Digital ocean, Hetzner, MS Azure