Павел К. Data инженер, Middle+

Data Engineer с 3 годами опыта в построении и оптимизации хранилищ данных, разработке ETL-процессов и формировании надёжных моделей данных для аналитики. Обладаю опытом работы с крупными финансовыми DWH, интеграцией разрозненных источников и оптимизацией производительности запросов. Нацелен на повышение качества данных и эффективности решений, принимаемых на их основе.

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

● Опыт работы на коммерческих проектах более 3,5 лет ● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными ● Специализируется на использовании современных технологий для обработки, хранения и анализа данных. ● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности. ● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle) ● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных. ● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков ● Имеет опыт разработки на Python и Golang

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Общие сведения о компетенциях -Знания HTML, CSS, SCSS, работа с inkscape, photoshop, figma. -Опыт кроссбраузерной и адаптивной верстки, модульный подход, БЭМ методолгогия, Pixel Perfect. -Знания javascript, typescript, библиотеки React, state management (redux & redux-toolkit,), ReactNative, Expo, GIT. -Знание инструментов сборки webpack/vite, инструментов для разработки: prettier, eslint, tsconfig. -Опыт работы с REST API, swagger, Знание инструментов postman, DBeaver, devTools. -Знание сервисов для командной работы: gitlab, bitbucket, gitea, jira, youtrack, jenkins, wiki-yandex.
-Знание FSD, ООП, SOLID. -Оценки трудоёмкостей, кодревью других разработчиков.

— Предпроектная подготовка, запуск проекта — Разработка сценария тестирования, подготовка гипотез, опросника — Подготовка материалов/прототипов для тестирования — Рекрутинг респондентов — Проведение интервью с респондентами — Анализ и интерпретация результатов интервью — Подготовка отчета по этапу — Презентация отчета команде клиента В работе использую: Figma, Miro, Яндекс.Взгляд, Яндекс.Метрика, Google Analytics Jira, Active Collab

- Опыт разработки на Python с 2018 года; - Опыт работы с очередями сообщений; - Опыт работы с API; - Опыт асинхронного программирования; - Интеграции продуктов;

Специалист с опытом в программировании и аналитике, как бизнесовой, так и системной. Уверенно владеет SQL, что позволяет без труда писать запросы средней сложности, так же знание Python, Java, C# и ещё несколько базовых языков на среднем уровне. Активно использовал нотации, такие как BPMN и UML и т.п. Умение проектировать логические и физические модели данных для различных типов баз данных. В предыдущих проектах активно работал над улучшением коммуникации между различными командами, обеспечивая эффективность работ. Моя задача заключалась в создании прозрачной системы обмена информацией и координации усилий для достижения общих целей. Планирует развиваться в сторону архитектуры!