АС
Андрей С.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4,500 Р/час
НДС не облагается
Специалист доступен с 29 апреля 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Проекты
(6 лет)
Проект №1
Роль
Data Engineer
Обязанности
Проект: Амбициозная инициатива, направленная на модернизацию и улучшение процессов преобразования данных в хранилище данных организации. Проект предполагает внедрение DBT (Data Build Tool), передового инструмента преобразования и оркестрации данных, для обновления и оптимизации существующего пайплайна процедур в Amazon Redshift.
Обязанности и достижения
● Анализ существующего пайплайна и структуры данных
● Выяснение детализации данных
● Написание моделей DBT с использованием SQL
● Оптимизация запросов сложных моделей с использованием индексов
● Онбординг новых членов команды
● Разработка SQL jobs с использованием PL/pgSQL
● Оркестрация Airflow jobs
● Написание DAGs в Airflow
● Сотрудничество с бизнес-аналитиками и архитекторами данных для обеспечения согласованности моделей данных, потребностей бизнеса и архитектуры данных.
● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных.
● Настройка Batch jobs
● Тестирование и очистка данных
● Проведение code review
● Использование Glue для доставки данных из S3 в Redshift
● Общение с бизнес-командой
Среда
Python (Pandas, NumPy, PySpark), DBT (SQL, Jinja, tests, documentation), AWS (EC2, Fargate, Redshift, RDS, CloudWatch, Lambda, Glue, S3, Code Pipelines, Spectrum, Athena, Batch etc.), Apache Airflow, PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
AWS, tool, Redshift, Numpy, Data, Анализ данных, OData, Pandas, Xcode, MSQL, S3, Obs, SQLx, PL/pgSQL, Docker Compose, OS X, Amazon, Jinja, EC2, PySpark, Dask, Docker, SQL, Python, Lambda, Pipelines, CloudWatch, Apache AirFlow, Code Review, RDS, PostgreSQL, Testing, Node.js
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - По настоящее время
(2 года 5 месяцев)
Проект №2
Роль
Data Engineer
Обязанности
Проект Проект представляет собой систему, целью которого является создание высокопроизводительного и надежного пайплайна данных для агрегатора регионального дата-центра. Этот пайплайн основывается на технологии хранилища данных (DWH) и архитектуре Medallion, обеспечивая потоковую обработку данных и полный цикл извлечения, преобразования и загрузки (ELT).
Обязанности и достижения ● Разработка и дизайн DWH
● Анализ бизнес-требований и перевод их в модели технических данных, внесение изменений после обратной связи с клиентом.
● Реализация многомерного моделирования данных в табличном редакторе и Power BI.
● Построение сложный ELT пайплайнов с помощью Azure Data Factory.
● Преобразование данных с помощью DataBricks и Azure Data Factory.
● Написание преобразований PySpark
● Data Quality Checks, включая создание тестовых примеров и контрольных списков.
● Проведение исследовательского анализа данных
● Внедрение новых KPI во время после завершения проекта в соответствии с потребностями клиента.
Среда Python (Pandas, NumPy, PySpark), Power BI, DAX, Tabular Editor, Azure (Data Lake, Blob Storage, Azure MySQL, Databricks, Delta Lake, DataFactory), Kafka.
Стек специалиста на проекте
DAX, Databricks, Numpy, Анализ данных, Data Lake, Data Factory, Power BI, Pandas, Make, Kafka, BLoC, DWH, Storage, Дизайн, Моделирование, PySpark, Python, Azure, MySQL
Отрасль проекта
LifeStyle
Период работы
Июнь 2020 - Декабрь 2021
(1 год 7 месяцев)
Проект №3
Роль
Data Engineer
Обязанности
Роли проекта Data Engineer
Проект Проект созданный целью улучшения эффективности и масштабируемости своего потока обработки больших данных в рамках широкой розничной сети. В рамках этой задачи им необходимо было перенести свою существующую инфраструктуру с Databricks PySpark-ноутбуков на Python-скрипты, которые разрабатывались с учетом и наследования функциональности и стандартов, установленных в их собственном классе "Transformation". Этот переход стал важным шагом в стремлении клиента к улучшению обработки данных и аналитическим возможностям, что в конечном итоге позволит им работать бесперебойно и адаптироваться к требованиям современного рынка.
Обязанности и достижения ● Data Engineering
● Построение ELT пайплайнов Помощь коллегам-разработчикам в моделировании данных
● Структурирование данных и точная настройка запросов для достижения максимальной производительности.
● Предоставление эффективных облачных решений с использованием Azure
● Обработка данных с использованием Azure Databricks
● Разработка рабочих процессов оркестрации с помощью Azure Data Factory.
● Настройка хранилища изображений в Data Lake
● Реализация распараллеливания и оптимизация ETL пайплайнов
● Фильтрация аномалий данных
● Выполнение операций с BigData
● Очистка данных и Data Quality
Среда Python (Pandas, Numpy, PySpark), Azure(Data Lake, Blob Storage, Databricks, Data Factory, DevOps, etc.), PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
Databricks, Numpy, Data, Data Lake, Data Factory, Pandas, DevOps, Make, ETL, BLoC, Big Data, Storage, Docker Compose, Моделирование, PySpark, Docker, Azure, PostgreSQL, SWOT-анализ
Отрасль проекта
LifeStyle
Период работы
Май 2018 - Июнь 2020
(2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
