Оставьте заявку, мы подберем для вас подходящего специалиста за 48 часов!
Премия рунета

Андрей С. Data аналитик, Senior

ID 9317
АС
Андрей С.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4,500 Р/час
НДС не облагается
Специалист доступен с 28 февраля 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Senior
Навыки
Apache AirFlow
AWS
AWS S3
Azure
Azure DevOps
Bash
BI
Bitbucket
BLoC
CI/CD
CloudWatch
Data
Data Factory
Data Lake
Базы данных
Databricks
DAX
DevOps
Docker
DRY
DWH
DynamoDB
EC2
Editor Tooling
ETL
GitHub
GitLab
Jinja
Kafka
Lambda
Make
MongoDB
MSQL
MySQL
Network technologies
Numpy
Pandas
Pipelines
PostgreSQL
Power BI
Python
RabbitMQ
RDS
Redis
Redshift
SOLID
SQL
SQLx
SQS
Storage
Systemd
Tableau
Testing
Визуализация данных
Amazon
Code Review
Dask
Docker Compose
Node.js
Obs
OData
OS X
PL/pgSQL
PySpark
S3
tool
Xcode
Анализ данных
Дизайн
Моделирование
Big Data
SWOT-анализ
Отрасли
E-commerce & Retail
LifeStyle
Знание языков
Английский — C1
Проекты   (5 лет 10 месяцев)
Проект №1
Роль
Data Engineer
Обязанности
Проект: Амбициозная инициатива, направленная на модернизацию и улучшение процессов преобразования данных в хранилище данных организации. Проект предполагает внедрение DBT (Data Build Tool), передового инструмента преобразования и оркестрации данных, для обновления и оптимизации существующего пайплайна процедур в Amazon Redshift. Обязанности и достижения ● Анализ существующего пайплайна и структуры данных ● Выяснение детализации данных ● Написание моделей DBT с использованием SQL ● Оптимизация запросов сложных моделей с использованием индексов ● Онбординг новых членов команды ● Разработка SQL jobs с использованием PL/pgSQL ● Оркестрация Airflow jobs ● Написание DAGs в Airflow ● Сотрудничество с бизнес-аналитиками и архитекторами данных для обеспечения согласованности моделей данных, потребностей бизнеса и архитектуры данных. ● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных. ● Настройка Batch jobs ● Тестирование и очистка данных ● Проведение code review ● Использование Glue для доставки данных из S3 в Redshift ● Общение с бизнес-командой Среда Python (Pandas, NumPy, PySpark), DBT (SQL, Jinja, tests, documentation), AWS (EC2, Fargate, Redshift, RDS, CloudWatch, Lambda, Glue, S3, Code Pipelines, Spectrum, Athena, Batch etc.), Apache Airflow, PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
tool, Redshift, Numpy, Data, Анализ данных, OData, Pandas, AWS, Xcode, MSQL, S3, Obs, SQLx, PL/pgSQL, Docker Compose, OS X, Amazon, Jinja, EC2, PySpark, Dask, Docker, SQL, Python, Lambda, Pipelines, CloudWatch, Apache AirFlow, Code Review, RDS, PostgreSQL, Testing, Node.js
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - По настоящее время  (2 года 3 месяца)
Проект №2
Роль
Data Engineer
Обязанности
Проект Проект представляет собой систему, целью которого является создание высокопроизводительного и надежного пайплайна данных для агрегатора регионального дата-центра. Этот пайплайн основывается на технологии хранилища данных (DWH) и архитектуре Medallion, обеспечивая потоковую обработку данных и полный цикл извлечения, преобразования и загрузки (ELT). Обязанности и достижения ● Разработка и дизайн DWH ● Анализ бизнес-требований и перевод их в модели технических данных, внесение изменений после обратной связи с клиентом. ● Реализация многомерного моделирования данных в табличном редакторе и Power BI. ● Построение сложный ELT пайплайнов с помощью Azure Data Factory. ● Преобразование данных с помощью DataBricks и Azure Data Factory. ● Написание преобразований PySpark ● Data Quality Checks, включая создание тестовых примеров и контрольных списков. ● Проведение исследовательского анализа данных ● Внедрение новых KPI во время после завершения проекта в соответствии с потребностями клиента. Среда Python (Pandas, NumPy, PySpark), Power BI, DAX, Tabular Editor, Azure (Data Lake, Blob Storage, Azure MySQL, Databricks, Delta Lake, DataFactory), Kafka.
Стек специалиста на проекте
DAX, Databricks, Numpy, Анализ данных, Data Lake, Data Factory, Power BI, Pandas, Make, Kafka, BLoC, DWH, Storage, Дизайн, Моделирование, PySpark, Python, Azure, MySQL
Отрасль проекта
LifeStyle
Период работы
Июнь 2020 - Декабрь 2021  (1 год 7 месяцев)
Проект №3
Роль
Data Engineer
Обязанности
Роли проекта Data Engineer Проект Проект созданный целью улучшения эффективности и масштабируемости своего потока обработки больших данных в рамках широкой розничной сети. В рамках этой задачи им необходимо было перенести свою существующую инфраструктуру с Databricks PySpark-ноутбуков на Python-скрипты, которые разрабатывались с учетом и наследования функциональности и стандартов, установленных в их собственном классе "Transformation". Этот переход стал важным шагом в стремлении клиента к улучшению обработки данных и аналитическим возможностям, что в конечном итоге позволит им работать бесперебойно и адаптироваться к требованиям современного рынка. Обязанности и достижения ● Data Engineering ● Построение ELT пайплайнов Помощь коллегам-разработчикам в моделировании данных ● Структурирование данных и точная настройка запросов для достижения максимальной производительности. ● Предоставление эффективных облачных решений с использованием Azure ● Обработка данных с использованием Azure Databricks ● Разработка рабочих процессов оркестрации с помощью Azure Data Factory. ● Настройка хранилища изображений в Data Lake ● Реализация распараллеливания и оптимизация ETL пайплайнов ● Фильтрация аномалий данных ● Выполнение операций с BigData ● Очистка данных и Data Quality Среда Python (Pandas, Numpy, PySpark), Azure(Data Lake, Blob Storage, Databricks, Data Factory, DevOps, etc.), PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
Databricks, Numpy, Data, Data Lake, Data Factory, Pandas, DevOps, Make, ETL, BLoC, Big Data, Storage, Docker Compose, Моделирование, PySpark, Docker, Azure, PostgreSQL, SWOT-анализ
Отрасль проекта
LifeStyle
Период работы
Май 2018 - Июнь 2020  (2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

Manufacturing • Telecom
АЗ
Алексей З.
Москва
Data аналитик
Senior
3,875 Р/час
Apache AirFlow
Apache Spark
Bash
BeautifulSoap
Bootstrap
CSS
Deep Learning
Docker
Flask
Git
+46

О себе: Постоянно учусь и стремлюсь к знаниям. Высокий уровень самоорганизации и любовь к делу помогают каждый день узнавать что-то новое. Воспринимаю сложные задачи и трудности как очередную ступень на пути вверх. Стек компетенций: • Python (Matplotlib, Numpy, Pandas, Google.colab, Tensorflow, Keras, Torch и др.); • SQL/NoSQL (MySQL, PostgreSQL, MongoDB, SQLite); • BI платформы (Tableau, Qlik Sense, Power BI); • Сбор данных (Scrapy, Selenium, BeautifulSoup, Xpath); • Методы аналитики маркетинговойактивности, системы web-аналитики; • GIt; • Bash Первую программу для управления заказами и складом для компании занимающийся доставкой воды и кулеров, написал в 2005 году. Работает до сих пор. Писал роботов для биржевой торговли на mql4. Заинтересовался ИИ и пошел учиться в Университет ИИ. Хобби - искусство, графический дизайн, фотография.

Подробнее

Недавно просмотренные специалисты