Андрей С. Data аналитик, Senior

ID 9317
АС
Андрей С.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 675,32 Р/час
НДС не облагается
Специалист доступен с 17 января 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Senior
Навыки
Apache AirFlow
AWS
AWS S3
Azure
Azure DevOps
Bash
BI
Bitbucket
BLoC
CI/CD
CloudWatch
Data
Data Factory
Data Lake
Базы данных
Databricks
DAX
DevOps
Docker
DRY
DWH
DynamoDB
EC2
Editor Tooling
ETL
GitHub
GitLab
Jinja
Kafka
Lambda
Make
MongoDB
MSQL
MySQL
Network technologies
Numpy
Pandas
Pipelines
PostgreSQL
Power BI
Python
RabbitMQ
RDS
Redis
Redshift
SOLID
SQL
SQLx
SQS
Storage
Systemd
Tableau
Testing
Визуализация данных
Amazon
Code Review
Dask
Docker Compose
Node.js
Obs
OData
OS X
PL/pgSQL
PySpark
S3
Xcode
Анализ данных
Дизайн
Моделирование
Big Data
SWOT-анализ
Отрасли
E-commerce & Retail
LifeStyle
Знание языков
Английский — C1
Проекты   (6 лет 9 месяцев)
Проект №1
Роль
Data Engineer
Обязанности
Проект: Амбициозная инициатива, направленная на модернизацию и улучшение процессов преобразования данных в хранилище данных организации. Проект предполагает внедрение DBT (Data Build Tool), передового инструмента преобразования и оркестрации данных, для обновления и оптимизации существующего пайплайна процедур в Amazon Redshift. Обязанности и достижения ● Анализ существующего пайплайна и структуры данных ● Выяснение детализации данных ● Написание моделей DBT с использованием SQL ● Оптимизация запросов сложных моделей с использованием индексов ● Онбординг новых членов команды ● Разработка SQL jobs с использованием PL/pgSQL ● Оркестрация Airflow jobs ● Написание DAGs в Airflow ● Сотрудничество с бизнес-аналитиками и архитекторами данных для обеспечения согласованности моделей данных, потребностей бизнеса и архитектуры данных. ● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных. ● Настройка Batch jobs ● Тестирование и очистка данных ● Проведение code review ● Использование Glue для доставки данных из S3 в Redshift ● Общение с бизнес-командой Среда Python (Pandas, NumPy, PySpark), DBT (SQL, Jinja, tests, documentation), AWS (EC2, Fargate, Redshift, RDS, CloudWatch, Lambda, Glue, S3, Code Pipelines, Spectrum, Athena, Batch etc.), Apache Airflow, PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
AWS, Redshift, Numpy, Data, Анализ данных, OData, Pandas, Xcode, MSQL, S3, Obs, SQLx, PL/pgSQL, Docker Compose, OS X, Amazon, Jinja, EC2, PySpark, Dask, Docker, SQL, Python, Lambda, Pipelines, CloudWatch, Apache AirFlow, Code Review, RDS, Testing, Node.js, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2021 - По настоящее время  (3 года 2 месяца)
Проект №2
Роль
Data Engineer
Обязанности
Проект Проект представляет собой систему, целью которого является создание высокопроизводительного и надежного пайплайна данных для агрегатора регионального дата-центра. Этот пайплайн основывается на технологии хранилища данных (DWH) и архитектуре Medallion, обеспечивая потоковую обработку данных и полный цикл извлечения, преобразования и загрузки (ELT). Обязанности и достижения ● Разработка и дизайн DWH ● Анализ бизнес-требований и перевод их в модели технических данных, внесение изменений после обратной связи с клиентом. ● Реализация многомерного моделирования данных в табличном редакторе и Power BI. ● Построение сложный ELT пайплайнов с помощью Azure Data Factory. ● Преобразование данных с помощью DataBricks и Azure Data Factory. ● Написание преобразований PySpark ● Data Quality Checks, включая создание тестовых примеров и контрольных списков. ● Проведение исследовательского анализа данных ● Внедрение новых KPI во время после завершения проекта в соответствии с потребностями клиента. Среда Python (Pandas, NumPy, PySpark), Power BI, DAX, Tabular Editor, Azure (Data Lake, Blob Storage, Azure MySQL, Databricks, Delta Lake, DataFactory), Kafka.
Стек специалиста на проекте
DAX, Databricks, Numpy, Анализ данных, Data Lake, Data Factory, Pandas, Power BI, Make, Kafka, BLoC, DWH, Storage, Дизайн, Моделирование, PySpark, Python, Azure, MySQL
Отрасль проекта
LifeStyle
Период работы
Июнь 2020 - Декабрь 2021  (1 год 7 месяцев)
Проект №3
Роль
Data Engineer
Обязанности
Роли проекта Data Engineer Проект Проект созданный целью улучшения эффективности и масштабируемости своего потока обработки больших данных в рамках широкой розничной сети. В рамках этой задачи им необходимо было перенести свою существующую инфраструктуру с Databricks PySpark-ноутбуков на Python-скрипты, которые разрабатывались с учетом и наследования функциональности и стандартов, установленных в их собственном классе "Transformation". Этот переход стал важным шагом в стремлении клиента к улучшению обработки данных и аналитическим возможностям, что в конечном итоге позволит им работать бесперебойно и адаптироваться к требованиям современного рынка. Обязанности и достижения ● Data Engineering ● Построение ELT пайплайнов Помощь коллегам-разработчикам в моделировании данных ● Структурирование данных и точная настройка запросов для достижения максимальной производительности. ● Предоставление эффективных облачных решений с использованием Azure ● Обработка данных с использованием Azure Databricks ● Разработка рабочих процессов оркестрации с помощью Azure Data Factory. ● Настройка хранилища изображений в Data Lake ● Реализация распараллеливания и оптимизация ETL пайплайнов ● Фильтрация аномалий данных ● Выполнение операций с BigData ● Очистка данных и Data Quality Среда Python (Pandas, Numpy, PySpark), Azure(Data Lake, Blob Storage, Databricks, Data Factory, DevOps, etc.), PostgreSQL, Docker, Docker Compose.
Стек специалиста на проекте
Databricks, Numpy, Data, Data Lake, Data Factory, Pandas, DevOps, Make, ETL, BLoC, Big Data, Storage, Docker Compose, Моделирование, PySpark, Docker, Azure, SWOT-анализ, PostgreSQL
Отрасль проекта
LifeStyle
Период работы
Май 2018 - Июнь 2020  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

AgroTech • E-commerce & Retail • Logistics & Transport
АП
Антон П.
Минск
Data аналитик
Senior
4 415,58 Р/час
glue
AWS
Redshift
Numpy
adyen
Git
Power BI
Pandas
Bitbucket
MongoDB
+38

Аналитик данных с опытом работы более 5 лет. Люблю аналитическую работу, умею эффективно интерпретировать, анализировать и прогнозировать данные с помощью современных инструментов. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель - достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, Apache Spark, PySpark, Apache Airflow. Облачные технологии AWS(Redshift, EC2, Lambda, Glue, S3, RDS, DynamoDB, EMR, Athena, etc.). Базы данных PostgreSQL, MySQL, Greenplum, MongoDB, Redis. Машинное обучение и Data Science Pandas, NumPy, Scikit-learn. BI и визуализация данных Power BI, Seaborn, Matplotlib. Моделирование данных Размерное моделирование (схема «звезда», схема «снежинка»), моделирование сущностей-связей, нормализация / денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash Scripting. Системы контроля версий Git, Bitbucket, GitHub. Достижения Улучшение предсказания спроса Разработал модель прогнозирования спроса на автомобили в разных районах города, что позволило оптимизировать распределение автомобилей и снизить время ожидания клиентов на 15%. Успешное проведение A/B тестирования Разработал и провел серию А/Б тестов, что позволило оптимизировать пользовательский интерфейс и улучшить конверсию на 7%, принеся дополнительный доход в размере $30,000 в месяц. Анализ эффективности каналов продвижения Провел анализ данных о рекламных каналах и их влиянии на продажи, что позволило оптимизировать бюджет маркетинга и увеличить эффективность кампаний на 15%.

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail • Information Security • Logistics & Transport • RnD
ИД
Игорь Д.
Элиста
Data аналитик
Senior
3 853,43 Р/час
Bash
JavaScript
Node.js
Python
JSON
YAML
CSS3
HTML5
JavaScript ES6
TypeScript
+119

Опыт работы 6 лет Опыт работы с языками: Скриптовые: Bash, Python, Node.js Конфигурации: YAML, TOML, JSON Веб: Javascript ES6, Typescript, CSS3, HTML5 Приложения: C, C++, Python, Go Работа с данными: SQL, pg/plSQL, Python(pandas), Dataweave Опыт работы с фреймворками: Vue.js, Quasar; Django, Django DRF, Flask, FastAPI, SQL Alchemy, Pytest; Опыт работы с веб библиотеками и технологиями: Vue.js, Vite, Quasar, Vuex, Pinia, Axios, Vue router, Moment, Material Design, Antd, Taiga UI, SCSS, Styled-components, Web components, OpenAPI, Telegram InstantView Опыт работы с инструментами и платформами: Docker, Docker-compose, Kubernetes, Helm, Nginx, HAProxy, Kafka, RabbitMQ, Celery, Redis, Cassandra, Git, GitLab CI/CD, Jenkins, Ansible, Terraform, Java Virtual Machne, JNI, JVM TI, Alpine, Debian, Fedora Linux, Amazon Web Services, Google Cloud Platform Опыт работы с инструментами мониторинга и логирования: Grafana, Prometheus, Loki, Datadog Опыт работы с инструментами визуализации и аналитики: TIBCO Spotfire (конкурент Power BI), Charts.js Опыт работы с инструментами по конвейеру данных: Mule ESB, WSO2, Dataweave, Pandas, ELK stack, OpenSearch, PostgreSQL, SQLite, DuckDB, Clickhouse Также опыт работы c: Jira, Confluence, BPMN 2.0, DFD, SOA, Бессерверные вычисления, Git Flow, Trunk-based development

Подробнее
Manufacturing • Telecom
АЗ
Алексей З.
Москва
Data аналитик
Senior
3 871,64 Р/час
Apache AirFlow
Apache Spark
Bash
BeautifulSoap
Bootstrap
CSS
Deep Learning
Docker
Flask
Git
+46

О себе: Постоянно учусь и стремлюсь к знаниям. Высокий уровень самоорганизации и любовь к делу помогают каждый день узнавать что-то новое. Воспринимаю сложные задачи и трудности как очередную ступень на пути вверх. Стек компетенций: • Python (Matplotlib, Numpy, Pandas, Google.colab, Tensorflow, Keras, Torch и др.); • SQL/NoSQL (MySQL, PostgreSQL, MongoDB, SQLite); • BI платформы (Tableau, Qlik Sense, Power BI); • Сбор данных (Scrapy, Selenium, BeautifulSoup, Xpath); • Методы аналитики маркетинговойактивности, системы web-аналитики; • GIt; • Bash Первую программу для управления заказами и складом для компании занимающийся доставкой воды и кулеров, написал в 2005 году. Работает до сих пор. Писал роботов для биржевой торговли на mql4. Заинтересовался ИИ и пошел учиться в Университет ИИ. Хобби - искусство, графический дизайн, фотография.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • E-commerce & Retail • Manufacturing • Social Networking
АС
Алексей С.
Краснодар
QA FullStack
Middle+
2 727,27 Р/час
Регрессионное тестирование
Grafana
Cross-browser testing
AWS
Postman
Git
Kibana
TestRail
PerfectPixel
SoapUI
+44

QA инженер с обширным опытом в области ручного тестирования, применяющий современные инструменты и технологии для достижения более глубокого уровня тестирования. На последнем проекте освоил направление автоматизированного тестирования на Java, что значительно помогло проекту в разработке тестов и подготовке к релизам. Обладает значительной экспертизой в интеграционном тестировании, на предыдущих проектах активно работал с брокером сообщений Kafka, собирая и анализируя логи приложения с использованием стека ELK. В своей работе он применяет только актуальные виды и методы тестирования, активно использует техники тест-дизайна и проектирует четкие и понятные тест-кейсы, что позволяет ему эффективно выявлять и устранять возможные дефекты, обеспечивая высокое качество программного обеспечения.

Подробнее