Оставьте заявку, мы подберем для вас подходящего специалиста за 48 часов!
Премия рунета

Куаныш Ж. Data аналитик, Senior

ID 9012
КЖ
Куаныш Ж.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 000 Р/час
НДС не облагается
Специалист доступен с 15 июля 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Senior
Навыки
Python
Apache Spark
Spark
Apache AirFlow
Apache Hadoop
Data Science
Pandas
Numpy
Базы данных
PostgreSQL
ML SQ
GreenPlum
MongoDB
Redis
CRUD
AWS
Ramda
JSX
Databricks
CloudWatch
Snowflake
CMS
EDT
DOM
GM
Cloud Functions
DevOps
Socket
Docker Compose
Jenkins
Bash scripting
Kafka
Rabbit
GitLab
RabbitMQ
GPS
GitHub
SQL Server
BigQuery
AWS RDS
Wireflow
Space
TPL
Cisco
ООП
AWS Lambda
Мониторинг
Project management
creativity
Docker
ECS
IAM
Lambda
PySpark
RDS
S3
SNS
SQS
cloud
GCP
Storage
MSSQL
Testing
Отрасли
E-commerce & Retail
FinTech & Banking
Logistics & Transport
Знание языков
Английский — B2
Русский — C2
Главное о специалисте
Дата-инженер с опытом работы более 4 лет. Я всегда сфокусирован на максимально эффективной обработке данных. Имею богатый опыт применения Apache Spark, PySpark и Apache Airflow в разработке высоконагруженных систем, а также опыт работы с различными базами данных, такими как PostgreSQL, MSSQL, NoSQL базами, хранилищами данных как Snowflake, BigQuery и Greenplum. Считаю эффективную коммуникацию в команде залогом успеха любого проекта.
Проекты   (5 лет 4 месяца)
Система оптимизации логистики в сфере электронной коммерции
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, направленной на оптимизацию процессов логистики в сфере электронной коммерции. Проект включал в себя создание алгоритмов для оптимальной маршрутизации грузов, минимизации времени доставки и улучшения общей эффективности цепочки поставок. Обязанности и достижения Работа с Apache Spark SQL для выполнения сложных запросов к данным; Использование PySpark для очистки и агрегации данных, пакетной обработки, создания задач Spark, настройки потоковых данных, фильтрации данных от аномалий, обработки отсутствующих значений; Реализация и рефакторинг пользовательских операторов и хуков Apache Airflow; Написание и оптимизация существующих SQL запросов; Организация и мониторинг пайплайнов данных и рабочих процессов с помощью Apache Airflow; Разработка структур баз данных Greenplum; Разработка, тестирование и оптимизация Apache Airflow DAG-ов; Составление сложных SQL-запросов и использование MPP-архитектуры Greenplum для оптимизации производительности запросов; Построение ETL-пайплайнов; Управление доступом к базе данных PostgreSQL; Поиск и устранение уязвимостей в базе данных PostgreSQL; Настройка мониторинга базы данных PostgreSQL; Перестройка индексов таблиц PostgreSQL и оптимизация существующих запросов; Разработка скриптов для загрузки данных в MongoDB; Обработка данных с использованием PySpark; Развертывание и конфигурация виртуальных машин AWS E; Работа с механизмами триггеров для активации функций AWS Lambda; Управление темами и разделами Kafka; Использование Pandas и NumPy для выявления тенденций и закономерностей в данных; Создание и настройка многопоточных сборочных процессов в Jenkins для ускорения времени сборки; Код-ревью;
Стек специалиста на проекте
PostgreSQL, Docker, Python, MongoDB, Jenkins, GitLab, AWS, Lambda, Pandas, Numpy, GreenPlum, Apache Spark, Kafka, Docker Compose, Apache AirFlow, SQS, S3, IAM, SNS, CloudWatch, ECS, PySpark, Databricks, RDS, Bash scripting
Отрасль проекта
E-commerce & Retail
Период работы
Март 2023 - По настоящее время  (1 год 5 месяцев)
База знаний финансового учреждения
Роль
Дата - инженер
Обязанности
Основная задача проекта заключалась в разработке и внедрении базы знаний в инфраструктуру баз данных банковской системы. В результате база знаний была интегрирована с существующей реляционной базой данных банка, что позволило расширить возможности поиска данных и улучшить процесс принятия решений на основе данных. Важнейшим аспектом проекта был перенос логики и данных из одной базы данных в другую. Роли в проекте Репликация и шардирование SQL-баз данных; Оркестрация существующих SQL-кластеров баз данных; Использование Apache Spark для объединения и агрегации данных из разных источников; Создание пользовательских UDF для Spark SQL; Написание и оптимизация SQL-запросов для PostgreSQL для обеспечения эффективного извлечения и обработки данных; Занимался настраиванием и отслеживанием резервных копий баз данных и процедуры бэкапа в Greenplum; Модификация Apache Airflow DAGs для выполнения заданий Spark; Нормализация таблиц базы данных PostgreSQL для минимизации избыточности данных; Интеграция Dataflow с хранилищем данных и извлечение данных из облачного хранилища Google Cloud Storage; Использование функций окон и триггеров Dataflow; Использование шаблонов Dataflow для повторного использования пайплайнов данных; Использование средств GCP Dataflow для динамического перераспределения задач; Постоянный мониторинг и уточнение процессов обеспечения качества данных и моделей данных в соответствии с обратной связью и изменяющимися потребностями бизнеса; Написание и внедрение GCP Cloud Functions; Настройка хранения изображений в облачном хранилище GCP Cloud Storage; Использование инструментов развертывания в контейнерах Docker; Автоматизация развертывания пайплайнов данных с использованием инструментов CI/CD; Код-ревью.
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitHub, BigQuery, Pandas, Numpy, GreenPlum, Apache Spark, Cloud Functions, Kafka, Storage, Docker Compose, GCP, PySpark, cloud, Bash scripting
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2021 - Март 2023  (2 года)
Система автоматизированного управления складом
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, обеспечивающей эффективное управление запасами на складе крупной логистической компании. Интеграция системы с существующими учетными программами и технологиями позволила оптимизировать процессы хранения, отслеживания и учета товаров, повысив общую эффективность логистики. Роли в проекте Период 04.2019 - 04.2021 Обязанности и достижения Участие в процессе тестирования Spark приложений; Помощь в оптимизации использования памяти в Spark приложениях; Обработка больших объёмов данных с помощью Apache Hadoop; Поддержка в интеграции Apache Spark с S3; Интеграция данных из различных источников в базу данных MSSQL; Изменение схем баз данных в MSSQL Server; Конфигурация функциональностей AWS S3; Рефакторинг SQL-процедур в MSSQL Server; Использование AWS Lambda для обработки уведомлений о событиях из базы данных AWS RDS; Использование пакетных операций AWS S3 для вызова функции AWS Lambda для обработки большого набора объектов AWS S3; Использование AWS Lambda для обработки записей в потоке данных AWS Kinesis; Настройка и конфигурация инстансов AWS E, включая установку необходимых операционных систем и приложений; Мониторинг, отладка и создание Airflow DAG-ов.
Стек специалиста на проекте
RabbitMQ, Docker, Python, AWS, GitHub, Lambda, Pandas, Numpy, Apache Hadoop, Apache Spark, Docker Compose, Apache AirFlow, SQS, Redis, S3, IAM, CloudWatch, Snowflake, PySpark, MSSQL, Databricks, RDS, Bash scripting
Отрасль проекта
Logistics & Transport
Период работы
Апрель 2019 - Апрель 2021  (2 года 1 месяц)
Формат работы
Формат работы
Удаленно, Офис
Командировки
Готов
Релокация
Внутри страны
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
БГУИР, Минск.
Специальность
Инженер по информационным технологиям и управлению,
Завершение учебы
2021 г.
Высшее
Учебное заведение
ЕНУ, Астана
Специальность
Автоматизация и управление. Бакалавр техники и технологии.
Завершение учебы
2019 г.

Похожие специалисты

AgroTech • E-commerce & Retail • Logistics & Transport
АП
Антон П.
Минск
Data аналитик
Senior
4 250 Р/час
glue
AWS
Redshift
Numpy
adyen
Git
Power BI
Pandas
Bitbucket
MongoDB
+38

Аналитик данных с опытом работы более 5 лет. Люблю аналитическую работу, умею эффективно интерпретировать, анализировать и прогнозировать данные с помощью современных инструментов. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель - достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, Apache Spark, PySpark, Apache Airflow. Облачные технологии AWS(Redshift, EC2, Lambda, Glue, S3, RDS, DynamoDB, EMR, Athena, etc.). Базы данных PostgreSQL, MySQL, Greenplum, MongoDB, Redis. Машинное обучение и Data Science Pandas, NumPy, Scikit-learn. BI и визуализация данных Power BI, Seaborn, Matplotlib. Моделирование данных Размерное моделирование (схема «звезда», схема «снежинка»), моделирование сущностей-связей, нормализация / денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash Scripting. Системы контроля версий Git, Bitbucket, GitHub. Достижения Улучшение предсказания спроса Разработал модель прогнозирования спроса на автомобили в разных районах города, что позволило оптимизировать распределение автомобилей и снизить время ожидания клиентов на 15%. Успешное проведение A/B тестирования Разработал и провел серию А/Б тестов, что позволило оптимизировать пользовательский интерфейс и улучшить конверсию на 7%, принеся дополнительный доход в размере $30,000 в месяц. Анализ эффективности каналов продвижения Провел анализ данных о рекламных каналах и их влиянии на продажи, что позволило оптимизировать бюджет маркетинга и увеличить эффективность кампаний на 15%.

Подробнее
Manufacturing • Telecom
АЗ
Алексей З.
Москва
Data аналитик
Senior
3 875 Р/час
Apache AirFlow
Apache Spark
Bash
BeautifulSoap
Bootstrap
CSS
Deep Learning
Docker
Flask
Git
+46

О себе: Постоянно учусь и стремлюсь к знаниям. Высокий уровень самоорганизации и любовь к делу помогают каждый день узнавать что-то новое. Воспринимаю сложные задачи и трудности как очередную ступень на пути вверх. Стек компетенций: • Python (Matplotlib, Numpy, Pandas, Google.colab, Tensorflow, Keras, Torch и др.); • SQL/NoSQL (MySQL, PostgreSQL, MongoDB, SQLite); • BI платформы (Tableau, Qlik Sense, Power BI); • Сбор данных (Scrapy, Selenium, BeautifulSoup, Xpath); • Методы аналитики маркетинговойактивности, системы web-аналитики; • GIt; • Bash Первую программу для управления заказами и складом для компании занимающийся доставкой воды и кулеров, написал в 2005 году. Работает до сих пор. Писал роботов для биржевой торговли на mql4. Заинтересовался ИИ и пошел учиться в Университет ИИ. Хобби - искусство, графический дизайн, фотография.

Подробнее

Недавно просмотренные специалисты