Оставьте заявку, мы подберем для вас подходящего специалиста за 48 часов!

Куаныш Ж. Data аналитик, Senior

ID 9012
КЖ
Куаныш Ж.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4,000 Р/час
НДС не облагается
Специалист доступен с 8 декабря 2023 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Senior
Навыки
Python
Apache Spark
Spark
Apache AirFlow
Apache Hadoop
Data Science
Pandas
Numpy
Базы данных
PostgreSQL
ML SQ
GreenPlum
MongoDB
Redis
CRUD
AWS
Ramda
JSX
Databricks
CloudWatch
Snowflake
CMS
EDT
DOM
GM
Cloud Functions
DevOps
Socket
Docker Compose
Jenkins
Bash scripting
Kafka
Rabbit
GitLab
RabbitMQ
GPS
GitHub
SQL Server
BigQuery
AWS RDS
Wireflow
Space
TPL
Cisco
ООП
AWS Lambda
Тестирование
Мониторинг
Project management
creativity
Docker
ECS
IAM
Lambda
PySpark
RDS
S3
SNS
SQS
cloud
GCP
Storage
MSSQL
Отрасли
E-commerce & Retail
FinTech & Banking
Logistics & Transport
Знание языков
Английский — B2
Русский — C2
Главное о специалисте
Дата-инженер с опытом работы более 4 лет. Я всегда сфокусирован на максимально эффективной обработке данных. Имею богатый опыт применения Apache Spark, PySpark и Apache Airflow в разработке высоконагруженных систем, а также опыт работы с различными базами данных, такими как PostgreSQL, MSSQL, NoSQL базами, хранилищами данных как Snowflake, BigQuery и Greenplum. Считаю эффективную коммуникацию в команде залогом успеха любого проекта.
Проекты   (4 года 9 месяцев)
Система оптимизации логистики в сфере электронной коммерции
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, направленной на оптимизацию процессов логистики в сфере электронной коммерции. Проект включал в себя создание алгоритмов для оптимальной маршрутизации грузов, минимизации времени доставки и улучшения общей эффективности цепочки поставок. Обязанности и достижения Работа с Apache Spark SQL для выполнения сложных запросов к данным; Использование PySpark для очистки и агрегации данных, пакетной обработки, создания задач Spark, настройки потоковых данных, фильтрации данных от аномалий, обработки отсутствующих значений; Реализация и рефакторинг пользовательских операторов и хуков Apache Airflow; Написание и оптимизация существующих SQL запросов; Организация и мониторинг пайплайнов данных и рабочих процессов с помощью Apache Airflow; Разработка структур баз данных Greenplum; Разработка, тестирование и оптимизация Apache Airflow DAG-ов; Составление сложных SQL-запросов и использование MPP-архитектуры Greenplum для оптимизации производительности запросов; Построение ETL-пайплайнов; Управление доступом к базе данных PostgreSQL; Поиск и устранение уязвимостей в базе данных PostgreSQL; Настройка мониторинга базы данных PostgreSQL; Перестройка индексов таблиц PostgreSQL и оптимизация существующих запросов; Разработка скриптов для загрузки данных в MongoDB; Обработка данных с использованием PySpark; Развертывание и конфигурация виртуальных машин AWS E; Работа с механизмами триггеров для активации функций AWS Lambda; Управление темами и разделами Kafka; Использование Pandas и NumPy для выявления тенденций и закономерностей в данных; Создание и настройка многопоточных сборочных процессов в Jenkins для ускорения времени сборки; Код-ревью;
Стек специалиста на проекте
Databricks, Numpy, Pandas, MongoDB, GitLab, AWS, Kafka, Apache Spark, IAM, S3, SNS, Docker Compose, ECS, SQS, PySpark, Docker, Python, Jenkins, Lambda, GreenPlum, CloudWatch, Apache AirFlow, RDS, Bash scripting, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Март 2023 - По настоящее время  (10 месяцев)
База знаний финансового учреждения
Роль
Дата - инженер
Обязанности
Основная задача проекта заключалась в разработке и внедрении базы знаний в инфраструктуру баз данных банковской системы. В результате база знаний была интегрирована с существующей реляционной базой данных банка, что позволило расширить возможности поиска данных и улучшить процесс принятия решений на основе данных. Важнейшим аспектом проекта был перенос логики и данных из одной базы данных в другую. Роли в проекте Репликация и шардирование SQL-баз данных; Оркестрация существующих SQL-кластеров баз данных; Использование Apache Spark для объединения и агрегации данных из разных источников; Создание пользовательских UDF для Spark SQL; Написание и оптимизация SQL-запросов для PostgreSQL для обеспечения эффективного извлечения и обработки данных; Занимался настраиванием и отслеживанием резервных копий баз данных и процедуры бэкапа в Greenplum; Модификация Apache Airflow DAGs для выполнения заданий Spark; Нормализация таблиц базы данных PostgreSQL для минимизации избыточности данных; Интеграция Dataflow с хранилищем данных и извлечение данных из облачного хранилища Google Cloud Storage; Использование функций окон и триггеров Dataflow; Использование шаблонов Dataflow для повторного использования пайплайнов данных; Использование средств GCP Dataflow для динамического перераспределения задач; Постоянный мониторинг и уточнение процессов обеспечения качества данных и моделей данных в соответствии с обратной связью и изменяющимися потребностями бизнеса; Написание и внедрение GCP Cloud Functions; Настройка хранения изображений в облачном хранилище GCP Cloud Storage; Использование инструментов развертывания в контейнерах Docker; Автоматизация развертывания пайплайнов данных с использованием инструментов CI/CD; Код-ревью.
Стек специалиста на проекте
BigQuery, Numpy, Pandas, GitHub, Kafka, Apache Spark, Cloud Functions, cloud, Storage, GCP, Docker Compose, PySpark, Docker, Python, GreenPlum, Bash scripting, PostgreSQL
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2021 - Март 2023  (2 года)
Система автоматизированного управления складом
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, обеспечивающей эффективное управление запасами на складе крупной логистической компании. Интеграция системы с существующими учетными программами и технологиями позволила оптимизировать процессы хранения, отслеживания и учета товаров, повысив общую эффективность логистики. Роли в проекте Период 04.2019 - 04.2021 Обязанности и достижения Участие в процессе тестирования Spark приложений; Помощь в оптимизации использования памяти в Spark приложениях; Обработка больших объёмов данных с помощью Apache Hadoop; Поддержка в интеграции Apache Spark с S3; Интеграция данных из различных источников в базу данных MSSQL; Изменение схем баз данных в MSSQL Server; Конфигурация функциональностей AWS S3; Рефакторинг SQL-процедур в MSSQL Server; Использование AWS Lambda для обработки уведомлений о событиях из базы данных AWS RDS; Использование пакетных операций AWS S3 для вызова функции AWS Lambda для обработки большого набора объектов AWS S3; Использование AWS Lambda для обработки записей в потоке данных AWS Kinesis; Настройка и конфигурация инстансов AWS E, включая установку необходимых операционных систем и приложений; Мониторинг, отладка и создание Airflow DAG-ов.
Стек специалиста на проекте
Databricks, Numpy, Pandas, Redis, AWS, GitHub, Apache Hadoop, Apache Spark, IAM, S3, MSSQL, Docker Compose, SQS, Snowflake, PySpark, Docker, Python, Lambda, CloudWatch, Apache AirFlow, RDS, Bash scripting, RabbitMQ
Отрасль проекта
Logistics & Transport
Период работы
Апрель 2019 - Апрель 2021  (2 года 1 месяц)
Формат работы
Формат работы
Удаленно, Офис
Командировки
Готов
Релокация
Внутри страны
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
БГУИР, Минск.
Специальность
Инженер по информационным технологиям и управлению,
Завершение учебы
2021 г.
Высшее
Учебное заведение
ЕНУ, Астана
Специальность
Автоматизация и управление. Бакалавр техники и технологии.
Завершение учебы
2019 г.

Похожие специалисты

Manufacturing • Telecom
АЗ
Алексей З.
Москва
Data аналитик
Senior
3,875 Р/час
Apache AirFlow
Apache Spark
Bash
BeautifulSoap
Bootstrap
CSS
Deep Learning
Docker
Flask
Git
HTML
Jupyter
Keras
Linux
Matplotlib
MongoDB
MS Excel
MS Windows
MySQL
NLP
Numpy
Pandas
PostgreSQL
Power BI
Python
Qlick
Scrapy
Seaborn
Selenium
Sklearn
SQL
SQLite
Tableau
Tensorflow
torch
XML
XPath
ООП
Clickhouse
Elasticsearch
MSQL
SQLx
C#
3d
Анализ
Моделирование
+46

О себе: Постоянно учусь и стремлюсь к знаниям. Высокий уровень самоорганизации и любовь к делу помогают каждый день узнавать что-то новое. Воспринимаю сложные задачи и трудности как очередную ступень на пути вверх. Стек компетенций: • Python (Matplotlib, Numpy, Pandas, Google.colab, Tensorflow, Keras, Torch и др.); • SQL/NoSQL (MySQL, PostgreSQL, MongoDB, SQLite); • BI платформы (Tableau, Qlik Sense, Power BI); • Сбор данных (Scrapy, Selenium, BeautifulSoup, Xpath); • Методы аналитики маркетинговойактивности, системы web-аналитики; • GIt; • Bash Первую программу для управления заказами и складом для компании занимающийся доставкой воды и кулеров, написал в 2005 году. Работает до сих пор. Писал роботов для биржевой торговли на mql4. Заинтересовался ИИ и пошел учиться в Университет ИИ. Хобби - искусство, графический дизайн, фотография.

Подробнее
FinTech & Banking • Media
МЗ
Мария З.
Гродно
Data аналитик
Middle+
3,480 Р/час
Anaconda
DBeaver
Flask
IBM DB2
Jupiter Notebook
Keras
Linux
Mathcad
Matplotlib
MS Visual Studio
NLTK
Numpy
OpenCV
Oracle
Pandas
Pl/SQL
PL/SQL Developer
PostgreSQL
PyCharm
Python
PyTorch
R
REST API
Scikit-learn
SciPy
Seaborn
SQL
SQL Developer
Statsmodels
T-SQL
Tableau
Tensorflow
Teradata
Tesseract
MS Windows
Docker
Grafana
EasyOCR
Aqinity
SCM (Git)
Google colab
Excel Power Query
Statistica
EViews
Wolfram Mathematica
RStudio
+46

Свободно владею английским; ответственный и трудолюбивый специалист с глубокими знаниями в области математического моделирования, статистики и эконометрики, что подтверждается соответствующей степенью магистра в области Прикладной математики и информатики; обладаю знаниями в области микро- и макроэкономики. Разработка базы данных Логический и физический дизайн базы данных; Мониторинг производительности БД, Root Cause Analysis; Программирование на PL / SQL, T-SQL, хранимые процедуры, функции; Программирование ETL-процессов с использованием PL / SQL; Data Science: Исследовательский анализ данных с использованием Pandas, Numpy, SciPy; Визуализация данных с использованием Matplotlib, seaborn; Разработка веб-приложений с использованием Flask and Docker; Обучение и тестирование моделей машинного обучения с использованием opencv, scikit-learn, keras, tensorflow, Jupyter Notebook; Data Mining: Предобработка данных: выбросы и пропуски в данных; Построение и оценка регрессионных моделей с применением Логистической регрессии и Дерева принятия решений для задачи банковского скоринга; Text Mining с применением Метода опорных векторов и Наивного Баессовоского классификатора для задачи SMS спам фильтра; Анализ потребительской корзины (Аффинитивный анализ) наа базе сети продовольственных товаров с применением алгоритма Априори на языке R; Разработка интерактивных дашбордов с использованием Tableau, Grafana и Excel Power Query. Дополнительные навыки: Сильные аналитические способности, внимание к деталям, способность быстро учиться.

Подробнее

Недавно просмотренные специалисты

LifeStyle
ДМ
Дмитрий М.
Санкт-Петербург
UX/UI дизайнер
Senior
2,625 Р/час
OpenCI
OpenCV
Adobe Illustrator
Прототипирование
Notion
Adobe InDesign
Miro
Openvz
Дизайн
OpenID
Confluence
Adobe Lightroom
Taiga
Анализ рынка
Adobe Photoshop
Figma
Jira
SWOT-анализ
Trello
UI/UX
+20

Профессионал в области проектирования и дизайна мобильных интерфейсов и многофункциональных веб-сервисов. Креативное мышление, аргументирование решений, ориентация на достижения. Коммуникабельный. ПРОФЕССИОНАЛЬНЫЕ НАВЫКИ: - Составление, moodboard, user flow, flow chart - Проектирование wireframe, wireflow - Дизайн интернет-магазинов - Дизайн мобильных приложений - Дизайн веб-сервисов - Графический дизайн - Самообучение и саморазвитие - Креативность и воображение - Логика и аналитика - Профессиональная эмпатия - Прототипирование и анимация макетов - Типографика - Работа в команде Портфолио: https://www.figma.com/file/JO2YUOZyfqXEqSRj59wTLu/%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B?type=des ign&node-id=2-2&mode=design&t=cXyWm7 U3dEaatcWb-0

Подробнее
E-commerce & Retail • FinTech & Banking • Logistics & Transport • Media • Travel, Hospitality & Restaurant business
СМ
Сергей М.
Москва
Системный аналитик
Middle+
3,500 Р/час
Бизнес-анализ
Git
REST
API
XML
JSON
Системный анализ
Redis
JMS
QlikView
Разработка требований
ETL
MQ
PMBOK
Fuse
Confluence
HTML
SQL
BPMN
Agile
SOAP
UML
Postman
BABOK
Qt QML
Visio
Jira
MS Office
MS SQL Server
Oracle Database
PostgreSQL
Trello
UI
Use case
MS Visio
REST API
UX
+37

Ключевые навыки ВPMN UML Use cases User stories UX UI BABOK PMBOK ТЗ Разработка требований Agile ETL SOAP REST JMS EE MQ XML JSON Confluence API OpenAPI SQL QlikView QlikSense UX-схемы Jira MS Office Visio Postman Pmbok REST API Websocket MQ Broker 1. Тестирование Функциональное и приемочное в основном. Довольно много приходилось заниматься при построении информационных решений. Почти всегда использовал ручное тестирование, знаком с разными методами. Опираюсь, как правило, на методологию Myers. Есть понимание интеграционного тестирования, включая ПО. Хорошо пишу сценарии тестирования с точки зрения пользовательской документации. 2. Разработка Работал почти со всеми основными трекерами по работе с разработкой: Jira, Confluence, Trello, Redmine. Знакомо пространство для совместного использования - Github, Bitbucket. Хорошее понимание есть по подходам к разработке и способы постановки задач в команде, какое описание необходимо готовить. 3. Инструменты SoapUI, JIRA, MS SharePoint, Redmine, MS Visual Studio/Code, MS Project, MS Office, PL/SQL Developer, Oracle SQL Developer 4. Языки программирования: C#, Java, C, C++, T-SQL, PL/SQL, HTML/CSS, Visual Basic, Python, PHP, JavaScript Языками программирования владею больше на базовом уровне, кроме JavaScript, Json, XML. 5. Системы конфигурационного управления: Git. 6. Методологии: Waterfall, SCRUM, Kanban. В методологии стараюсь использовать смешанные варианты, которые как правило адаптированы под российский рынок. 7. БД: Oracle Database, Microsoft SQL Server, PostgreSQL, Redis 8. Технологии и фреймворки: Json, XML, SOAP, .Net, .Net Core, UIPath 9. ОС: MS Windows, Linux 1. Знаю основные принципы архитектурного стиля – RESTful 2. Знаю какие существуют http методы, поддерживаемые REST, их особенности и различия 3. Знаю, что такое ресурс в REST архитектуре, как формировать URI для запроса к ресурсам, могу продемонстрировать на собеседовании 4. Имею практический опыт описания объектов JSON с помощью JSON schema

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail • EdTech • FoodTech • Media • Urban technology
АД
Александр Д.
Краснодар
Web разработчик
Middle+
2,875 Р/час
Git
PHP
Composer
CSS
Docker
Laravel
Yarn
LESS
TypeScript
Sass
JQuery
JavaScript
MySQL
PostgreSQL
React
Node.js
Redux
+17

в одной компании разрабатываю сайты и модули, а также верстаю темы оформления, от джуна вырос почти до сениора. Разрабатываю приложения на React. Кроме того, было много проектов, где требовались: Сборка, настройка и разработка contrib-модулей Drupal на PHP, использование Composer и компонентов Symfony. Разработка фронт-энд части мобильных приложений Разработка API для взаимодействия с платформой Arc Обучение junior-разработчиков в команде: постановка и декомпозиция задач, контроль выполнения, разбор ошибок, ревью кода и тд. Техническое руководство командой, старший разработчик команды в последнем проекте с 01.2022 по 01.2023. Ревью кода , составление плана и поиск решений в сложных задачах проекта Выполнение функций аналитика и технического консультанта по запросам прожект-менеджера.

Подробнее