КЖ
Куаныш Ж.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4,000 Р/час
НДС не облагается
Специалист доступен с 28 апреля 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Русский — C2
Главное о специалисте
Дата-инженер с опытом работы более 4 лет.
Я всегда сфокусирован на максимально эффективной обработке данных. Имею богатый опыт применения Apache Spark, PySpark и Apache Airflow в разработке высоконагруженных систем, а также опыт работы с различными базами данных, такими как PostgreSQL, MSSQL, NoSQL базами, хранилищами данных как Snowflake, BigQuery и Greenplum. Считаю эффективную коммуникацию в команде залогом успеха любого проекта.
Проекты
(5 лет 1 месяц)
Система оптимизации логистики в сфере электронной коммерции
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, направленной на оптимизацию процессов логистики в сфере электронной коммерции. Проект включал в себя создание алгоритмов для оптимальной маршрутизации грузов, минимизации времени доставки и улучшения общей эффективности цепочки поставок.
Обязанности и достижения
Работа с Apache Spark SQL для выполнения сложных запросов к данным;
Использование PySpark для очистки и агрегации данных, пакетной обработки, создания задач Spark, настройки потоковых данных, фильтрации данных от аномалий, обработки отсутствующих значений;
Реализация и рефакторинг пользовательских операторов и хуков Apache Airflow;
Написание и оптимизация существующих SQL запросов;
Организация и мониторинг пайплайнов данных и рабочих процессов с помощью Apache Airflow;
Разработка структур баз данных Greenplum;
Разработка, тестирование и оптимизация Apache Airflow DAG-ов;
Составление сложных SQL-запросов и использование MPP-архитектуры Greenplum для оптимизации производительности запросов;
Построение ETL-пайплайнов;
Управление доступом к базе данных PostgreSQL;
Поиск и устранение уязвимостей в базе данных PostgreSQL;
Настройка мониторинга базы данных PostgreSQL;
Перестройка индексов таблиц PostgreSQL и оптимизация существующих запросов;
Разработка скриптов для загрузки данных в MongoDB;
Обработка данных с использованием PySpark;
Развертывание и конфигурация виртуальных машин AWS E;
Работа с механизмами триггеров для активации функций AWS Lambda;
Управление темами и разделами Kafka;
Использование Pandas и NumPy для выявления тенденций и закономерностей в данных;
Создание и настройка многопоточных сборочных процессов в Jenkins для ускорения времени сборки;
Код-ревью;
Стек специалиста на проекте
AWS, GitLab, Databricks, Numpy, Pandas, MongoDB, Kafka, Apache Spark, IAM, S3, SNS, Docker Compose, ECS, SQS, PySpark, Docker, Python, Jenkins, Lambda, GreenPlum, CloudWatch, Apache AirFlow, Bash scripting, RDS, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Март 2023 - По настоящее время
(1 год 2 месяца)
База знаний финансового учреждения
Роль
Дата - инженер
Обязанности
Основная задача проекта заключалась в разработке и внедрении базы знаний в инфраструктуру баз данных банковской системы. В результате база знаний была интегрирована с существующей реляционной базой данных банка, что позволило расширить возможности поиска данных и улучшить процесс принятия решений на основе данных. Важнейшим аспектом проекта был перенос логики и данных из одной базы данных в другую. Роли в проекте
Репликация и шардирование SQL-баз данных;
Оркестрация существующих SQL-кластеров баз данных;
Использование Apache Spark для объединения и агрегации данных из разных источников;
Создание пользовательских UDF для Spark SQL;
Написание и оптимизация SQL-запросов для PostgreSQL для обеспечения эффективного извлечения и обработки данных;
Занимался настраиванием и отслеживанием резервных копий баз данных и процедуры бэкапа в Greenplum;
Модификация Apache Airflow DAGs для выполнения заданий Spark;
Нормализация таблиц базы данных PostgreSQL для минимизации избыточности данных;
Интеграция Dataflow с хранилищем данных и извлечение данных из облачного хранилища Google Cloud Storage;
Использование функций окон и триггеров Dataflow;
Использование шаблонов Dataflow для повторного использования пайплайнов данных;
Использование средств GCP Dataflow для динамического перераспределения задач;
Постоянный мониторинг и уточнение процессов обеспечения качества данных и моделей данных в соответствии с обратной связью и изменяющимися потребностями бизнеса;
Написание и внедрение GCP Cloud Functions;
Настройка хранения изображений в облачном хранилище GCP Cloud Storage;
Использование инструментов развертывания в контейнерах Docker;
Автоматизация развертывания пайплайнов данных с использованием инструментов CI/CD;
Код-ревью.
Стек специалиста на проекте
PostgreSQL, Docker, Python, GitHub, BigQuery, Pandas, Numpy, GreenPlum, Apache Spark, Cloud Functions, Kafka, Storage, Docker Compose, GCP, PySpark, cloud, Bash scripting
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2021 - Март 2023
(2 года)
Система автоматизированного управления складом
Роль
Дата-инженер
Обязанности
Разработка и внедрение системы, обеспечивающей эффективное управление запасами на складе крупной логистической компании. Интеграция системы с существующими учетными программами и технологиями позволила оптимизировать процессы хранения, отслеживания и учета товаров, повысив общую эффективность логистики. Роли в проекте
Период
04.2019 - 04.2021
Обязанности и достижения
Участие в процессе тестирования Spark приложений;
Помощь в оптимизации использования памяти в Spark приложениях;
Обработка больших объёмов данных с помощью Apache Hadoop;
Поддержка в интеграции Apache Spark с S3;
Интеграция данных из различных источников в базу данных MSSQL;
Изменение схем баз данных в MSSQL Server;
Конфигурация функциональностей AWS S3;
Рефакторинг SQL-процедур в MSSQL Server;
Использование AWS Lambda для обработки уведомлений о событиях из базы данных AWS RDS;
Использование пакетных операций AWS S3 для вызова функции AWS Lambda для обработки большого набора объектов AWS S3;
Использование AWS Lambda для обработки записей в потоке данных AWS Kinesis;
Настройка и конфигурация инстансов AWS E, включая установку необходимых операционных систем и приложений;
Мониторинг, отладка и создание Airflow DAG-ов.
Стек специалиста на проекте
AWS, Databricks, Numpy, Pandas, Redis, GitHub, Apache Hadoop, Apache Spark, IAM, S3, MSSQL, Docker Compose, SQS, Snowflake, PySpark, Docker, Python, Lambda, CloudWatch, Apache AirFlow, Bash scripting, RDS, RabbitMQ
Отрасль проекта
Logistics & Transport
Период работы
Апрель 2019 - Апрель 2021
(2 года 1 месяц)
Формат работы
Формат работы
Удаленно, Офис
Командировки
Готов
Релокация
Внутри страны
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
БГУИР, Минск.
Специальность
Инженер по информационным технологиям и управлению,
Завершение учебы
2021 г.
Высшее
Учебное заведение
ЕНУ, Астана
Специальность
Автоматизация и управление. Бакалавр техники и технологии.
Завершение учебы
2019 г.
