ЕК
Егор К.
Мужчина, 26 лет
Беларусь, Минск, UTC+3
Ставка
4 000 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Разработчик T-SQL
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
● Python
● Разработка ETL/ELT-пайплайнов
● Умение писать многоразовый код
● Опыт работы с инструментами DevOps
● Экспертное знание SQL
● Разработка пайплайна данных
● Обработка больших данных
● Управление облачными сервисами
● Практики DevOps/MLOps
Проекты
(6 лет 4 месяца)
Разработка системы оптимизации цепочек поставок в розничной торговле
Роль
Инженер данных
Обязанности
Разработка системы оптимизации цепочек поставок в розничной торговле. Система упростила процесс цепочки поставок за счет интеграции и обработки больших объемов данных. Для поддержки системы были разработаны расширенные модели данных и процессы ETL. Проект привел к значительному повышению эффективности, снижению затрат и прибыльности.
● Разработка дизайна Data Warehouse (DWH)
● Определение четких целей и задач для оптимизации цепочки поставок.
● Сбор актуальных данных на различных этапах цепочки поставок.
● Использование Pandas для выявления недостатков и областей улучшения.
● Написание и оптимизация сложных SQL-запросов для извлечения и анализа данных из Amazon RDS
● Проектирование пайплайнов ETL с помощью AWS Glue
● Создание сложных моделей данных для улучшения процесса принятия решений в цепочке поставок.
● Анализ бизнес-требований и перевод их в модели технических данных.
● Разработка и внедрение хранимых процедур с использованием T-SQL для автоматизации процессов в системе, таких как расчет уровня запасов, прогнозирование потребностей, обработка транзакций и управление поставками
● Написание триггеров для автоматической обработки событий, таких как добавление нового заказа или обновление статуса поставки
● Беспрепятственная интеграция новой системы оптимизации с существующими розничными платформами.
● Проверка системы на соответствие всем техническим и бизнес-требованиям посредством тщательного тестирования.
● Настройка динамических фильтров и визуализаций для удобного представления данных с использованием QuickSight
● Полнотекстовый поиск с помощью OpenSearch
● Миграция данных из локальных SQL Server баз данных в Amazon RDS с минимизацией времени простоя и обеспечения целостности данных
● Разработка Redshift SQL скриптов для анализа данных.
● Использование каталога данных Glue в качестве центрального хранилища метаданных.
● Создание функции бессерверной обработки данных с помощью Lambda.
● Интеграция Greenplum с пайплайнами ETL для эффективной загрузки данных
● Интегрирация Lambda с S3 и DynamoDB для создания архитектур, управляемых событиями.
● Оценка влияние системы после внедрения и определение области для будущих улучшений.
Стек специалиста на проекте
glue, ecr, AWS, Redshift, Git, Pandas, GitHub, inmemory, T-SQL, OpenSearch, Visual Studio, IAM, S3, Docker Compose, ECS, Docker, Python, GitHub Actions, Lambda, DynamoDB, GreenPlum, CloudWatch, Bash scripting, RDS, MySQL, service broker, kinesis, CI/CD
Отрасль проекта
E-commerce & Retail
Период работы
Август 2022 - По настоящее время
(3 года)
Предоставление услуг по разработке данных для ведущей платформы электронной коммерции, специализирующейся на недорогих модных и люксовых брендах
Роль
Инженер данных
Обязанности
Предоставление услуг по разработке данных для ведущей платформы электронной коммерции, специализирующейся на недорогих модных и люксовых брендах. Данные были обработаны и преобразованы для создания рекомендательной службы на основе машинного обучения, которая улучшает качество обслуживания клиентов и способствует росту бизнеса. Сервис использует передовые алгоритмы машинного обучения для анализа поведения, предпочтений и истории покупок клиентов, генерируя персонализированные рекомендации по продуктам. Это привело к увеличению вовлеченности клиентов, увеличению продаж и повышению уровня удержания клиентов.
● Расширение/изменение существующих DAG Airflow и создание новых в соответствии с указанными требованиями.
● Создание пользовательских операторов Airflow для специального извлечения данных и сценариев загрузки.
● Настройка и отладка заданий преобразования Databricks
● Анализ пользовательского интерфейса Spark и метрик для кластеров, управляемых Databricks.
● Внесение необходимых изменений в команды по анализу данных
● Проектирование и оптимизация запросов в Greenplum для повышения производительности обработки больших объемов данных
● Миграция с клиента MLFlow, размещенного в контейнере AWS ECS, на клиент, управляемый Databricks
● Внедрение интеграции Slack в один из ключевых пайплайнов данных компании для получения сообщений Slack с помощью AWS Cloudwatch. Журналы уровня задач, прикрепляемые при сбоях в соответствующей группе DAG Airflow.
● Обновление версии AWS MWAA с 2.4.3 до 2.7.2, что делает переход максимально плавным
● Мониторинг и оптимизация производительности Apache Superset, визуализация нагрузок и статистик запросов Snowflake
● Огранизация храненияя данные в Hadoop HFDS
● Создание и расширение политик и ролей AWS IAM для различных нужд, связанных с интеграцией и разработкой.
● Внедрение практик IaC путем развертывания стеков сервисов AWS с использованием AWS CloudFormation, где это возможно.
● Настройка и создание действий GitHub как части рабочих процессов CI/CD.
● Управление развертыванием моделей AWS SageMaker
Стек специалиста на проекте
Apache Superset, ecr, AWS, Databricks, Git, GitHub, Hadoop, Apache Spark, T-SQL, IAM, S3, CloudFormation, CodeBuild, Docker Compose, ECS, Snowflake, EC2, PySpark, Docker, Python, GitHub Actions, DynamoDB, GreenPlum, CloudWatch, Apache AirFlow, Bash scripting, CI/CD
Отрасль проекта
E-commerce & Retail
Период работы
Март 2021 - Август 2022
(1 год 6 месяцев)
Проект оптимизации запасов
Роль
Инженер данных
Обязанности
Проект оптимизации запасов — это широкомасштабная программа, направленная на пересмотр и улучшение методов управления запасами в розничной компании. Запасы составляют основную долю операционных расходов, и эффективное управление ими имеет важное значение для бесперебойной работы, удовлетворения спроса клиентов и повышения прибыльности. В этом проекте используются подходы, основанные на данных, и сложная аналитика для уточнения количества запасов, сокращения затрат на хранение, предотвращения нехватки запасов и повышения общей эффективности цепочки поставок.
● Сотрудничество с бизнес-аналитиками и архитекторами данных для обеспечения согласованности моделей данных, потребностей бизнеса и архитектуры данных.
● Проведение профилирования и анализа данных для обеспечения точности, полноты и согласованности данных.
● Построение комплексных сквозных пайплайнов ETL (извлечение, преобразование, загрузка).
● Создание и оптимизация сложных SQL-запросов.
● Настройка решений резервного копирования для баз данных SQL
● Создание хранимых процедур и функций на PL/pgSQL для автоматизации процессов управления запасами, включая расчёт оптимальных уровней запасов и прогнозирование спроса
● Оптимизация существующих процедур для повышения производительности и снижения времени выполнения запросов
● Интеграция QuickSight с RDS для автоматической выгрузки данных
● Создание и мониторинг индексов ElasticSearch
● Анализ данных и устранение пропущенных значений с помощью Pandas
● Разработка модульных тестов для функций и процедур, написанных на PL/pgSQL, для обеспечения их корректности и надежности
● Выполнение проверок качества данных, включая создание тестовых примеров и контрольных списков.
● Создание и организация систем и объектов баз данных для максимизации эффективности и функциональности.
● Проведение разведочного анализа данных
Стек специалиста на проекте
glue, ELK, Gitlab CI, AWS, GitLab, athena, quicksight, Databricks, Redshift, Numpy, Elasticsearch, Git, Pandas, Kafka, Apache Spark, S3, SNS, PL/pgSQL, Docker Compose, SQS, EC2, PySpark, Docker, Python, Lambda, DynamoDB, Apache AirFlow, RDS, PostgreSQL, kinesis
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2019 - Февраль 2021
(1 год 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
