Олег Г. Data инженер, Lead
ID 9761
ОГ
Олег Г.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 500 Р/час
НДС не облагается
Специалист доступен с 27 июля 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности.
Домены
Аналитика,
Ритейл,
Здравоохранение
Языки программирования
Python, SQL.
Инженерия данных
Apache Hadoop (HDFS, MapReduce, YARN, Hive),
Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.),
ETL/ELT (Apache Airflow),
Databricks,
Snowflake,
Брокеры сообщений (RabbitMQ, Kafka).
Cloud
AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.).
Базы данных
Реляционные базы данных (Greenplum, PostgreSQL),
Базы данных NoSQL (Cassandra, DynamoDB).
Машинное обучение и Data Science
Python (Pandas, NumPy).
Моделирование данных
Многомерное моделирование (Star Schema, Snowflake Schema),
Моделирование сущностей и отношений (ER),
Нормализация / Денормализация.
DevOps
Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins.
Backend
Flask, Connexion, SQLAlchemy, OpenAPI.
Системы контроля версий
Git (GitHub, Bitbucket).
Проекты
(6 лет 7 месяцев)
Аналитическая система по охране здоровья животных
Роль
Тимлид / дата-инженер
Обязанности
Комплексная платформа по охране здоровья животных с особым упором на сектор свиноводства. Платформа анализирует данные со свиноферм различных клиентов, предоставляя подробную информацию о здоровье свиней, описывает исторические данные на информационных панелях, оценивает самочувствие свиней, предлагая рекомендации по оптимальным методам кормления и стратегиям продаж.
Обязанности и достижения
Проектирование и реализация высокопроизводительных пайплайнов сбора данных из различных источников с использованием AWS Databricks;
Построение архитектуры проекта;
Проведение спринт ревью;
Управление временем и сроками выполнения задач;
Обеспечение эффективного обмена информацией внутри команды;
Регулярное общение с представителями бизнеса для выявления новых требований и изменений в приоритетах;
Организовывал взаимодействие между различными командами разработчиков для решения архитектурных задач;
Покрытие кода тестами;
Введение и поддержка единого стиля кода всего проекта;
Написание профессионально-технической документации в Confluence.
Выполнение очистки и преобразования данных с помощью AWS Databricks;
Создание DWH, используя Snowflake;
Изменение размера кластера Snowflake согласно требованиям;
Создание партиций в таблицах SQL;
Разработка и внедрение структур баз данных, таблиц и представлений соответствующих конкретным требованиям приложения и определение основных сущностей, их атрибутов и первоначальной структуры базы данных;
Создание индексов для оптимизации производительности запросов;
Создание и мониторинг пайплайнов данных и рабочих процессов с помощью Apache Airflow;
Трансформация данных с использованием Python, SQL и других языков программирования внутри Airflow DAG;
Оптимизация расписания DAG для обеспечения эффективного использования ресурсов;
Построение Dockerfile с использованием Bash;
Развертывание инфраструктуры AWS через Terraform;
Построение CI/CD пайплайнов с использование Jenkins;
Реализация логики эндпоинтов REST API в Flask и Connexion;
Обеспечение эффективной и надежной передачи данных из Kafka в локальную систему;
Мониторинг и устранение неисправностей Apache Spark и производительности кластера;
Создание триггеров для ML-модели на AWS Lambda;
Построение пайплайнов с помощью Apache Spark;
Технологии
Python, SQL, Kafka, Snowflake, Apache Airflow, Databricks, Apache Spark (PySpark, Core, SQL, Streaming, и т.д.), AWS(S3, Lambda, ECS, CloudWatch, SNS, SQS, EC2, EKS и т.д), PostgreSQL, Pandas, NumPy, Bash, Docker, Docker Compose, Kubernetes, Jenkins, Terraform, Flask, Connexion, SQLAlchemy, OpenAPI, Bitbucket.
Стек специалиста на проекте
Kubernetes, Databricks, SQLAlchemy, Numpy, Bash, Pandas, Bitbucket, CORS, Terraform, Kafka, Apache Spark, SNS, Docker Compose, ECS, EKS, SQS, Snowflake, EC2, PySpark, Docker, SQL, Python, Jenkins, Lambda, Flask, CloudWatch, Apache AirFlow, OpenAPI, PostgreSQL
Отрасль проекта
AgroTech
Период работы
Январь 2021 - По настоящее время
(3 года 7 месяцев)
Система оптимизации трейд маркетинга
Роль
Дата-инженер
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность. Сложность проекта заключается в построении client-agnostic архитектуры.
Обязанности и достижения
Построение DWH на Snowflake;
Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности;
Создание и оптимизация схемы данных в основном хранилище, включая таблицы, индексы, представления и другие объекты базы данных;
Определение ключевых столбцов и границ разделения на основе характеристик данных и образцов доступа;
Анализ структуры и форматов данных в операционных источниках;
Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD;
Оптимизация алгоритмов моделирования данных;
Разработка и реализация механизмов извлечения данных из операционных источников;
Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark;
Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow;
Анализ существующих SQL-запросов для улучшения производительности;
Написание профессионально-технической документации в Confluence;
Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным;
Ревью кода и рефакторинг.
Технологии
Python, SQL, Apache Airflow, Snowflake, Apache Spark (PySpark, Core, SQL, Streaming, и т.д.), AWS (EC2, EKS, ECR, S3, SNS, SQS, Lambda, Athena, DynamoDB, RDS и т.д.), PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Kubernetes, CORS, GitHub, DynamoDB, Lambda, Pandas, Numpy, Apache Spark, Docker Compose, Apache AirFlow, SQS, S3, SNS, Snowflake, EKS, PySpark, RDS, AWS EC2
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2020 - Январь 2021
(1 год)
Сервис для создания безбарьерной среды и доступности в здравоохранении
Роль
Дата-инженер
Обязанности
Целью проекта является создание инновационной платформы ритейла в медицинской сфере, объединяющей онлайн-покупки с качественными медицинскими товарами и услугами. Проект предоставляет персонализированные рекомендации и предложения, учитывая индивидуальные потребности и предпочтения каждого клиента.
Обязанности и достижения
Управление и оптимизация хранения данных в HDFS;
Выгрузка данных из различных источников в Hadoop HDFS;
Написание SQL запросов и процедур;
Тестирование существующих процессов;
Использование Apache Spark для обработки больших данных в режиме реального времени и их последующего анализа;
Обработка и последующая агрегация данных с помощью Apache Spark;
Построение DWH на основе Greenplum;
Оптимизация SQL кода для устранения проблем с производительностью базы данных;
Преобразование необработанных данных в формат, пригодный для анализа и отчетности;
Построение Dockerfile с использованием Bash.
Технологии
Python, SQL, Apache Hadoop (HDFS, MapReduce, YARN, Hive), RabbitMQ, Apache Airflow, Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), Pandas, NumPy, PostgreSQL, Greenplum, Cassandra, Kubernetes, Bash, Docker, Docker Compose, Github.
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Docker, SQL, Python, Bash, Kubernetes, CORS, Yarn, GitHub, Hive, Pandas, Numpy, GreenPlum, Apache Hadoop, Apache Spark, Cassandra, Docker Compose, Apache AirFlow, HDFS, PySpark
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Январь 2018 - Февраль 2020
(2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и программная инженерия
Завершение учебы
2022 г.
