Оставьте заявку, мы подберем для вас подходящего специалиста за 48 часов!
Премия рунета
ОГ
Олег Г.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4,500 Р/час
НДС не облагается
Специалист доступен с 28 февраля 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Lead
Навыки
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
Cassandra
CI/CD
Databricks
Docker
Docker Compose
DynamoDB
GreenPlum
HDFS
Hive
Jenkins
Kafka
Kubernetes
Numpy
Pandas
PostgreSQL
PySpark
Python
RabbitMQ
Snowflake
SQL
Terraform
Yarn
Bitbucket
CloudWatch
CORS
EC2
ECS
EKS
Flask
Lambda
OpenAPI
SNS
SQLAlchemy
SQS
AWS EC2
GitHub
RDS
S3
Отрасли
AgroTech
BioTech, Pharma, Health care & Sports
E-commerce & Retail
Знание языков
Английский — B2
Главное о специалисте
Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности. Домены Аналитика, Ритейл, Здравоохранение Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Snowflake, Брокеры сообщений (RabbitMQ, Kafka). Cloud AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL), Базы данных NoSQL (Cassandra, DynamoDB). Машинное обучение и Data Science Python (Pandas, NumPy). Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins. Backend Flask, Connexion, SQLAlchemy, OpenAPI. Системы контроля версий Git (GitHub, Bitbucket).
Проекты   (6 лет 2 месяца)
Аналитическая система по охране здоровья животных
Роль
Тимлид / дата-инженер
Обязанности
Комплексная платформа по охране здоровья животных с особым упором на сектор свиноводства. Платформа анализирует данные со свиноферм различных клиентов, предоставляя подробную информацию о здоровье свиней, описывает исторические данные на информационных панелях, оценивает самочувствие свиней, предлагая рекомендации по оптимальным методам кормления и стратегиям продаж. Обязанности и достижения Проектирование и реализация высокопроизводительных пайплайнов сбора данных из различных источников с использованием AWS Databricks; Построение архитектуры проекта; Проведение спринт ревью; Управление временем и сроками выполнения задач; Обеспечение эффективного обмена информацией внутри команды; Регулярное общение с представителями бизнеса для выявления новых требований и изменений в приоритетах; Организовывал взаимодействие между различными командами разработчиков для решения архитектурных задач; Покрытие кода тестами; Введение и поддержка единого стиля кода всего проекта; Написание профессионально-технической документации в Confluence. Выполнение очистки и преобразования данных с помощью AWS Databricks; Создание DWH, используя Snowflake; Изменение размера кластера Snowflake согласно требованиям; Создание партиций в таблицах SQL; Разработка и внедрение структур баз данных, таблиц и представлений соответствующих конкретным требованиям приложения и определение основных сущностей, их атрибутов и первоначальной структуры базы данных; Создание индексов для оптимизации производительности запросов; Создание и мониторинг пайплайнов данных и рабочих процессов с помощью Apache Airflow; Трансформация данных с использованием Python, SQL и других языков программирования внутри Airflow DAG; Оптимизация расписания DAG для обеспечения эффективного использования ресурсов; Построение Dockerfile с использованием Bash; Развертывание инфраструктуры AWS через Terraform; Построение CI/CD пайплайнов с использование Jenkins; Реализация логики эндпоинтов REST API в Flask и Connexion; Обеспечение эффективной и надежной передачи данных из Kafka в локальную систему; Мониторинг и устранение неисправностей Apache Spark и производительности кластера; Создание триггеров для ML-модели на AWS Lambda; Построение пайплайнов с помощью Apache Spark; Технологии Python, SQL, Kafka, Snowflake, Apache Airflow, Databricks, Apache Spark (PySpark, Core, SQL, Streaming, и т.д.), AWS(S3, Lambda, ECS, CloudWatch, SNS, SQS, EC2, EKS и т.д), PostgreSQL, Pandas, NumPy, Bash, Docker, Docker Compose, Kubernetes, Jenkins, Terraform, Flask, Connexion, SQLAlchemy, OpenAPI, Bitbucket.
Стек специалиста на проекте
Databricks, SQLAlchemy, Numpy, Bash, Pandas, Bitbucket, Kubernetes, CORS, Terraform, Kafka, Apache Spark, SNS, Docker Compose, ECS, EKS, SQS, Snowflake, EC2, PySpark, Docker, SQL, Python, Jenkins, Lambda, Flask, CloudWatch, Apache AirFlow, OpenAPI, PostgreSQL
Отрасль проекта
AgroTech
Период работы
Январь 2021 - По настоящее время  (3 года 2 месяца)
Система оптимизации трейд маркетинга
Роль
Дата-инженер
Обязанности
Проект служит дополнением к существующим у клиентов системам TPO, обеспечивая расширенный анализ, методы оптимизации и предписывающие рекомендации. Посредством оценки данных он помогает определить наиболее эффективные графики торгового продвижения и точно прогнозировать их эффективность. Сложность проекта заключается в построении client-agnostic архитектуры. Обязанности и достижения Построение DWH на Snowflake; Проектирование SQL-баз данных и обеспечение их стабильности, надежности и производительности; Создание и оптимизация схемы данных в основном хранилище, включая таблицы, индексы, представления и другие объекты базы данных; Определение ключевых столбцов и границ разделения на основе характеристик данных и образцов доступа; Анализ структуры и форматов данных в операционных источниках; Создание таблиц для хранения данных в соответствии с логической моделью данных и требованиями SCD; Оптимизация алгоритмов моделирования данных; Разработка и реализация механизмов извлечения данных из операционных источников; Очистка и агрегирование данных с помощью Apache Spark. Обработка и оптимизация кластеров Apache Spark; Написание пользовательских Airflow операторов, хуков, триггеров и сенсоров. Оркестрация с помощью Apache Airflow; Анализ существующих SQL-запросов для улучшения производительности; Написание профессионально-технической документации в Confluence; Оптимизация запросов к базам данных и процессов для обеспечения быстрого и эффективного доступа к данным; Ревью кода и рефакторинг. Технологии Python, SQL, Apache Airflow, Snowflake, Apache Spark (PySpark, Core, SQL, Streaming, и т.д.), AWS (EC2, EKS, ECR, S3, SNS, SQS, Lambda, Athena, DynamoDB, RDS и т.д.), PostgreSQL, Pandas, NumPy, Kubernetes, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
AWS EC2, Numpy, Pandas, Kubernetes, CORS, GitHub, Apache Spark, S3, SNS, Docker Compose, EKS, SQS, Snowflake, PySpark, Docker, SQL, Python, Lambda, DynamoDB, Apache AirFlow, RDS, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2020 - Январь 2021  (1 год)
Сервис для создания безбарьерной среды и доступности в здравоохранении
Роль
Дата-инженер
Обязанности
Целью проекта является создание инновационной платформы ритейла в медицинской сфере, объединяющей онлайн-покупки с качественными медицинскими товарами и услугами. Проект предоставляет персонализированные рекомендации и предложения, учитывая индивидуальные потребности и предпочтения каждого клиента. Обязанности и достижения Управление и оптимизация хранения данных в HDFS; Выгрузка данных из различных источников в Hadoop HDFS; Написание SQL запросов и процедур; Тестирование существующих процессов; Использование Apache Spark для обработки больших данных в режиме реального времени и их последующего анализа; Обработка и последующая агрегация данных с помощью Apache Spark; Построение DWH на основе Greenplum; Оптимизация SQL кода для устранения проблем с производительностью базы данных; Преобразование необработанных данных в формат, пригодный для анализа и отчетности; Построение Dockerfile с использованием Bash. Технологии Python, SQL, Apache Hadoop (HDFS, MapReduce, YARN, Hive), RabbitMQ, Apache Airflow, Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), Pandas, NumPy, PostgreSQL, Greenplum, Cassandra, Kubernetes, Bash, Docker, Docker Compose, Github.
Стек специалиста на проекте
Yarn, Numpy, Hive, Bash, Pandas, Kubernetes, CORS, GitHub, Cassandra, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, Docker, SQL, Python, GreenPlum, Apache AirFlow, PostgreSQL, RabbitMQ
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Январь 2018 - Февраль 2020  (2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и программная инженерия
Завершение учебы
2022 г.

Похожие специалисты

AI & Robotics • BioTech, Pharma, Health care & Sports • FinTech & Banking
КЗ
Константин З.
Минск
Data инженер
Lead
4,500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
CI/CD
Databricks
Docker
Docker Compose
GreenPlum
HDFS
+50

Тимлид / дата-инженер с опытом работы более 5 лет. У меня большой опыт разработки и внедрения надежных и масштабируемых систем. Я хорошо разбираюсь в различных технологиях. Считаю успешную работу каждого члена команды результатом успешной работы всей команды. Программирование – это мое хобби, которое стало частью моей жизни. Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Брокеры сообщений (Kafka). Cloud AWS (Redshift, S3, EKS, RDS, MWAA, Secret Manager, EC2, SQS, SNS, Glue, Cloudwatch, Lambda, Cognito и т.д.), Azure (Data Factory, DevOps, Virtual Machines, App Service, Storage Account, Key Vault, Container Registry, Azure SQL и т. д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL, MS SQL), Базы данных NoSQL (Redis, MongoDB). Машинное обучение и Data Science Python (Pandas, NumPy), MLflow. Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), Bash, Kubernetes, Terraform, Jenkins, CI/CD. Системы контроля версий Git (GitHub), Azure DevOps.

Подробнее
BioTech, Pharma, Health care & Sports • FinTech & Banking • Manufacturing
ВС
Владислав С.
Минск
Data инженер
Senior
3,750 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
AWS RDS
Bash
BigQuery
Bitbucket
cloud
Cloud Functions
+85

Разработчик баз данных / Дата Инженер с опытом работы более 5 лет. Я преданный своему делу инженер, предлагающий эффективные решения, которые превосходят ожидания клиентов. Сильный коммуникатор и сотрудник, способный понять требования бизнеса и разработать стратегию успеха. Независимо от того, работаю ли я самостоятельно или в составе команды, я всегда стремлюсь к достижению результатов, которые превосходят ожидания и способствуют успеху в бизнесе. Языки программирования Python, SQL. Инженерия данных Message Brokers (Kafka), Apache Spark (PySpark, Core, SQL), Databricks, Snowflake, ETL/ELT (Apache Airflow). Машинное обучение и Data Science Python (Pandas, NumPy). Облачные сервисы Azure (DevOps, Delta Lake, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Managed Identity, Applications Insights, Dynamics 365, Cosmos DB, etc.). Базы данных Реляционные базы данных (MS SQL Server, MS Dataverse), Базы данных NoSQL (Redis). DevOps Docker, Docker Compose, Kubernetes, Bash scripting. Системы контроля версий Git (Github, Azure DevOps). Домены Аналитика, Здравоохранение, Финансы

Подробнее
E-commerce & Retail • Urban technology
АТ
Александр Т.
Гродно
Data инженер
Middle
2,465 Р/час
Apache AirFlow
Bitbucket
Clickhouse
Django
Django Rest Framework
Docker
Git
GreenPlum
HDFS
Hive
+30

Опыт работы на всех этапах жизненного цикла разработки программного обеспечения, включающий в себя: работа с базами данных PostgreSQL, ClickHouse, GreenPlum; исследовательский анализ данных с использованием Pandas, Numpy, Seaborn; построение ML-моделей для дополнения отсутствующих данных; проектирование и разработка ETL-процессов с использованием Apache Airflow, SQL, Python, Spark; инструменты скрейпинга BeautifulSoup, Selenium; работа с экосистемой Hadoop - HDFS, YARN, Spark, HBase, Hive, Pig; создание информационных дашбордов с помощью Tableau, Redash, Superset; back-end разработка с помощью Python, Django, DjangoRestFramework. Дополнительная информация: Курсы: Karpov.Courses (01/2021 – 07/2021) Аналитик данных Karpov.Courses (11/2021 – 12/2021) Симулятор аналитика Karpov.Courses (03/2022 – 09/2022) Инженер данных Тренинг-центр ISSoft (06/2022 – 09/2022) «Школа Big Data»

Подробнее

Недавно просмотренные специалисты

AgroTech • BioTech, Pharma, Health care & Sports • E-commerce & Retail
ОГ
Олег Г.
Минск
Data инженер
Lead
4,500 Р/час
AWS EC2
Yarn
Databricks
SQLAlchemy
Numpy
Hive
Bash
Pandas
Bitbucket
Kubernetes
+42

Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности. Домены Аналитика, Ритейл, Здравоохранение Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Snowflake, Брокеры сообщений (RabbitMQ, Kafka). Cloud AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL), Базы данных NoSQL (Cassandra, DynamoDB). Машинное обучение и Data Science Python (Pandas, NumPy). Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins. Backend Flask, Connexion, SQLAlchemy, OpenAPI. Системы контроля версий Git (GitHub, Bitbucket).

Подробнее
Logistics & Transport • Telecom
ТШ
Тамерлан Ш.
Бишкек
QA авто
Middle+
2,875 Р/час
Functional testing
Cross-browser testing
Postman
Базы данных
Data
API
XML
Java
Scrum
Git
+40

- С опытом работы в качестве AQA с 3х летним стажем, я отлично справляюсь с созданием надежных автоматизированных фреймворков с использованием Java для обеспечения качества как для систем Backend, так и для Frontend. Мой опыт охватывает различные области, такие как E-Commerce, Telecommunications и Delivery Services. У меня также есть понимание процессов и процедур жизненного цикла тестирования(STLC), включая анализ требований, создание тестов, определение наборов тестов, документирование дефектов, создание отчетов и многое другое. - Я имею богатый опыт разработки планов тестирования, стратегий тестирования, тестовых случаев, отчетов о тестировании и тщательной документации как для ручного, так и для автоматизированного тестирования. - Умею строить и поддерживать разнообразные фреймворки автоматизации, включая модели BDD/TDD и Data-Driven. - У меня есть опыт установки и управления системами управления версиями, такими как GIT и GitHub. - Я работаю с Unit Test Frameworks, такими как TestNG и Junit. - Мой навык включает выполнение тестирования на разных платформах, включая работу с Sauce Labs. - Я владею HTML, CSS, HTTP, JavaScript, XML и jQuery. - Я проводил тестирование баз данных и бэкэнда, используя SQL-запросы для проверки данных и их целостности. Я имел дело со сложными SQL-запросами с использованием операторов JOIN, GROUP BY, а также вложенных запросов. - У меня есть опыт использования ООП для тестирования, следуя стандартам на Java. - Моя способность переводить бизнес требования в конкретные сценарии тестирования и их приоритетизацию основана на их необходимости и важности.

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail
НК
Наталья К.
Самара
Системный аналитик
Middle+
3,000 Р/час
UML
Postman
Scrum
Swagger
YouTrack
Miro
Битрикс
MSSQL
Confluence
BPMN
+21

Технические навыки и технологии: - Сбор бизнес- требований и описание функциональных и нефункциональных требований. - Анализ бизнес-процессов AS IS и TO BE - Моделирование бизнес-процессов с помощью нотаций BPMN - Знание нотаций системного моделирования (UML). - Формирование UserStory и UseCase. - Разработка и описание интеграционных процессов по технологии Rest Api. - Понимание основных принципов и методов интеграции различных систем - Описание требований к UI/UX. - Составление прототипов дизайна в Figma. - Работа с реляционной БД MSSQL. Написание простых запросов. - Разработка ER- диаграмм ( на уровне концептуальной и логической моделей) - Прием и тестирование функционала интерфейса системы. - Создание инструкций и руководств пользователя в системе. - Создание презентаций готового функционала для заказчика. - Работа в системах управления проектами и задачами (JIRA, YOUTRACK) - Описание тест-кейсов. - Коммуникация между IT командами проекта и и заинтересованными сторонами от Бизнес и Операционных подразделений. - Работа по методологии разработки Agile, Scrum. - Хорошие коммуникативные навыки.

Подробнее