Премия рунета
ИЛ
Илья Л.
Мужчина
Россия, Москва, UTC+3
Ставка
4 500 Р/час
НДС не облагается
Специалист доступен с 21 сентября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
AWS
functions
glue
Lambda
PySpark
Python
Redshift
S3
Steps
analysis
Analytics
Azure
Data Factory
Data Lake
Databricks
Microsoft
Power BI
Services
Storage
studio
Synapse
ALB
Bash
Bitbucket
CloudFormation
CloudWatch
Docker
EC2
Jenkins
Jira
Mesh
Oracle Database
Pl/SQL
RDS
Rebase
SNS
SVN
SQL
BI
C#
Oracle
Oracle SQL Developer
Amazon S3
DBeaver
Exasol
Talend
Elasticsearch
Kibana
Zeppelin
Отрасли
BioTech, Pharma, Health care & Sports
E-commerce & Retail
FoodTech
IoT
Главное о специалисте
- Senior Data Engineer с более чем 7-летним опытом работы, включая опыт создания платформ и конвейеров данных - Имеет знание и опыт моделирования DWH - Имеет практический опыт работы с коммерческими инструментами ETL - Обладает сильным опытом работы с данными - Имеет навыки работы с облачными сервисами AWS/MS Azure. - Активный, ответственный и открытый человек, готовый учиться и делиться приобретенными знаниями с коллегами, способный работать как самостоятельно, так и в команде.
Проекты   (8 лет 5 месяцев)
Telehealth Solution
Роль
Senior Data Engineer
Обязанности
Разработка и внедрение решения для хранилища данных на основе искусственного интеллекта для ведущего поставщика услуг телемедицины. Основной целью проекта является повышение эффективности принятия решений на основе данных и обеспечение всесторонней поддержки бизнес-анализа для крупнейшей медицинской компании в США, располагающей сеть из более чем 300 медицинских учреждений. Ответственен за создание чат-бота для ответов на запросы пользователей, используя информацию, хранящуюся в хранилище данных. Обязанности: - Разработка модулей захвата данных для загрузки данных в различные слои в S3, Redshift с использованием AWS (Glue, Lambda, Step Functions). - Инновационное создание чат-бота, использующего возможности хранилища данных - Создание заданий PySpark и Python Glue для реализации логики преобразования данных в AWS и хранения результатов в кластере Redshift - Сбор данных из внутренних/внешних конечных точек API с помощью Python - Использование каталога данных AWS Glue с краулером для получения данных из S3 и выполнения SQL-запросов - Создание мониторов, сигналов тревоги, уведомлений и журналов для Lambda-функций, Glue-заданий - Проектирование и разработка схемных моделей данных - Автоматизация отправки отчетов клиентам по электронной почте с помощью AWS SES (Simple Email Service) - Создание пользовательских панелей в Tableau для мониторинга ключевых бизнес-показателей в режиме реального времени бизнес-показатели Технологии Python, PySpark, AWS (Glue, Step Functions, S3, SES, Lambda, Redshift, SageMaker
Стек специалиста на проекте
glue, AWS, functions, Redshift, S3, Steps, PySpark, Python, Lambda
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Июль 2022 - По настоящее время  (2 года 3 месяца)
Cariad
Роль
Senior Data Engineer
Обязанности
Автомобильное программное обеспечение для Volkswagen. Проект был направлен на перенос аналитических сервисов из AWS в MS Azure. Основная цель заключалась в повышении IoTэффективности и возможностей существующей платформы данных. В частности, команда работала над созданием решения Autonomous Driving Platform на базе Azure Data Lake. Это решение предназначалось не только для хранения данных измерений, но и для облегчения обработки этих данных для повторного моделирования сценариев автономного вождения. Обязанности: - Анализ недостатков и ограничений текущей платформы данных - Проектирование и разработка ингрессии Elasticsearch для нового источника - Разработка/применение метрик, разработанных заказчиком - Определение стек ПО для DevOps и средств аналитики и визуализации данных (MVP концепция) Технологии: Python, Elasticsearch, Zeppelin, MS Azure (Data Lake Storage, Data Factory), AWS (EC2, S3), Kibana, Bitbucket
Стек специалиста на проекте
AWS, Data Lake, Data Factory, Elasticsearch, Kibana, Bitbucket, Storage, S3, Zeppelin, EC2, Python, Azure, Microsoft
Отрасль проекта
IoT
Период работы
Июль 2021 - Июль 2022  (1 год 1 месяц)
Estee Lauder
Роль
Data Engineer
Обязанности
Estee Lauder является мировым лидером в области красоты. Компания специализирующаяся исключительно на престижной косметике, уходе за кожей, ароматах и волосах с разнообразным портфолио из 25+ брендов, продающихся примерно в 150 странах. Задача проекта связана с переносом маркетинговых аналитических сервисов в MS Azure Cloud и разработкой аналитической базы данных, Analysis Services. Обязанности: - Анализ полуструктурированных данных в хранилище Azure Data Lake - Создание конвейеров в Azure Data Factory, которые загружают данные из Azure Data Lake в Azure Synapse. - Подготовка модели данных для Azure Synapse и последующее согласование модели с заказчиком - Использование Azure Data Factory для создания эффективных потоков данных для поддержки Power BI отчетности - Подготовка семантической модели с использованием сервисов Azure Analysis - Настройка ключевых функций в премиум-настройке Power BI клиента, включая конвейеры развертывания, модели самообслуживания и отчетность на уровне арендаторов с использованием REST API администратора Технологии: MS Azure (Data Lake Storage Gen2, Synapse Analytics, Data Factory, Databricks, Synapse Studio, Analysis Services), DBFS, Power BI
Стек специалиста на проекте
Synapse, studio, analysis, Databricks, Data Lake, Data Factory, Power BI, Analytics, Storage, Services, Azure, Microsoft
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2020 - Июль 2021  (8 месяцев)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский Государственный Университет Аэрокосмического Приборостроения
Специальность
Прикладная математика
Завершение учебы
2018 г.

Похожие специалисты

AI & Robotics • BioTech, Pharma, Health care & Sports • FinTech & Banking
КЗ
Константин З.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
CI/CD
Databricks
Docker
Docker Compose
GreenPlum
HDFS
+50

Тимлид / дата-инженер с опытом работы более 5 лет. У меня большой опыт разработки и внедрения надежных и масштабируемых систем. Я хорошо разбираюсь в различных технологиях. Считаю успешную работу каждого члена команды результатом успешной работы всей команды. Программирование – это мое хобби, которое стало частью моей жизни. Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Брокеры сообщений (Kafka). Cloud AWS (Redshift, S3, EKS, RDS, MWAA, Secret Manager, EC2, SQS, SNS, Glue, Cloudwatch, Lambda, Cognito и т.д.), Azure (Data Factory, DevOps, Virtual Machines, App Service, Storage Account, Key Vault, Container Registry, Azure SQL и т. д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL, MS SQL), Базы данных NoSQL (Redis, MongoDB). Машинное обучение и Data Science Python (Pandas, NumPy), MLflow. Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), Bash, Kubernetes, Terraform, Jenkins, CI/CD. Системы контроля версий Git (GitHub), Azure DevOps.

Подробнее
AgroTech • BioTech, Pharma, Health care & Sports • E-commerce & Retail
ОГ
Олег Г.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
Cassandra
CI/CD
Databricks
Docker
Docker Compose
DynamoDB
+42

Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности. Домены Аналитика, Ритейл, Здравоохранение Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Snowflake, Брокеры сообщений (RabbitMQ, Kafka). Cloud AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL), Базы данных NoSQL (Cassandra, DynamoDB). Машинное обучение и Data Science Python (Pandas, NumPy). Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins. Backend Flask, Connexion, SQLAlchemy, OpenAPI. Системы контроля версий Git (GitHub, Bitbucket).

Подробнее

Недавно просмотренные специалисты

EdTech • Government & Public Sector • HRTech
ДД
Давид Д.
Димитровград
Java разработчик
Middle+
3 625 Р/час
ELK
Java 2
front
GitLab
Разработка
Kubernetes
Программное обеспечение
Postman
Spring Data
Lombok
+70

Давид — опытный Java-разработчик уровня Middle+. Обладает навыками в области CI/CD, DevOps и микросервисной архитектуры. Имеет опыт работы над проектами в сферах Government & Public Sector, HRTech и EdTech. Участвовал в разработке системы оповещения МЧС о лесном пожаре, портала Научно-Технического Центра университета, сервиса управления данными о сотрудниках компании и других проектов. На проектах выполнял задачи по разработке Android-приложений и Backend-сервисов, координации и планированию задач, развёртыванию инфраструктуры, внедрению DevOps-практик, автоматизации процессов, написанию CI/CD для установки/обновления продукта, сопровождению команды, грумингу задач, код-ревью, реализации микросервисной архитектуры и управлению разработкой.

Подробнее
GameDev • Urban technology
МК
Михаил К.
Пермь
QA ручной
Senior
2 375 Р/час
Регрессионное тестирование
Integration testing
Doc
GM
Unit testing
тесткейсов
Контроль версий
GitLab
Postman
консоль разработчика
+41

• Знание жизненного цикла программного обеспечения и теории тестирования; • Составление и ведение тестовой документации (Jira, Testrail, Confluence); • Работа с системами баг трекинга; • Написания тест-кейсов; • Применение техник тест-дизайна; • Интеграционное тестирование; • Модульное тестирование; • Регрессионное тестирование; • Функциональное/нефункциональное тестирование; • Тестирование Web (HTML, CSS, DevTools); • Работа с SQL ( MySQL, PostgreSQL, MongoDB); • Работа с xml-конфигами; • Работа с протоколами http/https; • Тестирование REST API (Postman, Swagger); • Работа со снифферами (Charles,fiddler); • Понимание принципов работы брокеров сообщений; • Работа с системами контроля версий (GitLab,TortoiseSVN).

Подробнее