Илья Л. Data инженер, Senior
ID 13581
ИЛ
Илья Л.
Мужчина
Россия, Москва, UTC+3
Ставка
4 500 Р/час
НДС не облагается
Специалист доступен с 21 сентября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
- Senior Data Engineer с более чем 7-летним опытом работы, включая опыт создания платформ и конвейеров данных
- Имеет знание и опыт моделирования DWH
- Имеет практический опыт работы с коммерческими инструментами ETL
- Обладает сильным опытом работы с данными
- Имеет навыки работы с облачными сервисами AWS/MS Azure.
- Активный, ответственный и открытый человек, готовый учиться и делиться приобретенными знаниями с коллегами, способный работать как самостоятельно, так и в команде.
Проекты
(8 лет 5 месяцев)
Telehealth Solution
Роль
Senior Data Engineer
Обязанности
Разработка и внедрение решения для хранилища данных на основе искусственного интеллекта для ведущего поставщика услуг телемедицины.
Основной целью проекта является повышение эффективности принятия решений на основе данных и обеспечение всесторонней поддержки бизнес-анализа для крупнейшей медицинской компании в США, располагающей сеть из более чем 300 медицинских учреждений. Ответственен за создание чат-бота для ответов на запросы пользователей, используя информацию, хранящуюся в хранилище данных.
Обязанности:
- Разработка модулей захвата данных для загрузки данных в различные слои в S3, Redshift с использованием AWS (Glue, Lambda, Step Functions).
- Инновационное создание чат-бота, использующего возможности хранилища данных
- Создание заданий PySpark и Python Glue для реализации логики преобразования данных
в AWS и хранения результатов в кластере Redshift
- Сбор данных из внутренних/внешних конечных точек API с помощью Python
- Использование каталога данных AWS Glue с краулером для получения данных из S3 и выполнения SQL-запросов
- Создание мониторов, сигналов тревоги, уведомлений и журналов для Lambda-функций, Glue-заданий
- Проектирование и разработка схемных моделей данных
- Автоматизация отправки отчетов клиентам по электронной почте с помощью AWS SES (Simple
Email Service)
- Создание пользовательских панелей в Tableau для мониторинга ключевых бизнес-показателей в режиме реального времени бизнес-показатели
Технологии
Python, PySpark, AWS (Glue, Step Functions, S3, SES, Lambda, Redshift, SageMaker
Стек специалиста на проекте
glue, AWS, functions, Redshift, S3, Steps, PySpark, Python, Lambda
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Июль 2022 - По настоящее время
(2 года 3 месяца)
Cariad
Роль
Senior Data Engineer
Обязанности
Автомобильное программное обеспечение для Volkswagen. Проект был направлен на перенос аналитических сервисов из AWS в MS Azure. Основная цель заключалась в повышении IoTэффективности и возможностей существующей платформы данных. В частности, команда работала над созданием решения Autonomous Driving Platform на базе Azure Data Lake. Это решение предназначалось не только для хранения данных измерений, но и для облегчения обработки этих данных для повторного моделирования сценариев автономного вождения.
Обязанности:
- Анализ недостатков и ограничений текущей платформы данных
- Проектирование и разработка ингрессии Elasticsearch для нового источника
- Разработка/применение метрик, разработанных заказчиком
- Определение стек ПО для DevOps и средств аналитики и визуализации данных (MVP
концепция)
Технологии:
Python, Elasticsearch, Zeppelin, MS Azure (Data Lake Storage, Data Factory), AWS (EC2, S3), Kibana, Bitbucket
Стек специалиста на проекте
AWS, Data Lake, Data Factory, Elasticsearch, Kibana, Bitbucket, Storage, S3, Zeppelin, EC2, Python, Azure, Microsoft
Отрасль проекта
IoT
Период работы
Июль 2021 - Июль 2022
(1 год 1 месяц)
Estee Lauder
Роль
Data Engineer
Обязанности
Estee Lauder является мировым лидером в области красоты. Компания специализирующаяся исключительно на престижной косметике, уходе за кожей, ароматах и волосах с разнообразным портфолио из 25+ брендов, продающихся примерно в 150 странах. Задача проекта связана с переносом маркетинговых аналитических сервисов в MS Azure
Cloud и разработкой аналитической базы данных, Analysis Services.
Обязанности:
- Анализ полуструктурированных данных в хранилище Azure Data Lake
- Создание конвейеров в Azure Data Factory, которые загружают данные из Azure Data Lake в Azure Synapse.
- Подготовка модели данных для Azure Synapse и последующее согласование модели с заказчиком
- Использование Azure Data Factory для создания эффективных потоков данных для поддержки Power BI отчетности
- Подготовка семантической модели с использованием сервисов Azure Analysis
- Настройка ключевых функций в премиум-настройке Power BI клиента, включая конвейеры развертывания, модели самообслуживания и отчетность на уровне арендаторов с использованием REST API администратора
Технологии:
MS Azure (Data Lake Storage Gen2, Synapse Analytics, Data Factory, Databricks, Synapse Studio, Analysis Services), DBFS, Power BI
Стек специалиста на проекте
Synapse, studio, analysis, Databricks, Data Lake, Data Factory, Power BI, Analytics, Storage, Services, Azure, Microsoft
Отрасль проекта
E-commerce & Retail
Период работы
Декабрь 2020 - Июль 2021
(8 месяцев)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский Государственный Университет Аэрокосмического Приборостроения
Специальность
Прикладная математика
Завершение учебы
2018 г.