Александр С. Data инженер, Senior
ID 31839
АС
Александр С.
Мужчина, 29 лет
Объединенные Арабские Эмираты, Дубай, UTC+4
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 26 сентября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
Data-инженер с 8-летним опытом разработки программных решений. Недавний и солидный практический опыт работы в Kubernetes, Docker, Helm и Terraform. Знания в облаках Azure и AWS. Опыт разработки сценариев с использованием Powershell и Bash. Сильный технический опыт в области BI и больших данных.
Проекты
(8 лет 7 месяцев)
Akveo
Роль
Data Engineer
Обязанности
Проект: Платформа обработки IoT данных системы водоснабжения города. Внедрение клиенто-специфичных требований в платформу и развертывание платформы на инфраструктуре клиента. Основная задача платформы - в реальном времени отслеживать состояния комплекса оборудования, обеспечивающего водой город, раннее обнаружение проблем до их наступления, планировать техобслуживание соответственно.
Платформу нужно было изменить, доработать и задеплоить на Azure подписку клиенту.
Обязанности:
-Адаптация и изменения кода Terraform и Terragrunt для деплоя клиенту
-Миграция Azure DevOps пайплайнов на Gitlab пайплайны
-Создание новых Terraform модулей для деплоя инфраструктуры новых сервисов
-Адаптирование Terraform модулей под нужды клиента
-Создание новых Helm чартов под специализированные сервисы клиента
-Настройка CI/CD процесса и деплоймент всей платформы на подписку клиента
-Разработка и оптимизация ETL процессов для ingest, transformation и загрузки данных в Lakehouse.
-Работа с Databricks для реализации решений на базе Spark, включая настройку кластеров, оптимизацию производительности и мониторинг.
-Участие в проектировании и реализации Lakehouse архитектуры с использованием Hadoop, Spark, Hive и Delta Lake, включая имплементацию медальонной архитектуры (Bronze, Silver, Gold).
-Опыт работы с on-prem Hadoop и Spark для задач, требующих контроля над инфраструктурой.
-Проведение PoC с Greenplum и анализ применимости для задач построения хранилища данных, с последующим выбором Lakehouse подхода.
Достижения
- Платформа успешно развернута на подписке клиента
- Создан специальный и очень сфокусированный на безопасность доступ к самой платформе
- Сильно усилена защита ресурсов Azure
- Пайплайны перенесены с Azure DevOps на self-hosted Gitlab для безопасности
- Создан модуль для создание мульти-тенантного IoT Hub с поддержкой полного цикла автоматизации менеджмента устройств в IoT Hub - auto-registration, auto updates management, etc.
Стек специалиста на проекте
Java, Bash, GitLab, Hive, Spark, Hadoop, Terraform, GreenPlum, ETL, Helm, Security, Azure DevOps, Azure, Drone, IoT, Azure Services, Pipelines, Centry, CI/CD, Databricks, Terragrunt, Delta Lake, Trino, Lakehouse
Отрасль проекта
Manufacturing
Период работы
Март 2025 - По настоящее время
(7 месяцев)
Akveo
Роль
Data Engineer
Обязанности
Проекты:
1. Manufacturing
2. Health
3. Finance (Иностранный банк)
Обязанности:
-Работа над непрерывным развертыванием и настройкой этого корпоративного
решения, поддерживающего более 150 клиентских фабрик, размещенных на Kubernetes
-Создание инфраструктуры в виде кода для большинства компонентов решения с использованием Terraform
-Разработка различных конвейеров Azure DevOps YAML для управления
процессами DevOps
-Использование Prometheus, Grafana для сбора и визуализации метрик кластера
-Использование Azure Container Insights для сбора других метрик кластера и их визуализации
-Использование Terragrunt для управления различными средами и экземплярами приложений платформы
-Разработка стратегии BCDR для платформы
-Настройка аутентификации и разрешения кластера Kubernetes с помощью Azure AD
-Работа над усилением безопасности во всех аспектах решения
-Использование AWS в качестве возможной системы для размещения решения, проверка различных сервисов. Как аналоги в Azure, были использованы следующие сервисы: S3, Redshift, Lambda, ECS, DMS, Secret Manager, Kinesis, Quicksight
-Создание и оптимизация ETL/ELT пайплайнов используя Apache Spark, dbt, Airflow, SSIS and Azure Data factory, в зависимости от проекта
-Создание пайплайнов для стриминга данных, используя Spark Structured Streaming и Azure Streaming Analytics
-Разработка структуры хранилища данных и Lakehouse
-Создание и настройка таблиц в Hive
-Создание таблиц, view, других объектов и администрирование баз данных MS SQL, MySQL, PostgreSQL, Oracle
-Обработка данных с использованием Python, Java
Достижения
Various IaaS and PaaS Azure and AWS services, Azure DevOps, Github Actions, Terraform, Terragrunt, Kubernetes, Helm, Prometheus, Grafana, Docker, Powershell, Bash, PowerBI, Spark, Databricks, Hive, dbt, Auth0, Airflow, Azure Data Factory
Стек специалиста на проекте
Docker, Bash, Power BI, Grafana, GitHub Actions, Kubernetes, Prometheus, Hive, Spark, PowerShell, Data Factory, Auth0, Terraform, Helm, Azure DevOps, Azure, Apache AirFlow, IaaS, AWS Services, Databricks, DBT, Terragrunt
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2020 - Март 2025
(4 года 10 месяцев)
Akveo
Роль
Data Engineer
Обязанности
Проект: Data and Analytics платформа для крупного европейского производителя автомобильных деталей и запчастей.
Проект собирает IoT данные с сенсоров на станках производства, данные из внутренних систем заказчика (ERP, HR, Production plans, Maintenance plans, Logistics, файлы эксель и др.)
Дает единый веб интерфейс аналитики и управления предприятием, умную систему раннего предупреждения поломок, а также планирования производства.
-Настройка проверки подлинности Azure AD для приложения
-Работа над обеспечением безопасности взаимодействия между микросервисами
-Создание конвейеров Azure DevOps для управления непрерывной интеграцией
-Работа над инфраструктурой в виде кода с использованием шаблонов ARM
-Работа над конфигурацией ресурсов Azure, обеспечивающей безопасность и экономичность
-Разработана и внедрена платформа обработки данных как для пакетной обработки, так и для потоковой передачи данных в режиме реального времени, которая была расширена до более чем 2000 устройств, непрерывно отправляющих телеметрию.
-Созданы различные расширенные отчеты Power BI для самообслуживания:
1. Мониторинг производственного процесса в режиме реального времени
2. Отчет по шаблону для построения системы самообслуживания
3. Отчет о функциональности вопросов и ответов
Стек специалиста на проекте
Power BI, MongoDB, YAML, Data, PowerShell, Аналитика, Azure DevOps, Azure, template, database, ARM, explorer, Azure SQL, streaming
Отрасль проекта
Hardware
Период работы
Июнь 2019 - Январь 2020
(8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Белорусский государственный университет информатики и радиоэлектроники
Специальность
факультет компьютерного проектирования
Завершение учебы
2019 г.
