Владислав С. Data инженер, Senior
ID 9339
ВС
Владислав С.
Мужчина, 28 лет
Беларусь, Минск, UTC+3
Ставка
3 750 Р/час
НДС не облагается
Специалист доступен с 27 июля 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Разработчик баз данных / Дата Инженер с опытом работы более 5 лет.
Я преданный своему делу инженер, предлагающий эффективные решения, которые превосходят ожидания клиентов. Сильный коммуникатор и сотрудник, способный понять требования бизнеса и разработать стратегию успеха. Независимо от того, работаю ли я самостоятельно или в составе команды, я всегда стремлюсь к достижению результатов, которые превосходят ожидания и способствуют успеху в бизнесе.
Языки программирования
Python, SQL.
Инженерия данных
Message Brokers (Kafka),
Apache Spark (PySpark, Core, SQL),
Databricks,
Snowflake,
ETL/ELT (Apache Airflow).
Машинное обучение и Data Science
Python (Pandas, NumPy).
Облачные сервисы
Azure (DevOps, Delta Lake, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Managed Identity, Applications Insights, Dynamics 365, Cosmos DB, etc.).
Базы данных
Реляционные базы данных (MS SQL Server, MS Dataverse),
Базы данных NoSQL (Redis).
DevOps
Docker, Docker Compose, Kubernetes, Bash scripting.
Системы контроля версий
Git (Github, Azure DevOps).
Домены
Аналитика,
Здравоохранение,
Финансы
Проекты
(5 лет 6 месяцев)
Платформа анализа данных для энергетической компании
Роль
Разработчик баз данных / Дата Инженер
Обязанности
В группу компаний входят различные компании из многих стран. Цель — перенести локальные источники данных из разных стран (компаний) в Snowflake для построения аналитических отчетов, предоставления готовых к использованию представлений и таблиц для аналитиков.
Обязанности и достижения
Анализ и адаптация бизнес-потребностей в модели данных долгосрочных решений;
Проектирование DWH на Azure Snowflake;
Обеспечение целостности и точности данных в базах данных SQL;
Проведение ad hoc запросов с использование SQL для проверки данных;
Разработка и оптимизация индексов для улучшения производительности запросов;
Проектирование и поддержка структуры Data Vault, включая таблицы Hub, Link и Satellite;
Разработка процедур, представлений и функций T-SQL;
Использование T-SQL для выполнения различных требований к качеству данных. Создание триггеров, представлений, хранимых процедур T-SQL;
Разработка процессов извлечения, преобразования и загрузки (ETL) для приема и преобразования данных из исходных систем в таблицы Data Vault;
Управление Azure Data Factory пайплайнами с триггерами по времени;
Исследование и решение проблем, связанных с базой данных, о которых сообщают пользователи и которые обнаруживаются с помощью инструментов мониторинга;
Создание моделей ERD и представление их команде;
Создание диаграмм вариантов использования UML для фиксации и документирования функциональных требований системы данных;
Разработка и обслуживание Azure Databricks пайплайнов, чтобы обеспечить возможность пакетной обработки данных в режиме реального времени;
Управление подключениями к внешним службам с помощью Azure Data Factory;
Загрузка данных из хранилища BLOB-объектов в Snowflake с помощью Data Factory;
Использование tumbling windows triggers для извлечения данных, сгенерированных за определенный интервал времени;
Управление экземплярами Azure durable functions в концентраторе задач. Развертывание функций Azure с помощью шаблонов ARM. Управление соединением API с функциями Azure и Key Vault для обновления токена JWT. Использование шаблонов разветвления для Azure durable functions;
Использование Azure Databricks для обработки больших объемов данных с помощью Apache Spark;
Фильтрация данных от аномалий, обработка пропущенных значений, обеспечение качества данных;
Мониторинг и устранение неполадок производительности базы данных, а также внедрение методов настройки производительности для сокращения времени ответа на запросы;
Ревью кода и рефакторинг.
Технологии
Python, SQL, Apache Spark (PySpark, Core, SQL), Azure(DevOps, Databricks, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Dynamics 365), MS SQL Server, Snowflake, Pandas, NumPy, Docker, Docker Compose, Kubernetes, Bash Scripting, Azure DevOps.
Стек специалиста на проекте
Docker, SQL, Python, Kubernetes, CORS, Pandas, Numpy, Data Lake, Data Factory, MSQL, Apache Spark, BLoC, MS SQL Server, Azure DevOps, Azure, Storage, Dynamic, SQLx, Docker Compose, Vault, Snowflake, PySpark, Databricks, Bash scripting
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - По настоящее время
(2 года 4 месяца)
Платформа анализа данных для медицинских компаний
Роль
Разработчик баз данных / Дата Инженер
Обязанности
Целью проекта является создание надежной и масштабируемой инфраструктуры, которая позволит эффективно управлять данными, анализировать их и принимать решения внутри организации в разных странах.
Обязанности и достижения
Логическое и физическое моделирование данных;
Разработка схем баз данных SQL, таблиц и словарей;
Улучшение существующих процессов миграции данных. Разработка и поддержка документации, связанной с миграцией;
Разработка и поддержка возможности происхождения и отслеживания данных с использованием Delta Lake для поддержки управления данными и соблюдения нормативных требований;
Использование T-SQL для работы с данными json;
Выполнял сложные запросы T-SQL для проверки иерархии компании;
Разработка и поддержка Apache Spark задач для процессов ETL;
Принимал участие в разработке конвейеров CI/CD и развертывании процессов, используя возможности bash, Docker и Azure DevOps;
Кастомизация Dockerfiles;
Анализ данных из различных источников и сопоставление их с соответствующими объектами и атрибутами в модели данных. Определение правил преобразования и сопоставления, чтобы обеспечить интеграцию и совместимость данных в различных системах;
Управление рабочей нагрузкой Databricks пайплайнов;
Разработка и оптимизация Databricks пайплайнов;
Настройка Data Factory для запусков Databricks notebooks;
Настройка Azure Cosmos DB репликации;
Интеграция с внешними API;
Ревью кода и рефакторинг.
Технологии
Python, SQL, Apache Spark (PySpark, Core, SQL), Apache Airflow, Kafka, Azure ( DevOps, Databricks, Delta Lake, Blob Storage, Data Factory, Azure SQL, Functions, Key Vault, Cosmos DB и т.д.), MS SQL Server, MS Dataverse, Redis, Pandas, NumPy, Docker, Docker Compose, Bash Scripting, Azure DevOps.
Стек специалиста на проекте
JavaScript, Databricks, Numpy, Data Factory, Pandas, Redis, CORS, Make, MSQL, Kafka, Apache Spark, BLoC, Storage, Cosmos DB, SQLx, Docker Compose, Vault, PySpark, Docker, SQL, Python, Azure DevOps, Apache AirFlow, Azure, Bash scripting, MS SQL Server, Microsoft
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Апрель 2020 - Апрель 2022
(2 года 1 месяц)
Аналитическая платформа для банка
Роль
Разработчик баз данных / Дата Инженер
Обязанности
Проект направлен на разработку надежной и масштабируемой аналитической платформы для анализа и обработки банковских данных. Основная цель этого проекта — создание хранилища данных в облаке для банковских систем, которое будет использоваться аналитиками и владельцами бизнеса и станет источником истины для всей компании.
Обязанности и достижения
Создание time triggers для Azure Data Factory;
Разработка и управление Data Factory пайплайнов;
Управление подключениями к внешним службам с помощью Azure Data Factory;
Написание T-SQL-запросов, представлений, функций, триггеров для MS SQL;
Рефакторинг и оптимизация производительности процедур MS SQL Server;
Администрирование MS SQL Server Database;
Мониторинг журналов базы данных SQL и устранение проблем по мере их возникновения;
Тестирование существующих процессов;
Управление и мониторинг базы данных. Обеспечение доступности, производительности и безопасности;
Ревью кода и рефакторинг.
Технологии
Python, SQL, Apache Spark (PySpark, Core, SQL), Azure( DevOps, Databricks, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Dynamics 365 и т.д..), MS SQL Server, Redis, Pandas, NumPy, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
Docker, SQL, Python, CORS, GitHub, Pandas, Numpy, Data Lake, Data Factory, MSQL, Apache Spark, BLoC, MS SQL Server, Azure DevOps, Azure, Storage, Dynamic, SQLx, Docker Compose, Vault, Redis, PySpark, Databricks
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2019 - Апрель 2020
(1 год 3 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГУИР
Специальность
Информатика и программная инженерия
Завершение учебы
2017 г.