Оставьте заявку, мы подберем для вас подходящего специалиста за 48 часов!
Премия рунета

Владислав С. Data инженер, Senior

ID 9339
ВС
Владислав С.
Мужчина, 28 лет
Беларусь, Минск, UTC+3
Ставка
3 750 Р/час
НДС не облагается
Специалист доступен с 27 июля 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
AWS RDS
Bash
BigQuery
Bitbucket
cloud
Cloud Functions
CloudWatch
CSS3
Data Flow Diagrams (DFD)
Databricks
Docker
Docker Compose
EC2
ECS
EKS
GCP
Git
GitHub
GitLab
GreenPlum
Kafka
Kubernetes
Lambda
MongoDB
MySQL
Neo4j
Numpy
Pandas
PostgreSQL
Pub/Sub
PUN 2
PySpark
Python
Python2
Python3
Redis
S3
SMTP
SQL
Steps
Storage
Terraform
API Gateway
AWS
AWS Lambda
Data
DWH
DynamoDB
Pytest
Redshift
Анализ данных
Мониторинг
Планирование
Composer
Google Cloud
HDFS
Аналитика
Spark
Базы данных
Проектирование
Резервное копирование
Azure
Azure DevOps
Bash scripting
BLoC
CORS
Data Factory
Data Lake
Dynamic
MS SQL Server
MSQL
Snowflake
SQLx
Vault
Cosmos DB
JavaScript
Make
Microsoft
Testing
Unit testing
Analytics
Отрасли
BioTech, Pharma, Health care & Sports
FinTech & Banking
Manufacturing
Знание языков
Английский — B2
Главное о специалисте
Разработчик баз данных / Дата Инженер с опытом работы более 5 лет. Я преданный своему делу инженер, предлагающий эффективные решения, которые превосходят ожидания клиентов. Сильный коммуникатор и сотрудник, способный понять требования бизнеса и разработать стратегию успеха. Независимо от того, работаю ли я самостоятельно или в составе команды, я всегда стремлюсь к достижению результатов, которые превосходят ожидания и способствуют успеху в бизнесе. Языки программирования Python, SQL. Инженерия данных Message Brokers (Kafka), Apache Spark (PySpark, Core, SQL), Databricks, Snowflake, ETL/ELT (Apache Airflow). Машинное обучение и Data Science Python (Pandas, NumPy). Облачные сервисы Azure (DevOps, Delta Lake, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Managed Identity, Applications Insights, Dynamics 365, Cosmos DB, etc.). Базы данных Реляционные базы данных (MS SQL Server, MS Dataverse), Базы данных NoSQL (Redis). DevOps Docker, Docker Compose, Kubernetes, Bash scripting. Системы контроля версий Git (Github, Azure DevOps). Домены Аналитика, Здравоохранение, Финансы
Проекты   (5 лет 6 месяцев)
Платформа анализа данных для энергетической компании
Роль
Разработчик баз данных / Дата Инженер
Обязанности
В группу компаний входят различные компании из многих стран. Цель — перенести локальные источники данных из разных стран (компаний) в Snowflake для построения аналитических отчетов, предоставления готовых к использованию представлений и таблиц для аналитиков. Обязанности и достижения Анализ и адаптация бизнес-потребностей в модели данных долгосрочных решений; Проектирование DWH на Azure Snowflake; Обеспечение целостности и точности данных в базах данных SQL; Проведение ad hoc запросов с использование SQL для проверки данных; Разработка и оптимизация индексов для улучшения производительности запросов; Проектирование и поддержка структуры Data Vault, включая таблицы Hub, Link и Satellite; Разработка процедур, представлений и функций T-SQL; Использование T-SQL для выполнения различных требований к качеству данных. Создание триггеров, представлений, хранимых процедур T-SQL; Разработка процессов извлечения, преобразования и загрузки (ETL) для приема и преобразования данных из исходных систем в таблицы Data Vault; Управление Azure Data Factory пайплайнами с триггерами по времени; Исследование и решение проблем, связанных с базой данных, о которых сообщают пользователи и которые обнаруживаются с помощью инструментов мониторинга; Создание моделей ERD и представление их команде; Создание диаграмм вариантов использования UML для фиксации и документирования функциональных требований системы данных; Разработка и обслуживание Azure Databricks пайплайнов, чтобы обеспечить возможность пакетной обработки данных в режиме реального времени; Управление подключениями к внешним службам с помощью Azure Data Factory; Загрузка данных из хранилища BLOB-объектов в Snowflake с помощью Data Factory; Использование tumbling windows triggers для извлечения данных, сгенерированных за определенный интервал времени; Управление экземплярами Azure durable functions в концентраторе задач. Развертывание функций Azure с помощью шаблонов ARM. Управление соединением API с функциями Azure и Key Vault для обновления токена JWT. Использование шаблонов разветвления для Azure durable functions; Использование Azure Databricks для обработки больших объемов данных с помощью Apache Spark; Фильтрация данных от аномалий, обработка пропущенных значений, обеспечение качества данных; Мониторинг и устранение неполадок производительности базы данных, а также внедрение методов настройки производительности для сокращения времени ответа на запросы; Ревью кода и рефакторинг. Технологии Python, SQL, Apache Spark (PySpark, Core, SQL), Azure(DevOps, Databricks, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Dynamics 365), MS SQL Server, Snowflake, Pandas, NumPy, Docker, Docker Compose, Kubernetes, Bash Scripting, Azure DevOps.
Стек специалиста на проекте
Docker, SQL, Python, Kubernetes, CORS, Pandas, Numpy, Data Lake, Data Factory, MSQL, Apache Spark, BLoC, MS SQL Server, Azure DevOps, Azure, Storage, Dynamic, SQLx, Docker Compose, Vault, Snowflake, PySpark, Databricks, Bash scripting
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - По настоящее время  (2 года 4 месяца)
Платформа анализа данных для медицинских компаний
Роль
Разработчик баз данных / Дата Инженер
Обязанности
Целью проекта является создание надежной и масштабируемой инфраструктуры, которая позволит эффективно управлять данными, анализировать их и принимать решения внутри организации в разных странах. Обязанности и достижения Логическое и физическое моделирование данных; Разработка схем баз данных SQL, таблиц и словарей; Улучшение существующих процессов миграции данных. Разработка и поддержка документации, связанной с миграцией; Разработка и поддержка возможности происхождения и отслеживания данных с использованием Delta Lake для поддержки управления данными и соблюдения нормативных требований; Использование T-SQL для работы с данными json; Выполнял сложные запросы T-SQL для проверки иерархии компании; Разработка и поддержка Apache Spark задач для процессов ETL; Принимал участие в разработке конвейеров CI/CD и развертывании процессов, используя возможности bash, Docker и Azure DevOps; Кастомизация Dockerfiles; Анализ данных из различных источников и сопоставление их с соответствующими объектами и атрибутами в модели данных. Определение правил преобразования и сопоставления, чтобы обеспечить интеграцию и совместимость данных в различных системах; Управление рабочей нагрузкой Databricks пайплайнов; Разработка и оптимизация Databricks пайплайнов; Настройка Data Factory для запусков Databricks notebooks; Настройка Azure Cosmos DB репликации; Интеграция с внешними API; Ревью кода и рефакторинг. Технологии Python, SQL, Apache Spark (PySpark, Core, SQL), Apache Airflow, Kafka, Azure ( DevOps, Databricks, Delta Lake, Blob Storage, Data Factory, Azure SQL, Functions, Key Vault, Cosmos DB и т.д.), MS SQL Server, MS Dataverse, Redis, Pandas, NumPy, Docker, Docker Compose, Bash Scripting, Azure DevOps.
Стек специалиста на проекте
JavaScript, Databricks, Numpy, Data Factory, Pandas, Redis, CORS, Make, MSQL, Kafka, Apache Spark, BLoC, Storage, Cosmos DB, SQLx, Docker Compose, Vault, PySpark, Docker, SQL, Python, Azure DevOps, Apache AirFlow, Azure, Bash scripting, MS SQL Server, Microsoft
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Апрель 2020 - Апрель 2022  (2 года 1 месяц)
Аналитическая платформа для банка
Роль
Разработчик баз данных / Дата Инженер
Обязанности
Проект направлен на разработку надежной и масштабируемой аналитической платформы для анализа и обработки банковских данных. Основная цель этого проекта — создание хранилища данных в облаке для банковских систем, которое будет использоваться аналитиками и владельцами бизнеса и станет источником истины для всей компании. Обязанности и достижения Создание time triggers для Azure Data Factory; Разработка и управление Data Factory пайплайнов; Управление подключениями к внешним службам с помощью Azure Data Factory; Написание T-SQL-запросов, представлений, функций, триггеров для MS SQL; Рефакторинг и оптимизация производительности процедур MS SQL Server; Администрирование MS SQL Server Database; Мониторинг журналов базы данных SQL и устранение проблем по мере их возникновения; Тестирование существующих процессов; Управление и мониторинг базы данных. Обеспечение доступности, производительности и безопасности; Ревью кода и рефакторинг. Технологии Python, SQL, Apache Spark (PySpark, Core, SQL), Azure( DevOps, Databricks, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Dynamics 365 и т.д..), MS SQL Server, Redis, Pandas, NumPy, Docker, Docker Compose, GitHub.
Стек специалиста на проекте
Docker, SQL, Python, CORS, GitHub, Pandas, Numpy, Data Lake, Data Factory, MSQL, Apache Spark, BLoC, MS SQL Server, Azure DevOps, Azure, Storage, Dynamic, SQLx, Docker Compose, Vault, Redis, PySpark, Databricks
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2019 - Апрель 2020  (1 год 3 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
БГУИР
Специальность
Информатика и программная инженерия
Завершение учебы
2017 г.

Похожие специалисты

AI & Robotics • BioTech, Pharma, Health care & Sports • FinTech & Banking
КЗ
Константин З.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
CI/CD
Databricks
Docker
Docker Compose
GreenPlum
HDFS
+50

Тимлид / дата-инженер с опытом работы более 5 лет. У меня большой опыт разработки и внедрения надежных и масштабируемых систем. Я хорошо разбираюсь в различных технологиях. Считаю успешную работу каждого члена команды результатом успешной работы всей команды. Программирование – это мое хобби, которое стало частью моей жизни. Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Брокеры сообщений (Kafka). Cloud AWS (Redshift, S3, EKS, RDS, MWAA, Secret Manager, EC2, SQS, SNS, Glue, Cloudwatch, Lambda, Cognito и т.д.), Azure (Data Factory, DevOps, Virtual Machines, App Service, Storage Account, Key Vault, Container Registry, Azure SQL и т. д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL, MS SQL), Базы данных NoSQL (Redis, MongoDB). Машинное обучение и Data Science Python (Pandas, NumPy), MLflow. Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), Bash, Kubernetes, Terraform, Jenkins, CI/CD. Системы контроля версий Git (GitHub), Azure DevOps.

Подробнее
AgroTech • BioTech, Pharma, Health care & Sports • E-commerce & Retail
ОГ
Олег Г.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
Cassandra
CI/CD
Databricks
Docker
Docker Compose
DynamoDB
+42

Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности. Домены Аналитика, Ритейл, Здравоохранение Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Snowflake, Брокеры сообщений (RabbitMQ, Kafka). Cloud AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL), Базы данных NoSQL (Cassandra, DynamoDB). Машинное обучение и Data Science Python (Pandas, NumPy). Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins. Backend Flask, Connexion, SQLAlchemy, OpenAPI. Системы контроля версий Git (GitHub, Bitbucket).

Подробнее
LifeStyle
ГР
Гатауллин Р.
Казань
Data инженер
Senior
5 625 Р/час
DevOps
Docker
Flask
GitLab
GitLab CI/CD
metabase
ГОСТ
Управление командой
Apache AirFlow
PostgreSQL
+61

- Data Engineer с опытом работы с распределенными системами обработки данных более 9 лет; - Глубокие знания проектирования, внедрения и сопровождения ETL-процессов с нуля; - Практический опыт управления командой и управления продуктом; - Кандидат наук (= PhD в России) в области компьютерных наук. Опытный инженер данных Создал платформу данных с нуля. Из языков программирования — преимущественно Python, преимущественно SQL, Sparks, Scala. из облачных сервисов AWS — создание некоторой инфраструктуры, GCP — 5 мес. опыта. Инструменты управления — Docker-Master of Docker, Kubernetes — создает инфраструктуру воздушного потока. Базы данных: PostgreSQL, Redis-как брокер сообщений, Из отраслей-маркетинг, продажи, финтех Опыт работы в НЛП, ML-знает концепцию, работал руководителем группы, также работал специалистом по данным в Data Analyst.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • FinTech & Banking • Manufacturing
ВС
Владислав С.
Минск
Data инженер
Senior
3 750 Р/час
Unit testing
JavaScript
AWS
GitLab
Kubernetes
Базы данных
Spark
Databricks
BigQuery
Redshift
+85

Разработчик баз данных / Дата Инженер с опытом работы более 5 лет. Я преданный своему делу инженер, предлагающий эффективные решения, которые превосходят ожидания клиентов. Сильный коммуникатор и сотрудник, способный понять требования бизнеса и разработать стратегию успеха. Независимо от того, работаю ли я самостоятельно или в составе команды, я всегда стремлюсь к достижению результатов, которые превосходят ожидания и способствуют успеху в бизнесе. Языки программирования Python, SQL. Инженерия данных Message Brokers (Kafka), Apache Spark (PySpark, Core, SQL), Databricks, Snowflake, ETL/ELT (Apache Airflow). Машинное обучение и Data Science Python (Pandas, NumPy). Облачные сервисы Azure (DevOps, Delta Lake, Blob Storage, Data Lake Storage, Data Factory, Azure SQL, Functions, Key Vault, Managed Identity, Applications Insights, Dynamics 365, Cosmos DB, etc.). Базы данных Реляционные базы данных (MS SQL Server, MS Dataverse), Базы данных NoSQL (Redis). DevOps Docker, Docker Compose, Kubernetes, Bash scripting. Системы контроля версий Git (Github, Azure DevOps). Домены Аналитика, Здравоохранение, Финансы

Подробнее