Премия рунета

Сергей Б. Data инженер, Senior

ID 15173
СБ
Сергей Б.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 375 Р/час
НДС не облагается
Специалист доступен с 7 сентября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
Clickhouse
Cloud Functions
Data
DataLens
Docker
Docker Compose
ER
FastAPI
Git
GitHub
GitLab
GreenPlum
HDFS
IAM
Java
Kubernetes
MongoDB
monitoring
Numpy
Object
Oracle
Pandas
PostgreSQL
PySpark
Python
Redis
Scala
Services
SQL
Storage
Vault
Virtual Machines
Yandex Cloud
Моделирование
apache hive
Отрасли
AgroTech
FinTech & Banking
Logistics & Transport
Знание языков
Английский — B2
Главное о специалисте
Дата-инженер с опытом работы более 5 лет. Я являюсь опытным разработчиком, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL, Scala, Java. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии YandexCloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Бэкенд FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash Scripting. Системы контроля версий Git, GitLab, GitHub.
Проекты   (5 лет 7 месяцев)
DWH ДЛЯ БАНКА
Роль
Дата-инженер
Обязанности
Комплексное программное решение в банковской сфере, включающее масштабное хранилище данных для взаимодействия с большим количеством информации о пользователях и их операциях, а также функциональность для их высокопроизводительной обработки. Обязанности Проектирование и реализация схемы базы данных в Greenplum; Разработка детального плана миграции данных, определение последовательности действий, временных рамок и ресурсов, необходимых для успешной миграции; Построение ETL пайплайнов с помощью Apache Airflow; Оценка и анализ структуры и качества данных в исходной базе данных Oracle для идентификации потенциальных проблем и требований к преобразованию данных перед миграцией; Разработка и поддержание заданий Apache Spark для процессов ETL; Участие в подготовке среды для миграции данных, включая настройку и развертывание необходимых инфраструктурных компонентов, резервирование ресурсов и создание резервных копий данных; Управление конфигурацией базы данных Greenplum, включая настройку параметров, управление ресурсами; Написание и оптимизация сложных SQL-запросов, функций и триггеров, а также отладка SQL-процедур; Мониторинг и устранение неполадок заданий Apache Spark и производительности кластера; Выполнение очистки, агрегирования и обогащения данных с помощью Spark для подготовки данных к анализу; Модификация Apache Airflow Python DAGs для запуска заданий Spark; Определение зависимостей задач, перезапусков и параметров планирования в DAGs с помощью Airflow; Разработка и переопределение пользовательских операторов и хуков для нужд проекта; Разработка функциональности для маппинга метаданных хранилища под синтаксис Greenplum и Oracle; Использование Spark Streaming для получения и обработки сообщений из Apache Kafka; Код ревью. Технологии Python, SQL, Scala, Apache Spark, PySpark, Apache Airflow, Apache Kafka, Greenplum, YandexCloud (Object Storage, Virtual Machines, Data Proc, Managed Kubernetes, KMS, IAM, Monitoring), Oracle, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash Scripting, GitHub.
Стек специалиста на проекте
monitoring, Kubernetes, Numpy, Data, Pandas, Oracle, Scala, GitHub, Object, Apache Spark, Yandex Cloud, Storage, IAM, Virtual Machines, Docker Compose, PySpark, Apache Kafka, Docker, SQL, Python, GreenPlum, Apache AirFlow, Bash scripting
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2023 - По настоящее время  (1 год 8 месяцев)
СЕЛЬСКОХОЗЯЙСТВЕННЫЙ ПРОЕКТ
Роль
Дата-инженер
Обязанности
Программное решение для сельского хозяйства, позволяющее клиентам и их пользователям получать жизненно важную информацию о земельных ресурсах в выбранных сельскохозяйственных районах. Оно объединяет в себе передовые технологии и надежную аналитику данных, предлагая полноценную информацию о земельных ресурсах. Обязанности Проектирование и создание DWH в ClickHouse; Создание и оптимизация сложных SQL-запросов для аналитики данных, включая использование функций ClickHouse для обработки больших объемов данных; Разработка и оптимизация распределенных приложений на основе Apache Spark для обработки больших объемов данных, включая задачи ETL, анализа данных и потоковой обработки данных; Разработка SQL-запросов и запросов DataFrame API в Apache Spark для выполнения аналитических запросов к данным, а также оптимизация запросов для повышения производительности; Разработка и поддержка архитектуры потоковых данных с использованием Apache Kafka для обеспечения масштабируемости и надежности; Интеграция Apache Spark с различными источниками данных, такими как файловые системы, базы данных, потоковые системы и облачные хранилища, для считывания и записи данных; Использование Apache Airflow для планирования заданий ETL; Реализация ETL-процессов для обработки и трансформации данных в реальном времени с использованием Kafka; Разработка и оптимизация процессов извлечения, преобразования и загрузки данных с использованием Apache Spark для подготовки данных к анализу и обработке; Реализация вычислений с использованием Cloud Functions; Оптимизация производительности Apache Spark приложений путем настройки конфигурационных параметров, использования кэширования и других методов оптимизации; Обеспечение высокой производительности баз данных SQL; Написание тестов;HDFS Код ревью. Технологии Python, SQL, Scala, Apache Spark, PySpark, Apache Airflow, Apache Kafka, ClickHouse, YandexCloud (Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring), PostgreSQL, MongoDB, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash Scripting, GitLab.
Стек специалиста на проекте
monitoring, GitLab, Kubernetes, Clickhouse, Numpy, Data, Pandas, MongoDB, Scala, Object, Apache Spark, Cloud Functions, Yandex Cloud, Storage, IAM, Virtual Machines, Docker Compose, Services, PySpark, Apache Kafka, Docker, SQL, Python, Apache AirFlow, Bash scripting, PostgreSQL
Отрасль проекта
AgroTech
Период работы
Июнь 2021 - Январь 2023  (1 год 8 месяцев)
СЕРВИС ПО ПОДБОРУ АВТОМОБИЛЕЙ
Роль
Дата-инженер
Обязанности
Сервис помогает пользователям выбрать свой будущий автомобиль. Имеется база машин с большим количеством параметров. Пользователь вводит необходимые параметры, по ним сервис предлагает наиболее подходящие варианты. Обязанности Сбор данных из различных источников данных и их нормализация с помощью Pandas и NumPy; Создание и оптимизация DAGs в Apache Airflow для определения порядка выполнения задач, зависимостей между ними и расписания запуска; Cоздание и поддержка пользовательских плагинов и операторов Apache Airflow для реализации специфических задач обработки и анализа данных; Оптимизация производительности кластера Hadoop путем настройки параметров конфигурации, оптимизации запросов и процессов, а также мониторинга и решения проблем производительности; Написание сложных SQL-триггеров, процедур; Оптимизация сложных SQL- запросов; Разработка и поддержка архитектуры данных на базе Hadoop, включая создание схем данных, определение хранилищ данных и организацию процессов загрузки; Миграция кода с Java на Python; Разработка REST API с использованием FastAPI; Подготовка документации для приложений, использующих SQL базы данных. Технологии Python, SQL, Java, Apache Spark, PySpark, Apache Airflow, Apache Hadoop, HDFS, Apache Hive, PostgreSQL, Redis, FastAPI, Pandas, NumPy, Kubernetes, Docker, Docker Compose, Bash Scripting, GitLab.
Стек специалиста на проекте
GitLab, Kubernetes, Numpy, Java, Pandas, Redis, FastAPI, Apache Hadoop, Apache Spark, HDFS, Docker Compose, PySpark, Docker, SQL, Python, Apache AirFlow, Bash scripting, PostgreSQL, apache hive
Отрасль проекта
Logistics & Transport
Период работы
Март 2019 - Май 2021  (2 года 3 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и разработка программного обеспечения
Завершение учебы
2020 г.

Похожие специалисты

AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 375 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
Clickhouse
cloud
Cloud Functions
+42

Дата Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее
AI & Robotics • BioTech, Pharma, Health care & Sports • FinTech & Banking
КЗ
Константин З.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
CI/CD
Databricks
Docker
Docker Compose
GreenPlum
HDFS
+50

Тимлид / дата-инженер с опытом работы более 5 лет. У меня большой опыт разработки и внедрения надежных и масштабируемых систем. Я хорошо разбираюсь в различных технологиях. Считаю успешную работу каждого члена команды результатом успешной работы всей команды. Программирование – это мое хобби, которое стало частью моей жизни. Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Брокеры сообщений (Kafka). Cloud AWS (Redshift, S3, EKS, RDS, MWAA, Secret Manager, EC2, SQS, SNS, Glue, Cloudwatch, Lambda, Cognito и т.д.), Azure (Data Factory, DevOps, Virtual Machines, App Service, Storage Account, Key Vault, Container Registry, Azure SQL и т. д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL, MS SQL), Базы данных NoSQL (Redis, MongoDB). Машинное обучение и Data Science Python (Pandas, NumPy), MLflow. Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), Bash, Kubernetes, Terraform, Jenkins, CI/CD. Системы контроля версий Git (GitHub), Azure DevOps.

Подробнее
AgroTech • BioTech, Pharma, Health care & Sports • E-commerce & Retail
ОГ
Олег Г.
Минск
Data инженер
Lead
4 500 Р/час
Apache AirFlow
Apache Hadoop
Apache Spark
Bash
Cassandra
CI/CD
Databricks
Docker
Docker Compose
DynamoDB
+42

Опытный инженер-программист с более чем 6-летним стажем работы, специализирующийся в области инженерии Big Data. Руководил проектированием и разработкой инфраструктуры данных в различных областях. Превосходные навыки проектирования высоконагруженных систем, изучения новых технических инструментов, оптимизации затрат и производительности. Домены Аналитика, Ритейл, Здравоохранение Языки программирования Python, SQL. Инженерия данных Apache Hadoop (HDFS, MapReduce, YARN, Hive), Apache Spark (PySpark, Core, SQL, Streaming, Structure Streaming и т.д.), ETL/ELT (Apache Airflow), Databricks, Snowflake, Брокеры сообщений (RabbitMQ, Kafka). Cloud AWS (EC2, Lambda, S3, RDS, Kinesis, Athena, CloudWatch, SNS, SQS, EKS, ECS и т.д.). Базы данных Реляционные базы данных (Greenplum, PostgreSQL), Базы данных NoSQL (Cassandra, DynamoDB). Машинное обучение и Data Science Python (Pandas, NumPy). Моделирование данных Многомерное моделирование (Star Schema, Snowflake Schema), Моделирование сущностей и отношений (ER), Нормализация / Денормализация. DevOps Docker (Docker Compose), CI/CD, Kubernetes, Bash, Terraform, Jenkins. Backend Flask, Connexion, SQLAlchemy, OpenAPI. Системы контроля версий Git (GitHub, Bitbucket).

Подробнее

Недавно просмотренные специалисты

AgroTech • FinTech & Banking • Logistics & Transport
СБ
Сергей Б.
Минск
Data инженер
Senior
4 375 Р/час
monitoring
GitLab
Kubernetes
Clickhouse
Numpy
Data
Java
Git
Pandas
Oracle
+40

Дата-инженер с опытом работы более 5 лет. Я являюсь опытным разработчиком, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL, Scala, Java. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии YandexCloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Бэкенд FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash Scripting. Системы контроля версий Git, GitLab, GitHub.

Подробнее
E-commerce & Retail • FinTech & Banking • Urban technology
АП
Артем П.
Краснодар
UX/UI дизайнер
Senior
2 375 Р/час
designer
UI
Интервью и опросы ЦА
Wireframes
blender
Проектирование пользовательских интерфейсов
Web Design
Research
анализ
DB Designer
+40

Опытный дизайнер с опытом работы более 4 лет. Имею опыт работы в сфере пользовательского опыта с фокусом на проектировании взаимодействия и интерфейсов. Специализация в создании CJM и UJM, разработке вайрфреймов и прототипов с последующим тестированием. Обширные навыки в подготовке макетов с пониманием UI-паттернов, принципов визуализации и вниманием к типографике, композиции и микро-взаимодействиям. Глубокие знания принципов usability, адаптивного дизайна и ориентации на гайды для платформ Android и iOS. Опыт разработки и поддержки дизайн систем. Опыт использования инструментов Miro, Confluence, Jira, Trello, Figma, Adobe AE, PR, PH, AU, Illustrator. Портфолио: https://www.figma.com/design/yfH9Nn5rJU8cE0jKgmOX78/For-view

Подробнее