Владимир Б. Data инженер, Middle+

ID 23621
ВБ
Владимир Б.
Мужчина, 33 года
Россия, Москва, UTC+3
Ставка
2 597,4 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Agile
Ansible
Apache
Apache Hadoop
apache hive
Apache Kafka
Apache NiFi
Apache Spark
Avro
Bash scripting
beams
Big Data
BigQuery
Cassandra
cdc
CI/CD
Confluence
core
CSV
Data
Data Lake
Data Warehouse
DevOps
Docker
Docker Compose
DRY
Elasticsearch
ETL ELT
flink
Git
GitLab
Google
governance
GreenPlum
gRPC
Hbase
HDFS
Helm
Identity Server
Java
Jenkins
Jira
JSON
Jupyter
Kafka
Kafka Streams
Kanban
kerberos
Kimball
KISS
Kubernetes
Lean
Linear
management
MapReduce
Microsoft
mlib
MongoDB
mstet
MySQL
NiFi
notebook
OAuth 2.0
OLAP
oltp
oozie
Oracle Database
Parquet
PostgreSQL
PowerShell
Python
range
Redis
registry
Restful
Scala
Scrum
Services
SLA
SOLID
Spark
SQL
Storm
streaming
SVN
Teradata
Terraform
XP
Yagni
Yarn
Zookeeper
Базы данных
Документация
контейнеризация
Моделирование
Объектно-ориентированное программирование (ООП)
Оркестрация
паттерны
Разработка
Функциональное программирование
языки программирования
Отрасли
FinTech & Banking
RnD
Главное о специалисте
Data Engineer с 5-летним опытом проектирования ETL/ELT-процессов, оптимизации Big Data-платформ и разработки распределенных систем. Обладаю практическим опытом в настройке кластеров Hadoop, работе со streaming-технологиями (Kafka, Spark Streaming) и оркестрацией пайплайнов (Airflow). Участвовал в проектах, связанных с внедрением Data Lake и Data Warehouse, уделяя особое внимание вопросам Data Governance и безопасности данных.
Проекты   (9 лет 4 месяца)
GetMeGit
Роль
Data Engineer
Обязанности
GetMeGit(Август 2023 – настоящее время) Data Engineer Сфера: Fintech Описание проекта Разработка OLAP-платформы для анализа финансовых транзакций и микросервисной системы для управления зарплатными проектами. Проекты ориентированы на высоконагруженную обработку данных и реализацию real-time аналитики. Стек проекта Apache Spark (Core, SQL, Streaming), Hadoop (HDFS, YARN), Apache Kafka, Kafka Streams, Storm, Airflow, Hive, HBase, Pig, Flink, Cassandra, MongoDB, Redis, PostgreSQL, Docker, Kubernetes, Helm, Terraform, Ansible, Jenkins, Git, RESTful Services Состав команды проекта 5 разработчиков, 3 Data Engineer, 1 DevOps Задачи Настройка кластера Hadoop (HDFS, YARN) и развертывание Spark-пайплайнов для batch и stream-обработки Проектирование и реализация ETL/ELT-процессов на базе Apache Airflow, включая оркестрацию задач и управление зависимостями Разработка Kafka-стримов для real-time аналитики и интеграция с корпоративной шиной (ESB) Настройка high-available Kafka кластера с ZooKeeper, включая безопасный доступ (Kerberos, Ranger) Сбор и трансформация логов при помощи Logstash, дальнейший анализ в Elasticsearch и визуализация в Kibana Контейнеризация data-приложений (Spark, Kafka, Airflow) с помощью Docker и оркестрация через Kubernetes, Helm и Terraform Автоматизация CI/CD-процессов в Jenkins и GitLab, включая тестирование data-пайплайнов и управление версиями схем (Avro) Поддержка CDC-процессов для синхронизации данных в режиме, близком к реальному времени Организация мониторинга (Prometheus, Grafana) и alerting для SLA-критичных пайплайнов Управление метаданными и lineage с помощью Hive Metastore и NiFi Registry Создание Data Marts для аналитиков и разработка RESTful/gRPC сервисов для взаимодействия с внешними системами Достижения/результаты Ускорил формирование OLAP-кубов за счет оптимизации Spark и Hadoop-джоб Обеспечил генерацию real-time отчетов для бизнес-команд Сократил ручные операции при загрузке данных благодаря автоматизации пайплайнов в Airflow Внедрил мониторинг для оперативного реагирования на инциденты и обеспечения SLA Реализовал безопасную и устойчивую инфраструктуру данных, совместимую с DevOps и DataOps подходами
Стек специалиста на проекте
Yarn, core, flink, Hive, Git, MongoDB, Redis, Hadoop, Ansible, Terraform, Helm, Cassandra, Apache Spark, Restful, Hbase, HDFS, Services, Kafka Streams, SQL, Docker, Storm, Apache AirFlow, PostgreSQL, streaming, Jenkins, Kubernetes, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Август 2023 - По настоящее время  (1 год 10 месяцев)
Ultratendency
Роль
Data Engineer
Обязанности
Ultratendency (Февраль 2022 – Август 2023) Data Engineer Сфера: BI и аналитика Описание проекта Создание сервиса загрузки данных для BI-платформы Стек проекта Apache NiFi, Kafka, MongoDB, MinIO, RabbitMQ, Logstash, Elasticsearch, Kibana Состав команды проекта 4 Data Engineer, 1 QA Задачи Построение распределенного пайплайна для обработки больших объемов событий Реализация валидации данных через Apache NiFi Интеграция Elasticsearch для поиска аномалий Разработка API для экспорта данных в различных форматах Сбор логов в Logstash и визуализация в Kibana для оперативного анализа Достижения/результаты Сократил количество ошибок при обработке данных Обеспечил поиск аномалий в режиме реального времени Ускорил выгрузку для аналитиков
Стек специалиста на проекте
Elasticsearch, Kibana, MongoDB, Kafka, Apache NiFi, MinIo, Logstash, RabbitMQ
Отрасль проекта
RnD
Период работы
Февраль 2022 - Август 2023  (1 год 7 месяцев)
FinTech Corp
Роль
Data Engineer
Обязанности
FinTech Corp (Март 2018 – Февраль 2022) Data Engineer Сфера: Fintech Описание проекта Разработка транзакционной платформы для банковских операций, создание Data Lake для проверки качества финансовых данных и системы формирования отчетов для регуляторов Стек проекта Apache Kafka, PostgreSQL, Spring Boot, Apache Spark, Hadoop (HDFS, YARN, MapReduce), Oozie, Scala, Airflow Состав команды проекта 6 разработчиков, 4 Data Engineer, 2 QA Задачи Проектирование шины данных для высоконагруженных транзакций с использованием Kafka и Spark Внедрение кэширования (Redis) для ускорения отклика API Реализация автоматических проверок качества данных через Spark SQL Настройка Airflow и Oozie для оркестрации ETL-задач Оптимизация агрегации данных в Spark RDD Автоматизация выгрузки отчетности для регуляторов Достижения/результаты Повысил устойчивость системы к большим объемам транзакций Сократил время отклика API Уменьшил долю некорректных записей Ускорил генерацию отчетов и снизил ручные операции
Стек специалиста на проекте
MapReduce, Yarn, Scala, Hadoop, Apache Spark, HDFS, Apache AirFlow, Spring Boot, oozie, PostgreSQL, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Март 2018 - Февраль 2022  (4 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
МИРЭА (Российский технологический университет)
Специальность
Программная инженерия
Завершение учебы
2018 г.

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

Cloud Services • E-commerce & Retail • FinTech & Banking • Telecom
РБ
Роман Б.
Краснодар
ETL разработчик
Middle+
3 766,23 Р/час
Работа с базами данных
Сбор и анализ требований
расчет
Программное обеспечение
VBA
работа с данными
JSON API
Базы данных
Бизнес-анализ
JSON
+28

● Опыт работы с СУБД PostgreSQL, Oracle, Greenplum; ● Понимание моделей проектирования БД: третья нормальная форма (3NF), схема типа "звезда", архитектура Data Vault 2.0 и Anchor-моделирование (преимущество); ● Владение средствами управления процессами и миграциями: Apache Airflow, Liquibase, системы контроля версий (Git); ● Высокий уровень владения языками запросов и процедурными расширениями SQL (PL/SQL, PL/PgSQL); ● Базовые навыки написания скриптов на Python; ● Практический опыт интеграции различных источников данных; ● Умение преобразовывать данные между разнородными системами; ● Создание и поддержка автоматизированных ETL-процессов; ● Навыки взаимодействия с системами версионирования программного кода. ● Опыт работы в крупных компаниях розничной торговли

Подробнее
BioTech, Pharma, Health care & Sports • Government & Public Sector
ЮГ
Юлия Г.
Самара
Бизнес/системный аналитик
Middle
3 275,41 Р/час
Redmine
ЧТЗ
Спецификация программного обеспечения
Описание API
UML
Kanban
брокеры сообщений
Postman
Разработка технической документации
XML/JSON
+55

Юлия — опытный бизнес-аналитик и системный аналитик, специализирующийся на проектах в сферах здравоохранения и государственного сектора Она обладает навыками постановки задач, взаимодействия с заказчиками и смежными командами, а также разработки технической документации. Владеет инструментами Redmine, Postman, IntelliJ IDEA, Confluence, SQL и другими. Юлия работала над несколькими проектами, включая сервис сохранения настроек пользователя 3D карты, профиль пользователя для геокарты, микросервис предоставления информации об избирательных участках и другие. В своей работе Юлия использует такие инструменты, как Redmine, Postman, Swagger, Jira, Confluence, MS Office, Kafka explorer. При разработке использует UML, BPMN нотации для построения диаграмм. Имеет опыт работы с форматами данных XML/JSON, обладает базовыми навыками постронения SQL запросов. Юлия готова погружаться в новые предметные области и применять свои знания на проектах.

Подробнее