ВБ
Владимир Б.
Мужчина, 33 года
Россия, Москва, UTC+3
Ставка
2 597,4 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Data Engineer с 5-летним опытом проектирования ETL/ELT-процессов, оптимизации Big Data-платформ и разработки распределенных систем. Обладаю практическим опытом в настройке кластеров Hadoop, работе со streaming-технологиями (Kafka, Spark Streaming) и оркестрацией пайплайнов (Airflow). Участвовал в проектах, связанных с внедрением Data Lake и Data Warehouse, уделяя особое внимание вопросам Data Governance и безопасности данных.
Проекты
(9 лет 4 месяца)
GetMeGit
Роль
Data Engineer
Обязанности
GetMeGit(Август 2023 – настоящее время)
Data Engineer
Сфера: Fintech
Описание проекта
Разработка OLAP-платформы для анализа финансовых транзакций и микросервисной системы для управления зарплатными проектами. Проекты ориентированы на высоконагруженную обработку данных и реализацию real-time аналитики.
Стек проекта
Apache Spark (Core, SQL, Streaming), Hadoop (HDFS, YARN), Apache Kafka, Kafka Streams, Storm, Airflow, Hive, HBase, Pig, Flink, Cassandra, MongoDB, Redis, PostgreSQL, Docker, Kubernetes, Helm, Terraform, Ansible, Jenkins, Git, RESTful Services
Состав команды проекта
5 разработчиков, 3 Data Engineer, 1 DevOps
Задачи
Настройка кластера Hadoop (HDFS, YARN) и развертывание Spark-пайплайнов для batch и stream-обработки
Проектирование и реализация ETL/ELT-процессов на базе Apache Airflow, включая оркестрацию задач и управление зависимостями
Разработка Kafka-стримов для real-time аналитики и интеграция с корпоративной шиной (ESB)
Настройка high-available Kafka кластера с ZooKeeper, включая безопасный доступ (Kerberos, Ranger)
Сбор и трансформация логов при помощи Logstash, дальнейший анализ в Elasticsearch и визуализация в Kibana
Контейнеризация data-приложений (Spark, Kafka, Airflow) с помощью Docker и оркестрация через Kubernetes, Helm и Terraform
Автоматизация CI/CD-процессов в Jenkins и GitLab, включая тестирование data-пайплайнов и управление версиями схем (Avro)
Поддержка CDC-процессов для синхронизации данных в режиме, близком к реальному времени
Организация мониторинга (Prometheus, Grafana) и alerting для SLA-критичных пайплайнов
Управление метаданными и lineage с помощью Hive Metastore и NiFi Registry
Создание Data Marts для аналитиков и разработка RESTful/gRPC сервисов для взаимодействия с внешними системами
Достижения/результаты
Ускорил формирование OLAP-кубов за счет оптимизации Spark и Hadoop-джоб
Обеспечил генерацию real-time отчетов для бизнес-команд
Сократил ручные операции при загрузке данных благодаря автоматизации пайплайнов в Airflow
Внедрил мониторинг для оперативного реагирования на инциденты и обеспечения SLA
Реализовал безопасную и устойчивую инфраструктуру данных, совместимую с DevOps и DataOps подходами
Стек специалиста на проекте
Yarn, core, flink, Hive, Git, MongoDB, Redis, Hadoop, Ansible, Terraform, Helm, Cassandra, Apache Spark, Restful, Hbase, HDFS, Services, Kafka Streams, SQL, Docker, Storm, Apache AirFlow, PostgreSQL, streaming, Jenkins, Kubernetes, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Август 2023 - По настоящее время
(1 год 10 месяцев)
Ultratendency
Роль
Data Engineer
Обязанности
Ultratendency (Февраль 2022 – Август 2023)
Data Engineer
Сфера: BI и аналитика
Описание проекта
Создание сервиса загрузки данных для BI-платформы
Стек проекта
Apache NiFi, Kafka, MongoDB, MinIO, RabbitMQ, Logstash, Elasticsearch, Kibana
Состав команды проекта
4 Data Engineer, 1 QA
Задачи
Построение распределенного пайплайна для обработки больших объемов событий
Реализация валидации данных через Apache NiFi
Интеграция Elasticsearch для поиска аномалий
Разработка API для экспорта данных в различных форматах
Сбор логов в Logstash и визуализация в Kibana для оперативного анализа
Достижения/результаты
Сократил количество ошибок при обработке данных
Обеспечил поиск аномалий в режиме реального времени
Ускорил выгрузку для аналитиков
Стек специалиста на проекте
Elasticsearch, Kibana, MongoDB, Kafka, Apache NiFi, MinIo, Logstash, RabbitMQ
Отрасль проекта
RnD
Период работы
Февраль 2022 - Август 2023
(1 год 7 месяцев)
FinTech Corp
Роль
Data Engineer
Обязанности
FinTech Corp (Март 2018 – Февраль 2022)
Data Engineer
Сфера: Fintech
Описание проекта
Разработка транзакционной платформы для банковских операций, создание Data Lake для проверки качества финансовых данных и системы формирования отчетов для регуляторов
Стек проекта
Apache Kafka, PostgreSQL, Spring Boot, Apache Spark, Hadoop (HDFS, YARN, MapReduce), Oozie, Scala, Airflow
Состав команды проекта
6 разработчиков, 4 Data Engineer, 2 QA
Задачи
Проектирование шины данных для высоконагруженных транзакций с использованием Kafka и Spark
Внедрение кэширования (Redis) для ускорения отклика API
Реализация автоматических проверок качества данных через Spark SQL
Настройка Airflow и Oozie для оркестрации ETL-задач
Оптимизация агрегации данных в Spark RDD
Автоматизация выгрузки отчетности для регуляторов
Достижения/результаты
Повысил устойчивость системы к большим объемам транзакций
Сократил время отклика API
Уменьшил долю некорректных записей
Ускорил генерацию отчетов и снизил ручные операции
Стек специалиста на проекте
MapReduce, Yarn, Scala, Hadoop, Apache Spark, HDFS, Apache AirFlow, Spring Boot, oozie, PostgreSQL, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Март 2018 - Февраль 2022
(4 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
МИРЭА (Российский технологический университет)
Специальность
Программная инженерия
Завершение учебы
2018 г.