АЛ
Антон Л.
Мужчина, 34 года
Россия, Москва, UTC+3
Ставка
2 883,11 Р/час
НДС не облагается
Специалист доступен с 31 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Scala разработчик
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Китайский — C1
Главное о специалисте
Senior Java Developer с более чем 6 годами опыта в разработке высокопроизводительных распределенных систем и обработке больших данных. Специализируется на работе с Apache Flink, Apache Hudi, Kafka и Spark, оптимизации процессов обработки данных и интеграции решений в облачные платформы. Имеет опыт проектирования архитектуры сервисов, настройки CI/CD и обеспечения безопасности данных. Ориентирован на повышение производительности, оптимизацию затрат и реализацию бизнес-требований.
Проекты
(6 лет 4 месяца)
использованием Apache Flink и Kafka.
Роль
Разработчик ПО
Обязанности
- Проведение сравнительных тестов производительности Spark и Flink на распределенном кластере, определение сценариев использования и необходимых интеграций для Flink.
- Интеграция Flink с Kafka для обеспечения потокового источника данных.
- Реализация механизма Kerberos для соответствия требованиям безопасности.
- Разработка архитектуры решения для предоставления Flink как банковского сервиса.
- Реализация плагина log4j2 для Flink для создания формата логов, необходимого для аудита.
- Разработка сервиса для подключения аналитиков данных к вычислительным ресурсам (Flink/Trino).
- Оптимизация процессов обработки данных и интеграций.
- Документирование архитектуры и процессов разработки.
-Участие в тестировании и отладке решений.
Достижения
- Успешно интегрировал Flink с Kafka, обеспечив стабильную потоковую обработку данных.
- Разработал архитектуру сервиса, повысив доступность вычислительных ресурсов для аналитиков.
- Реализовал механизм аудита логов, обеспечив соответствие требованиям безопасности.
Стек специалиста на проекте
Trino, Apache flink, log4j2, Spring Data, kerberos, Java, Git, JUnit, Mockito, Gradle, Hadoop, Apache Hadoop, MinIo, boot, Hbase, Sprints, Docker, OpenShift, TestContainers, Maven, Spring, PostgreSQL, Jenkins, Kubernetes, Apache Kafka, java 17/21
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2023 - Июль 2025
(1 год 9 месяцев)
Разработка и оптимизация решений для обработки больших данных на платформах Apache Hudi и Apache Flink.
Роль
Разработчик ПО
Обязанности
- Настройка CI/CD пайплайна и тестового окружения для обеспечения отказоустойчивости, увеличение тестового покрытия до 80%.
- Реализация вторичного индекса, ускорившего обработку данных на 31%.
- Интеграция Databricks Delta Lake в облачную платформу Huawei для удовлетворения потребностей клиентов.
- Оптимизация логического плана Apache Flink, что увеличило производительность заданий с несколькими источниками на 13%.
- Реализация механизма приближенной обработки запросов для сокращения использования пространства.
- Расширение функциональности state backend Apache Flink для получения дополнительных данных из RocksDB.
- Взаимодействие с командами аналитиков и заказчиков для уточнения требований.
- Документирование процессов и технических решений.
- Проведение код-ревью и тестирование функционала.
Достижения
- Ускорил обработку данных на 31% за счет вторичного индекса в Apache Hudi.
- Повысил производительность Flink на 13% и сократил затраты на обработку данных.
- Успешно интегрировал Delta Lake, обеспечив поддержку клиентских сценариев.
Стек специалиста на проекте
Git, Java, Maven, Scala, Apache, Redis, CI/CD, Databricks, Delta Lake, hudi, Apache flink
Отрасль проекта
LifeStyle
Период работы
Апрель 2019 - Ноябрь 2023
(4 года 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Новосибирский национальный исследовательский государственный университет
Специальность
Факультет информационных технологий (аспирантура)
Завершение учебы
2024 г.