АТ
Артем Т.
Мужчина
Россия, Москва, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 24 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
DevOps
Грейд
Навыки
Отрасли
Главное о специалисте
Имею опыт работы с администрированием hadoop кластеров(hdfs, yarn, zookeeper, zkfc, hive), написанием airflow дагов, мониторингом, python разработкой, bash скриптингом, .deb системами, docker+k8s( на уровне деплоя сервиса с отладкой )
Участие в других проектах:
Консультант по инфраструктуре данных в NDA (GCC telecom)
Организовал развертывание и организацию комплексной инфраструктуры обработки данных с использованием HDFS, YARN, Apache Airflow, ClickHouse, Apache Spark и Apache Flink. Эта настройка
обеспечила непрерывную обработку данных, гарантируя эффективное хранение данных, управление ресурсами и
аналитику в реальном времени. Реализация поддерживала бесперебойные рабочие процессы данных и высокопроизводительные запросы, значительно расширяя возможности компании по обработке и анализу данных,
обеспечивая при этом масштабируемость и надежность
.
Инженер DevOps в DEUSCORP (приложение для знакомств Matchit)
Разрабатывал инфраструктуру на платформах веб, iOS и Android, интегрируя конвейеры Gitlab CI/CD для оптимизации процессов развертывания кода. Эта оптимизация значительно ускорила доставку кода в производственные среды. Инфраструктура прошла тщательное тестирование и проверку, чтобы выдерживать ежедневную нагрузку пользователей до 10 000, гарантируя надежность и масштабируемость.
Проекты
(2 года 6 месяцев)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Топ-3 компаний электронной коммерции в России
Автоматизация и интеграция процессов разработки, мониторинга и анализа; управление конфигурацией; инфраструктура как управление кодом; создание и развертывание учебных курсов для
сотрудников; сотрудничество с командами разработчиков для автоматизации и оптимизации операций и процессов; оптимизация производительности; обеспечение безопасности.
● Внедрение автоматизированной системы Canary DAG для повышения скорости обнаружения инцидентов на
20%, мониторинг критических центров обработки данных для функциональности HDFS, Hive и YARN.
● Разработка и развертывание обширной программы обучения, охватывающей HDFS, Spark, YARN и Hive, предоставляемой через управляемую Kubernetes службу Python. Эта инициатива,
в которой приняли участие более 1000 сотрудников, значительно сократила запросы от младшего персонала, тем самым оптимизировав распределение ресурсов старших сотрудников для более сложных задач.
● Развертывание всей инфраструктуры, включая несколько кластеров postgres, объектное хранилище, gitlab, вируталки, кубер с использованием yandex.cloud
● Совместно работали над созданием библиотеки Python, интегрированной с K8s JupyterHub, упрощающей процессы архивирования файлов в каталогах HDFS Kerberos непосредственно из терминалов или файлов .ipynb, тем самым повышая эффективность управления архивами.
● Разработали службу Java SpringBoot + Maven, направленную на автоматическое обнаружение разделов и таблиц Hive и HDFS. Это нововведение позволяет аналитикам легко взаимодействовать с данными без необходимости ручного администрирования наборов данных.
● Работы по развитию Hadoop(Hdfs, Yarn, Spark), java программирование сервисов для аналитиков, python для airflow DAG'ов, ansible, l3 support на ротациях
Стек специалиста на проекте
Java, Python, Maven, Kubernetes, Yarn, Yandex, Hive, Spark, Hadoop, Ansible, Apache AirFlow, Мониторинг, HDFS, Работа с интеграциями, cloud, support, Программное обеспечение, springboot, kerberos, canary, оптимизация
Отрасль проекта
E-commerce & Retail
Период работы
Март 2024 - Октябрь 2024
(8 месяцев)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Пересмотренные и стандартизированные кодовые базы Ansible для кластеров песочниц Hadoop, обеспечивающие плавный и надежный переход от тестирования в песочнице к производственным средам.
Написание DAG'a для регулярной автоматической работы мониторинга.
Написание обучающего курса по экосистеме Hadoop(HDFS,YARN,Spark,Hive).
Написание сервиса для аналитики прохождений и контроля доступа курса.
Стек специалиста на проекте
Yarn, Hive, Spark, Hadoop, Базы данных, Ansible, Аналитика, Testing, Мониторинг, HDFS, Программное обеспечение
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2022 - Февраль 2024
(1 год 4 месяца)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Работа с ansible для раскатки кластеров hadoop, (hive, yarn, hdfs, ranger, docker)
Участие в дежурствах
Получено понимание работы с apache Spark, Hive, HDFS
Стек специалиста на проекте
Docker, Yarn, Hive, Hadoop, Ansible, Apache Spark, HDFS, range
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Ноябрь 2022
(7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики
Специальность
Итип, Информационные системы и технологии
Завершение учебы
2020 г.