АТ
Артем Т.
Мужчина
Россия, Москва, UTC+3
Ставка
4 000 Р/час
НДС не облагается
Специалист доступен с 12 ноября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
DevOps
Грейд
Навыки
Отрасли
Главное о специалисте
Имею опыт работы с администрированием hadoop кластеров(hdfs, yarn, zookeeper, zkfc, hive), написанием airflow дагов, мониторингом, python разработкой, bash скриптингом, .deb системами, docker+k8s( на уровне деплоя сервиса с отладкой )
Участие в других проектах:
Консультант по инфраструктуре данных в NDA (GCC telecom)
Организовал развертывание и организацию комплексной инфраструктуры обработки данных с использованием HDFS, YARN, Apache Airflow, ClickHouse, Apache Spark и Apache Flink. Эта настройка
обеспечила непрерывную обработку данных, гарантируя эффективное хранение данных, управление ресурсами и
аналитику в реальном времени. Реализация поддерживала бесперебойные рабочие процессы данных и высокопроизводительные запросы, значительно расширяя возможности компании по обработке и анализу данных,
обеспечивая при этом масштабируемость и надежность
.
Инженер DevOps в DEUSCORP (приложение для знакомств Matchit)
Разрабатывал инфраструктуру на платформах веб, iOS и Android, интегрируя конвейеры Gitlab CI/CD для оптимизации процессов развертывания кода. Эта оптимизация значительно ускорила доставку кода в производственные среды. Инфраструктура прошла тщательное тестирование и проверку, чтобы выдерживать ежедневную нагрузку пользователей до 10 000, гарантируя надежность и масштабируемость.
Проекты
(2 года 6 месяцев)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Топ-3 компаний электронной коммерции в России
Автоматизация и интеграция процессов разработки, мониторинга и анализа; управление конфигурацией; инфраструктура как управление кодом; создание и развертывание учебных курсов для
сотрудников; сотрудничество с командами разработчиков для автоматизации и оптимизации операций и процессов; оптимизация производительности; обеспечение безопасности.
● Внедрение автоматизированной системы Canary DAG для повышения скорости обнаружения инцидентов на
20%, мониторинг критических центров обработки данных для функциональности HDFS, Hive и YARN.
● Разработка и развертывание обширной программы обучения, охватывающей HDFS, Spark, YARN и Hive, предоставляемой через управляемую Kubernetes службу Python. Эта инициатива,
в которой приняли участие более 1000 сотрудников, значительно сократила запросы от младшего персонала, тем самым оптимизировав распределение ресурсов старших сотрудников для более сложных задач.
● Развертывание всей инфраструктуры, включая несколько кластеров postgres, объектное хранилище, gitlab, вируталки, кубер с использованием yandex.cloud
● Совместно работали над созданием библиотеки Python, интегрированной с K8s JupyterHub, упрощающей процессы архивирования файлов в каталогах HDFS Kerberos непосредственно из терминалов или файлов .ipynb, тем самым повышая эффективность управления архивами.
● Разработали службу Java SpringBoot + Maven, направленную на автоматическое обнаружение разделов и таблиц Hive и HDFS. Это нововведение позволяет аналитикам легко взаимодействовать с данными без необходимости ручного администрирования наборов данных.
● Работы по развитию Hadoop(Hdfs, Yarn, Spark), java программирование сервисов для аналитиков, python для airflow DAG'ов, ansible, l3 support на ротациях
Стек специалиста на проекте
support, Работа с интеграциями, Kubernetes, Программное обеспечение, Yarn, springboot, canary, kerberos, Spark, Hive, Java, Yandex, Hadoop, Ansible, cloud, HDFS, Мониторинг, Python, Apache AirFlow, Maven, оптимизация
Отрасль проекта
E-commerce & Retail
Период работы
Март 2024 - Октябрь 2024
(8 месяцев)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Пересмотренные и стандартизированные кодовые базы Ansible для кластеров песочниц Hadoop, обеспечивающие плавный и надежный переход от тестирования в песочнице к производственным средам.
Написание DAG'a для регулярной автоматической работы мониторинга.
Написание обучающего курса по экосистеме Hadoop(HDFS,YARN,Spark,Hive).
Написание сервиса для аналитики прохождений и контроля доступа курса.
Стек специалиста на проекте
Программное обеспечение, Yarn, Базы данных, Spark, Hive, Hadoop, Ansible, HDFS, Мониторинг, Аналитика, Testing
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2022 - Февраль 2024
(1 год 4 месяца)
OZON.ru, Интернет-магазин
Роль
DevOps инженер
Обязанности
Задачи
Работа с ansible для раскатки кластеров hadoop, (hive, yarn, hdfs, ranger, docker)
Участие в дежурствах
Получено понимание работы с apache Spark, Hive, HDFS
Стек специалиста на проекте
range, Yarn, Hive, Hadoop, Ansible, Apache Spark, HDFS, Docker
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Ноябрь 2022
(7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики
Специальность
Итип, Информационные системы и технологии
Завершение учебы
2020 г.