Вакансия в архиве Data инженер

- Владение одним из языков программирования (Java, Groovy); - Знание принципов ООП, умение читать чужой код; - Сборка проекта, компиляция и деплой в Rancher (Docker); - Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData. - Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов); - Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.); - Умение работать с Git в консоли; - Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.); - Опыт работы с Hadoop; - Понимание устройства HDFS, форматов данных; - Опыт работы с Hive или любым другим хранилищем на основе Hadoop; - Опыт использования системами ведения проектов и документации; - Умение работы с архитектурными схемами; - Понимание принципов построения и хранения данных - DWH и DataLake.

- Опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger , Spark, Zookeeper), Zabbix, Ansible.

- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow); - Определение стека технологий для конкретных проектов и задач; - Решение технически сложных задач; - Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок; - Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных; - Контроль за качеством интеграционных решений, с последующим заведением задач\дефектов на рефакторинг; - Выстраивание процессов (например, CI/CD, код ревью), внедрение и развитие инженерных практик; - Определение технологических стратегий развития проекта или продукта, работа на перспективу; - Предоставление отчетности о своей деятельности начальнику отдела/ руководителю в порядке, установленном руководством.

Крупная ритейл компания. Проект: Настройка интеграционных потоков