Вакансия в архиве Data инженер
24744
Подбор по данной вакансии завершён.
Посмотрите наш каталог актуальных запросов, найдите подходящие и предложите ваших специалистов.
Ритейл
Data инженер
Senior
Ставка ИТ-партнера
Не указано
Кол-во специалистов
1
Срок привлечения
3 мес. (с возможностью продления)
Формат работы
Удаленный
Требуемая локация специалиста
Любая
Требуемое гражданство специалиста
не важно
О клиенте
Отрасль
Ритейл
Обязательные требования
- Владение одним из языков программирования (Java, Groovy);
- Знание принципов ООП, умение читать чужой код;
- Сборка проекта, компиляция и деплой в Rancher (Docker);
- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData.
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);
- Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop;
- Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования системами ведения проектов и документации;
- Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных - DWH и DataLake.
Дополнительные требования
- Опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger , Spark, Zookeeper), Zabbix, Ansible.
Задачи на проекте
- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
- Определение стека технологий для конкретных проектов и задач;
- Решение технически сложных задач;
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
- Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных;
- Контроль за качеством интеграционных решений, с последующим заведением задач\дефектов на рефакторинг;
- Выстраивание процессов (например, CI/CD, код ревью), внедрение и развитие инженерных практик;
- Определение технологических стратегий развития проекта или продукта, работа на перспективу;
- Предоставление отчетности о своей деятельности начальнику отдела/ руководителю в порядке, установленном руководством.
Описание проекта и команды
Крупная ритейл компания.
Проект: Настройка интеграционных потоков
Обязательные требования
- Владение одним из языков программирования (Java, Groovy);
- Знание принципов ООП, умение читать чужой код;
- Сборка проекта, компиляция и деплой в Rancher (Docker);
- Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData.
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.);
- Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop;
- Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования системами ведения проектов и документации;
- Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных - DWH и DataLake.