Вакансия Data инженер

- Наличие профессионального опыта работы в сфере управления и анализа данных продолжительностью минимум три года; - Свободное владение языком запросов SQL; - Подтвержденный стаж практической работы с языками программирования Python и технологией Apache Spark не менее двух лет; - Широкий опыт взаимодействия с экосистемой технологий Hadoop, включая такие инструменты, как HDInsight, Spark, Hive, Pig, Scala и прочие; - Большой опыт разработки и эксплуатации процессов извлечения, преобразования и загрузки данных (ETL), используя решения вроде Azure Data Factory, SSIS, Pentaho и аналогичные платформы; - Глубокое понимание и практические знания технологий облачного хранилища данных, предоставляемых платформами Microsoft Azure и Яндекс; - Действующий опыт внедрения и поддержки решений по управлению конфигурациями и автоматизацией рабочих процессов с использованием таких инструментов, как Azure DevOps, Ansible, DSC, Puppet, Chef, Salt и аналогичных.

- Создание и поддержка инфраструктуры загрузки и трансформации данных, а также промежуточных аналитических витрин в среде Yandex Data Lake; - Анализ и документирование действующих схем преобразования данных, применяемых для формирования отчетности в рамках текущих хранилищ данных - Yandex Data Lake и Azure Data Lake; - Контроль исполнения ETL-процессов и оперативная реакция на возникающие инциденты; - Устранение технических ошибок и повышение качества данных, возникающих в результате обращений пользователей; - Оптимизация существующих процессов передачи и преобразования данных при выявлении возможностей для улучшения производительности; - Разработка и ведение технической документации, необходимой для дальнейшего сопровождения хранилищ данных, механизмов их загрузки и аналитики.

Заказчик- завод изготовитель корма для животных. Требуется Data Engineer - эксперт, специализирующийся на data-продуктах – хранилищах данных, платформах данных (YDL/ADL). Проект: Поддержка цепочек загрузки данных и витрин на аналитических платформах Yandex/Azure cloud.