Требуется Data инженер

- Python: владение структурами данных, библиотеками Pandas/Polars, SQLAlchemy; опыт работы с API; - SQL: уверенное использование JOIN, группировок и оконных функций; опыт написания процедур и функций, а также настройки таблиц при создании; - Документирование бизнес‑ и технических требований: формирование словарей данных и S2T‑маппингов, описание алгоритмов обработки и преобразование данных; - Проведение обследований источников данных (Discovery) для выявления требований и возможностей интеграции; - Работа с базами данных: понимание их структуры, оптимизации запросов и учёта свойств таблиц для повышения эффективности; - Практическая разработка и эксплуатация корпоративных хранилищ данных (КХД).

- Написание скриптов миграции данных с использованием SQL и Python, обеспечивающих корректное и полное перенесение информации между системами; - Проектирование и реализация ETL‑процессов преобразования данных между слоями корпоративного хранилища с применением оркестратора Airflow; - Формирование и актуализация документации по требованиям к хранению данных, включая описание структур, политик и стандартов; - Проведение обследования источников данных: анализ доступности, качества, структуры и форматов для последующей интеграции в хранилище.

1 техническое интервью с заказчиком

Заказчик - профессиональная студия разработки, предоставляющая комплексные услуги по созданию и развитию цифровых продуктов. Проект по созданию системы видеоаналитики для оперативного контроля и фиксации инцидентов на объектах нефтегазового сектора. Технологический стек: PostgreSQL, Amazon S3, Apache Airflow.