Вакансия Data инженер

- От 3-х лет опыта в сфере инженерии данных: проектирование и эксплуатация конвейеров данных (батч/стриминг); - Высокий уровень владения SQL-запросами (включая аналитические запросы, оконные функции и методы оптимизации запросов) и Python для пайплайнов/утилит; - Опыт работы с платформой Airflow (DAG, зависимости, сенсоры, SLA, retries); - Опыт проектирования слоёв данных и форматов, организации хранения в объектных файловых системах совместимых с протоколом S3; - Практика data quality (тесты, профили, контракты); - Понимание ML-пайплайнов на уровне подготовки признаков/датасетов для обучения и сервинга; - Начальные знания и соблюдение базовых практик информационной безопасности при работе с данными.

- Осуществлять подключение к различным бизнес-системам (ERP/CRM/биллинги/лог-шины/API), консолидировать разрозненные данные; - Создавать и сопровождать надежные механизмы передачи данных (батч/стриминг) с оркестрацией, мониторингом и алертингом; - Формировать наборы данных и признаки, пригодные для моделирования: схемы, слои, форматы, версионирование; - Организовывать эффективное хранение данных: проектировать DWH/даталейк/лейкхаус, индексацию, партиционирование, компрессию; - Настраивать data quality/контракты данных (валидации, тесты, SLA); - Оптимизировать стоимость и производительность: планирование ресурсов, профилирование, кэш/материализация; - Включать возможности интеграции ML и LLM пайплайнов: оффлайн/онлайн фичи, фичастор, подготовка корпусов для RAG, векторные БД.

Проект крупной телекоммуникационной компании.