СЯ
София Я.
Женщина
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(5 лет 5 месяцев)
Телеком
Роль
Старший дата инженер
Обязанности
- Проектирование и разработка пайплайнов данных (HDFS, Hive, NiFi, Apache Kafka);
- Оптимизация хранения данных на HDFS, Hive в разных форматах (ORC, Parquet, CSV);
- Настройка пайплайнов данных с объемом выгрузок до 1Тб в день (Apache NiFi):
- Настройка ETL-процессов
- Построение BI дашбордов с помощью Grafana и Qlick Sense
- Написание CI/CD для развертывания дагов Airflow на PySpark + Python;
- Организация логирования, мониторинга и качества данных потоков;
- Поддержка дагов на Scala.
Стек специалиста на проекте
Apache Kafka, Python, Scala, Grafana, Hive, BI, Apache Hadoop, CSV, Vertica, Apache AirFlow, CI/CD, HDFS, Apache NiFi, Qlick, PySpark, NiFi, ДО, sense
Отрасль проекта
Telecom
Период работы
Июнь 2023 - По настоящее время
(2 года 2 месяца)
Ит-компания
Роль
Middle дата-инженер
Обязанности
- Разработка архитектуры данных и структур баз данных, хранения данных, SQL;
- Работа с Avro, JSON, XML и др.
- Построение и администрирование потоков данных (Apache NiFi), написание дагов (Apache Airflow);
- Разработка и оптимизация SQL запросов;
- Подготовка витрин данных;
- Разработка и совершенствование аналитического продукта;
- Разработка и оптимизация ETL пайплайнов для внутренних и внешних источников данных;
- Обработка массивов данных, подготовка данных для отчетности и построения дашбордов;
- Рефакторинг существующих интеграций;
- Разработка интеграционной связности между инфраструктурой (NiFi, Airflow, другие продукты Apache);
- Тех.поддержка интеграций.
Стек специалиста на проекте
XML, JSON, SQL, Apache, Avro, ETL, Администрирование, Apache AirFlow, Рефакторинг, Apache NiFi, Работа с интеграциями, NiFi, разработка архитектуры
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Июнь 2023
(1 год 3 месяца)
GlowByte Consulting
Роль
Дата инженер
Обязанности
- Проектирование и внедрение программных систем.
- Построение процессов для ввода и обработки данных.
- Построение архитектур данных, отвечающих требованиям бизнеса.
- Извлечение данных из множества различных источников для построения эффективных бизнес-моделей.
- Управление метаданными и другой информацией, связанной с поддерживаемыми данными.
- Написание и актуализация документации.
Стек специалиста на проекте
XML, Jira, Confluence, Python, Apache, Hive, Apache AirFlow
Отрасль проекта
RnD
Период работы
Март 2020 - Апрель 2022
(2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Бизнес-информатика
Завершение учебы
2022 г.