СЯ
София Я.
Женщина
Россия, Москва, UTC+3
Ставка
4 000 Р/час
НДС не облагается
Специалист доступен с 20 сентября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(4 года 7 месяцев)
Телеком
Роль
Старший дата инженер
Обязанности
- Проектирование и разработка пайплайнов данных (HDFS, Hive, NiFi, Apache Kafka);
- Оптимизация хранения данных на HDFS, Hive в разных форматах (ORC, Parquet, CSV);
- Настройка пайплайнов данных с объемом выгрузок до 1Тб в день (Apache NiFi):
- Настройка ETL-процессов
- Построение BI дашбордов с помощью Grafana и Qlick Sense
- Написание CI/CD для развертывания дагов Airflow на PySpark + Python;
- Организация логирования, мониторинга и качества данных потоков;
- Поддержка дагов на Scala.
Стек специалиста на проекте
NiFi, Grafana, sense, ДО, Qlick, Hive, Scala, BI, Apache NiFi, Apache Hadoop, CSV, HDFS, Vertica, PySpark, Apache Kafka, Python, CI/CD, Apache AirFlow
Отрасль проекта
Telecom
Период работы
Июнь 2023 - По настоящее время
(1 год 4 месяца)
Ит-компания
Роль
Middle дата-инженер
Обязанности
- Разработка архитектуры данных и структур баз данных, хранения данных, SQL;
- Работа с Avro, JSON, XML и др.
- Построение и администрирование потоков данных (Apache NiFi), написание дагов (Apache Airflow);
- Разработка и оптимизация SQL запросов;
- Подготовка витрин данных;
- Разработка и совершенствование аналитического продукта;
- Разработка и оптимизация ETL пайплайнов для внутренних и внешних источников данных;
- Обработка массивов данных, подготовка данных для отчетности и построения дашбордов;
- Рефакторинг существующих интеграций;
- Разработка интеграционной связности между инфраструктурой (NiFi, Airflow, другие продукты Apache);
- Тех.поддержка интеграций.
Стек специалиста на проекте
NiFi, Avro, 2022, Работа с интеграциями, 17, Администрирование, XML, JSON, Apache, Рефакторинг, ETL, Apache NiFi, SQL, Apache AirFlow, разработка архитектуры
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Июнь 2023
(1 год 3 месяца)
GlowByte Consulting
Роль
Дата инженер
Обязанности
- Проектирование и внедрение программных систем.
- Построение процессов для ввода и обработки данных.
- Построение архитектур данных, отвечающих требованиям бизнеса.
- Извлечение данных из множества различных источников для построения эффективных бизнес-моделей.
- Управление метаданными и другой информацией, связанной с поддерживаемыми данными.
- Написание и актуализация документации.
Стек специалиста на проекте
Hive, XML, Apache, Confluence, Python, Apache AirFlow, Jira
Отрасль проекта
RnD
Период работы
Март 2020 - Апрель 2022
(2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Бизнес-информатика
Завершение учебы
2022 г.