КЧ
Кирилл Ч.
Мужчина
Россия, Москва, UTC+3
Ставка
3 468,09 Р/час
вкл. НДС 5% (128.57 Р)
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — C1
Главное о специалисте
Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком.
Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи:
- разработка и оптимизация ETL/ELT процессов;
- проектирование хранилищ данных на базе PostgreSQL и ClickHouse;
- внедрение и настройка Apache NiFi и Apache Airflow;
- поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL);
- реализация проектов по обработке данных в реальном времени с использованием Apache Spark;
- написание и оптимизация DAG в Airflow для автоматизации загрузки данных;
- настройка брокеров сообщений для передачи данных;
- развёртывание и настройка ELK-стека для логирования и мониторинга данных;
- создание аналитических дашбордов на основе данных (Tableau, Power BI);
- интеграция DBT в пайплайны данных для трансформации данных.
Проекты
(5 лет 11 месяцев)
Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников
Роль
Data Engineer
Обязанности
Проект: Разработка и оптимизация ETL-конвейеров для обработки данных из
открытых источников, автоматизация загрузки данных в реальном времени через
Airflow, развертывание ELK-стека для мониторинга и анализа данных,
проектирование моделей данных и оптимизация SQL-запросов, а также интеграция
Kafka для передачи данных между системами.
Задачи:
разработка и оптимизация ETL/ELT процессов для повышения скорости и
эффективности обработки данных;
• проектирование хранилищ данных на базе PostgreSQL и ClickHouse;
• внедрение и настройка Apache NiFi и Apache Airflow для автоматизации процессов
управления данными;
• поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL);
• реализация проектов по обработке данных в реальном времени с использованием
Apache Spark;
написание и оптимизация DAG в Airflow для автоматизации загрузки данных;
• настройка брокеров сообщений (Apache Kafka) для передачи данных;
• развертывание и настройка ELK-стека для логирования и мониторинга данных;
• проектирование математических моделей с использованием языков C#, Julia и
Dragon;
• создание аналитических дашбордов на основе данных (Tableau, Power BI);
• разработка и поддержка моделей данных с использованием DBT;
• интеграция DBT в пайплайны данных для трансформации данных;
• понимание процессов версионирования моделей данных;
• парсинг данных с использованием процессов Apache NiFi;
• разработка системы для работы с данными: хранилища, инструменты и сервисы для
Yandex Object Storage;
• сбор данных из множества источников и обеспечение их попадания в общее
хранилище.
Стек специалиста на проекте
C#, DBT, NiFi, drogon, ClickHouse, Spark, Elasticsearch, Power BI, Kafka, Julia, Tableau, ELK Stack, SQL, Python, GreenPlum, Apache AirFlow, Microsoft, MySQL, PostgreSQL, Yandex Object Storage, Yandex Cloud, Apache Kafka
Отрасль проекта
Information Security
Период работы
Сентябрь 2019 - По настоящее время
(5 лет 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Кубанский Государственный Технологический Университет
Специальность
Информационная безопасность автоматизированных систем, Бакалавр
Завершение учебы
2019 г.