РГ
Рустам Г.
Мужчина, 25 лет
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 16 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Data Engineer c 4+ годами коммерческой практики. Участвовал в создании высоконагруженных решений для электронного документооборота органов власти, e-commerce-платформ и картографических сервисов. В портфолио — региональная система ЭДО, реактивный интернет-магазин, сервис генерации геокарт и контент-платформа для авторских публикаций. Работал с микросервисной и реактивной архитектурой, ETL-конвейерами и потоковой обработкой данных. Специализируется на построении отказоустойчивых Java-микросервисов, оптимизации SQL/NoSQL-хранилищ, интеграции с Kafka/Spark и работе с геопространственными данными.
Проекты
(4 года)
Яндекс
Роль
Data Engineer
Обязанности
Описание: Разработка и оптимизация DWH-решений для одного из крупнейших сервисов доставки еды в России. Работа с полным циклом данных — от сырых транзакций до аналитических витрин.
Стадия разработки: масштабирование / поддержка.
Участие в проекте:
Проектирование и поддержка ETL-процессов (Airflow, Hive, Greenplum, Clickhouse, Spark, S3).
Повышение эффективности использования выделенных ресурсов хранения и обработки данных (Hadoop).
Моделирование данных Hnhm (Anchor + Data Vault).
Cоздание инструментов мониторинга/контроля изменений и целевого состояния дашбордов (Datalens).
Интеграции с внутренними инструментами (REST/SOAP/gRPC).
Настройка CI/CD для аналитических инструментов (Arcadia, Tasklet) и мониторинга (Grafana, Juggler, Monium).
Профилирование пайплайнов топ-отчетности (Greenplum, Hive, Clickhouse).
Рефакторинг / разработка нового функционала - 40/60. Архитектурные/Фичовые задачи - 50/50. Соотношение работы менеджером/разработчиком - 10/90.
Команда: 29 чел. (6 DE, 2 AB, 10 SA, 8 BI, 3 PM).
Достижения
Оптимизировал использование ресурсов хранения (сократилось потребление диска на 11%, чанков на 40%, нод на 13%). Улучшил эффективность использования ядер за счёт настройки параметров ETL, что позволило сэкономить 500 CPU-дней ежедневно.
Провёл миграцию аналитических таблиц в обновлённую структуру, сохранив data lineage, благодаря чему удалось точнее распределять ресурсы между командами.
Улучшил производительность пайплайна топового отчёта, ускорив его подготовку с t-2 до трех часов.
Стек специалиста на проекте
Docker, Elasticsearch, SQL, Python, Kibana, Grafana, Hive, Spark, ClickHouse, Hadoop, GreenPlum, Kafka, Apache AirFlow, CI/CD, S3, HDFS, DataLens, modelio, flink, Data Catalog, cdc, Trino, tracker, anchor, alation, datatransfer
Отрасль проекта
Logistics & Transport
Период работы
Март 2024 - По настоящее время
(1 год 6 месяцев)
МТС
Роль
Data Engineer
Обязанности
Описание: Разработка и поддержка платформы реал-тайм поставки данных для телеком-оператора. Проект включал построение ETL/ELT-пайплайнов, интеграцию с legacy-системами и обеспечение гарантированной доставки данных для бизнес-аналитики.
Стадия разработки: с 0 + рефакторинг.
Участие в проекте:
Настройка CDC-пайплайнов с использованием Kafka + Debezium для синхронизации данных из OLTP-систем (PostgreSQL, Oracle, MySQL, MSSQL) в DWH.
Проектирование и поддержка ETL-процессов (Airflow, Clickhouse, PostgreSQL).
Настройка Real-Time поставки данных (Kafka-streams, KSQLDB).
Организация мониторинга полноты и качества доставки данных (Grafana, Zabbix).
Решение инцидентов и нештатных ситуаций для гарантированной доставки данных.
Оптимизация хранения и обработки данных в ClickHouse: рефакторинг неэффективных запросов, разработка новых запросов, мониторинг и обеспечение стабильности кластера
Рефакторинг / разработка нового функционала - 30/70. Архитектурные/Фичовые задачи - 50/50. Соотношение работы менеджером/разработчиком - 20/80.
Команда: 18 чел. (4 DE, 3 CA, 7 Backend, 3 PM, 1 Architect).
Достижения
Единый реактивный стек позволил обслуживать карты и e-commerce с минимальным потреблением потоков; визуализация карт «на лету» с параметризацией слоёв.
Стек специалиста на проекте
PostgreSQL, MySQL, Docker, Jira, Confluence, Python, Oracle, Grafana, ClickHouse, Zabbix, Kafka, HSQLDB, Apache AirFlow, Kafka Streams, MS SQL, connect, debezium, Kafka 3
Отрасль проекта
Telecom
Период работы
Январь 2023 - Март 2024
(1 год 3 месяца)
НДА
Роль
Data Engineer
Обязанности
Описание: Оптимизация алгоритма ценообразования на основе агрегации данных о розничных продажах (электроника, бытовая техника). Интеграция и обработка данных из 1С, веб-источников и мобильных приложений для аналитики и формирования отчетности.
Стадия разработки: рефакторинг / поддержка.
Участие в проекте:
Написание ETL пайплайнов. Сбор и агрегирование данных из различных источников (PostgreSQL, Airflow).
Анализ внешних и внутренних источников данных (1C, CSV, JSON).
Скрапинг данных при помощи BeautifulSoap, Selenium, API.
Разработка механизмов и алгоритмов автоматического получения, парсинга, проверки, очистки и хранения информации.
Проектирование базы данных (структура, индексы, хранимые процедуры) и оптимизация запросов.
Разработка системы, добавление нового функционала, оптимизация существующего функционала и корректировка алгоритмов при изменении форматов внешних источников данных
Рефакторинг / разработка нового функционала - 80/20. Архитектурные/Фичовые задачи - 20/80. Соотношение работы менеджером/разработчиком - 60/40.
Команда: 6 чел. (2 DE, 1 CA, 1 PM, 2 Backend)
Стек специалиста на проекте
PostgreSQL, Docker, Python, Grafana, 1С, Apache AirFlow, Gitlab CI
Отрасль проекта
E-commerce & Retail
Период работы
Сентябрь 2021 - Январь 2023
(1 год 5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Южно-Уральский государственный университет (Национальный исследовательский университет), Челябинск
Специальность
Электроника и наноэлектроника, Бакалавриат
Завершение учебы
2022 г.