ИБ
Иван Б.
Мужчина, 27 лет
Россия, Москва, UTC+3
Ставка
3 636,36 Р/час
НДС не облагается
Специалист доступен с 24 октября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(5 лет 9 месяцев)
Мобильные ТелеСистемы (МТС)
Роль
Data инженер
Обязанности
Проект МТС Data Platform, строили риск-аналитическую экосистему с batch и streaming-витринами.
- Использовал Apache NiFi для интеграции внешних источников (API, FTP, файловые потоки) и оркестрации real-time загрузок
- Основной язык — Python (PySpark, Airflow, утилиты, API), также применял Scala для Spark Streaming и коннекторов к Kafka
- Работал с PostgreSQL (OLTP-метаданные, DQ-результаты, индексы, партиции) и ClickHouse (витрины, TTL, дедупликация, real-time отчёты).
- S3 как объектное хранилище для ETL-архивов и ML-моделей.
- Работал с Redis, ElasticSearch, MongoDB.
- Работал с RabbitMQ для обмена служебными сообщениями между сервисами.
- Занимался федеративными запросами через Trino и моделированием витрин в dbt. Реализовывал Data Governance, DQ-чеки, SLA, lineage через DataHub и Atlas.
- Практиковал DataOps (CI/CD, GitLab), оркестрацию Spark-джобов в Kubernetes, интеграцию ML-моделей в ETL, подключал BI-инструменты (Superset, Tableau).
- Строили распределённые домены данных с единым каталогом и контрактами с помощью Data Mesh/Data Fabric
- Проектировал и продуктивизировал корпоративные витрины данных, интегрировал данные
из внешних источников, обеспечивая стабильную и безопасную передачу данных.
- Разрабатывал прототипы аналитических и ML‑моделей: собирал, очищал и подготавливал
данные из разнородных источников, выводил модели в продакшен .
- Создавал и автоматизировал ETL‑конвейеры для слоёв RAW, DDS и CDM, оптимизировал
производительность и соблюдал внутренние стандарты.
- Внедрял практики повышения качества и консистентности данных; строил процессы
валидации, мониторинга и тестирования.
- Поддерживал и развивал внутреннюю базу знаний и инструменты для работы с данными;
консультировал аналитиков и разработчиков.
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Elasticsearch, SQL, Python, Oracle, MongoDB, Scala, GitLab, Hive, ClickHouse, Hadoop, Pandas, GreenPlum, ETL, Apache Spark, Kafka, Tableau, Apache AirFlow, Redis, CI/CD, S3, Apache NiFi, Superset, PySpark, DBT
Отрасль проекта
Telecom
Период работы
Апрель 2022 - По настоящее время
(3 года 7 месяцев)
VK
Роль
Data инженер
Обязанности
- Разрабатывал и оптимизировал ETL‑пайплайны для загрузки данных из Hadoop в Vertica,
обеспечивая надёжность и масштабируемость.
- Проектировал и поддерживал гибкое хранилище данных на основе Anchor‑модели, что
повысило эффективность хранения и обработки данных.
- Оркестровал ETL‑процессы в Airflow, автоматизировал мониторинг, управление
зависимостями и оповещение об ошибках.
- Интегрировал данные из различных источников (БД, API, файловые хранилища),
обеспечивал их чистоту и консистентность .
- Внедрял механизмы контроля качества и мониторинга метрик; выполнял ad‑hoc запросы и
анализ данных по запросу бизнеса.
- Разрабатывал аналитические решения и визуализации, помогая бизнесу принимать
решения на основе данных.
- Технологии: Python, SQL, Apache Spark, Hadoop, Vertica, ClickHouse, Airflow, GitLab.
Стек специалиста на проекте
SQL, Python, GitLab, ClickHouse, Hadoop, Apache Spark, Vertica, Apache AirFlow
Отрасль проекта
Social Networking
Период работы
Февраль 2020 - Март 2022
(2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва
Специальность
Институт экономики, математики и информационных технологий (ЭМИТ), Математические методы в экономике (экономист-математик)
Завершение учебы
2019 г.
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет), Москва
Специальность
Магистр, Факультет инноваций и высоких технологий, Цифровая экономика (аналитик данных)
Завершение учебы
2022 г.