ДК
Денис К.
Мужчина, 30 лет
Россия, Москва, UTC+3
Ставка
4 025,97 Р/час
НДС не облагается
Специалист доступен с 14 сентября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Senior Data инженер с опытом работы более 8 лет. Специализируется на разработке и внедрении решений в области обработки и анализа данных. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail.
Ключевые навыки: Apache AirFlow, PostgreSQL, Python, Kafka, SQL, Git, Docker, GreenPlum, ClickHouse, Hadoop, Oracle, DWH, ETL, Pandas, PySpark, Hive, Jira, Apache Spark, Confluence, GitLab, Kubernetes, CI/CD, Power BI.
Победитель конкурса на лучшего сотрудника в группе компаний Т1(ВТБ) в номинации "выход за рамки".
Благодарность "за добросовестное исполнение трудовых обязанностей и достигнутые успехи" от главы блока Сервисы, заместителя председателя правления Сбербанка.
Написал статью в журнал по банковской кибербезопасности.
Проекты
(8 лет 1 месяц)
Банк ВТБ (ПАО)
Роль
Главный инженер данных
Обязанности
- Разработал и стандартизировал автоматизированные процессы сбора и анализа данных для мониторинга машинных моделей (ML), применяемых в сфере кредитования физических лиц (ипотека, кредиты наличными, кредитные карты, автокредиты).
- Использованы технологии Airflow, Spark, ClickHouse.
- Созданы универсальные дашборды в Superset для контроля состояния моделей прогнозирования убытков (LGD — Loss Given Default).
- Разработаны пайплайны для регулярного расчета показателей качества моделирования регуляторных отчетов Центрального банка РФ (ПВР, LGD, PD, EAD).
Реализовал проект оперативной системы мониторинга качества данных и метаданных, необходимых для построения расширенных аналитических витрин розничного кредитного конвейера.
Выполнены следующие этапы проекта:
- Проектирование архитектуры решения,
- Разработка и тестирование процессов обработки данных (ETL),
- Согласование требований с бизнес-заказчиками,
- Внедрение и эксплуатация системы в промышленной среде.
Фронтенд-решения разработаны на фреймворке Dash, обеспечивающем гибкость визуализации результатов анализа.
Достижения
- Создана система автоматического мониторинга логов Spark-сессий, позволяющая оперативно выявлять проблемы и сбои в обработке больших объемов данных.
- Проводил глубокую оптимизацию SQL-запросов для повышения производительности вычислений и снижения нагрузки на вычислительные ресурсы.
- Созданы новые и оптимизированы и улучшены существующие дашборды в Superset, повысив их информативность и удобство восприятия для пользователей.
Стек специалиста на проекте
Python, GitLab, Hive, Spark, ClickHouse, Hadoop, ETL, Kafka, Apache AirFlow, DBT, Data Vault 2.0, greеnplum
Отрасль проекта
FinTech & Banking
Период работы
Март 2022 - Сентябрь 2025
(3 года 7 месяцев)
PricewaterhouseCoopers
Роль
Главный инженер данных
Обязанности
Под моим непосредственным руководством команда из трех высококвалифицированных специалистов разработала инновационный сервис ценообразования на базе искусственного интеллекта для крупнейшей международной мебельной компании.
Сервис включает:
- Предиктивные модели прогнозирования объема продаж.
- Оптимизационные алгоритмы с настраиваемыми параметрами для определения оптимальной цены продукции.
- Реализация сервиса в облачной инфраструктуре Google Cloud Platform с использованием Kubernetes для масштабируемости и надежности.
Для Ассоциации Большие Данные (АБД), объединяющей лидеров рынка цифровых решений (Сбербанк, МТС, Газпромбанк, Яндекс, сеть магазинов «Магнит»), успешно реализовал два инновационных пилота:
1. Алгоритм поиска наиболее перспективных мест размещения новых торговых объектов одного из ведущих продуктовых ритейлеров страны.
2. Система предсказания посещаемости в зависимости от состава арендаторов и проводимых акций для сети популярных российских торговых центров.
Также осуществил глубокий аудит текущего положения дел и планов развития в области Data Management крупного международного игрока нефтегазового сектора Восточной Европы. Проведен цикл встреч и интервью с высшим руководством компании для выявления потребностей и формирования рекомендаций по развитию инфраструктуры управления данными.
Ключевые компетенции:
- Продуктовая разработка сервисов на базе AI / ML
- Опыт реализации проектов для международных корпораций и государственных структур
- Эффективное управление командами разработчиков
- Понимание специфики B2B-продаж и оптимизации процессов предприятий FMCG и розничной торговли
- Навык стратегического планирования в сфере цифровизации и big data
- Успешный опыт взаимодействия с ведущими представителями индустрии высоких технологий и крупными корпоративными заказчиками
- Практическое применение инструментов анализа данных и автоматизации процессов принятия решений
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Google Cloud, Kubernetes, AWS, Spark, ClickHouse, Hadoop, Big Data, Apache AirFlow, Yandex Cloud, Superset, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2020 - Март 2022
(1 год 9 месяцев)
Сбер
Роль
Data Scientist
Обязанности
Интеграция современных технологий информационной безопасности и обработка данных высокого риска.
Ключевые компетенции:
- Информационная безопасность и защита данных высокой степени чувствительности
- Применение методов машинного обучения (ML) и NLP для распознавания конфиденциальных сведений
- Интеграция специализированных решений в инфраструктуру банка
- Постановка задач и наставничество младших специалистов
- Контроль качества обезличивания и подготовки данных для тестирования и разработки
- Использование технологий BigData (Hadoop, Spark, PySpark, PostgreSQL)
- Инструменты интеграции и оркестрации данных (Informatica IBDM, Oozie)
- Проверка соответствия требованиям регуляторов и внутренних политик банка
- Коммуникабельность и умение эффективно взаимодействовать с коллегами разных уровней иерархии банка
Достижения
- Создал и внедрил интеллектуальную систему поиска конфиденциальных данных с применением NLP нейросетей, минимизировав риски утечки чувствительной информации. Технология интегрирована во внутренние сервисы банка для проверки документов и данных на предмет конфиденциальности.
- Осуществлял развертывание и интеграцию собственной интеллектуальной системы поиска конфиденциальных данных в различные банковские системы, включая автоматические заявки и межконтурные передачи данных, что позволило обеспечить высокий уровень защиты критически важных активов организации.
- Руководил постановкой задач новым специалистам и стажёрам, контролируя выполнение поручений и обеспечивая оперативное решение вопросов информационной безопасности.
- Организовывал проверку и обезличивание производственных данных перед передачей в девелопмент-контуры и суперкомпьютер Кристофари (суперкомпьютер Сбербанка), используя собственную уникальную модель верификации данных.
- Проводил проверку наличия конфиденциальной информации в передаваемых наборах данных и принимал решения относительно возможности переноса данных между разными уровнями защищенности.
- Создавал специализированные витрины и хранилища данных в Hadoop, используя такие инструменты, как Spark/PySpark, Informatica (IBDM), Oozie, способствуя эффективной работе банковских подразделений с массивами информации.
- Участвовал в проведении приёмо-сдаточных испытаний, организуя согласования технических заданий и инструкций по эксплуатации созданных систем.
- Консультировал сотрудников банка по вопросам безопасного обращения с конфиденциальными данными, помогая избегать ошибок и повышать общую информационную безопасность организации.
Стек специалиста на проекте
PostgreSQL, Machine learning, Informatica, Spark, Hadoop, Big Data, NLP, PySpark, oozie
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2017 - Июль 2020
(2 года 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Практический интенсив "Школа продактов" Институт бизнеса и делового администрирования (при РАНХиГС) 2020 г.
Образование
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет)
Специальность
ФИВТ, Прикладные математика и физика
Завершение учебы
2019 г.
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет)
Специальность
ФИВТ, Прикладные математика и физика
Завершение учебы
2017 г.