Денис К. Data инженер, Senior

ID 30970
ДК
Денис К.
Мужчина, 30 лет
Россия, Москва, UTC+3
Ставка
4 025,97 Р/час
НДС не облагается
Специалист доступен с 14 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
PostgreSQL
Python
Kafka
SQL
Git
Docker
GreenPlum
ClickHouse
Hadoop
Oracle
DWH
ETL
Pandas
PySpark
Hive
Jira
Apache Spark
Confluence
GitLab
Kubernetes
CI/CD
Power BI
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B2
Главное о специалисте
Senior Data инженер с опытом работы более 8 лет. Специализируется на разработке и внедрении решений в области обработки и анализа данных. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки: Apache AirFlow, PostgreSQL, Python, Kafka, SQL, Git, Docker, GreenPlum, ClickHouse, Hadoop, Oracle, DWH, ETL, Pandas, PySpark, Hive, Jira, Apache Spark, Confluence, GitLab, Kubernetes, CI/CD, Power BI. Победитель конкурса на лучшего сотрудника в группе компаний Т1(ВТБ) в номинации "выход за рамки". Благодарность "за добросовестное исполнение трудовых обязанностей и достигнутые успехи" от главы блока Сервисы, заместителя председателя правления Сбербанка. Написал статью в журнал по банковской кибербезопасности.
Проекты   (8 лет 1 месяц)
Банк ВТБ (ПАО)
Роль
Главный инженер данных
Обязанности
- Разработал и стандартизировал автоматизированные процессы сбора и анализа данных для мониторинга машинных моделей (ML), применяемых в сфере кредитования физических лиц (ипотека, кредиты наличными, кредитные карты, автокредиты). - Использованы технологии Airflow, Spark, ClickHouse. - Созданы универсальные дашборды в Superset для контроля состояния моделей прогнозирования убытков (LGD — Loss Given Default). - Разработаны пайплайны для регулярного расчета показателей качества моделирования регуляторных отчетов Центрального банка РФ (ПВР, LGD, PD, EAD). Реализовал проект оперативной системы мониторинга качества данных и метаданных, необходимых для построения расширенных аналитических витрин розничного кредитного конвейера. Выполнены следующие этапы проекта: - Проектирование архитектуры решения, - Разработка и тестирование процессов обработки данных (ETL), - Согласование требований с бизнес-заказчиками, - Внедрение и эксплуатация системы в промышленной среде. Фронтенд-решения разработаны на фреймворке Dash, обеспечивающем гибкость визуализации результатов анализа.
Достижения
- Создана система автоматического мониторинга логов Spark-сессий, позволяющая оперативно выявлять проблемы и сбои в обработке больших объемов данных. - Проводил глубокую оптимизацию SQL-запросов для повышения производительности вычислений и снижения нагрузки на вычислительные ресурсы. - Созданы новые и оптимизированы и улучшены существующие дашборды в Superset, повысив их информативность и удобство восприятия для пользователей.
Стек специалиста на проекте
Python, GitLab, Hive, Spark, ClickHouse, Hadoop, ETL, Kafka, Apache AirFlow, DBT, Data Vault 2.0, greеnplum
Отрасль проекта
FinTech & Banking
Период работы
Март 2022 - Сентябрь 2025  (3 года 7 месяцев)
PricewaterhouseCoopers
Роль
Главный инженер данных
Обязанности
Под моим непосредственным руководством команда из трех высококвалифицированных специалистов разработала инновационный сервис ценообразования на базе искусственного интеллекта для крупнейшей международной мебельной компании. Сервис включает: - Предиктивные модели прогнозирования объема продаж. - Оптимизационные алгоритмы с настраиваемыми параметрами для определения оптимальной цены продукции. - Реализация сервиса в облачной инфраструктуре Google Cloud Platform с использованием Kubernetes для масштабируемости и надежности. Для Ассоциации Большие Данные (АБД), объединяющей лидеров рынка цифровых решений (Сбербанк, МТС, Газпромбанк, Яндекс, сеть магазинов «Магнит»), успешно реализовал два инновационных пилота: 1. Алгоритм поиска наиболее перспективных мест размещения новых торговых объектов одного из ведущих продуктовых ритейлеров страны. 2. Система предсказания посещаемости в зависимости от состава арендаторов и проводимых акций для сети популярных российских торговых центров. Также осуществил глубокий аудит текущего положения дел и планов развития в области Data Management крупного международного игрока нефтегазового сектора Восточной Европы. Проведен цикл встреч и интервью с высшим руководством компании для выявления потребностей и формирования рекомендаций по развитию инфраструктуры управления данными. Ключевые компетенции: - Продуктовая разработка сервисов на базе AI / ML - Опыт реализации проектов для международных корпораций и государственных структур - Эффективное управление командами разработчиков - Понимание специфики B2B-продаж и оптимизации процессов предприятий FMCG и розничной торговли - Навык стратегического планирования в сфере цифровизации и big data - Успешный опыт взаимодействия с ведущими представителями индустрии высоких технологий и крупными корпоративными заказчиками - Практическое применение инструментов анализа данных и автоматизации процессов принятия решений
Стек специалиста на проекте
PostgreSQL, Docker, Python, Bash, Google Cloud, Kubernetes, AWS, Spark, ClickHouse, Hadoop, Big Data, Apache AirFlow, Yandex Cloud, Superset, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2020 - Март 2022  (1 год 9 месяцев)
Сбер
Роль
Data Scientist
Обязанности
Интеграция современных технологий информационной безопасности и обработка данных высокого риска. Ключевые компетенции: - Информационная безопасность и защита данных высокой степени чувствительности - Применение методов машинного обучения (ML) и NLP для распознавания конфиденциальных сведений - Интеграция специализированных решений в инфраструктуру банка - Постановка задач и наставничество младших специалистов - Контроль качества обезличивания и подготовки данных для тестирования и разработки - Использование технологий BigData (Hadoop, Spark, PySpark, PostgreSQL) - Инструменты интеграции и оркестрации данных (Informatica IBDM, Oozie) - Проверка соответствия требованиям регуляторов и внутренних политик банка - Коммуникабельность и умение эффективно взаимодействовать с коллегами разных уровней иерархии банка
Достижения
- Создал и внедрил интеллектуальную систему поиска конфиденциальных данных с применением NLP нейросетей, минимизировав риски утечки чувствительной информации. Технология интегрирована во внутренние сервисы банка для проверки документов и данных на предмет конфиденциальности. - Осуществлял развертывание и интеграцию собственной интеллектуальной системы поиска конфиденциальных данных в различные банковские системы, включая автоматические заявки и межконтурные передачи данных, что позволило обеспечить высокий уровень защиты критически важных активов организации. - Руководил постановкой задач новым специалистам и стажёрам, контролируя выполнение поручений и обеспечивая оперативное решение вопросов информационной безопасности. - Организовывал проверку и обезличивание производственных данных перед передачей в девелопмент-контуры и суперкомпьютер Кристофари (суперкомпьютер Сбербанка), используя собственную уникальную модель верификации данных. - Проводил проверку наличия конфиденциальной информации в передаваемых наборах данных и принимал решения относительно возможности переноса данных между разными уровнями защищенности. - Создавал специализированные витрины и хранилища данных в Hadoop, используя такие инструменты, как Spark/PySpark, Informatica (IBDM), Oozie, способствуя эффективной работе банковских подразделений с массивами информации. - Участвовал в проведении приёмо-сдаточных испытаний, организуя согласования технических заданий и инструкций по эксплуатации созданных систем. - Консультировал сотрудников банка по вопросам безопасного обращения с конфиденциальными данными, помогая избегать ошибок и повышать общую информационную безопасность организации.
Стек специалиста на проекте
PostgreSQL, Machine learning, Informatica, Spark, Hadoop, Big Data, NLP, PySpark, oozie
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2017 - Июль 2020  (2 года 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Практический интенсив "Школа продактов" Институт бизнеса и делового администрирования (при РАНХиГС) 2020 г.
Образование
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет)
Специальность
ФИВТ, Прикладные математика и физика
Завершение учебы
2019 г.
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет)
Специальность
ФИВТ, Прикладные математика и физика
Завершение учебы
2017 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
ИУ
Исатай У.
Алматы
Data аналитик
Middle+
3 339,64 Р/час
Apache Superset
pl
GoogleSheets
Google Ads
ClickHouse
Numpy
OData
Java
Git
API
+31

Исатай — опытный data-аналитик с навыками программирования на Python, работы с базами данных и инструментами аналитики. Имеет опыт разработки ETL-процессов в Apache Airflow и построения витрин для дашбордов с использованием BI-инструментов (Power BI и Apache Superset). Исатай работал над проектами в сфере электронной коммерции и розничной торговли, а также в финтехе и банковской отрасли. Он обладает навыками работы с различными API, умеет проводить A/B-тестирование и анализировать данные с помощью Google Analytics. На своих проектах Исатай занимался разработкой DWH-инфраструктуры, оптимизацией структуры данных, составлением отчётов и рассылок, взаимодействием с back-end разработчиками и другими задачами. За время работы он накопил значительный опыт в области анализа данных и может быть полезен компаниям, ищущим специалиста для решения сложных аналитических задач.

Подробнее