ВС
Владимир С.
Мужчина, 26 лет
Россия, Москва, UTC+3
Ставка
2 500 Р/час
НДС не облагается
Специалист доступен с 10 октября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Проекты
(5 лет 5 месяцев)
Крупный российский банк
Роль
Senior Data Engineer
Обязанности
Основные задачи, которые приходится решать:
1) поддержание текущего процесса выгрузки кредитной истории на стеке GP+Airflow+NiFi (SQL-скрипты, ДАГи);
2) доработка процесса с учётом бизнес-требований от аналитиков и ЦБ;
3) рефакторинг и оптимизация текущего процесса расчёта витрин;
4) дежурства для оперативного реагирования на инциденты, связанные с расчётом, и на обращения пользователей.
В ходе работы удалось:
1) значительно улучшить качество данных, отправляемых в бюро кредитных историй, что сэкономило банку около 1 млрд рублей потенциальных штрафов;
2) оптимизировать расчет наших DAG при переходе с SAS на GP + внутренний Airflow framework, что позволило нам сократить время расчета наших данных с 5 часов до 1,5-2 и повысить эффективность использования Greenplum;
3) поучаствовать в процессе собеседования кандидатов;
4) настроить оповещения о работе наших DAG-ов, что сократило время реагирования на инциденты;
5) создать несколько ноутов на Python с помощью внутреннего фреймворка на базе Zeppelin, которые позволили бизнес-пользователям вручную перезагружать свою кредитную историю в любой момент.
Стек специалиста на проекте
Framework, sas, GreenPlum, Apache AirFlow
Отрасль проекта
FinTech & Banking
Период работы
Июнь 2023 - По настоящее время
(1 год 5 месяцев)
Крупный российский банк
Роль
Senior DWH Developer/Analyst
Обязанности
1) Создание новых и доработка имеющихся витрин по БТ заказчика;
2) Работа с заявками от бизнеса на ad-hoc запросы и на разбор некорректных данных/багов;
3) Создание/редактирование скриптов загрузки данных в PL/SQL и SAS DI;
4) Миграция пайплайнов из SAS DIS+IBM FM на Apache Airflow;
5) Реплицирование таблиц из источника в ЕХД;
6) Согласование ПСИ по изменению потоков загрузки подрядчиками.
Стек специалиста на проекте
DI, sas, Apache AirFlow
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2022 - Июнь 2023
(1 год 3 месяца)
IT интегратор
Роль
Middle Data Quality Analyst
Обязанности
1) Создание и валидация скриптов проверок качества данных для Oracle и Teradata;
2) Создание маппингов и потоков проверок качества данных в Informatica Data Quality;
3) Разбор и решение инцидентов по качеству данных;
4) Разбор трактов ETL-процессов для выявления причин ошибок;
5) Работа с разными хранилищами данных;
6) Написание инструкций по работе с определенными проблемами качества данных;
7) Консультирование коллег в части решения вопросов относительно проверок качества данных в разных системах.
Стек специалиста на проекте
Informatica, Oracle
Отрасль проекта
FinTech & Banking
Период работы
Май 2021 - Апрель 2022
(1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Дипломы и сертификаты
Hadoop. Система для обработки больших объёмов данных 2022 г.
Программирование на Python 2022 г.
The Complete Hands-On Introduction to Apache Airflow 2022 г.
Образование
Высшее
Учебное заведение
Уральский федеральный университет имени первого Президента России Б.Н. Ельцина
Специальность
Автоматизация технологических процессов и производств (по отраслям)
Завершение учебы
2019 г.
