АТ
Анастасия Т.
Женщина, 36 лет
Россия, Санкт-Петербург, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 2 октября 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Дата-инженер с 4-летним опытом создания комплексных решений для обработки данных, от классических DWH до современных Data Lake в облачной среде. Специализируюсь на проектировании и разработке масштабируемых ETL/ELT пайплайнов (Apache Airflow, Apache Spark), построении архитектуры Data Lake на базе Apache Iceberg и организации унифицированного доступа к данным с помощью Trino. Обладаю опытом работы с enterprise-стеком (IBM DataStage, DB2) и глубокими знаниями Python и SQL для оптимизации и автоматизации процессов. Сфокусирована на оптимизации производительности запросов (Trino, Spark) и построении масштабируемых моделей данных для создания надежн
Проекты
(3 года 5 месяцев)
ПЛАТФОРМА ДЛЯ БАНКА
Роль
Data-инженер
Обязанности
Проектировала и разворачивала архитектуру Data Lake на базе объектного хранилища и формата таблиц Apache Iceberg в облачной среде Yandex Cloud;
Проводила согласование бизнес-терминов и агрегатов между заинтересованными сторонами при формировании витрины;
Разрабатывала и поддерживала идемпотентные ETL/ELT пайплайны в Apache Airflow для инкрементальной и полной загрузки данных;
Внедряла Trino как основной движок для федеративных ad-hoc запросов, объединяя данные из Data Lake и PostgreSQL;
Оптимизировала производительность Trino через настройку коннекторов и анализ планов выполнения запросов (EXPLAIN ANALYZE);
Выполняла концептуальное и логическое моделирование хранилища данных с учетом предметной области, частоты обновлений и требований к аналитической отчетности;
Настраивала отказоустойчивый кластер Apache Airflow с использованием CeleryExecutor для масштабирования задач;
Координировала интеграцию данных из различных источников в единое хранилище с учетом различий в форматах и частоте поступления данных;
Интегрировала пайплайны с системами контроля версий (GitHub) и настраивала CI/CD для автоматического деплоя DAG'ов;
Применяла техники партиционирования и бакетирования в Apache Spark и Trino для ускорения обработки больших объемов данных;
Разрабатывала структуру дата мартов на основе пользовательских сценариев, SLA и требований к детализации;
Участвовала в выборе и валидации подходов к денормализации при проектировании хранилища с целью оптимизации аналитических запросов;
Настраивала загрузку витрин с учетом инкрементального подхода и требований к временным срезам;
Работала с данными (выявление аномалий в данных и проработка трендов), в т.ч. обрабатывала Ad-hoc-запросы;
Консультировала разработчиков ETL по соответствию модели хранилища и бизнес-логике, выявляя потенциальные отклонения на ранних этапах;
Реализовывала логику медленно меняющихся измерений (SCD Type 2) для корректной обработки исторических данных.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Kubernetes, Apache, GitHub, Data, Pandas, Numpy, Object, Apache Spark, Storage, Docker Compose, Apache AirFlow, Yandex Cloud, PySpark, Trino, Iceberg, proc
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2024 - По настоящее время
(1 год)
IBM - ALLEGRO SIW (ИНФОРМАЦИОННОЕ ХРАНИЛИЩЕ УСЛУГ)
Роль
Data-инженер
Обязанности
Соотносила результаты анализа данных с бизнес-целями и KPI предприятия с учетом отраслевой специфики и с последующим формированием прогнозов, гипотез посредством применения теории вероятности и мат. статистики;
Написание и оптимизация SQL-запросов;
Сбор, измерение и анализ точных данных;
Реализация стратегий визуализации данных для удовлетворения ожиданий клиента и гибкого изменения деталей в процессе проектирования;
Создавала и оптимизировала представления (views) и материализованные представления для унификации доступа к данным;
Устранение технических проблем для отдела путем обеспечения руководства и руководства для решения проблемы в базах данных DB2 и Oracle.
Стек специалиста на проекте
HTML, MySQL, XML, SQL, Python, Oracle, Jenkins, PuTTY, Apache Tomcat, CVS, Pandas, Numpy, IBM, JQuery, Lotus Notes, Shell Scripting, IBM WebSphere, IBM DB2, Aqinity, lotus, domino, lotusscript, mural, cognos, datastage, infosphere, dbvisualizer
Отрасль проекта
Hardware
Период работы
Сентябрь 2023 - Октябрь 2024
(1 год 2 месяца)
IBM - GBS NA
Роль
Data-инженер
Обязанности
Проектирование, оптимизация, разработка и развертывание джобов в IBM DataStage;
Извлечение, преобразование и передача больших объемов данных как простой, так и очень сложной структуры;
Создавала и изменяла таблицы с помощью DDL-скриптов;
Перенос джобов и последовательностей с сервера DataStage v8.1 на v8.7;
Тестирование джобов, исправление ошибок и перенос кода в CVS;
Контроль качества данных при их интеграции в ETL пайплайнах;
Проводила ревизию и оптимизацию JOIN-операций в SQL запросах для ускорения выборок;
Создание технической документации;
Общение с заказчиком в процессе работы над текущими вопросами.
Стек специалиста на проекте
HTML, XML, SQL, PuTTY, CVS, IBM, JQuery, Shell Scripting, Application, IBM WebSphere, IBM DB2, developer, datastage, dbvisualizer, Rational
Отрасль проекта
Hardware
Период работы
Июнь 2022 - Август 2023
(1 год 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
ГГУ им.Ф.Скорины
Специальность
Автоматизированные системы обработки информации
Завершение учебы
2012 г.
