НЕ
Никита Е.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
3 506,49 Р/час
НДС не облагается
Специалист доступен с 6 июня 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Обладает глубоким пониманием DWH, ETL/ELT процессов , имеет опыт в моделировании данных, уделяя особое внимание предоставлению
высококачественных решений в области данных. Знает современные инструменты для работы с данными, что позволяет проектировать, внедрять и управлять сложными архитектурными решениями.
Проекты
(3 года 2 месяца)
NDA
Роль
Data Engineer
Обязанности
● Автоматизировал регулярную финансовую отчетность с помощью Airflow
● Проектирование и реализация архитектуры данных на платформе Hadoop для обработки больших объемов данных
● Оптимизация производительности запросов в Greenplum, включая настройку индексов и партиционирование данных
● Разработка и оптимизация ETL-процессов извлечения, загрузки и трансформации данных для обеспечения их доступности для аналитических нужд.
● Настроил автоматическую поставку данных из внешних (Api, вебхуки) и внутренних источников
(Oracle, PostgreSQL, MySQL, MS SQL)
● Оптимизировал инфраструктуру поставки и подготовки данных с помощью актуальных технологий
(Python, Dagster, StarRocks, DBT, Kafka…)
● Настроил алертинг на основные этапы работы с данными с отправкой уведомлений в telegram
● Использование Bitbucket для управления версиями кода, включая создание, ревью и слияние pull-запросов.
● Внедрил практику работы с чувствительными данными (менеджер секретов, безопасная передача отчетов)
● Автоматизировал CI/CD процессы с помощью Gitlab Pipelines
● Настроил отслеживание и алертинг загруженности основных серверов (Prometheus + Grafana)
● Загрузил данные / создал дбт модели (вью / инкрементальные модели)
● Настройка, мониторинг и администрирование кластеров Greenplum для обеспечения высокой доступности и производительности
● Провел анализ запросов и их оптимизация для повышения эффективности выполнения операций с данными
Стек специалиста на проекте
Dagster, DBT, Grafana, Программное обеспечение, Администрирование, Data, API, GitLab pipelines, Oracle, Bitbucket, Prometheus, Hadoop, NDA, Мониторинг, SQL, Python, GreenPlum, Apache AirFlow, Microsoft, MySQL, engineer, PostgreSQL, CI/CD
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2024 - По настоящее время
(1 год 5 месяцев)
Газпромнефть Цифровые Решения
Роль
Data Engineer
Обязанности
● Разработка сложных SQL-запросов на ANSI SQL для извлечения и анализа данных.
● Создание и оптимизация хранимых процедур на PL/pgSQL для автоматизации процессов обработки данных
● Автоматизировал поставку метаданных в informatica EDC с помощью Airflow
● Организовал поставку данных от контрагентов в хранилище с помощью Airflow и Nifi
● Разработал план развития использования метаданных в компании
Стек специалиста на проекте
Informatica, Data, PL/pgSQL, Apache AirFlow, NiFi, SQL запросы, ANSI SQL
Отрасль проекта
AgroTech
Период работы
Апрель 2023 - Февраль 2024
(11 месяцев)
Saber Interactive
Роль
Analytics Engineer
Обязанности
● Организовал аналитическую инфраструктуру DWH + репортинг на базе Streamlit
● Спроектировал DWH на базе PostgreSQL (Anchor/Activity)
● Организовал ETL процессы с помощью Airflo
● Значительно сократил время обработки и загрузки логов игрового движка в базу данных с 70 минут до 1 секунды, переписав существующие Python скрипты
● Реализовал механизм контроля качества данных с оповещением владельцев систем о возникающих проблемах
● Разработал более 10 аналитических веб-приложений на базе Streamlit (Python)
● Обучил ML-модель классификации митингов с точностью 85%
Стек специалиста на проекте
Streamlit, gamedev, Activity, Analytics, Anchors, ETL, DWH, Python, Apache AirFlow, engineer, PostgreSQL
Отрасль проекта
GameDev
Период работы
Май 2022 - Апрель 2023
(1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Прикладная математика и информатика
Завершение учебы
2024 г.
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Менеджмент
Завершение учебы
2022 г.