ВГ
Василий Г.
Мужчина, 34 года
Россия, Санкт-Петербург, UTC+3
Ставка
3 272,72 Р/час
НДС не облагается
Специалист доступен с 1 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем.
Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред.
Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.
Проекты
(6 лет 10 месяцев)
Разработка и сопровождение архитектуры обработки промышленных данных
Роль
Инженер данных (Data Engineer)
Обязанности
- Создание DAG’ов в Apache Airflow для автоматизации ежедневной и еженедельной обработки данных
- Интеграция источников: MSSQL, PostgreSQL, ClickHouse, API-источники
- Разработка Python-скриптов для предобработки, фильтрации и агрегирования телеметрии
- Настройка мониторинга пайплайнов, логирования и алертинга
- Работа с версионированием через Git, участие в Code Review
- Оптимизация SQL-запросов для ClickHouse: агрегации, партиционирование, индексация
- Ведение технической документации, схем потоков и инструкций по поддержке
Достижения
- Снизили latency обработки данных с 15 до 3 минут
- Повысили надёжность ежедневной выгрузки сигналов до 99,5%
- Поддержка масштабируемой архитектуры с возможностью горизонтального масштабирования
Стек специалиста на проекте
PostgreSQL, Git, Docker, SQL, Python, Oracle, Linux, VS code, ClickHouse, Hadoop, GreenPlum, Apache AirFlow, MSSQL, Работа с интеграциями, knime
Отрасль проекта
LifeStyle
Период работы
Февраль 2023 - Июль 2025
(2 года 6 месяцев)
Построение систем обработки и агрегации транзакционных данных для подразделения кредитования. Разработка Spark-скриптов и их автоматизация в Airflow.
Роль
Data Engineer
Обязанности
- Разработка распределённых скриптов на PySpark для расчётов метрик и сбора логов
- Развёртывание DAG’ов в Airflow: расписание, SLA, уведомления
- Работа с HDFS и Hive: партиционирование, агрегация, оптимизация
- Написание бизнес-логики для ETL-процессов, согласование решений с архитекторами
- Оформление технической документации: описание пайплайнов, отчётов, сценариев
- Настройка Git-репозитория, контроль версий и Code Review
- Работа с Hue и Jupyter Notebook для прототипирования и отладки
Достижения
- Обработка 20+ млн строк ежедневно без деградации производительности
- Ускорена генерация отчётов по показателям продуктов на 40%
- Обеспечена устойчивость ETL-процессов при сбоях источников за счёт retry-механизмов
Стек специалиста на проекте
Git, SQL, Linux, Hive, YAML, Hadoop, JupyterNoteBook, Apache AirFlow, HDFS, PySpark, hue
Отрасль проекта
FinTech & Banking
Период работы
Март 2021 - Октябрь 2022
(1 год 8 месяцев)
Разработка ETL-решений для консалтинговых проектов: построение отчётности, агрегирование данных, визуализация бизнес-метрик
Роль
Data Engineer
Обязанности
- Сбор, очистка и объединение данных из CRM, ERP и локальных файлов
- Построение ETL-сценариев в Knime и Alteryx: трансформация, фильтрация, группировка
- Работа с Vertica: оптимизация SQL-запросов, построение отчётов
- Разработка дашбордов в Tableau и Power BI для маркетинга и менеджмента
- Настройка связей, фильтров, визуальных триггеров
- Участие в согласовании логики отчётов и визуального представления
- Поддержка версии скриптов и шаблонов, документирование решений
Достижения
- Ускорена загрузка отчётов и дашбордов в 2.5 раза
- Повышена прозрачность бизнес-показателей за счёт агрегирования ключевых метрик
- Сформированы шаблоны ETL-сценариев для повторного использования в 3-х проектах
Стек специалиста на проекте
SQL, Power BI, ETL, Altera, Tableau, Excel, Vertica, Workflow, knime
Отрасль проекта
LifeStyle
Период работы
Август 2019 - Май 2020
(10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург
Специальность
Информационных технологий и программирования, Инженер информационных систем
Завершение учебы
2013 г.