Василий Г. Data инженер, Senior

ID 28161
ВГ
Василий Г.
Мужчина, 34 года
Россия, Санкт-Петербург, UTC+3
Ставка
3 272,72 Р/час
НДС не облагается
Специалист доступен с 1 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
Altera
Apache AirFlow
cdc
ClickHouse
dags
Data
Data Contracts
Data Lake
debezium
ditor
Docker
ETL-процессы
Excel
Git
governance
Hadoop
HDFS
Hive
hue
Identity Server
JavaScript
JupyterNoteBook
Kafka
Kanban
knime
MS Windows
MSSQL
MySQL
PHP
PostgreSQL
Power BI
PySpark
Python
Scrum
Spark
SQL
SSIS
ssms
SSRS
T-SQL
Tableau
TDD
VBA
Vertica
VS code
Workflow
Документация
Отчёты
Программное обеспечение
Работа с интеграциями
agale
CI/CD
Code Review
автоматизация
Визуализация
Мониторинг
Построение дашбордов
Разработка технической документации
Отрасли
FinTech & Banking
LifeStyle
Знание языков
Английский — B1
Главное о специалисте
Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.
Проекты   (6 лет 10 месяцев)
Разработка и сопровождение архитектуры обработки промышленных данных
Роль
Инженер данных (Data Engineer)
Обязанности
- Создание DAG’ов в Apache Airflow для автоматизации ежедневной и еженедельной обработки данных - Интеграция источников: MSSQL, PostgreSQL, ClickHouse, API-источники - Разработка Python-скриптов для предобработки, фильтрации и агрегирования телеметрии - Настройка мониторинга пайплайнов, логирования и алертинга - Работа с версионированием через Git, участие в Code Review - Оптимизация SQL-запросов для ClickHouse: агрегации, партиционирование, индексация - Ведение технической документации, схем потоков и инструкций по поддержке
Достижения
- Снизили latency обработки данных с 15 до 3 минут - Повысили надёжность ежедневной выгрузки сигналов до 99,5% - Поддержка масштабируемой архитектуры с возможностью горизонтального масштабирования
Стек специалиста на проекте
PostgreSQL, Git, Docker, SQL, Python, Oracle, Linux, VS code, ClickHouse, Hadoop, GreenPlum, Apache AirFlow, MSSQL, Работа с интеграциями, knime
Отрасль проекта
LifeStyle
Период работы
Февраль 2023 - Июль 2025  (2 года 6 месяцев)
Построение систем обработки и агрегации транзакционных данных для подразделения кредитования. Разработка Spark-скриптов и их автоматизация в Airflow.
Роль
Data Engineer
Обязанности
- Разработка распределённых скриптов на PySpark для расчётов метрик и сбора логов - Развёртывание DAG’ов в Airflow: расписание, SLA, уведомления - Работа с HDFS и Hive: партиционирование, агрегация, оптимизация - Написание бизнес-логики для ETL-процессов, согласование решений с архитекторами - Оформление технической документации: описание пайплайнов, отчётов, сценариев - Настройка Git-репозитория, контроль версий и Code Review - Работа с Hue и Jupyter Notebook для прототипирования и отладки
Достижения
- Обработка 20+ млн строк ежедневно без деградации производительности - Ускорена генерация отчётов по показателям продуктов на 40% - Обеспечена устойчивость ETL-процессов при сбоях источников за счёт retry-механизмов
Стек специалиста на проекте
Git, SQL, Linux, Hive, YAML, Hadoop, JupyterNoteBook, Apache AirFlow, HDFS, PySpark, hue
Отрасль проекта
FinTech & Banking
Период работы
Март 2021 - Октябрь 2022  (1 год 8 месяцев)
Разработка ETL-решений для консалтинговых проектов: построение отчётности, агрегирование данных, визуализация бизнес-метрик
Роль
Data Engineer
Обязанности
- Сбор, очистка и объединение данных из CRM, ERP и локальных файлов - Построение ETL-сценариев в Knime и Alteryx: трансформация, фильтрация, группировка - Работа с Vertica: оптимизация SQL-запросов, построение отчётов - Разработка дашбордов в Tableau и Power BI для маркетинга и менеджмента - Настройка связей, фильтров, визуальных триггеров - Участие в согласовании логики отчётов и визуального представления - Поддержка версии скриптов и шаблонов, документирование решений
Достижения
- Ускорена загрузка отчётов и дашбордов в 2.5 раза - Повышена прозрачность бизнес-показателей за счёт агрегирования ключевых метрик - Сформированы шаблоны ETL-сценариев для повторного использования в 3-х проектах
Стек специалиста на проекте
SQL, Power BI, ETL, Altera, Tableau, Excel, Vertica, Workflow, knime
Отрасль проекта
LifeStyle
Период работы
Август 2019 - Май 2020  (10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург
Специальность
Информационных технологий и программирования, Инженер информационных систем
Завершение учебы
2013 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • LifeStyle
ВГ
Василий Г.
Санкт-Петербург
Data инженер
Senior
3 272,72 Р/час
Работа с интеграциями
PHP
Kanban
Визуализация
ditor
MS Windows
Программное обеспечение
VBA
governance
Data Contracts
+59

Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.

Подробнее
E-commerce & Retail • FinTech & Banking • Manufacturing
ИБ
Илья Б.
Санкт-Петербург
Java разработчик
Senior
3 636,36 Р/час
r2dbc
Grafana
reactive
Gitlab CI
GitLab
брокеры сообщений
Postman
IDE
Базы данных
WebSockets
+81

Специализируется на создании и оптимизации распределённых микросервисных систем для автоматизации бизнес-процессов. Обладает опытом работы в крупных промышленных проектах в сферах финансов, ритейла и производства. Имеет глубокую экспертизу в построении отказоустойчивых систем, способных обрабатывать тысячи запросов в секунду без деградации производительности. Участвовал в создании core-системы для ритейла, которая стала основой всей инфраструктуры доставки компании и успешно выдержала нагрузочные тесты с ростом производительности на 40%. Имеет опыт оптимизации существующих решений, включая работу с базами данных и брокерами сообщений. В одном из проектов удалось снизить количество инцидентов в 2 раза за счёт повышения тестового покрытия до 80% и устранения критичных узких мест. Командные навыки: * Управление задачами: фиксирую статусы задач, понимаю приоритеты и дедлайны. Участие в code review, провожу code review с детальными объяснениями * Продуктовый подход: учитываю бизнес-задачи при разработке. * Ведение проекта: имею опыт в распределении и постановке задач для небольших команд. * Code Review: постоянное улучшение и актуализация кода. * Умение находить root cause проблем: Способность видеть системные проблемы и декомпозировать сложные задачи Эксперт в разработке распределенных систем: ·Разрабатываю отказоустойчивые, высоконагруженные микросервисные системы с учетом лучших практик масштабируемости, безопасности и эффективности. Повышение удобства работы сотрудников с внутренними процессами. ·Умею проектировать сложные архитектуры, которые выдерживают тысячи запросов в секунду без деградации производительности. Глубокое понимание работы с геоданными и 2D-пространством: · Работал с картографическими сервисами, GIS-решениями и пространственными базами данных (PostGIS, GraphHopper, Nominatim). ·Оптимизировал расчеты маршрутов, улучшал алгоритмы поиска ближайших объектов и интегрировал данные о геолокации в бизнес-логику

Подробнее