ЕЛ
Евгений Л.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
4 610,39 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
ETL разработчик
Грейд
Навыки
Отрасли
Знание языков
Английский — C2
Главное о специалисте
Я являюсь опытным специалистом с 5-летним опытом работы с данными. Моя работа включает в себя исследование больших данных (BigData), создание архитектуры и конвейеров их обработки, а также разработку аналитических решений для бизнеса. Проактивно подхожу к выполнению задач, постоянно изучая новые инструменты и внедряя их в проекты. В частности, я обладаю глубокими знаниями в области работы с SQL, включая сложные запросы, подзапросы и джойны, а также обладаю опытом работы различными БД.
Проекты
(5 лет 3 месяца)
DWH Sid
Роль
Ведущий дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH.
Задачи:
● Разработка и автоматизация сложных ETL пайплайнов, используя Airflow для координации потоков данных.
● Создание и оптимизация SQL запросов для аналитических отчетов и бизнес-инсайтов
● Проектирование и реализация модели данных для создания витрин данных и отчетности.
● Взаимодействие с бизнес-аналитиками для выяснения требований и создания индивидуальных решений.
● Проведение оценки производительности и выявление узких мест в работе базы данных.
● Разработка архитектур хранилища данных на базе Data Vault 2.0.
Команда: 2 дата-инженера, 3 аналитика данных, геймдизайнеры, продюсер, бэкенд-разработчики.
Достижения
Спроектировал и поддерживаю высокопроизводительное хранилище данных объемом ~1 Тб, обеспечив плавную работу аналитики и визуализаций.
● Внедрил и оптимизировал информационные панели и отчеты для оперативной передачи данных ключевым стейкхолдерам.
● Синхронизировал большие объемы данных (~2 ТБ) между SQL и noSQL базами данных в режиме близком к реальному времени
● Разработал модуль мониторинга данных для своевременного выявления отклонений и сбоев в процессах ETL.
● Внедрил систему отслеживания изменений данных (CDC), что улучшило интеграцию данных в режиме реального времени.
● Уменьшил время синхронизации данных с 4 до 2 часов за счет оптимизации потоков данных между SQL и noSQL системами.
● Разработал инструменты для автоматической валидации данных, что позволило снизить количество ошибок при обработке данных на 15%.
Стек специалиста на проекте
AWS, Hadoop, Kafka, cloud, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Август 2022 - По настоящее время
(2 года 10 месяцев)
DWH Blank
Роль
Ведущий дата инженер
Обязанности
Построение и поддержка хранилища данных для DWH.
Задачи:
● Выполнение анализа требований бизнеса и интеграции данных из внешних источников.
● Разработка витрины данных для конечных пользователей и отчетов
● Создание хранимых процедур и функции для оптимизации обработки данных.
● Внедрение и поддержка ETL/ELT процессов с использованием Airflow для управления данными SQL и Rest API.
● Проведение нагрузочного тестирования и оптимизации системы для масштабируемости.
Команда: 1 дата-инженер, 2 аналитика данных.
Достижения
● Реализовал ETL процессы с нуля, интегрировав различные источники данных в рамках архитектуры Data Vault 2.0.
● Оптимизировал производительность хранилища данных, устранив блокировки и повысив скорость выполнения запросов.
● Снизил время выполнения запросов на 40%, оптимизировав архитектуру хранилища и индексацию данных
● Автоматизировал процессы загрузки и обработки данных с использованием Airflow, что позволило улучшить стабильность и упростить сопровождение
● Повысил отказоустойчивость системы, разработав резервные процессы на случай сбоев в источниках данных.
Стек специалиста на проекте
ClickHouse, Spark, Oracle, Kafka, cloud, Pentaho, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2022 - Август 2022
(6 месяцев)
DWH Lora
Роль
Дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH
Задачи:
● Разрабатка и поддержание ETL пайплайны на платформе Airflow для интеграции больших данных.
● Работа над оптимизацией запросов и созданием витрин данных для аналитических нужд.
● Взаимодействие с командами аналитиков и архитекторов для уточнения технических требований.
● Разработка архитектуры хранилища данных на основе Data Vault 2.0.
● Выполнение тестирования, мониторинга и улучшения производительности хранилищ данных.
написание DAG на Python;
● Использование Engine из семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree);
● Использование URL Table Engine; Dictionary Table Engine
● Использование Array и arrayJoin функций;
● Работа с лябда процедурами;
● Работы с агрегациями и модификаторами агрегаций
Команда: 6 дата-инженеров, 5 аналитиков данных.
Достижения
● Успешно интегрировал большой объем данных (до 100 ТБ) для аналитической базы, обеспечив выполнение сложных SQL запросов для отчетности.
● Успешно внедрил процессы мониторинга качества данных, что привело к сокращению ошибок в отчетах на 25%.
● Сократил время создания витрин данных на 30%, оптимизировав ETL пайплайны и распределив ресурсы.
● Повысил масштабируемость системы хранения данных путем внедрения распределенной обработки данных на основе ClickHouse и Greenplum.
● Оптимизировал SQL запросы для сложной аналитики
Стек специалиста на проекте
ClickHouse, Spark, Kafka, cloud, MSSQL, Pentaho, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2020 - Апрель 2022
(2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Мурманский Государственный Технический Университет
Специальность
Физические процессы морского и нефтегазового производства
Завершение учебы
2012 г.
Дополнительное
Учебное заведение
John Hopkins University - Coursera
Специальность
Genomic Data Science Specialization
Завершение учебы
2020 г.
Дополнительное
Учебное заведение
IBM Data Science – Coursera
Специальность
Data Science Specialization
Завершение учебы
2020 г.