Евгений Л. ETL разработчик, Middle+

ID 22768
ЕЛ
Евгений Л.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
4 610,39 Р/час
НДС не облагается
Специалист доступен с 15 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
ETL разработчик
Грейд
Middle+
Навыки
Apache AirFlow
apis
AWS
CI/CD
ClickHouse
Data
Data Vault 2.0
Docker
ETL
Excel
functions
GCP
Git
Grafana
Grape
GreenPlum
Hadoop
Identity Server
Java
Join
Kafka
Kimball
Linux
MS Windows
MSSQL
MySQL
Numpy
Oracle
Pandas
Pentaho
Pivot tables
PostgreSQL
Power BI
Power Query
Python
queries
Redshift
Scala
Scikit-learn
Snowflake
Spark
SQL
Tableau
Vault
WITH
Yandex Cloud
formulas
including
Отрасли
Cloud Services
Знание языков
Английский — C2
Главное о специалисте
Я являюсь опытным специалистом с 5-летним опытом работы с данными. Моя работа включает в себя исследование больших данных (BigData), создание архитектуры и конвейеров их обработки, а также разработку аналитических решений для бизнеса. Проактивно подхожу к выполнению задач, постоянно изучая новые инструменты и внедряя их в проекты. В частности, я обладаю глубокими знаниями в области работы с SQL, включая сложные запросы, подзапросы и джойны, а также обладаю опытом работы различными БД.
Проекты   (5 лет 3 месяца)
DWH Sid
Роль
Ведущий дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH. Задачи: ● Разработка и автоматизация сложных ETL пайплайнов, используя Airflow для координации потоков данных. ● Создание и оптимизация SQL запросов для аналитических отчетов и бизнес-инсайтов ● Проектирование и реализация модели данных для создания витрин данных и отчетности. ● Взаимодействие с бизнес-аналитиками для выяснения требований и создания индивидуальных решений. ● Проведение оценки производительности и выявление узких мест в работе базы данных. ● Разработка архитектур хранилища данных на базе Data Vault 2.0. Команда: 2 дата-инженера, 3 аналитика данных, геймдизайнеры, продюсер, бэкенд-разработчики.
Достижения
Спроектировал и поддерживаю высокопроизводительное хранилище данных объемом ~1 Тб, обеспечив плавную работу аналитики и визуализаций. ● Внедрил и оптимизировал информационные панели и отчеты для оперативной передачи данных ключевым стейкхолдерам. ● Синхронизировал большие объемы данных (~2 ТБ) между SQL и noSQL базами данных в режиме близком к реальному времени ● Разработал модуль мониторинга данных для своевременного выявления отклонений и сбоев в процессах ETL. ● Внедрил систему отслеживания изменений данных (CDC), что улучшило интеграцию данных в режиме реального времени. ● Уменьшил время синхронизации данных с 4 до 2 часов за счет оптимизации потоков данных между SQL и noSQL системами. ● Разработал инструменты для автоматической валидации данных, что позволило снизить количество ошибок при обработке данных на 15%.
Стек специалиста на проекте
AWS, Hadoop, Kafka, cloud, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Август 2022 - По настоящее время  (2 года 10 месяцев)
DWH Blank
Роль
Ведущий дата инженер
Обязанности
Построение и поддержка хранилища данных для DWH. Задачи: ● Выполнение анализа требований бизнеса и интеграции данных из внешних источников. ● Разработка витрины данных для конечных пользователей и отчетов ● Создание хранимых процедур и функции для оптимизации обработки данных. ● Внедрение и поддержка ETL/ELT процессов с использованием Airflow для управления данными SQL и Rest API. ● Проведение нагрузочного тестирования и оптимизации системы для масштабируемости. Команда: 1 дата-инженер, 2 аналитика данных.
Достижения
● Реализовал ETL процессы с нуля, интегрировав различные источники данных в рамках архитектуры Data Vault 2.0. ● Оптимизировал производительность хранилища данных, устранив блокировки и повысив скорость выполнения запросов. ● Снизил время выполнения запросов на 40%, оптимизировав архитектуру хранилища и индексацию данных ● Автоматизировал процессы загрузки и обработки данных с использованием Airflow, что позволило улучшить стабильность и упростить сопровождение ● Повысил отказоустойчивость системы, разработав резервные процессы на случай сбоев в источниках данных.
Стек специалиста на проекте
ClickHouse, Spark, Oracle, Kafka, cloud, Pentaho, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2022 - Август 2022  (6 месяцев)
DWH Lora
Роль
Дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH Задачи: ● Разрабатка и поддержание ETL пайплайны на платформе Airflow для интеграции больших данных. ● Работа над оптимизацией запросов и созданием витрин данных для аналитических нужд. ● Взаимодействие с командами аналитиков и архитекторов для уточнения технических требований. ● Разработка архитектуры хранилища данных на основе Data Vault 2.0. ● Выполнение тестирования, мониторинга и улучшения производительности хранилищ данных. написание DAG на Python; ● Использование Engine из семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree); ● Использование URL Table Engine; Dictionary Table Engine ● Использование Array и arrayJoin функций; ● Работа с лябда процедурами; ● Работы с агрегациями и модификаторами агрегаций Команда: 6 дата-инженеров, 5 аналитиков данных.
Достижения
● Успешно интегрировал большой объем данных (до 100 ТБ) для аналитической базы, обеспечив выполнение сложных SQL запросов для отчетности. ● Успешно внедрил процессы мониторинга качества данных, что привело к сокращению ошибок в отчетах на 25%. ● Сократил время создания витрин данных на 30%, оптимизировав ETL пайплайны и распределив ресурсы. ● Повысил масштабируемость системы хранения данных путем внедрения распределенной обработки данных на основе ClickHouse и Greenplum. ● Оптимизировал SQL запросы для сложной аналитики
Стек специалиста на проекте
ClickHouse, Spark, Kafka, cloud, MSSQL, Pentaho, GreenPlum, Apache AirFlow, REST API, SQL Server Agent, PostgreSQL, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2020 - Апрель 2022  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Мурманский Государственный Технический Университет
Специальность
Физические процессы морского и нефтегазового производства
Завершение учебы
2012 г.
Дополнительное
Учебное заведение
John Hopkins University - Coursera
Специальность
Genomic Data Science Specialization
Завершение учебы
2020 г.
Дополнительное
Учебное заведение
IBM Data Science – Coursera
Специальность
Data Science Specialization
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
СА
Сергей А.
Санкт-Петербург
ETL разработчик
Middle+
3 339,64 Р/час
Apache AirFlow
Apache Hadoop
Bash
Confluence
Docker
GitHub
GitLab
Jira
JupyterNoteBook
Matplotlib
+45

Опыт работы с SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора, джоины, CTE, функции, процедуры, транзакции); Работа с реляционными БД: PostgreSQL, Greenplum. Ограничения, индексы, PXF и т.д.; Разработка и оптимизация функций и процедур по переносу данных из stg слоя в слой dds; Работа с DWH (схемы построения, нормализация/денормализация, SCD, построение витрин данных); Настройка интеграции Greenplum и ClickHouse для реализации аналитических запросов; Участие в создании ETL\ELT процессов; Работа с Apache Airflow; Проведение очистки и обработки данных используя Python, pandas, PySpark; Задачи AD-hoc аналитики; Визуализация данных в Tableau, Metabase, Python, Excel, анализ результатов; Документирование процессов и архитектуры решений в Confluence;

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • GameDev • Manufacturing • Telecom • Travel, Hospitality & Restaurant business
ДД
Денис Д.
Краснодар
ETL разработчик
Middle+
4 545,45 Р/час
Amazon
Amazon Redshift
apache hive
aurora
C/C++
cloudera
Delphi
DOS
FireBird
FreeBSD
+44

Я опытный специалист в области работы с данными, обладающий более чем 10-тилетним опытом в качестве Data Engineer и Data Architect. Мой опыт охватывает весь спектр задач, связанных с проектированием, разработкой и администрированием специализированных систем обработки данных, в том числе проектирование архитектуры баз данных, оптимизацию производительности, а также внедрение современных решений для управления данными и их анализом. Я управлял и участвовал в множестве проектов, где использовал широкий набор технологий, включая языки программирования, такие как Python, Java и SQL, а также работал с различными базами данных, среди которых PostgreSQL, Oracle и greenplum. Мой опыт работы охватывает различные отрасли, включая ритейл, банковские услуги и автоматизацию бизнес-процессов. Я принимал активное участие в разработке хранилищ данных, ETL-процессов и аналитических платформ, что позволило мне развить навыки в проектировании и оптимизации высоконагруженных систем. Командная работа и эффективное управление проектами — это не только сильные стороны, но и те аспекты, на которые я уделяю особое внимание. Я привык работать в условиях Agile и Scrum, понимая важность взаимодействия и поддержки коллег. Вместе с тем, я проявляю инициативу в обучении и развитии команды, делясь накопленным опытом и знаниями.

Подробнее

Недавно просмотренные специалисты