Евгений Л. ETL разработчик, Middle+

ID 22768
ЕЛ
Евгений Л.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
4 610,39 Р/час
НДС не облагается
Специалист доступен с 24 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
ETL разработчик
Грейд
Middle+
Навыки
Apache AirFlow
apis
AWS
CI/CD
ClickHouse
Data
Data Vault 2.0
Docker
ETL
functions
GCP
Git
Grafana
Grape
GreenPlum
Hadoop
Identity Server
Java
Join
Kafka
Kimball
Linux
MS Windows
MySQL
Numpy
Oracle
Pandas
Pentaho
Pivot tables
PostgreSQL
Power BI
Power Query
Python
queries
Redshift
Scala
Scikit-learn
Snowflake
Spark
SQL
Tableau
Vault
WITH
Yandex Cloud
formulas
including
MS Excel
MS SQL
Отрасли
Cloud Services
Знание языков
Английский — C2
Главное о специалисте
Я являюсь опытным специалистом с 5-летним опытом работы с данными. Моя работа включает в себя исследование больших данных (BigData), создание архитектуры и конвейеров их обработки, а также разработку аналитических решений для бизнеса. Проактивно подхожу к выполнению задач, постоянно изучая новые инструменты и внедряя их в проекты. В частности, я обладаю глубокими знаниями в области работы с SQL, включая сложные запросы, подзапросы и джойны, а также обладаю опытом работы различными БД.
Проекты   (5 лет 6 месяцев)
DWH Sid
Роль
Ведущий дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH. Задачи: ● Разработка и автоматизация сложных ETL пайплайнов, используя Airflow для координации потоков данных. ● Создание и оптимизация SQL запросов для аналитических отчетов и бизнес-инсайтов ● Проектирование и реализация модели данных для создания витрин данных и отчетности. ● Взаимодействие с бизнес-аналитиками для выяснения требований и создания индивидуальных решений. ● Проведение оценки производительности и выявление узких мест в работе базы данных. ● Разработка архитектур хранилища данных на базе Data Vault 2.0. Команда: 2 дата-инженера, 3 аналитика данных, геймдизайнеры, продюсер, бэкенд-разработчики.
Достижения
Спроектировал и поддерживаю высокопроизводительное хранилище данных объемом ~1 Тб, обеспечив плавную работу аналитики и визуализаций. ● Внедрил и оптимизировал информационные панели и отчеты для оперативной передачи данных ключевым стейкхолдерам. ● Синхронизировал большие объемы данных (~2 ТБ) между SQL и noSQL базами данных в режиме близком к реальному времени ● Разработал модуль мониторинга данных для своевременного выявления отклонений и сбоев в процессах ETL. ● Внедрил систему отслеживания изменений данных (CDC), что улучшило интеграцию данных в режиме реального времени. ● Уменьшил время синхронизации данных с 4 до 2 часов за счет оптимизации потоков данных между SQL и noSQL системами. ● Разработал инструменты для автоматической валидации данных, что позволило снизить количество ошибок при обработке данных на 15%.
Стек специалиста на проекте
PostgreSQL, REST API, AWS, Hadoop, GreenPlum, Kafka, Apache AirFlow, cloud, SQL Server Agent, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Август 2022 - По настоящее время  (3 года 1 месяц)
DWH Blank
Роль
Ведущий дата инженер
Обязанности
Построение и поддержка хранилища данных для DWH. Задачи: ● Выполнение анализа требований бизнеса и интеграции данных из внешних источников. ● Разработка витрины данных для конечных пользователей и отчетов ● Создание хранимых процедур и функции для оптимизации обработки данных. ● Внедрение и поддержка ETL/ELT процессов с использованием Airflow для управления данными SQL и Rest API. ● Проведение нагрузочного тестирования и оптимизации системы для масштабируемости. Команда: 1 дата-инженер, 2 аналитика данных.
Достижения
● Реализовал ETL процессы с нуля, интегрировав различные источники данных в рамках архитектуры Data Vault 2.0. ● Оптимизировал производительность хранилища данных, устранив блокировки и повысив скорость выполнения запросов. ● Снизил время выполнения запросов на 40%, оптимизировав архитектуру хранилища и индексацию данных ● Автоматизировал процессы загрузки и обработки данных с использованием Airflow, что позволило улучшить стабильность и упростить сопровождение ● Повысил отказоустойчивость системы, разработав резервные процессы на случай сбоев в источниках данных.
Стек специалиста на проекте
PostgreSQL, Oracle, REST API, Spark, ClickHouse, GreenPlum, Kafka, Pentaho, Apache AirFlow, cloud, SQL Server Agent, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2022 - Август 2022  (6 месяцев)
DWH Lora
Роль
Дата инженер
Обязанности
Разработка и сопровождение хранилища данных для DWH Задачи: ● Разрабатка и поддержание ETL пайплайны на платформе Airflow для интеграции больших данных. ● Работа над оптимизацией запросов и созданием витрин данных для аналитических нужд. ● Взаимодействие с командами аналитиков и архитекторов для уточнения технических требований. ● Разработка архитектуры хранилища данных на основе Data Vault 2.0. ● Выполнение тестирования, мониторинга и улучшения производительности хранилищ данных. написание DAG на Python; ● Использование Engine из семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree); ● Использование URL Table Engine; Dictionary Table Engine ● Использование Array и arrayJoin функций; ● Работа с лябда процедурами; ● Работы с агрегациями и модификаторами агрегаций Команда: 6 дата-инженеров, 5 аналитиков данных.
Достижения
● Успешно интегрировал большой объем данных (до 100 ТБ) для аналитической базы, обеспечив выполнение сложных SQL запросов для отчетности. ● Успешно внедрил процессы мониторинга качества данных, что привело к сокращению ошибок в отчетах на 25%. ● Сократил время создания витрин данных на 30%, оптимизировав ETL пайплайны и распределив ресурсы. ● Повысил масштабируемость системы хранения данных путем внедрения распределенной обработки данных на основе ClickHouse и Greenplum. ● Оптимизировал SQL запросы для сложной аналитики
Стек специалиста на проекте
PostgreSQL, REST API, Spark, ClickHouse, GreenPlum, Kafka, Pentaho, Apache AirFlow, MS SQL, cloud, SQL Server Agent, Data Vault 2.0
Отрасль проекта
Cloud Services
Период работы
Март 2020 - Апрель 2022  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Мурманский Государственный Технический Университет
Специальность
Физические процессы морского и нефтегазового производства
Завершение учебы
2012 г.
Дополнительное
Учебное заведение
John Hopkins University - Coursera
Специальность
Genomic Data Science Specialization
Завершение учебы
2020 г.
Дополнительное
Учебное заведение
IBM Data Science – Coursera
Специальность
Data Science Specialization
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
СА
Сергей А.
Санкт-Петербург
ETL разработчик
Middle+
3 339,64 Р/час
Apache AirFlow
Apache Hadoop
Bash
Confluence
Docker
GitHub
GitLab
Jira
JupyterNoteBook
Matplotlib
+45

Опыт работы с SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора, джоины, CTE, функции, процедуры, транзакции); Работа с реляционными БД: PostgreSQL, Greenplum. Ограничения, индексы, PXF и т.д.; Разработка и оптимизация функций и процедур по переносу данных из stg слоя в слой dds; Работа с DWH (схемы построения, нормализация/денормализация, SCD, построение витрин данных); Настройка интеграции Greenplum и ClickHouse для реализации аналитических запросов; Участие в создании ETL\ELT процессов; Работа с Apache Airflow; Проведение очистки и обработки данных используя Python, pandas, PySpark; Задачи AD-hoc аналитики; Визуализация данных в Tableau, Metabase, Python, Excel, анализ результатов; Документирование процессов и архитектуры решений в Confluence;

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
АР
Антон Р.
Санкт-Петербург
Java разработчик
Middle+
3 082,74 Р/час
ELK
Grafana
webmvс
Spring AOP
Kanban
GitLab
MS Windows
Java Spring Boot
Spring Core
Postman
+58

Java-разработчик с опытом работы в отрасли e-commerce & retail более 4 лет. На проекте «Платформа для покупки авторских прав» работал над созданием отдельного микросервиса для обработки заказов, интегрировал его с другими сервисами. Разработал систему событий для создания и посещения мероприятий, реализовал сервис уведомлений по электронной почте. Работал с технологиями: Java 17, Spring Boot 3+, Spring (Boot, Web, Data, Cloud, Security, JPA), Kafka, PostgreSQL, Hibernate, Docker, Kubernetes, Keycloak, Grafana, Liquibase, Junit, Mockito, Git (gitlab, github), Redis, SQL, Jenkins. В рамках проекта «Кассовое ПО для кассиров» дорабатывал существующий функционал, интегрировал драйвер «Атол» для фискальных регистраторов, устранил ошибку перезагрузки кассы. Использовал технологии: Java 8, Spring Boot 3, Spring Core, PostgreSQL, Hibernate, JDBC, Jenkins, Linux, WireMock, Junit, Mockito, Git (gitlab), ELK, Redis, SQL.

Подробнее
Manufacturing • Social Networking • Telecom
НН
Наиля Н.
Казань
Бизнес/системный аналитик
Senior
3 122,29 Р/час
RabbitMQ
Git
REST
API
XML
JSON
Jira
Confluence
SQL
BPMN
+28

Крепкий специалист с более чем 8-летним опытом работы и развитыми hard и soft скиллами. hard skills 1. работа с BPMN, UML, 2. работа с API и интеграционными протоколами (REST), 3. понимание работы брокеров сообщениий (RabbitMQ), 4. разработка прототипов экранных форм, 5. разработка пользовательских сценариев (Use Cases) и написания ТЗ по ним, 6. понимание работы транспорта (корпоративные шины SAP PI, ESB), 7. понимание сетевых технологий и протоколов, (TCP/IP, HTTP, FTP) 8. опыт тестирования продукта от лица ЦА (UAT), 9. составление SQL-запросов, 10. проведение демо, подготовка инструкций и обучающих материалов в текстовом и видео-формате. soft skills 1. понимание жизненного цикла разработки ПО, 2. взаимодействие с бизнес-заказчиками и ИТ командами, анализ бизнес-предложений, декомпозиция задач, подготовка и проработка решений, 3. самостоятельность, умение анализировать и интерпретировать полученную информацию, 4. умение доносить сложные технические концепции в понятной форме для нетехнических сотрудников, 5. навыки работы в команде и способность руководить командой проекта. Большой опыт разработки технической документации: 1. изучение и обработка потребностей пользователей бизнеса 2. сбор и формулирование бизнес-требований, 3. создание технической документации для программистов (технических заданий и функциональных требований), 4. опыт работы с проектной документацией по ГОСТ; Опыт взаимодействия с командой: 1. консультация команды разработчиков на этапе исполнения проекта; 2. взаимодействие с разработчиками, инженерами, devops-специалистами, архитекторами и проч., 3. управление проектами в JIRA, ведение документации в Confluence, 4. участие в работе продуктовой команды в рамках скрама: дейли, рефайменты, планирование спринта, спринтревью, UAT, ретро, 5. работа с инцидентами, дефектами с прода и теста. Есть опыт участия в крупных проектах в сфере гос. услуг, ритейла и e-commerce

Подробнее
Government & Public Sector • Logistics & Transport • Realty & Constructoring • Telecom
АГ
Анар Г.
Баку
Java разработчик
Senior
3 853,43 Р/час
Fastify.js
HTML/CSS
objectionjs
GraphQL
TS Nodejs
AWS
Drools
GitLab
JPA 2
+75

Анар — опытный Java-разработчик уровня Senior с навыками работы в различных отраслях: телекоммуникации, государственный сектор, недвижимость и строительство, логистика и транспорт. Анар обладает широким спектром технических навыков, включая работу с Apache Kafka, AWS, CI/CD, CouchDB, Docker, Git, GitLab, GoLang, Gradle, Hibernate, Java, JWT, Maven, MongoDB, mvBase, PostgreSQL, Reactor, Redis, Spring Boot, SQL, Testing, OAuth2 и другими. Также он знаком с 1С и различными фреймворками. На своих проектах Анар активно участвовал в архитектурной интеграции, применял методологию Scrum, вёл совместную работу с командой разработчиков по внедрению новых функциональностей и технологических улучшений. Он также создавал детальную документацию API для разработанных им функциональностей. За последние три года и восемь месяцев Анар работал над пятью проектами в роли Software Developer и Senior Software Developer.

Подробнее
FinTech & Banking
ДБ
Дамир Б.
Москва
Системный аналитик
Senior
4 155,84 Р/час
PostgreSQL
RabbitMQ
REST
XML
JSON
Jira
Confluence
SQL
BPMN
Agile
+18

Системный аналитик с 10-летним опытом работы в отрасли FinTech & Banking. На позиции начальника отдела IT-аналитики в рамках проекта по выработке архитектурных решений на интеграцию MS Dynamics CRM со смежными системами: - консультировал представителей заказчика; - оптимизировал процессы согласования архитектуры и интеграции; - помогал руководству проекта в планировании; - совершенствовал kanban-процессы проекта CRM; - создал методологию формирования ASIS-документации в разрезе бизнес-процессов; - собирал обратную связь от директоров филиалов. В рамках проекта для «Брокеркредитсервис» как системный аналитик: - создавал и согласовывал документы требований (BRD, SRS); - работал с XML и JSON; - описывал интеграционные потоки между IT-системами заказчика; - участвовал в создании архитектурных решений для различных проектов и сервисов заказчика. Для «Сбербанк-Технологии» автоматизировал работу платёжных терминалов: - проводил системный анализ автоматизированных систем Сбербанка; - занимался описанием и оптимизацией бизнес-процессов заказчика; - ставил задачи на разработку программистам и писал технические задания.

Подробнее