Сергей А. ETL разработчик, Middle+

ID 22816
СА
Сергей А.
Мужчина, 29 лет
Россия, Санкт-Петербург, UTC+3
Ставка
3 339,64 Р/час
вкл. НДС 5% (123.81 Р)
Специалист доступен с 1 января 2026 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
ETL разработчик
Грейд
Middle+
Навыки
Apache AirFlow
Apache Hadoop
Bash
Confluence
Docker
GitHub
GitLab
Jira
JupyterNoteBook
Matplotlib
metabase
Numpy
Pandas
PySpark
Tableau
Python
SQL
Linux
MS Windows
ClickHouse
GreenPlum
Hive
PostgreSQL
Git
ETL
DBT
dag
Microsoft
MS SQL
Nginx
Table
url
engine
dictionary
array
arrayjoin
Hadoop
Oracle
Power BI
CI/CD
datastage
IBM
Informatica
SAS
SqlHints
Отрасли
E-commerce & Retail
FinTech & Banking
Главное о специалисте
Опыт работы с SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора, джоины, CTE, функции, процедуры, транзакции); Работа с реляционными БД: PostgreSQL, Greenplum. Ограничения, индексы, PXF и т.д.; Разработка и оптимизация функций и процедур по переносу данных из stg слоя в слой dds; Работа с DWH (схемы построения, нормализация/денормализация, SCD, построение витрин данных); Настройка интеграции Greenplum и ClickHouse для реализации аналитических запросов; Участие в создании ETL\ELT процессов; Работа с Apache Airflow; Проведение очистки и обработки данных используя Python, pandas, PySpark; Задачи AD-hoc аналитики; Визуализация данных в Tableau, Metabase, Python, Excel, анализ результатов; Документирование процессов и архитектуры решений в Confluence;
Проекты   (3 года 5 месяцев)
Разработка системы по отслеживанию фрода
Роль
ETL Разработчик / Data Engineer
Обязанности
Описание проекта В рамках проекта реализована многоуровневая аналитическая модель для автоматической классификации транзакций на основе исторических данных и актуальных паттернов, что позволило значительно сократить случаи мошенничества и повысить точность ML модели детекции. Состав команды 1 PM, 2 SA, 1 DevOps, 7 DE Технологии на проекте Python, SQL, PostgreSQL, Greenplum, PySpark, ClickHouse, Apache Hadoop (HDFS), Apache Airflow Задачи/реализованный функционал В рамках проекта была разработана и внедрена многоуровневая аналитическая модель для автоматической классификации транзакций на основе исторических данных и актуальных паттернов. Основной задачей было сокращение случаев мошенничества и повышение точности ML-модели детекции. Для этого были выполнены следующие ключевые задачи: Настройка процессов ELT (Extract, Load, Transform): Разработаны скрипты и настроены пайплайны для автоматического сбора данных из HDFS (Hadoop Distributed File System) и их подготовки для анализа. Созданы слои stg (staging) и dds (detail data store) в хранилище данных для сбора и первичной обработки данных. В слое dds реализована обработка пропусков, аномалий и повторов транзакций с сохранением историчности данных (SCD — Slowly Changing Dimensions). Работа с архитектурой Data Vault: Применена архитектура Data Vault для построения гибкого и масштабируемого хранилища данных. Были разработаны: Хабы для хранения уникальных идентификаторов сущностей. Линки для описания связей между сущностями. Сателлиты для хранения атрибутов и исторических изменений данных. Создание продуктовых витрин: На основе модели Data Vault разработаны витрины данных для аналитики мошеннических транзакций: Слой CDM (Common Data Model): Созданы витрины для агрегации данных из различных источников, включая данные о транзакциях, клиентах и их поведении. Слой DM (Data Mart): Разработаны витрины для конечных пользователей, включая аналитиков и бизнес-подразделения. Витрины содержали ключевые метрики, такие как количество подозрительных транзакций, средний размер ущерба и время реакции на инциденты. Витрины были интегрированы с инструментами визуализации (Tableau, Metabase). Интеграция Greenplum и ClickHouse: Настроены внешние таблицы в Greenplum, которые подключались к данным в HDFS. Разработаны скрипты обработки данных на Python/PySpark для автоматизации процессов. Оркестрация ETL-процессов выполнена с использованием Apache Airflow, что позволило создать автоматизированный пайплайн для регулярной обработки и передачи данных из внешних источников во внутреннее хранилище. Оптимизация и анализ данных: Проведена очистка и обработка данных с использованием Python, Pandas и PySpark. Реализованы задачи ad-hoc аналитики для оперативного анализа подозрительных транзакций. Визуализация данных выполнена в Tableau и Metabase. Детальная проработка требований по метрикам: Проведен анализ требований заказчика к метрикам, используемым для детекции мошенничества. Уточнены и согласованы алгоритмы расчета ключевых метрик, таких как частота подозрительных транзакций, точность модели машинного обучения и время реакции на инциденты. Миграция с oracle на greenplum. Результаты: Создан автоматизированный пайплайн обработки данных, который сократил время обработки стандартного пакета транзакций на 11%. Повышена точность ML-модели детекции мошенничества за счет использования обогащенных данных и историчности. Предоставлены детализированные аналитические отчеты, которые позволили бизнесу оперативно реагировать на подозрительные активности.
Стек специалиста на проекте
PostgreSQL, SQL, Python, Oracle, ClickHouse, GreenPlum, Apache Hadoop, Apache AirFlow, HDFS, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Ноябрь 2023 - По настоящее время  (1 год 9 месяцев)
Разработка и поддержка витрины данных с инкрементальным обновлением
Роль
Data Engineer / Data Analyst
Обязанности
Описание проекта Требовалось создать и поддерживать обновляемую витрину данных из нескольких источников для проведения аналитики продаж группы интернет-магазинов. Технологии на проекте Python, SQL, PostgreSQL, Apache Airflow, Metabase, Docker Задачи/реализованный функционал Разработал схему хранилища данных для хранения и анализа данных из различных источников в рамках группы интернет-магазинов. Разработал скрипты по загрузке данных в первичный stg слой с использованием Python, а затем по обработке и загрузке данных в dds слой с помощью SQL скриптов. Настроил инкрементальное обновление витрины. Упаковал и автоматизировал весь ETL пайплайн в Airflow. Настроил визуализацию с помощью Metabase. Обеспечивал поддержку и техническое сопровождение. В результате собственник получил консолидированную информацию о продажах, остатках, что позволило просчитать unit-экономику, избавиться от нерентабельных позиций, оптимизировать ценообразование, сократить время на закупки.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Apache AirFlow, metabase
Отрасль проекта
E-commerce & Retail
Период работы
Март 2022 - Октябрь 2023  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург СУиР (КТУ),
Специальность
Электроэнергетика и электротехника
Завершение учебы
2017 г.
Высшее
Учебное заведение
Национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург СУиР (КТУ)
Специальность
Электроэнергетика и электротехника
Завершение учебы
2019 г.

Похожие специалисты

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • Information Security
РХ
Руслан Х.
Санкт-Петербург
QA FullStack
Senior
3 506,49 Р/час
Redmine
dsl
Zephyr
Kaspresso
Mockk
Gitlab CI
karate
MS Windows
Postman
+61

Руслан — специалист уровня Senior в области QA FullStack. Имеет высшее образование, окончил Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина). Обладает опытом работы на различных проектах в отраслях FinTech & Banking, E-commerce & Retail, Information Security. Участвовал в проектах в ролях QA и AQA Engineer, занимался разработкой стратегий тестирования, внедрением методологий, созданием регламентов и документации, организацией CI/CD-интеграции автотестов, выбором стека технологий, анализом метрик, коммуникацией с продуктовыми менеджерами и разработчиками. Принимал участие в следующих проектах: - NDA Финтех (FinTech & Banking) — построение процессов тестирования с нуля, интеграция новых QA, автоматизация тестирования бэкенда и API, менторство и обучение QA-инженеров в команде; - Банк (FinTech & Banking) — разработка стратегии тестирования, внедрение методологий, организация CI/CD-интеграции автотестов; - Платежный интегратор (FinTech & Banking) — разработка стратегии тестирования, внедрение Shift-Left и BDD-подходов, создание стандартов тестирования и чек-листов для команды; - Мэлон Фэшн Груп, ОАО (E-commerce & Retail) — проверка UI/UX, кросс-браузерное и кросс-девайсное тестирование, автоматизация тестов на JavaScript + Puppeteer; - Parfumer Atelier (E-commerce & Retail) — разработка стратегии тестирования для всех платформ, внедрение Shift-Left и Quality Gates в CI/CD; - Гемблинг (FinTech & Banking) — мануальное тестирование iOS/Android, API, интеграционное и приёмочное тестирование; - Siber Systems Inc (Information Security) — организация и контроль этапов тестирования, координация работы QA-команды, mentorship junior-тестировщиков.

Подробнее
LifeStyle
ПБ
Полина Б.
Ульяновск
1С разработчик
Senior
3 831,17 Р/час
XDTO пакеты
Сбор и анализ требований
UML
HTTP
1С: БП 3.0
СУБД
СБИС ЭДО
ВДГБ: БГУ 1.0
1С: Управление МФО и КПК
WebTutor
+26

● Специалист по платформе “1С:Предприятие 8”. ● Сопровождение и доработка конфигураций 1С: ЗУП 3.1, БП 3.0, Управление МФО и КПК, Итилиум, ВДГБ: Ломбард 3, БГУ 1.0, УТ 11. ● Обновление типовых/нетиповых конфигураций. ● Работа с хранилищем конфигурации. ● Работа с механизмом расширений. ● Управляемые формы. ● Запросы. ● СКД. ● Разработка с использованием БСП. ● HTTP-сервисы, web-сервисы. ● Механизм XDTO. ● Настройка синхронизаций данных. ● Разработка обменов данными, Конвертация данных ред. 2. ● Реализация интеграций со сторонними системами, сайтами. ● Ускорение и оптимизация 1С. ● Навыки постановки задач разработчику и контроля результатов. ● Навыки проведения код-ревью. ● Ведение документации в Confluence. ● Работа в системах управления проектами и задачами (JIRA). ● Работа с СУБД MS SQL, написание простых запросов. ● Знание нотации системного моделирования (UML). ● Описание тест-кейсов. ● Подготовка инструкций для пользователей. ● Знание основ управленческого, бухгалтерского, налогового учета.

Подробнее
AgroTech • EdTech • FinTech & Banking
ВШ
Владислав Ш.
Новополоцк
QA ручной
Middle+
3 211,19 Р/час
ELK
Zephyr
GitLab
Postman
WebSockets
ClickHouse
REST
Scrum
Git
TestRail
+32

Увлеченный и внимательный к деталям специалист с сильным аналитическим мышлением и страстью к качеству. Считаю, что тестирование — это не просто поиск ошибок, а важная часть процесса создания продукта, который приносит пользу пользователям. Всегда стремлюсь глубже понять логику приложения и потребности конечного пользователя, чтобы обеспечить максимальную надёжность и удобство работы с продуктом. Легко нахожу общий язык с людьми, ценю командную работу и открыт для нового опыта. Мне нравится не только решать сложные задачи, но и делиться знаниями, помогать команде находить оптимальные решения и улучшать процессы. ● Понимание жизненного цикла разработки ПО, различных методологий разработки ● Использование самых ходовых техник тест-дизайна (эквивалентное разделение, анализ граничных значений, предугадывание ошибки) ● Придерживаюсь всех основных принципов тестирования и активно пользуюсь ими в работе; ● Использование cистем баг-трекинга (в основном Jira, YouTrack), систем создания тест-кейсов (Zephyr, TestRail); ● Понимание принципов клиент-серверного взаимодействия, умение работать с HTTP-запросами и кодами ответов сервера, находить на чьей стороне ошибка (backend/ frontend) ● Написание SQL на уровне простых запросов, грамотное выстраивание взаимодействия с базой данных; ● Понимание нюансов работы с Rest API, свободное владение основными инструментами тестированиями ● Понимание алгоритмов работы с логами; ● Умение кратко и связно излагать свои мысли, писать понятную и грамотную документацию; ● Работа с процессинговыми системами, тестирование переводов, эквайринга, инвойсинга, проверка соответствия законодательству; ● Умение глубоко анализировать требования, предлагая свои варианты реализации, активно участвуя в совместной работе; ● Умение подробно и понятно описать и рассказать о шагах воспроизведения того или иного дефекта (бага); ● Умение работать как самостоятельно, так и в команде, нацеленность на общую миссию и успех проекта.

Подробнее