Каталог специалистов ETL разработчик

Я занимался разработкой хранилищ данных, оптимизацией процедур загрузки данных, анализом источников данных и бизнес-процессов заказчика, проектированием архитектуры хранилищ данных и разработкой ETL/ELT процессов. Я также имею опыт работы с различными инструментами BI, администрированием серверов SAS и разработкой витрин данных. Также занимался рефакторингом кода для проекта миграции на GreenPlum.

Опыт работы с SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора, джоины, CTE, функции, процедуры, транзакции); Работа с реляционными БД: PostgreSQL, Greenplum. Ограничения, индексы, PXF и т.д.; Разработка и оптимизация функций и процедур по переносу данных из stg слоя в слой dds; Работа с DWH (схемы построения, нормализация/денормализация, SCD, построение витрин данных); Настройка интеграции Greenplum и ClickHouse для реализации аналитических запросов; Участие в создании ETL\ELT процессов; Работа с Apache Airflow; Проведение очистки и обработки данных используя Python, pandas, PySpark; Задачи AD-hoc аналитики; Визуализация данных в Tableau, Metabase, Python, Excel, анализ результатов; Документирование процессов и архитектуры решений в Confluence;

Пётр — data-инженер из Новосибирска. Опыт работы: - Разработка информационной системы по управлению качеством выполненных работ в рамках благоустройства крупного города страны. Построение ETL-процессов с использованием Apache NiFi, перенос данных из различных источников в Greenplum, написание DAG’ов Apache Airflow для автоматизации формирования витрин данных, оптимизация и написание SQL-запросов. - Разработка аналитической системы «Универсальная модель качества образования». Проектирование хранилища данных с архитектурой «звезда», разработка и автоматизация ETL-процессов, парсинг данных с помощью Selenium и Beautiful Soup. - Разработка биллинговой системы учёта тепловой энергии для физических лиц. Разработка серверной логики приложения, оптимизация SQL-запросов, участие в проектировании архитектуры серверной части приложения. - Разработка и сопровождение криптографических модулей и баз данных для государственных информационных систем. Создание DLL-библиотек для криптографических модулей на Delphi, проектирование базы данных для системы учёта умершего населения.

● Опыт работы с СУБД PostgreSQL, Oracle, Greenplum; ● Понимание моделей проектирования БД: третья нормальная форма (3NF), схема типа "звезда", архитектура Data Vault 2.0 и Anchor-моделирование (преимущество); ● Владение средствами управления процессами и миграциями: Apache Airflow, Liquibase, системы контроля версий (Git); ● Высокий уровень владения языками запросов и процедурными расширениями SQL (PL/SQL, PL/PgSQL); ● Базовые навыки написания скриптов на Python; ● Практический опыт интеграции различных источников данных; ● Умение преобразовывать данные между разнородными системами; ● Создание и поддержка автоматизированных ETL-процессов; ● Навыки взаимодействия с системами версионирования программного кода. ● Опыт работы в крупных компаниях розничной торговли

Николай — ETL-разработчик уровня Middle+ из Новосибирска. Опыт работы: - Разработка новых модулей и поддержка высоконагруженной БД части платёжной платформы. - Рефакторинг, оптимизация, разработка и оптимизация структуры баз данных в PostgreSQL и Oracle. - Участие в переносе подсистемы кредитов с платформы ЦФТ на новый стек на Openshift. - Доработка и поддержка системы расчёта чеков. Оптимизация производительности. - Разработка движка периодических корректировок. - Написание аналитических отчётов по сложным иерархичным виртуальным структурам. - Реализация масштабного проекта дедупликации данных. - Автоматизация миграций на новые подсистемы. - Работа над проектами для компаний из отраслей e-commerce & retail, logistics & transport, fintech & banking, lifestyle, telecom.

Опыт работы с Oracle, Hadoop, SQL, Python, Hive, Airflow, Greenplum

Повышение квалификации, курсы 2021 Stepik (Bionformatics Institute) 915237, Программирование на Python 2021 Stepik (Bionformatics Institute) 935315, Основы статистики 2021 Management & Marketing Universal Business School 030721008I, Mini MBA Intensive 2021 ООО "ЦОО Нетология - групп" 7442520, Визуализация данных

Ольга — опытный ETL-разработчик уровня Senior из Смоленска. Специализируется на создании хранилищ данных и решений для ETL, имеет опыт работы с различными инструментами и технологиями, включая Apache AirFlow, Apache NiFi, AWS, Azure, Docker, Kubernetes и другие. Принимала участие в проектах: - Создание надёжного хранилища данных (DWH) и решения для ETL с целью поддержки программы лояльности Goodyear. - Разработка многофункциональной облачной платформы управления данными. - Создание комплексных решений для отчётности, хранилищ данных (DWH) и бизнес-аналитики (BI) для заинтересованных сторон IBM. - Разработка платформы аналитики в реальном времени для розничных компаний.

Я являюсь опытным специалистом с 5-летним опытом работы с данными. Моя работа включает в себя исследование больших данных (BigData), создание архитектуры и конвейеров их обработки, а также разработку аналитических решений для бизнеса. Проактивно подхожу к выполнению задач, постоянно изучая новые инструменты и внедряя их в проекты. В частности, я обладаю глубокими знаниями в области работы с SQL, включая сложные запросы, подзапросы и джойны, а также обладаю опытом работы различными БД.

● Опыт разработки более 14 лет ● Опыт разработки на Python, Scala ● Участие в проектировании архитектуры продукта ● Код-ревью, рефакторинг кодовой базы ● Опыт работы с СУБД PostgreSQL, Greenplum, ClickHouse, Vertica, платформой Hadoop, облачными платформами Яндекс.Облако, Cloud.ru ● Уверенное знание фреймворка PySpark ● Опыт использования GIT, Docker, Terraform, Ansible ● Аналитические и организационные навыки ● Опыт руководства коллективом разработчиков ● Опыт разработки проектной документации и архитектурных артефактов