Каталог специалистов направления Разработка и ИТ

Я — опытный Data Engineer, сфокусированный на решении комплексных задач в области построения и оптимизации корпоративных хранилищ данных (DWH). Обладаю глубоким пониманием принципов построения DWH, включая архитектуры Kimball и Data Vault, что позволяет мне эффективно развивать архитектуру DWH и выбирать оптимальные технологии и методологии. Имею обширный практический опыт работы с MPP-системами, такими как Greenplum и Teradata, а также с PostgreSQL, Oracle, Impala и MS SQL, включая глубокое понимание механизмов дистрибьюции данных и устранения перекосов, что критично для масштабирования существующих систем и оптимизации их производительности. Моя экспертиза охватывает полный цикл работы с данными: от проектирования и разработки сложных ETL/ELT-потоков с использованием SAS DI, Talend, Apache Nifi и Apache Airflow, до имплементации кастомных трансформаций на Python (с библиотеками pandas, numpy) и Spark. Уверенно владею SQL (DDL, DML) и имею значительный опыт в оптимизации сложных запросов и структур баз данных. Эффективно использую Git, Jira и Confluence для управления проектами, сопровождения информационных систем и создания актуальной базы знаний, обеспечивая прозрачность и оперативность всех процессов.