Каталог специалистов направления Разработка и ИТ

Data Engineer с опытом построения масштабируемых ETL/ELT пайплайнов, создания хранилищ данных (Data Vault, Kimball), интеграции с внешними источниками и оптимизации аналитических запросов. Уверенно работает с ClickHouse, PostgreSQL, Airflow, dbt, Python. Имеет опыт построения аналитических витрин, графов связей и оценки рисков. Системный подход, глубокий интерес к архитектуре данных и операционным системам.

Михаил — системный аналитик уровня Senior из Тулы. Специализируется на анализе и проектировании систем с использованием различных технологий и методологий. Имеет опыт работы в отраслях FinTech & Banking, HRTech, E-commerce & Retail, Media. Участвовал в разработке масштабируемой системы выявления фрод-активности на основе AI и анализа поведения устройств, где провёл аудит архитектуры антифрод-платформы и сформировал техническое видение масштабируемой системы обработки до 10 млн событий в сутки. Принимал участие в создании цифровой платформы для поиска вакансий и специалистов в области беспилотных систем, где разработал архитектуру API-слоя между UI, ML-модулями и микросервисами. Работал над внутренней платформой для автоматизации инженерных и закупочных процессов в производственной компании, где провёл аудит бизнес-процессов проектирования и закупки, зафиксировал узкие места и предложил улучшения. Также участвовал в разработке in-house платформы для автоматизации работы редакции: от хранения и обработки материалов до публикации контента. Общая продолжительность работы на проектах — 6 лет 11 месяцев.

● Python ● Разработка ETL/ELT-пайплайнов ● Умение писать многоразовый код ● Опыт работы с инструментами DevOps ● Экспертное знание SQL ● Разработка пайплайна данных ● Обработка больших данных ● Управление облачными сервисами ● Практики DevOps/MLOps

Андрей — инженер баз данных уровня Senior из Москвы с опытом работы в сферах Telecom, Manufacturing и E-commerce & Retail. Специализируется на проектировании и оптимизации хранилищ данных, работе с Big Data и ETL-процессами. Владеет широким спектром технологий и инструментов, включая Apache AirFlow, Apache Spark, Hadoop, PostgreSQL, Oracle, Microsoft SQL Server, ClickHouse, Greenplum и другие. Имеет опыт работы на следующих проектах: - МегаФон: миграция корпоративного хранилища данных, проектирование многоуровневой архитектуры DWH, внедрение практик DataOps. - Тера Интегро: разработка и оптимизация распределённых DWH, создание алерт-систем на базе Zabbix, потоковая обработка данных. - НЛМК: миграция данных, оптимизация PostgreSQL, поддержка проектов и разрешение инцидентов, разработка ETL-процессов. - IQVIA: разработка и оптимизация хранилищ данных, стриминговая обработка данных, моделирование данных, обработка больших данных с использованием Apache Spark.

В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence