АМ
Артем М.
Мужчина
Россия, Москва, UTC+3
Ставка
5 625 Р/час
НДС не облагается
Специалист доступен с 12 ноября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark.
Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.
Проекты
(4 года 11 месяцев)
NDA
Роль
Lead Data Engineer
Обязанности
• Разработка платформы данных с нуля.
• Организовал процесс миграции из различных источников (MS SQL, облачное хранилище (на базе s3, BigQuery)) на платформу данных (PostgreSQL, Clickhouse, YT‑Завр).
• В K8s развернута версия Airflow 2.9.2.
• Оптимизированы существующие таблицы Clickhouse (схема, первичные ключи и ключи заказа, механизмы таблиц), что позволяет сократить использование хранилища на 20 процентов.
• Разработаны конвейеры потоковой передачи из тем Kafka в таблицы Clickhouse.
• Создание конвейеров потоковой передачи данных из Elasticsearch в Clickhouse DWH.
• Спроектировал и внедрил Spark Pipelines для автоматизации процесса создания и загрузки объектов в Clickhouse.
• Проектирование архитектуры данных хранилища данных с использованием методологии Data Vault.
Стек специалиста на проекте
Kubernetes, Spark, Clickhouse, BigQuery, Elasticsearch, Kafka, DWH, Vault, SQL, Pipelines, Apache AirFlow
Отрасль проекта
E-commerce & Retail
Период работы
Май 2024 - По настоящее время
(7 месяцев)
Raiffeisen Bank
Роль
Senior Data Engineer
Обязанности
• Разработка продукта с нуля до решения, которое рассчитывает активы с весом риска для отдела рисков.
• Реализованы конвейеры данных для получения структурированных и информативных данных с использованием PySpark/Python/SQL.
• Разработаны и внедрены ELT/ETL‑конвейеры для плавной интеграции новых источников данных с использованием инструментов оркестрации Airflow, Spring, Cloud Data Flow.
• Создана платформа для модульного тестирования (PySpark).
• Созданы проверки качества данных с использованием внутренней платформы для DQ.
• Реализована архитектура продуктов хранения данных и данных.
• Выполнен переход с Spark 2.4 на Spark 3.2 и оптимизация конвейеров производительности на 50 процентов.
• Повышение производительности конвейеров Spark и базы данных Ignite с помощью опций Java.
• Разработана индивидуальная интеграция с различными внутренними API.
• Составление требований к серверной части системы и разработка системных модулей приложения.
• Составление ежемесячной отчетности с расчетом RWA для розничной и нерозничной торговли по IRB‑подходу в ЦБ РФ.
Стек специалиста на проекте
GitLab, Базы данных, Spark, Data, API, Java, Bitbucket, Hadoop, MSSQL, PySpark, Ignite, GreenPlum, Apache AirFlow, Spring, DB2 Datalake, oracle mysql
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2021 - Май 2024
(2 года 9 месяцев)
Unicredit Bank
Роль
SQL Developer
Обязанности
• Участвовал в разработке и интеграции программного комплекса.
• Разработаны и внедрены SQL-скрипты для автоматизации обработки, анализа и отчетности данных.
• Специальная аналитика и созданные информационные панели.
• Поддерживал ИТ-проекты в качестве аналитика.
• Написал требования к внутренним системам данных.
Стек специалиста на проекте
Работа с интеграциями, анализ
Отрасль проекта
FinTech & Banking
Период работы
Январь 2020 - Сентябрь 2021
(1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Дипломы и сертификаты
SQL 2019 г.
Basic Scala 2020 г.
Data Engineer 2022 г.
Spark Advanced course 2023 г.
Образование
Высшее
Учебное заведение
Российский университет дружбы народов
Специальность
Мировая экономика
Завершение учебы
2020 г.
Высшее
Учебное заведение
ИТМО
Специальность
Разработка программного обеспечения для бизнеса
Завершение учебы
2024 г.