Артем М. Data инженер, Middle+

ID 17339
АМ
Артем М.
Мужчина
Россия, Москва, UTC+3
Ставка
5 625 Р/час
НДС не облагается
Специалист доступен с 12 ноября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Basics
Java
Pl/SQL
Python
R
sas
Scala
SQL
Docker
GitLab CI/CD
Kubernetes
Apache AirFlow
Apache Ignite
DBT
Hadoop
Hive
Kafka
PySpark
Spark
Anchors
Architecture
Clickhouse
Data
DWH
Elasticsearch
GreenPlum
Minio S3
PostgreSQL
Snowflake
Vault
Vertica
Power BI
Tableau
DVC
Git
BigQuery
Pipelines
API
Ignite
Spring
Базы данных
анализ
Работа с интеграциями
oracle mysql
MSSQL
DB2 Datalake
GitLab
Bitbucket
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B2
Главное о специалисте
Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.
Проекты   (4 года 11 месяцев)
NDA
Роль
Lead Data Engineer
Обязанности
• Разработка платформы данных с нуля. • Организовал процесс миграции из различных источников (MS SQL, облачное хранилище (на базе s3, BigQuery)) на платформу данных (PostgreSQL, Clickhouse, YT‑Завр). • В K8s развернута версия Airflow 2.9.2. • Оптимизированы существующие таблицы Clickhouse (схема, первичные ключи и ключи заказа, механизмы таблиц), что позволяет сократить использование хранилища на 20 процентов. • Разработаны конвейеры потоковой передачи из тем Kafka в таблицы Clickhouse. • Создание конвейеров потоковой передачи данных из Elasticsearch в Clickhouse DWH. • Спроектировал и внедрил Spark Pipelines для автоматизации процесса создания и загрузки объектов в Clickhouse. • Проектирование архитектуры данных хранилища данных с использованием методологии Data Vault.
Стек специалиста на проекте
Kubernetes, Spark, Clickhouse, BigQuery, Elasticsearch, Kafka, DWH, Vault, SQL, Pipelines, Apache AirFlow
Отрасль проекта
E-commerce & Retail
Период работы
Май 2024 - По настоящее время  (7 месяцев)
Raiffeisen Bank
Роль
Senior Data Engineer
Обязанности
• Разработка продукта с нуля до решения, которое рассчитывает активы с весом риска для отдела рисков. • Реализованы конвейеры данных для получения структурированных и информативных данных с использованием PySpark/Python/SQL. • Разработаны и внедрены ELT/ETL‑конвейеры для плавной интеграции новых источников данных с использованием инструментов оркестрации Airflow, Spring, Cloud Data Flow. • Создана платформа для модульного тестирования (PySpark). • Созданы проверки качества данных с использованием внутренней платформы для DQ. • Реализована архитектура продуктов хранения данных и данных. • Выполнен переход с Spark 2.4 на Spark 3.2 и оптимизация конвейеров производительности на 50 процентов. • Повышение производительности конвейеров Spark и базы данных Ignite с помощью опций Java. • Разработана индивидуальная интеграция с различными внутренними API. • Составление требований к серверной части системы и разработка системных модулей приложения. • Составление ежемесячной отчетности с расчетом RWA для розничной и нерозничной торговли по IRB‑подходу в ЦБ РФ.
Стек специалиста на проекте
GitLab, Базы данных, Spark, Data, API, Java, Bitbucket, Hadoop, MSSQL, PySpark, Ignite, GreenPlum, Apache AirFlow, Spring, DB2 Datalake, oracle mysql
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2021 - Май 2024  (2 года 9 месяцев)
Unicredit Bank
Роль
SQL Developer
Обязанности
• Участвовал в разработке и интеграции программного комплекса. • Разработаны и внедрены SQL-скрипты для автоматизации обработки, анализа и отчетности данных. • Специальная аналитика и созданные информационные панели. • Поддерживал ИТ-проекты в качестве аналитика. • Написал требования к внутренним системам данных.
Стек специалиста на проекте
Работа с интеграциями, анализ
Отрасль проекта
FinTech & Banking
Период работы
Январь 2020 - Сентябрь 2021  (1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Дипломы и сертификаты
SQL 2019 г.
Basic Scala 2020 г.
Data Engineer 2022 г.
Spark Advanced course 2023 г.
Образование
Высшее
Учебное заведение
Российский университет дружбы народов
Специальность
Мировая экономика
Завершение учебы
2020 г.
Высшее
Учебное заведение
ИТМО
Специальность
Разработка программного обеспечения для бизнеса
Завершение учебы
2024 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 500 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более двух лет. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 625 Р/час
DBT
Работа с интеграциями
анализ
GitLab
Kubernetes
Базы данных
Minio S3
DVC
Spark
Clickhouse
+48

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
Media • Telecom
ОВ
Олег В.
Астана
QA авто
Senior
3 700 Р/час
Swagger API
Монолитная архитектура
UI
HTML5
Grafana
IOS
JavaScript
MS Windows
автотесты
Программное обеспечение
+63

Олег — опытный QA-инженер с навыками работы в различных областях IT. Он специализируется на тестировании мобильных приложений и API, а также имеет опыт работы с автоматизированными тестами на Python, Cypress, PyTest и Requests. Олег работал над проектами для компаний из сфер телекоммуникаций и медиа. В его обязанности входило тестирование frontend, backend, API и мобильных приложений на iOS, Android и React Native. Также он занимался исследовательским тестированием ПО для управления промышленными объектами и разработкой автотестов на Python и Tesseract. Опыт Олега включает работу с ML-продуктами, промышленными протоколами обмена данными (OPC, OPC UA), базами данных PostgreSQL и NoSQL (Qdrant). Он владеет инструментами Grafana, DevTools, Git, Postman, Linux (Fedora, Debian) и Windows.

Подробнее