Артем М. Data инженер, Middle+

ID 17339
АМ
Артем М.
Мужчина
Россия, Москва, UTC+3
Ставка
5 844,15 Р/час
НДС не облагается
Специалист доступен с 16 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
Kubernetes
Apache AirFlow
Apache Ignite
DBT
Hadoop
Hive
Kafka
PySpark
Spark
Anchors
Architecture
ClickHouse
Data
DWH
Elasticsearch
GreenPlum
Minio S3
PostgreSQL
Snowflake
Vault
Vertica
Power BI
Tableau
DVC
Git
BigQuery
Pipelines
API
Ignite
Spring
Базы данных
Анализ
Работа с интеграциями
DB2 Datalake
GitLab
Bitbucket
MySQL
Oracle
MS SQL
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B2
Главное о специалисте
Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.
Проекты   (5 лет 10 месяцев)
NDA
Роль
Lead Data Engineer
Обязанности
• Разработка платформы данных с нуля. • Организовал процесс миграции из различных источников (MS SQL, облачное хранилище (на базе s3, BigQuery)) на платформу данных (PostgreSQL, Clickhouse, YT‑Завр). • В K8s развернута версия Airflow 2.9.2. • Оптимизированы существующие таблицы Clickhouse (схема, первичные ключи и ключи заказа, механизмы таблиц), что позволяет сократить использование хранилища на 20 процентов. • Разработаны конвейеры потоковой передачи из тем Kafka в таблицы Clickhouse. • Создание конвейеров потоковой передачи данных из Elasticsearch в Clickhouse DWH. • Спроектировал и внедрил Spark Pipelines для автоматизации процесса создания и загрузки объектов в Clickhouse. • Проектирование архитектуры данных хранилища данных с использованием методологии Data Vault.
Стек специалиста на проекте
Elasticsearch, SQL, Kubernetes, Spark, ClickHouse, BigQuery, Kafka, DWH, Vault, Apache AirFlow, Pipelines
Отрасль проекта
E-commerce & Retail
Период работы
Май 2024 - По настоящее время  (1 год 6 месяцев)
Raiffeisen Bank
Роль
Senior Data Engineer
Обязанности
• Разработка продукта с нуля до решения, которое рассчитывает активы с весом риска для отдела рисков. • Реализованы конвейеры данных для получения структурированных и информативных данных с использованием PySpark/Python/SQL. • Разработаны и внедрены ELT/ETL‑конвейеры для плавной интеграции новых источников данных с использованием инструментов оркестрации Airflow, Spring, Cloud Data Flow. • Создана платформа для модульного тестирования (PySpark). • Созданы проверки качества данных с использованием внутренней платформы для DQ. • Реализована архитектура продуктов хранения данных и данных. • Выполнен переход с Spark 2.4 на Spark 3.2 и оптимизация конвейеров производительности на 50 процентов. • Повышение производительности конвейеров Spark и базы данных Ignite с помощью опций Java. • Разработана индивидуальная интеграция с различными внутренними API. • Составление требований к серверной части системы и разработка системных модулей приложения. • Составление ежемесячной отчетности с расчетом RWA для розничной и нерозничной торговли по IRB‑подходу в ЦБ РФ.
Стек специалиста на проекте
MySQL, API, Java, Oracle, Bitbucket, GitLab, Data, Spark, Ignite, Hadoop, Базы данных, GreenPlum, Apache AirFlow, Spring, PySpark, MS SQL, DB2 Datalake
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2021 - Май 2024  (2 года 9 месяцев)
Unicredit Bank
Роль
SQL Developer
Обязанности
• Участвовал в разработке и интеграции программного комплекса. • Разработаны и внедрены SQL-скрипты для автоматизации обработки, анализа и отчетности данных. • Специальная аналитика и созданные информационные панели. • Поддерживал ИТ-проекты в качестве аналитика. • Написал требования к внутренним системам данных.
Стек специалиста на проекте
Работа с интеграциями, Анализ
Отрасль проекта
FinTech & Banking
Период работы
Январь 2020 - Сентябрь 2021  (1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Дипломы и сертификаты
SQL 2019 г.
Basic Scala 2020 г.
Data Engineer 2022 г.
Spark Advanced course 2023 г.
Образование
Высшее
Учебное заведение
Российский университет дружбы народов
Специальность
Мировая экономика
Завершение учебы
2020 г.
Высшее
Учебное заведение
ИТМО
Специальность
Разработка программного обеспечения для бизнеса
Завершение учебы
2024 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

EdTech
ИР
Илья Р.
Минск
DevOps
Middle+
3 636,36 Р/час
PostgreSQL
Docker
Node.js
C++
Python
VMware
Linux
Grafana
GitHub Actions
Kubernetes
+37

Общая информация - Имеет опыт настройки CI/CD, опыт работы с GitHub Actions, AWS CodePipeline и GitLab - Имеет опыт использования Grafana, Prometheus для мониторинга различных аспектов программных приложений, таких как показатели производительности, журналы и состояние системы - Имеет опыт работы с несколькими инструментами оркестровки, такими как AWS ECS, Kubernetes (AWS EKS) и Docker-Сompose - Интегрировал внешние секреты и автомасштабирование в AWS EKS, а также настраивал маршрутизацию трафика через Ingress - Имеет опыт работы с системой Bare Metal - Работал с Kubernetes на Bare Metal и развертывал сервисы Docker-Compose - Занимался мониторингом виртуальных машин с помощью Prometheus и Node exporter - Имеет опыт работы с сервером Ubuntu. - Использует Systemd для автозапуска без Docker-программ, пишет BASH-скрипты для очистки дискового пространства и создания дампа базы данных - Имеет опыт написания программ на C++ для встраиваемых систем с использованием ООП - Работал с FastAPI с использованием Python, при написании собственных приложений - Умеет разворачивать и управлять контейнеризированными приложениями с помощью Docker - Целеустремленный человек, который стремится постоянно учиться и совершенствовать свои навыки в различных областях компьютерных наук

Подробнее