Максим У. Data инженер, Senior

ID 31584
МУ
Максим У.
Мужчина, 32 года
Россия, Казань, UTC+3
Ставка
3 636,36 Р/час
НДС не облагается
Специалист доступен с 12 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Bash
BI
Grafana
Microsoft
Oracle
PostgreSQL
Power BI
SQL
SQL Server Agent
GreenPlum
Hadoop
Informatica Power Center
Teradata
Apache AirFlow
DBT
Looper
Snowflake
Apache NiFi
Kubernetes
Superset
ClickHouse
DataLens
Docker
NiFi
PySpark
ytsaurus
Отрасли
E-commerce & Retail
FinTech & Banking
Проекты   (7 лет 6 месяцев)
Индивидуальное предпринимательство / частная практика / фриланс
Роль
Аналитик - разработчик данных
Обязанности
Осуществил миграцию ETL процессов из стека Yandex в ванильный Apache Airflow. Разработал и реализовал методику расчета затрат на разметку краудплатформ против разметки LLM, реализовал расчет на данных потока. Участвовал в разработке моделей для классификации контента (в том числе видеоконтент) начиная со сбора GT и заканчивая оптимизацией precision/recall. Реализовал фичи для мониторинга пайплайна разметки контента на новой платформе данных. Основной стек: Ytsaurus, Nirvana, Apache Airflow, Clickhouse, Datalens. Проекты по разработке ETL процессов с использованием Python и PySpark. Интеграция BI-решений для визуализации данных. Рефакторинг существующих скриптов и процедур обработки данных. Документирование новых объектов. - Java/Groovy поддержка и рефакторинг легаси кода либо адаптация функционала для python (ещё до массового использования нейросетей для этих целей); - Trino работаю с января 2024 года (корпоративный коммерческий проект про создание единого хранилища данных на s3+postgre/greenplum/hadoop+опционально kafka, например - основа на trino+интеграция; на текущий проекте аналогично используется трино для работы с Greenplum, Hive источниками); - работал и с S3, и с S3 like хранилищами (ещё с конца 2019 года строил пайплайны перегрузки данных из файлового хранилища в табличное хранилище данных) - на роли разработчика регулярно работал с Docker для теста образов инструментов для работы с данными, так и для теста собственных приложений Есть опыт работы с Git/ Я воспринимаю Git не как инструмент с кнопками, а как язык. Консоль — это прямой диалог с репозиторием. На всех проектах работал с озерами данных (Data Lake). Популярная архитектура. HDFS хранилище откуда берется информация как структурированная, так и не очень, опционально преобразуется, загружается в БД в структурированный формат. В частных случаях строил такое хранилище на s3-like сервисах ( там собирали результаты парсинга, какие-то отчётности в word, логи, parquet и тд) и далее уже обрабатывали для консолидирования. Организую централизованное хранение сырых данных из разных источников (логи, БД, файлы) в облачных хранилищах (S3/ADLS/GCS). Настраиваю автоматизированные процессы загрузки и обработки данных (ETL/ELT). (организация Data Lake, ETL-процессы, облачные хранилища, оптимизация хранения данных, каталогизация.). Работаю с Java/Groovy и Hadoop на всех проектах с 2020 года. Основной стек: Greenplum, Clickhouse, Hadoop, PySpark, Airflow, NiFi, Docker, Superset, Datalense
Стек специалиста на проекте
Docker, Python, Yandex, ClickHouse, Hadoop, GreenPlum, ETL, Apache AirFlow, Superset, PySpark, DataLens, NiFi, llm, recall, ytsaurus
Отрасль проекта
E-commerce & Retail
Период работы
Октябрь 2024 - По настоящее время  (1 год 1 месяц)
Технологии отраслевой трансформации
Роль
Аналитик данных / Разработчик
Обязанности
Изначально работал в команде сборки фичей для витрин данных для корпоративного блока Сбер: разработка фичей для расчета клиентских метрик; разработка интеграций с внешними источниками для обогащения существующих витрин; разработка инструментов для автоматизации миграции данных: сбор метаинформации об объектах, удаление мусора, создание объектов по подобию, создание тестовых слоев данных, оптимизация объектов. Написал временное решение взамен Airflow - шедулер, запускающий по расписанию SQL скрипты. Начал разрабатывать методологию валидации клиентских атрибутов для формирования знаний о покупателях продуктов экосистемы и улучшения конверсии. Далее работал в команде Платформы данных, продукт Мост Данных, где доработал бэкенд приложения для интеграции данных из различных источников (базы данных, API, веб-сайты, облачные хранилища, 1С) в корпоративное хранилище данных (DWH), которое разворачивалось в контуре Сбера. Написал интеграцию с Apache Nifi для создания базовых ETL процессов для миграции данных. Написал интеграцию с 1С миграции данных в Postgres: получение списка объектов в составе схем, получение атрибутного состава, слияние нескольких объектов, чтобы получить вид "как в интерфейсе программы". Основной стек: Greenplum, Postgres, Apache Nifi, Apache Airflow, Kubernetes, Superset
Стек специалиста на проекте
PostgreSQL, API, SQL, Kubernetes, GreenPlum, ETL, DWH, 1С, Apache AirFlow, Apache NiFi, Superset
Отрасль проекта
FinTech & Banking
Период работы
Август 2022 - Октябрь 2024  (2 года 3 месяца)
Xometry Europe GmbH
Роль
Дата инженер (Хозяин хранилища данных)
Обязанности
Руководил командой из двух дата-инженеров: разработали аналитические витрины по заказу бизнес-пользователей; построили систему контроля качества данных с оповещением в BI об ошибках; спроектировали несколько специфических операторов для Airflow для работы с Salesforce, Zendesk, ActivityRecords; переписали модели источников в Looker, чтобы пользователи могли сами накликать дашборд. Периодически выполняли технические работы для улучшения масштабируемости баз данных (после добавления новых юрлиц в состав холдинга), оптимизировали работу хранилищ данных дочерних предприятий, отказоустойчивости ETL (администрирование работы воркеров) и добавления фичей, которые могли бы ускорить работу аналитиков. Основной стек: Snowflake, Postgres, Oracle, dbt, Airflow, Looker.
Стек специалиста на проекте
PostgreSQL, Oracle, BI, ETL, Zendesk, Apache AirFlow, Salesforce, Snowflake, Looper, DBT, doker
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2021 - Апрель 2023  (1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
ттестат ФСФР серии 2.0 2018 — Аттестат ФСФР серии 2.0 НАУФОР — Организации торговли на рынке ценных бумаг и клиринговой деятельности 2018 г.
Образование
Высшее
Учебное заведение
Национальный исследовательский университет «Высшая школа экономики», Москва
Специальность
Специализация: Фондовый рынок и инвестиции
Завершение учебы
2018 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
Bitbucket
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • LifeStyle
МП
Максим П.
Ростов-на-Дону
QA FullStack
Middle+
2 697,4 Р/час
io
Grafana
Zephyr
reportportal
Kafka Tool
monlog
Postman
Keycloak
REST
XML
+58

Максим — специалист уровня Middle+ в области QA FullStack. Имеет высшее образование по специальности «Инфокоммуникационные технологии и системы связи». Обладает опытом работы на проектах в отраслях FinTech & Banking и LifeStyle. Участвовал в создании и поддержке высоконагруженных цифровых систем, включая сервисы для корпоративных клиентов Газпромбанка и Альфа-Банка, а также e-commerce платформу для продажи автозапчастей APEX. В рамках проектов обеспечивал качество и надёжность сервисов, проводил комплексное тестирование, включая функциональное, интеграционное, UI/UX и кросс-браузерное. Внедрял автоматизацию тестирования, работал с системами управления тест-кейсами, участвовал в процессах выпуска релизов и оптимизации QA-процессов. Ключевые навыки включают работу с Java, Python, SQL, XML, Akita, Cucumber, Pytest, Selenide, Selenium, Allure, Qase, Test IT, Zephyr, Postman, REST, SOAP, SoapUI, Swagger, DBeaver, MongoDB и другими инструментами и технологиями.

Подробнее
Insurance • Realty & Constructoring
НЗ
Никита З.
Москва
Backend разработчик
Middle+
4 545,45 Р/час
паттерны
период работы
Grafana
Saga
Работа с интеграциями
Описание API
Анализ
GraphQL
TLS
TCP
+69

Никита — опытный backend-разработчик уровня Middle+. Он обладает навыками работы с Apache, Bitbucket, boot, CI/CD, cloud, DNS, Docker, Elasticsearch, Git, Grafana, GraphQL, Hibernate ORM, HTTP, Java, JDBC, Jenkins, JUnit, Kafka, Logstash, Maven, Oracle, PostgreSQL, Prometheus, Redis, REST, Spring, Swagger, TCP, TeamCity, TLS и другими инструментами. Никита работал над проектами в сфере недвижимости и страхования. На проекте DataArt он занимался переработкой монолитных приложений в микросервисную архитектуру, разработкой модульных и интеграционных тестов, настройкой инструментов мониторинга и аналитики. В проекте Siberian.pro Никита участвовал в настройке CI/CD через GitHub Actions, разрабатывал и поддерживал модульные и интеграционные тесты, а также внедрял новые паттерны проектирования микросервисов. За время работы Никита показал себя как специалист, способный решать сложные задачи и оптимизировать процессы разработки.

Подробнее
Information Security • LifeStyle • Logistics & Transport • Urban technology
КК
Кирилл К.
Томск
Data Scientist
Senior
4 415,58 Р/час
JavaScript
C++
C#
Jira
Python
Trello
Bash
TFS
Tensorflow
Pandas
+13

2013. Кирилл работал на позиции разработчик С++/QT и тестировщик. 2014. Занимался поддержкой кластерной программной инфраструктуры в университете. На данный момент Кирилл являемся тимлидом. На счету множество успешных завершённых проектов. В общении с коллегами дружелюбен и приветлив, с заказчиками – обходителен и вежлив, в затруднительных ситуациях всегда нацелен на нахождение компромиссных решений. Внимателен к людям, тактичен. Имеет навыки делового общения. Трудолюбив, обладает высокой работоспособностью, всячески поддерживает работу компании. Обладает деловыми качествами: добросовестным отношением к работе, стремлением к повышению квалификации и профессиональному росту, аналитическим мышлением.

Подробнее