Гатауллин Р. Data инженер, Senior

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Йигит — опытный Java-разработчик уровня Middle+. Обладает навыками работы с Docker, Framework, Git, Hibernate, Java, Java Spring, Kubernetes, Linux, Spring Boot, SQL, ООП, Apache Kafka, ELK и другими. Имеет опыт работы в проектах FinTech & Banking и Cloud Services. В частности, участвовал в разработке системы для Сбербанка, где занимался интеграцией данных между информационными системами, разработкой автоматизированных процессов, оптимизацией запросов и многим другим. Также работал над проектом MaxSub, где разрабатывал библиотеку для проверки доступа пользователя, реализовывал микросервисную архитектуру и работал с контейнеризацией. Йигит обладает навыками разработки, оптимизации ПО, работы с интеграциями и базами данных.

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Веб-разработчик с 6-ти летним опытом. Имею опыт front-end и back-end разработки. Я всегда стараюсь найти лучшее решение проблемы в рабочем процессе, рассматривая ее исходя из требований заказчика и с точки зрения оптимизации кода. Я быстро и эффективно осваиваю новые технологии, легко подстраиваясь под требования в Вашем проекте.

Java backend-разработчик с 4+ годами опыта. Разрабатываю микросервисные системы на Spring Boot, Kafka и Kubernetes, внедряю DevOps-практики и автоматизирую процессы CI/CD. Решаю задачи архитектуры, интеграции и безопасности, фокусируясь на стабильности, масштабируемости и чистоте кода. Есть опыт технического лидерства и развития команды Самые технически сложные и интересные задачи: Одной из сложных задач была разработка собственного SSO-сервера. До этого в компании была реализована система аутентификации на основе логина и пароля для доступа к различным API и окружениям. Используя Spring Security, удалось создать единую точку входа для всех проектов компании и внедрить вход в приложение через известных провайдеров (Google, VK, SberID), что позволило усилить контроль доступа к данным и улучшить пользовательский опыт. Также одна из задач была связана с созданием сервиса для автоматизированного расчета и распределения комиссионных сборов. До этого в компании использовалась ручная установка комиссии, что приводило к частым ошибкам в начислениях. Изменения в бизнес-логике происходили медленно, так как существующий процесс не позволял гибко и быстро адаптировать правила расчета комиссий. В результате была реализована асинхронная обработка большого потока транзакций и добавлена возможность динамического обновления правил расчёта без перезапуска сервиса. Это позволило повысить точность и прозрачность расчетов, сократить операционные затраты и улучшить клиентский опыт. Куда хочется развиваться: В сторону работы с высоконагруженными системами и работы с многопоточностью.