Data инженер, Middle+

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

За всю карьеру было реализовано большое количество проектов. Начиная от систем контроля доступа, заканчивая разработкой LLM моделей для автоматизации работы менеджеров и ОКК. Также разрабатывал архитектуру для высоконагруженных систем. Разрабатывал DataLake и DWH для дальнейшего построения системы аналитики данных. Разрабатывал системы отчетности. Работал с машинным зрением (классификация изображении). Реализовывал системы речевой аналитики на Pytorch (как самостоятельно разрабатывал сети, так и использовал BERT модели). В работе обычно использую Python, PSQL, Mongo, Redis, Kafka, Airflow, Docker, K8s По мимо этого, руководил проектом по внедрению VDI для работы удаленных пользователей.

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Имею опыт работы с администрированием hadoop кластеров(hdfs, yarn, zookeeper, zkfc, hive), написанием airflow дагов, мониторингом, python разработкой, bash скриптингом, .deb системами, docker+k8s( на уровне деплоя сервиса с отладкой ) Участие в других проектах: Консультант по инфраструктуре данных в NDA (GCC telecom) Организовал развертывание и организацию комплексной инфраструктуры обработки данных с использованием HDFS, YARN, Apache Airflow, ClickHouse, Apache Spark и Apache Flink. Эта настройка обеспечила непрерывную обработку данных, гарантируя эффективное хранение данных, управление ресурсами и аналитику в реальном времени. Реализация поддерживала бесперебойные рабочие процессы данных и высокопроизводительные запросы, значительно расширяя возможности компании по обработке и анализу данных, обеспечивая при этом масштабируемость и надежность . Инженер DevOps в DEUSCORP (приложение для знакомств Matchit) Разрабатывал инфраструктуру на платформах веб, iOS и Android, интегрируя конвейеры Gitlab CI/CD для оптимизации процессов развертывания кода. Эта оптимизация значительно ускорила доставку кода в производственные среды. Инфраструктура прошла тщательное тестирование и проверку, чтобы выдерживать ежедневную нагрузку пользователей до 10 000, гарантируя надежность и масштабируемость.

Ориентированный на результат разработчик Full Stack с более чем 8-летним опытом разработки, тестирования и сопровождения корпоративных программных приложений. Навыки (по шкале от 1 до 10): ООП - 8 Java Script - 8 Linux - 7 Networking - 6 CI/CD - 8 Public Cloud - 6