Артур Х. Data инженер, Senior
ID 13684
АХ
Артур Х.
Мужчина
Россия, Уфа, UTC+5
Ставка
4 125 Р/час
НДС не облагается
Специалист доступен с 19 сентября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — A1
Главное о специалисте
Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования.
Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных.
Из достижений можно выделить:
Сделал более 12 успешных интеграций с источниками
Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества
Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД
Сделал доработку Apache Superset для отображения большого количества данных
Проекты
(4 года 5 месяцев)
Платформа для принятия бизнес-решений (металлургическая компания)
Роль
Data Engineer
Обязанности
Описание: Создание платформы путем сбора разрозненной информации из 10 источников компании (400 сущностей), создание дашбордов для принятия бизнес-решений
Полномочия, обязанности и достижения:
Создание интеграций с источниками с помощью Python 3.7-3.13
Создание витрин для дашбордов BI
Ревью кода (поиск ошибок в коде, источниках, данных и тд, поиск решения проблем, их исправление)
Управление командой разработчиков, постановка ТЗ, контроль выполнения задач
Были сделаны интеграции для различных гетерогенных источников по REST API, JDBC, S3
Развитие и поддержке реализованной интеграции (бизнес логики в реализованных SQL процедурах)
Поддержка и развитие КХД
Выполнение анализа по вопросам, проблемам в интеграции и передаваемым/загружаемым данным, возникающим в ходе ее эксплуатации
Опыт сбора данных из различных источников (как внутренних, так и внешних), их фильтрация, очистка, агрегирование
Опыт построения ETL/ELT процессов, с использованием Airflow
Разработка проектной документации
Навыки работы с БД и многопоточными приложениями
Работа с GitLab
Написание сложных SQL запросов
Стек специалиста на проекте
Работа с интеграциями, Написание ТЗ, GitLab, Программное обеспечение, сбор данных, поиск ошибок, Базы данных, работу с, 73, 13, Управление командой, JDBC, BI, DWH, S3, SQL, Разработка проектной документации, Apache AirFlow, REST API, Python3
Отрасль проекта
Manufacturing
Период работы
Август 2022 - По настоящее время
(2 года 2 месяца)
Сервис планирования путешествий
Роль
Data Engineer
Обязанности
Описание: Разработка интеграций с различными источниками данных DWH с помощью Apache Airflow (интеграция + оркестрация данных)
Полномочия, обязанности и достижения:
Создание интеграций: Более 12 интеграций, включая интеграцию с ежедневным объемом в 5 миллионов записей. Интеграции для различных источников по REST API, JDBC, FTP и др. Интегрировано более 50 сущностей в хранилище.
Проверки качества данных: Базовые проверки качества данных при загрузке в хранилище
Набор функций: Разработка типовых функций для получения, обработки и трансформации данных из источника. Набор функций переиспользуется для всех "типовых" интеграций источников.
Веб-сервис: Разработка веб-сервиса для получения данных из различных витрин, не требующего дополнительной разработки для добавления новых витрин.
SQL запросы: Написание сложных SQL запросов
Веб-сервис гибкий, что позволяет без дополнительной разработки добавлять новые витрины данных КХД для предоставления во внешние системы через REST API.
Стек специалиста на проекте
DWH, Apache AirFlow, Работа с интеграциями, Разработка, Оркестрация
Отрасль проекта
E-commerce & Retail
Период работы
Август 2022 - По настоящее время
(2 года 2 месяца)
Доработка Apache Superset для отображения большого количества данных в дашбордах в проекте по мониторингу окружающей среды департамента природопользования г. Москвы
Роль
Data Engineer
Обязанности
Полномочия, обязанности и достижения:
Разработка отчетов и дашбордов, а также доработка разных типов визуализаций
Разработал доработку сводной таблицы с возможностью серверной пагинации
Написал статью по доработкам Superset
Стек специалиста на проекте
Superset, Разработка, Программное обеспечение
Отрасль проекта
Government & Public Sector
Период работы
Август 2022 - По настоящее время
(2 года 2 месяца)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
УГАТУ, г. Уфа
Специальность
Математика и компьютерные науки
Завершение учебы
2018 г.