ДФ
Денис Ф.
Мужчина, 26 лет
Россия, Самара, UTC+4
Ставка
2 750 Р/час
НДС не облагается
Специалист доступен с 12 ноября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Денис — опытный Data-инженер, специализирующийся на Apache AirFlow, Apache Kafka, Docker, Git и других инструментах. Обладает навыками работы с Python, SQL, Linux и Windows.
Имеет опыт работы в проектах по мониторингу качества воздуха и анализу кредитных рисков стартапов. В первом проекте занимался поддержкой работоспособности мониторинга загрязнения окружающей среды, созданием ETL-процессов и описанием документации по потокам данных. Во втором — исследовал данные компании, создавал ETL-процесс для сбора, обработки и загрузки данных, а также занимался исправлением ошибок и подготовкой данных для визуализации и отчётности.
Проекты
(3 года 3 месяца)
Мониторинг и оценка качества воздуха в городской среде
Роль
Data Engineer
Обязанности
Описание проекта
Поддержка работоспособности мониторинга загрязнение окружающей среды и контроль состояния загрязнения атмосферы в населенных пунктах.
Состав команды
1 PO, 2 BE, 1 FE, 1 DA, 2 DE
Технологии на проекте
Airflow, Hadoop, PySpark, SQL, Python, Bash, Git
Задачи/реализованный функционал
Поначалу занимался задачами, связанными с качеством данных: выяснял возникновение ошибок в Airflow и исправлял их; интегрировал данные в таблицы за отсутствующие периоды; описывал документацию по потокам данных: создавал схемы потоков данных и описание трансформаций данных.
Также создавал ETL-процессы под новые бизнес запросы, или с учетом масштабирования при помощью Apache Airflow.
Стек специалиста на проекте
Bash, Git, Hadoop, PySpark, SQL, Python, Apache AirFlow
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - Сентябрь 2024
(1 год 6 месяцев)
Анализ кредитных рисков стартапов
Роль
Data Engineer / Data Analyst
Обязанности
Описание проекта
Проект направлен на создание системы для анализа и оценки кредитных рисков различных стартапов. Система использует данные о заемщиках, их финансовую историю и другие факторы для моделирования вероятности дефолта и определения оптимальных условий кредитования.
Состав команды
1 PO, 1 BA, 1 SA, 2 BE, 1 FE, 1 QA, 1 DS, 2 DE
Технологии на проекте
Airflow, Hadoop, PySpark, SQL, Python, GreenPlum, Git, Linux, Bash
Задачи/реализованный функционал
Проводил исследование данных, которые есть у компании и которые были бы необходимы в рамках проекта, по итогу выделил данные о заемщиках, о конкурентах и об экономическом рынке на текущий момент. Далее занимался созданием ETL-процесса для сбора, обработки и загрузки этих данных в схему нашей команды. В том числе имел опыт создание витрин данных в архитектуре Data Vault.
В последующем занимался исправлением ошибок, которые могли возникать в DAG-ах при сборе, обработке и загрузке данных. Также подготавливал данные для визуализации и отчетности.
Помимо этого занимался описанием всех ETL-процессов внутри проектов и создал схему потоков данных, SLA регламентов.
Стек специалиста на проекте
Bash, Git, Linux, Hadoop, PySpark, SQL, Python, GreenPlum, Apache AirFlow
Отрасль проекта
FinTech & Banking
Период работы
Июль 2021 - Март 2023
(1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет