ДФ
Денис Ф.
Мужчина, 27 лет
Россия, Самара, UTC+4
Ставка
2 825,85 Р/час
вкл. НДС 5% (104.76 Р)
Специалист доступен с 4 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
развитые коммуникативные навыки;
опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark;
работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции;
опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд;
опыт написание тестов для разработанного функционала;
опыт рефакторинга кода;
участие в создании ETL\ELT процессов;
опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive);
опыт работы с git;
опыт работы с Apache Airflow;
опыт работы с Docker в рамках локального запуска контейнеров;
умею читать техническую документацию на английском языке.
Проекты
(4 года 1 месяц)
Мониторинг и оценка качества воздуха в городской среде
Роль
Data Engineer
Обязанности
Описание проекта
Поддержка работоспособности мониторинга загрязнение окружающей среды и контроль состояния загрязнения атмосферы в населенных пунктах.
Состав команды
1 PO, 2 BE, 1 FE, 1 DA, 2 DE
Технологии на проекте
Airflow, Hadoop, PySpark, SQL, Python, Bash, Git, ClickHouse
Задачи/реализованный функционал
Поначалу занимался задачами, связанными с качеством данных: выяснял возникновение ошибок в Airflow и исправлял их; интегрировал данные в таблицы за отсутствующие периоды; описывал документацию по потокам данных: создавал схемы потоков данных и описание трансформаций данных.
Также создавал ETL-процессы под новые бизнес запросы, или с учетом масштабирования при помощью Apache Airflow.
Работал с большими и нагруженными системами
Стек специалиста на проекте
Git, SQL, Python, Bash, ClickHouse, Hadoop, Apache AirFlow, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - По настоящее время
(2 года 4 месяца)
Анализ кредитных рисков стартапов
Роль
Data Engineer / Data Analyst
Обязанности
Описание проекта
Проект направлен на создание системы для анализа и оценки кредитных рисков различных стартапов. Система использует данные о заемщиках, их финансовую историю и другие факторы для моделирования вероятности дефолта и определения оптимальных условий кредитования.
Состав команды
1 PO, 1 BA, 1 SA, 2 BE, 1 FE, 1 QA, 1 DS, 2 DE
Технологии на проекте
Airflow, Hadoop, PySpark, SQL, Python, GreenPlum, Git, Linux, Bash
Задачи/реализованный функционал
Проводил исследование данных, которые есть у компании и которые были бы необходимы в рамках проекта, по итогу выделил данные о заемщиках, о конкурентах и об экономическом рынке на текущий момент. Далее занимался созданием ETL-процесса для сбора, обработки и загрузки этих данных в схему нашей команды. В том числе имел опыт создание витрин данных в архитектуре Data Vault.
В последующем занимался исправлением ошибок, которые могли возникать в DAG-ах при сборе, обработке и загрузке данных. Также подготавливал данные для визуализации и отчетности.
Помимо этого занимался описанием всех ETL-процессов внутри проектов и создал схему потоков данных, SLA регламентов.
Составлял сложные SQL-запросы и разрабатывал на SQL-диалекте (PL SQL).
Стек специалиста на проекте
Git, SQL, Python, Bash, Linux, Hadoop, GreenPlum, Apache AirFlow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Июль 2021 - Март 2023
(1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Самарский университет путей сообщения
Специальность
Специалитет
Завершение учебы
2020 г.