Данила М. Data инженер, Middle+
ID 18674
ДМ
Данила М.
Мужчина, 25 лет
Россия, Санкт-Петербург, UTC+3
Ставка
3 339,64 Р/час
вкл. НДС 5% (123.81 Р)
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Данила — опытный Data инженер с опытом работы более 3,5 лет. Он обладает глубокими знаниями и навыками в области работы с данными, включая Linux, macOS, MS Windows, Python, SQL, Apache AirFlow, Apache Superset, Docker, Git, Jinja, Jupyter и другие инструменты.
Данила работал над несколькими проектами в таких отраслях, как eFinTech (банки, инвестиции), Toll Road (платные автодороги), MedTech (медицинские учреждения), Retail (магазины). На проектах он занимался разработкой и поддержкой витрин данных, ETL/ELT процессов, а также решением инцидентов и ad-hoc задач.
Среди реализованных проектов Данилы можно выделить:
- приложение инвентаризации для крупных складов;
- анализ и планирование выручки и трафика платной автодороги;
- система торговли на фондовых рынках;
- приложение для рекомендации изображений;
- систему матчинга резюме и вакансий.
Профессиональные навыки:
- менторство младших разработчиков;
- ставил задачи в канбан;
- работал с чистым SQL на уровне продвинутых запросов (оконные функции, подзапросы.);
- опыт работы с UNIX-системами на уровне простых операций;
- развитые коммуникативные навыки;
- участие в создании ETL процессов
- опыт сбора информации из Интернета путем парсинга
- применял как уже обученные модели машинного обучения/глубокого обучения, так и занимался их - - - обучением самостоятельно
- опыт работы с большими данными в Hadoop и Spark и в составлении сложных SQL запросов в Apache Hive
- участие в проектировании и анализу DWH хранилищ
- опыт работы с Apache Airflow
- опыт работы с Python для анализа данных (pandas, numpy, matplotlib, seaborn)
Проекты
(3 года 9 месяцев)
Приложение инвентаризации для крупных складов
Роль
Data Engineer
Обязанности
Описание проекта
Приложение для ежедневной и ежегодной инвентаризации товаров на складах и полках магазина.
Состав команды
2 Data Engineer, Team lead, PM, 4 backend, 3 frontend, DevOps, 2 QA, бизнес-аналитик, application manager
Технологии на проекте
Airflow, PostreSQL, Greenplum, Clickhouse, Oracle, Python, Jenkins,
Задачи/реализованный функционал
Разработал и поддерживал витрины данных для инвентаризации товаров. Витрины для отчетов обновлялись с периодичностью в 1час/1день с помощью Airflow. DAG’и служили для перекачки данных между БД (Oracle - Postgres - Greenplum), для обработки данных с помощью Python/SQL. Поддерживал SQL функции на 500-3000 строк для работы с данными. Собирал информацию по продукту у заказчика, а также занимался решением инцидентов и ad-hoc задач, связанных с витринами данных.
Полностью поддерживал ETL/ELT процессы на проекте самостоятельно.
Стек специалиста на проекте
PostgreSQL, Python, Oracle, Jenkins, ClickHouse, GreenPlum, Apache AirFlow
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2023 - Ноябрь 2024
(1 год 1 месяц)
Анализ и планирование выручки и трафика платной автодороги
Роль
Data Engineer
Обязанности
Описание проекта
Система предиктивной аналитики для прогнозирования бюджета и трафика на автодороге на следующий месяц / год. Проект является системой поддержки принятия решений аналитического отдела с целью расчета бюджета компании.
Состав команды
data engineer, 2 data аналитика, teamlead, PM
Технологии на проекте
Python, Scipy, Pandas, Matplotlib, Plotly, Seaborn, Sklearn, XGBoost, LightGBM, Optuna, Git, Jupyter, SQLAlchemy, DeepPavlov
Задачи/реализованный функционал
Разработал витрины данных и их наполнение/обновление с помощью Airflow (Python + SQL). Полученные данные поступали в отчеты на Superset. Развернул Airflow + Superset через Docker. Поддерживал ETL/ELT процессы в компании и собирал требования напрямую у внутренних заказчиков.
Разработал систему прогнозирования выручки компании на основе показателей технического анализа временного ряда, а также сезонной компоненты на месяц / год вперед. Это позволило снизить расхождения бюджета с фактическим значением.
Разработал систему прогнозирования трафика на платной автодороге на основе компонент временного ряда, а также показателей погоды и тарифов. Это позволило планировать краткосрочные перекрытия дороги для ремонтных работ.
Стек специалиста на проекте
Git, Python, Pandas, SciPy, SQLAlchemy, Matplotlib, Seaborn, XGBoost, Sklearn, Jupyter, Plotly, Lightgbm, Optuna
Отрасль проекта
Logistics & Transport
Период работы
Март 2023 - Октябрь 2023
(8 месяцев)
Система торговли на фондовых рынках
Роль
Data Engineer
Обязанности
Описание проекта
Построение автоматизированной торговой системы. Торговля производится роботом на основе более 40 различных торговых стратегий. Каждая торговая стратегия разработана с применением методов оптимизации, математического анализа, машинного обучения.
Состав команды
Data Engineer, 2 data аналитика, 5 quantitative аналитиков, 4 backend разработчика, 1 ПМ
Технологии на проекте
Python, Scipy, Pandas, Matplotlib, Plotly, Seaborn, Sklearn, XGBoost, LightGBM, Optuna, Git, Jupyter
Задачи/реализованный функционал
Разработал и поддерживал инфраструктуру сбора, хранения и обработки больших объемов финансовых данных - котировок, новостей, показателей компаний и т.д. Ежедневно в базу поступало >100ГБ данных.
Разработал ETL-процессы для преобразования и очистки данных в удобный для анализа формат.
Стек специалиста на проекте
Git, Python, Pandas, SciPy, Matplotlib, Seaborn, XGBoost, Sklearn, Jupyter, Plotly, Lightgbm, Optuna
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2021 - Апрель 2022
(1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет