E-commerce & Retail
EdTech
FinTech & Banking
IoT
Logistics & Transport
Marketing, Advertising & Design
Данил П. Data аналитик, Senior
ID 22810
ДП
Данил П.
Мужчина, 26 лет
Россия, Санкт-Петербург, UTC+3
Ставка
3 181,82 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data аналитик
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Инженер с промышленным опытом работы более 4 лет в Python. FastAPI, Flask, Pandas, NumPy, BeautifulSoup, pyTelegramBotAPI, smtplib, Pydantic, google api, PyJWT
Глубинное понимание и опыт в высоконагруженных веб системах, микро сервисной архитектуре, кэшировании данных, ETL и ElasticSearch
Опыт реализации паттернов FastAPI: Repository, Service, Unit of Work, Dependency Injection
Опыт работы с Python, JavaSctipt, C++, SQL, Java, Kotlin, C#, Matlab
Базы данных: PostgreSQL, Redis, Elasticsearch
CI/CD: Docker, Jenkins
Системы управления проектами: Jira
Проекты
(3 года 11 месяцев)
Разработка Озера Данных Движения Первых
Роль
Team lead Python, Data engineer
Обязанности
Настроил подключение к SMTP-серверу для отправки системных сообщений
Организовал разработку модуля перевода и редизайна клиентской части приложения на удаленном сервере через SSH
Организовал работы, связанные с автоматизацией деплоя
Провел код-ревью модуля перевода и редизайна клиентской части приложения
Провел донастройку модуля перевода клиентской части приложения
Провел исследования исходного кода Redash и донастроил Redash в части отправки сообщений и запуска периодических задач
Добавил системные уведомления по усеченным данным работы системы: ежедневные и ежемесячные сводки по количеству новых и ошибочных данных, real-time уведомление в случае загрузки ошибочных данных на протяжении определенного промежутка времени
Реализовал модуль экспорта дашбордов в PDF на стороне клиента
Исправил кодировку экспорта чартов в формате CSV
Реализовал REST API для имитации добавления новых источников данных
Реализовал ролевую модель доступа к API, а также API для административной части портала
Реализовал интеграцию с новыми источниками данных с использованием Python-скриптов
Выстроил ETL-процесс интеграции с источниками данных с использованием методологии DataVault2.0 и инструмента DBT
Настроил пайплайн обновления витрин данных через Airflow
Разработал DAG на Python для автоматизации ETL-процессов, оптимизировал работу
Проанализировал исходный код BI-инструмента Redash (локальное, self-hosted ПО) и спроектировал переход от отображения результатов исполнения аналитических запросов группе пользователей к отображению индивидуальных результатов для внедрения пользовательских переменных, которые позволяют выдавать доступ к определенной информации без дублирования запросов
Подключал несколько физические источники данных
Интегрировал данные из источников, проверяя валидность данных с помощью avro-схем
Занимался нормализацией данных с помощью DBT, задавая в конфиге схемы данных для моделей
Реализовал каталог данных для DWH
Интегрировал DBT в пайплайны для трансформации данных с помощью Airflow DAG’ов
Версионировал модели в реестре avro-схем
Использовал временные общие табличные выражения (оператор with), оконные функции, вложенные запросы и join’ы для написания сложных SQL-запросов и оптимизации существующих
Создание новых миграций PostgreSQL при помощи библиотеки alembic
Использовал avro-схемы для отсеивания невалидных данных, поступающих в Kafka
Использовал инкрементальные модели dbt во избежании дублирования данных
Стек специалиста на проекте
DBT, GitLab, react-i18next, SQLAlchemy, Git, Nginx, PyCharm, SSH, VS code, Hadoop, FastAPI, Redash, Kafka, jetbrains, Docker, Python, Apache AirFlow, React, JavaScript, DataVault, PostgreSQL, Jenkins
Отрасль проекта
EdTech
Период работы
Апрель 2024 - По настоящее время
(1 год 4 месяца)
Разработка веб-приложения для быстрого поиска исполнителей заказов в области фулфилмента
Роль
Team lead, backend engineer
Обязанности
Разработал архитектуру приложения: модули авторизации, ЛК селлера, ЛК исполнителя, чат-общения, тарификации
Спроектировал схему базы данных PostgreSQL
Реализовал модуль подтверждения исполнителей на платформе с помощью SQL-транзакций
Создание новых миграций PostgreSQL при помощи библиотеки alembic
Настроил административную панель при помощи SQLAdmin и FastAPI с функциональностью CMS для создания шаблонизированных блог-постов. Интегрировал CRUD модули с интерфейсом административной панели.
Реализовал модуль авторизации
Провел код-ревью модулей ЛК селлера и исполнителя
Интегрировал разработанное решение с клиентской частью приложения
Управлял процессом backend-разработки с помощью Notion-трекера задач
Настроил подключение к SMTP-серверу для отправки системных сообщений
Разработал архитектуру решения и управлял процессом интеграции телеграмм-бота в систему для получения системных уведомлений пользователями приложения
Поддерживал непротиворечивость моделей предметной области в системе
Проинтегрировал масштабируемое решение для обмена сообщениями в реальном времени Centrifugo в модуль чат-общения, а также добавил уведомления о новых сообщениях и информацию о количестве непрочитанных чатов/сообщений в чате
Реализовал запросы для публичной части данных для выдачи данных об исполнителях, зарегистрированных в системе
Реализовал систему ограничений по выдаче публичных данных исполнителя в зависимости от выбранного им тарифа
Настраивал виртуальные машины Compute Cloud (сервис Yandex.Cloud)
Использовал Object Storage (Yandex.Cloud) для загрузки хранения файлов, настраивал права доступа через IAM
Стек специалиста на проекте
pyjwt, GitLab, WebSockets, SQLAlchemy, Git, Notion, Redis, Nginx, PyCharm, Celery, Hadoop, FastAPI, Miro, Centrifugo, Pydantic, jetbrains, Docker, Python, PyTelegramBotAPI, PostgreSQL, Jenkins, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2024 - По настоящее время
(1 год 4 месяца)
Разработка алгоритмов маршрутизации для курьеров
Роль
Backend engineer
Обязанности
Проработал и реализовал алгоритмы решения задачи коммивояжёра для автоматического оптимального распределения заказов между курьерами
В частности проработал и реализовал адаптацию алгоритма 2-OPT
Реализовал скрипт для сравнительного тестирования с маршрутизатором от Яндекса и сбора метрик тестирования
Провел unit-тестирования
Провел интеграционного тестирования
Развернул окружение для Kafka с использованием Docker
Настраивал репликацию контейнеров Kafka
Стек специалиста на проекте
Git, Jira, Python, Pytest, GitLab, PyCharm, Sphinx, Google API, Kafka, Pydantic, Redis, jetbrains, coverage
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2023 - Февраль 2024
(6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский Политехнический Университет Петра Великого
Специальность
Прикладная математика
Завершение учебы
2023 г.