ПТ
Павел Т.
Мужчина, 24 года
Россия, Санкт-Петербург, UTC+3
Ставка
3 875 Р/час
НДС не облагается
Специалист доступен с 13 ноября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Павел — опытный Data Engineer, специализирующийся на работе с Python, Apache AirFlow, Clickhouse, Hadoop, Spark, Kafka, PostgreSQL, GitLab, CI/CD, Docker, PySpark и другими инструментами.
Павел имеет опыт работы в проектах VK и LAD, где занимался разработкой собственного DE-инструментария, построением Core Layer хранилища, решением AdHoc задач у аналитиков, автоматизацией рутинных задач, разработкой парсеров запросов и дашбордов. Также Павел участвовал в построении архитектуры данных, выборе инструментов, внедрении моделей ML и разработке REST API интерфейса для получения данных из витрин.
До начала профессиональной карьеры Павел работал Data Quality Engineer в EPAM Trainig Center.
Проекты
(2 года 11 месяцев)
VK
Роль
Data Engineer
Обязанности
Занимался задачами по написанию собственного DE-инструментария, построением Core Layer хранилища, решением AdHoc задач у аналитиков.
– Разработал адаптивные коннекторы для ClickHouse и YtSaurus, увеличил стабильность загрузки данных, уменьшил нагрузку на источник и целевую базу данных
– Автоматизировал рутинные задачи (перезаливка таблиц, удаление устаревших таблиц, алерт со статусом загрузки критических таблиц в чате)
– Внедрил и разработал парсер Clickhouse запросов, построил дашборд использования таблиц
– Мигрировал основные критические таблицы из Clickhouse в YtSaurus Stack: Python, Airflow, Clickhouse, YtSaurus, PySpark, PyArrow, Hadoop, Docker
Стек специалиста на проекте
core, Clickhouse, Slack, Hadoop, PySpark, Docker, Python, Apache AirFlow
Отрасль проекта
Social Networking
Период работы
Сентябрь 2022 - По настоящее время
(2 года 3 месяца)
LAD
Роль
Data Engineer
Обязанности
Занимался разработкой и улучшением пайплайна данных для HiBrain. Участвовал в построении архитектуры данных, выборе инструментов, внедрении моделей ML.
– Ускорил получение данных на 30%, внедрил параметризацию результатов – Интегрировал метрики DQ, увеличил точность метрик ML моделей на 15% – Вывел REST API интерфейс для получения данных из витрин
Stack: Python, Airflow, PostgreSQL, Docker, FastAPI, BeautifulSoup
Опыт до профессиональной разработки:
1. EPAM Trainig Center – Data Quality Engineer, Август 2021 — Декабрь 2021
Стек специалиста на проекте
beautifulsoup, quality, Data, Slack, FastAPI, Centry, Docker, Python, Apache AirFlow, ML, PostgreSQL, REST API, dbrain, engineer, epam
Отрасль проекта
LifeStyle
Период работы
Январь 2022 - Сентябрь 2022
(9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
СПбГУТ им. проф. М.А. Бонч-Бруевича
Специальность
Программная инженерия
Завершение учебы
2021 г.