Павел Т. Data инженер, Middle+

ID 17929
ПТ
Павел Т.
Мужчина, 24 года
Россия, Санкт-Петербург, UTC+3
Ставка
3 875 Р/час
НДС не облагается
Специалист доступен с 13 ноября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Python
Apache AirFlow
Clickhouse
Hadoop
Spark
Kafka
PostgreSQL
GitLab
CI/CD
core
Docker
PySpark
Slack
данных
загрузка
Программное обеспечение
beautifulsoup
Centry
Data
dbrain
engineer
epam
FastAPI
ML
quality
REST API
ДО
интерфейс
опыт в
Разработка
Отрасли
LifeStyle
Social Networking
Знание языков
Английский — B1
Главное о специалисте
Павел — опытный Data Engineer, специализирующийся на работе с Python, Apache AirFlow, Clickhouse, Hadoop, Spark, Kafka, PostgreSQL, GitLab, CI/CD, Docker, PySpark и другими инструментами. Павел имеет опыт работы в проектах VK и LAD, где занимался разработкой собственного DE-инструментария, построением Core Layer хранилища, решением AdHoc задач у аналитиков, автоматизацией рутинных задач, разработкой парсеров запросов и дашбордов. Также Павел участвовал в построении архитектуры данных, выборе инструментов, внедрении моделей ML и разработке REST API интерфейса для получения данных из витрин. До начала профессиональной карьеры Павел работал Data Quality Engineer в EPAM Trainig Center.
Проекты   (2 года 11 месяцев)
VK
Роль
Data Engineer
Обязанности
Занимался задачами по написанию собственного DE-инструментария, построением Core Layer хранилища, решением AdHoc задач у аналитиков. – Разработал адаптивные коннекторы для ClickHouse и YtSaurus, увеличил стабильность загрузки данных, уменьшил нагрузку на источник и целевую базу данных – Автоматизировал рутинные задачи (перезаливка таблиц, удаление устаревших таблиц, алерт со статусом загрузки критических таблиц в чате) – Внедрил и разработал парсер Clickhouse запросов, построил дашборд использования таблиц – Мигрировал основные критические таблицы из Clickhouse в YtSaurus Stack: Python, Airflow, Clickhouse, YtSaurus, PySpark, PyArrow, Hadoop, Docker
Стек специалиста на проекте
core, Clickhouse, Slack, Hadoop, PySpark, Docker, Python, Apache AirFlow
Отрасль проекта
Social Networking
Период работы
Сентябрь 2022 - По настоящее время  (2 года 3 месяца)
LAD
Роль
Data Engineer
Обязанности
Занимался разработкой и улучшением пайплайна данных для HiBrain. Участвовал в построении архитектуры данных, выборе инструментов, внедрении моделей ML. – Ускорил получение данных на 30%, внедрил параметризацию результатов – Интегрировал метрики DQ, увеличил точность метрик ML моделей на 15% – Вывел REST API интерфейс для получения данных из витрин Stack: Python, Airflow, PostgreSQL, Docker, FastAPI, BeautifulSoup Опыт до профессиональной разработки: 1. EPAM Trainig Center – Data Quality Engineer, Август 2021 — Декабрь 2021
Стек специалиста на проекте
beautifulsoup, quality, Data, Slack, FastAPI, Centry, Docker, Python, Apache AirFlow, ML, PostgreSQL, REST API, dbrain, engineer, epam
Отрасль проекта
LifeStyle
Период работы
Январь 2022 - Сентябрь 2022  (9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
СПбГУТ им. проф. М.А. Бонч-Бруевича
Специальность
Программная инженерия
Завершение учебы
2021 г.

Похожие специалисты

Marketing, Advertising & Design • RnD
КК
Кирилл К.
Астана
Data инженер
Middle
3 250 Р/час
Apache AirFlow
API
Big Data
Bitbucket
CI/CD
code
Docker
EViews
Flake8
Git
+66

● data scientist / ML engineer с опытом коммерческой разработки 3.5 года; ● технологический стек: python - pandas, numpy, scikit-learn, tensor flow, PyTorch, OpenCV; SQL; Spark; Linux; Docker. ● опыт оптимизации вычислений. ● запустил с нуля до стадии продукта 3 проекта; ● есть опыт наставничества (студенты, junior-разработчики); ● опыт бэкенд разработки на python. ● отличный системный и ML дизайн ● знание архитектуры нейронных сетей. Понимание механизма внимания и трансформатора; ● опыт использования TensorFlow и PyTorch для экспериментов с архитектурой; ● опыт использования NGC; Примечание - если речь идет про облачный сервис NVIDIA NGC, то его конкретно не использовал, но он мало чем отличается от используемых аналогов; ● понимание основ MLOps; ● опыт разработки конструкции систем машинного обучения в различных областях – CV/NLP/ML

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 500 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более двух лет. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 000 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+111

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее

Недавно просмотренные специалисты

Cloud Services • Hardware • Information Security
МК
Максим К.
Москва
DevOps
Senior
3 625 Р/час
HAProxy
ELK
Grafana
firewall
keepalived
MySQL5
MariaDB
UML
PHP
JavaScript
+87

Начало развития с инженера внедрения для решений в области информационной безопасности. Рост до максимальной технической должности Главного инженера проектов, уход в административное направление линейным руководителем на позицию руководителя отдела. Переход в смежную область Devops c даунгрейдом до мидла. Развитие в области devops с частичным уходом в DevSecOps (влияние первой специализации ИБ). Текущие задачи развития: углубление экспертизы в Kubernetes, переход в тимлиды Мои качества успеха: упорство в решении интересных задач, навыки траблшутинга и поиска информации, системный подход и упорядочивание окружения, любовь к автоматизации, подход: "хороший инженер решает проблемы, а не создает их". Интересен финтех. Тайная мечта - заняться геймдевом. Были подходы к этому в Unity.

Подробнее