НН
Никита Н.
Мужчина, 21 год
Россия, Уфа, UTC+5
Ставка
1 688,31 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта.
Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0.
Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы.
Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%.
Общая продолжительность работы на проектах — 2 года 2 месяца.
Проекты
(2 года 3 месяца)
Разработка и внедрение ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных
Роль
Data Engineer
Обязанности
-Разработка и внедрение ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных
-Реализация интеграции с PostgreSQL для хранения очищенных и трансформированных данных
-Создание и поддержание витрины данных
-Разработка и оптимизация Data Warehouse
-Поддержание качества данных
-Оптимизация запросов на SQL и Python
-Настройка мониторинга системы
-Разработка ETL-процессов
-Оптимизация текущих процессов (PostgreSQL)
Достижения
-Оптимизировал SQL-запросы в Clickhouse, используя библиотеку dbt.
- Сократил время выполнения запроса и уменьшил кол-во строк кода в 10 раз.
- Выявил 12 проблем в обработке данных;-Уменьшил время обработки данных на 11%.
Стек специалиста на проекте
Оркестрация, BeautifulSoup4, Delta Lake, Базы данных, оконные функции, SQL запросы, Pandas, Superset, Scrapy, CSV, S3, PySpark, SQL, Python, парсинг, Pipelines, Apache AirFlow, MySQL, PostgreSQL, агрегация, Анализ продаж
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2022 - Ноябрь 2024
(2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Волжский государственный университет водного транспорта, Нижний Новгород
Специальность
Информационные технологии
Завершение учебы
2026 г.