Никита Н. Data инженер, Middle

ID 26838
НН
Никита Н.
Мужчина, 21 год
Россия, Уфа, UTC+5
Ставка
1 688,31 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache AirFlow
Apache Kafka
Apache Spark
Apache Superset
Bash
Big Data
ClickHouse
Docker
GitHub
GreenPlum
Hadoop
JupyterNoteBook
PostgreSQL
PySpark
Python
Redash
SQL
Оптимизация кода
Pandas
.Net 4.0
Отрасли
Logistics & Transport
Главное о специалисте
Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта. Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0. Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы. Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%. Общая продолжительность работы на проектах — 2 года 2 месяца.
Проекты   (2 года 3 месяца)
Разработка и внедрение ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных
Роль
Data Engineer
Обязанности
-Разработка и внедрение ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных -Реализация интеграции с PostgreSQL для хранения очищенных и трансформированных данных -Создание и поддержание витрины данных -Разработка и оптимизация Data Warehouse -Поддержание качества данных -Оптимизация запросов на SQL и Python -Настройка мониторинга системы -Разработка ETL-процессов -Оптимизация текущих процессов (PostgreSQL)
Достижения
-Оптимизировал SQL-запросы в Clickhouse, используя библиотеку dbt. - Сократил время выполнения запроса и уменьшил кол-во строк кода в 10 раз. - Выявил 12 проблем в обработке данных;-Уменьшил время обработки данных на 11%.
Стек специалиста на проекте
Оркестрация, BeautifulSoup4, Delta Lake, Базы данных, оконные функции, SQL запросы, Pandas, Superset, Scrapy, CSV, S3, PySpark, SQL, Python, парсинг, Pipelines, Apache AirFlow, MySQL, PostgreSQL, агрегация, Анализ продаж
Отрасль проекта
Logistics & Transport
Период работы
Сентябрь 2022 - Ноябрь 2024  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Волжский государственный университет водного транспорта, Нижний Новгород
Специальность
Информационные технологии
Завершение учебы
2026 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media
СБ
Сергей Б.
Минск
Data инженер
Senior
3 896,1 Р/час
Apache AirFlow
Apache Hadoop
Apache Kafka
Apache Spark
Bash scripting
ClickHouse
Cloud Functions
Data
DataLens
Docker
+40

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

Logistics & Transport
НН
Никита Н.
Уфа
Data инженер
Middle
1 688,31 Р/час
.Net 4.0
Apache Superset
Оптимизация кода
ClickHouse
Bash
Pandas
GitHub
Hadoop
Redash
Apache Spark
+20

Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта. Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0. Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы. Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%. Общая продолжительность работы на проектах — 2 года 2 месяца.

Подробнее