Никита Е. Data инженер, Middle+

ID 23473
НЕ
Никита Е.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
3 506,49 Р/час
НДС не облагается
Специалист доступен с 6 июня 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache AirFlow
Bitbucket
ClickHouse
DWH
ETL ELT
Git
GreenPlum
Hadoop
Kafka
Microsoft
MySQL
Oracle
PL/pgSQL
PostgreSQL
Power BI
Python
SQL
Отрасли
AgroTech
FinTech & Banking
GameDev
Главное о специалисте
Обладает глубоким пониманием DWH, ETL/ELT процессов , имеет опыт в моделировании данных, уделяя особое внимание предоставлению высококачественных решений в области данных. Знает современные инструменты для работы с данными, что позволяет проектировать, внедрять и управлять сложными архитектурными решениями.
Проекты   (3 года 2 месяца)
NDA
Роль
Data Engineer
Обязанности
● Автоматизировал регулярную финансовую отчетность с помощью Airflow ● Проектирование и реализация архитектуры данных на платформе Hadoop для обработки больших объемов данных ● Оптимизация производительности запросов в Greenplum, включая настройку индексов и партиционирование данных ● Разработка и оптимизация ETL-процессов извлечения, загрузки и трансформации данных для обеспечения их доступности для аналитических нужд. ● Настроил автоматическую поставку данных из внешних (Api, вебхуки) и внутренних источников (Oracle, PostgreSQL, MySQL, MS SQL) ● Оптимизировал инфраструктуру поставки и подготовки данных с помощью актуальных технологий (Python, Dagster, StarRocks, DBT, Kafka…) ● Настроил алертинг на основные этапы работы с данными с отправкой уведомлений в telegram ● Использование Bitbucket для управления версиями кода, включая создание, ревью и слияние pull-запросов. ● Внедрил практику работы с чувствительными данными (менеджер секретов, безопасная передача отчетов) ● Автоматизировал CI/CD процессы с помощью Gitlab Pipelines ● Настроил отслеживание и алертинг загруженности основных серверов (Prometheus + Grafana) ● Загрузил данные / создал дбт модели (вью / инкрементальные модели) ● Настройка, мониторинг и администрирование кластеров Greenplum для обеспечения высокой доступности и производительности ● Провел анализ запросов и их оптимизация для повышения эффективности выполнения операций с данными
Стек специалиста на проекте
Dagster, DBT, Grafana, Программное обеспечение, Администрирование, Data, API, GitLab pipelines, Oracle, Bitbucket, Prometheus, Hadoop, NDA, Мониторинг, SQL, Python, GreenPlum, Apache AirFlow, Microsoft, MySQL, engineer, PostgreSQL, CI/CD
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2024 - По настоящее время  (1 год 5 месяцев)
Газпромнефть Цифровые Решения
Роль
Data Engineer
Обязанности
● Разработка сложных SQL-запросов на ANSI SQL для извлечения и анализа данных. ● Создание и оптимизация хранимых процедур на PL/pgSQL для автоматизации процессов обработки данных ● Автоматизировал поставку метаданных в informatica EDC с помощью Airflow ● Организовал поставку данных от контрагентов в хранилище с помощью Airflow и Nifi ● Разработал план развития использования метаданных в компании
Стек специалиста на проекте
Informatica, Data, PL/pgSQL, Apache AirFlow, NiFi, SQL запросы, ANSI SQL
Отрасль проекта
AgroTech
Период работы
Апрель 2023 - Февраль 2024  (11 месяцев)
Saber Interactive
Роль
Analytics Engineer
Обязанности
● Организовал аналитическую инфраструктуру DWH + репортинг на базе Streamlit ● Спроектировал DWH на базе PostgreSQL (Anchor/Activity) ● Организовал ETL процессы с помощью Airflo ● Значительно сократил время обработки и загрузки логов игрового движка в базу данных с 70 минут до 1 секунды, переписав существующие Python скрипты ● Реализовал механизм контроля качества данных с оповещением владельцев систем о возникающих проблемах ● Разработал более 10 аналитических веб-приложений на базе Streamlit (Python) ● Обучил ML-модель классификации митингов с точностью 85%
Стек специалиста на проекте
Streamlit, gamedev, Activity, Analytics, Anchors, ETL, DWH, Python, Apache AirFlow, engineer, PostgreSQL
Отрасль проекта
GameDev
Период работы
Май 2022 - Апрель 2023  (1 год)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Прикладная математика и информатика
Завершение учебы
2024 г.
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Менеджмент
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
E-commerce & Retail • FinTech & Banking • HRTech • Manufacturing
ДН
Давид Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
ClickHouse
Docker
Git
GreenPlum
Hadoop
Informatica
PostgreSQL
Python
Django
SQL
+38

Data-инженер с опытом работы в проектах для отраслей FinTech & Banking, HRTech, E-commerce & Retail и Manufacturing. На проекте «Омниканальность» занимался проектированием и реализацией интеграционных потоков, работал с Oracle 19c, Kafka, Informatica PWC, Airflow, Spark, GreenPlum, PostgreSQL, Python, Hive и ClickHouse. В рамках проекта по построению аналитического хранилища по схеме DataVault создавал, поддерживал и обслуживал веб-сервер на YandexCloud и проектировал базу данных на PostgreSQL. Для проекта «Построение аналитических панелей» готовил витрины данных и формировал аналитическую отчётность. Во время проекта для Mosgiprotransmos проектировал и поддерживал базу данных (PostgreSQL) и интеграционный поток (Python+Airflow), работал с Yandex Cloud, SQL, Python, Clickhouse, Object Storage, Yandex Functions и bash.

Подробнее

Недавно просмотренные специалисты

EdTech • Government & Public Sector • LifeStyle • RnD • VR/AR
АД
Андрей Д.
Пенза
React разработчик
Middle+
2 467,53 Р/час
MobX
Socket.io
React testing library
Redux Thunk
Redux
GitLab
WebSockets
SOLID
Git
Webpack
+44

Андрей — React разработчик уровня Middle+ из Пензы. Специализируется на разработке веб-приложений с использованием технологий HTML, CSS, SCSS, React, TypeScript, JavaScript и других. Имеет опыт работы с Git, Next.js, Webpack, MobX, Material UI, Redux и другими инструментами. Участвовал в разработке проектов в различных отраслях, включая Government & Public Sector, RnD, VR/AR, EdTech, LifeStyle. Среди проектов, над которыми работал Андрей: - АИС «Реестр зелёных насаждений» для Мосприроды — подсистема «Наше Дерево»; - Task System — система для мониторинга и прогнозирования проектных работ внутри организаций; - Stargazer — виртуальный планетарий с возможностью отображения объектов Солнечной системы и Млечного Пути; - Experiment — образовательная web-платформа с микрофронтенд-архитектурой; - внутренний чат и видеочат с использованием WebRTC и Socket.io. Общая продолжительность работы на проектах — 3 года 10 месяцев.

Подробнее