ТБ
Тынарбек Б.
Мужчина
Россия, Москва, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 8 июня 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Главное о специалисте
● Опыт работы на коммерческих проектах более 3,5 лет
● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными
● Специализируется на использовании современных технологий для обработки, хранения и анализа данных.
● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности.
● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle)
● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных.
● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков
● Имеет опыт разработки на Python и Golang
Проекты
(3 года 10 месяцев)
HR-Tech
Роль
Data Engineer
Обязанности
Сфера деятельности проекта
HR-услуги
Описание проекта
Проект HR-tech охватывает аналитику, тарификацию и мотивацию сотрудников, а также антифрод-направления для складов, логистики, курьерской службы и офисных сотрудников.
Выполненные задачи
- Поддержка кластеров PostgreSQL и ClickHouse для хранения и обработки данных. Для анализа складских данных использовался Spark для выявления фрода
- Настройка и поддержка кластеров Clickhouse, обеспечение доступности и производительности.
- Оптимизация сложных аналитических запросов в Clickhouse, ускорение их выполнения.
- Разработка ETL-пайплайнов в Apache Airflow, с использованием Apache Kafka для обработки данных в реальном времени
- Поддержка кластера сервисов в Kubernetes.
-Использование S3 и PostgreSQL
- Работа с Oracle, включая оптимизацию SQL-запросов для повышения производительности обработки данных и интеграции с внешними источниками.
- Поддержка и оптимизация CI/CD-пайплайнов для сервисов, обеспечение стабильности и скорости выпуска.
- Организация и запуск ELT, ETL-процессов, включающие маршрутизацию потоков данных и обеспечение их качества в Airflow для витрин данных.
- Создание витрин для Dash BI.
- Реализация бизнес-логики с использованием Golang и Python.
- Мониторинг потребления ресурсов сервисами в кластерах k8s и БД в Grafana.
- Подключение новых источников данных Kafka/NATS, OLAP-кубов.
- Запуск и поддержка кластера Spark (k8s Native, PySpark). - Создание и запуск ETL-пайплайнов.
- Написание сервиса мотиваций на FastAPIдля мотиваций всего WB: расчет мотиваций, получение списка команд по руководителю.
Стек специалиста на проекте
Grafana, dash, ClickHouse, NATS, Spark, API, Go, Superset, FastAPI, DWH, harbor, Docker, Python, GreenPlum, Flask, metabase, Apache AirFlow, REST API, PostgreSQL, olapкубы, Kubernetes, Apache Kafka
Отрасль проекта
HRTech
Период работы
Сентябрь 2023 - По настоящее время
(1 год 10 месяцев)
Торговая платформа для мировых рынков
Роль
Data Engineer
Обязанности
Описание проекта
Проект макроэкономической аналитики включал разработку DWH и витрин для аналитики финансовых транзакций между отраслями и регионами России.
Выполненные задачи
- Ипользование Greenplum и Apache Hadoop для разработки витрин и оптимизации запросов.
- Построение ETL-пайплайна из супермаркета данных с использованием Apache Airflow и Apache Kafka.
- Использование Oracle для интеграции данных с внешними источниками и для обработки макроэкономической информации, что включало создание и оптимизацию запросов для анализа больших объемов данных.
- Разработка ETL-процессов GP2GP, HD2GP, HD2HD из супермаркета данных (Data Mesh)
- Тестирование потоков на dev, ift, uat стендах. Участие в выводе на prod стенд.
- Разработка универсального сценария ELT, ETL для работы с оркестратором (SberETL)
- Разработка тестирования нового уникального сценария
- Автоматизация составления S2T для аналитиков (функциональные требования)
- Очистка и обработка данных об ОПФ с помощью NLP (spacy, transformers)
- Проектирование и запуск интерактивных дашбордов
- Парсинг данных из сайта ЦБ об экономических показателях и изменениях
- Обработка ad hoc запросов, выполнение анализа данных и предоставление необходимых отчетов об экономической активности
Стек специалиста на проекте
s2t, Работа с интеграциями, transformers, Функциональные требования, SpaCy, Mesh, Spark, Data, Bash, Oracle, Bitbucket, Scala, Cron, ETL, Apache Hadoop, DWH, NLP, UAT, Prod, AD, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Testing, Jenkins, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Октябрь 2022 - Сентябрь 2023
(1 год)
Ассоциация цифровых решений
Роль
Data Engineer
Обязанности
Описание проекта
Проект по аналитике Global Markets Trading Platform обеспечивал обработку near real-time и real-time данных для обновления цен драгметаллов и валюты в Сбербанк Онлайн
Выполненные задачи
- Использование Greenplum и Apache Hadoop для обработки данных и обеспечения их быстрой загрузки в аналитические системы. Использование Apache Kafka и Apache Airflow для управления потоками данных
- Работа с Oracle (интеграции данных о финансовых транзакциях и активностях, что включало оптимизацию запросов для повышения их производительности в условиях реального времени)
- Разработка и поддержка ELT, ETL-процессов для обработки и интеграции данных импорта и экспорта, включая подготовку данных для рекомендательной системы.
- Оптимизация и настройка пайплайнов обработки данных для создания математических моделей, используемых в расчетах по таможенной статистике.
- Анализ и трансформация больших объемов данных по импорту и экспорту для создания
управленческих отчетов и решений.
- Реализация и оптимизация ad-hoc запросов и создание автоматизированных отчетов для
оперативного использования.
- Проектирование архитектуры данных и обеспечение ее масштабируемости, взаимодействие с различными сервисами и системами хранения данных.
Стек специалиста на проекте
Работа с интеграциями, Программное обеспечение, platform, Numpy, Bash, Pandas, Oracle, Проектирование архитектуры, Linux, Cron, Seaborn, Sklearn, Apache Hadoop, NLP, Plotly, Docker, Python, GreenPlum, elt, Flask, Apache AirFlow, REST API, marketo, PostgreSQL, adhoc, local, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2021 - Октябрь 2022
(1 год 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Финансовый университет при Правительстве Российской Федерации
Специальность
Информационные технологии и анализ больших данных / Бизнес-информатика
Завершение учебы
2024 г.