Тынарбек Б. Data инженер, Senior

ID 26045
ТБ
Тынарбек Б.
Мужчина
Россия, Москва, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 8 июня 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
ClickHouse
DWH
elt
ETL-процессы
GOlang
GreenPlum
Hadoop
Oracle
Python
s2t
анализ
Аналитика
Базы данных
данных
Поддержка
Проектирование
Разработка
технологии
Apache AirFlow
Apache Hadoop
apache hive
Apache Kafka
Apache Spark
Big Data
Data
DevOps
Docker
Engineering
ETL
Git
Grafana
Kubernetes
Linux
Machine learning
Microsoft
OLAP
PostgreSQL
REST
SQL
другие
Отрасли
FinTech & Banking
HRTech
Главное о специалисте
● Опыт работы на коммерческих проектах более 3,5 лет ● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными ● Специализируется на использовании современных технологий для обработки, хранения и анализа данных. ● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности. ● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle) ● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных. ● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков ● Имеет опыт разработки на Python и Golang
Проекты   (3 года 10 месяцев)
HR-Tech
Роль
Data Engineer
Обязанности
Сфера деятельности проекта HR-услуги Описание проекта Проект HR-tech охватывает аналитику, тарификацию и мотивацию сотрудников, а также антифрод-направления для складов, логистики, курьерской службы и офисных сотрудников. Выполненные задачи - Поддержка кластеров PostgreSQL и ClickHouse для хранения и обработки данных. Для анализа складских данных использовался Spark для выявления фрода - Настройка и поддержка кластеров Clickhouse, обеспечение доступности и производительности. - Оптимизация сложных аналитических запросов в Clickhouse, ускорение их выполнения. - Разработка ETL-пайплайнов в Apache Airflow, с использованием Apache Kafka для обработки данных в реальном времени - Поддержка кластера сервисов в Kubernetes. -Использование S3 и PostgreSQL - Работа с Oracle, включая оптимизацию SQL-запросов для повышения производительности обработки данных и интеграции с внешними источниками. - Поддержка и оптимизация CI/CD-пайплайнов для сервисов, обеспечение стабильности и скорости выпуска. - Организация и запуск ELT, ETL-процессов, включающие маршрутизацию потоков данных и обеспечение их качества в Airflow для витрин данных. - Создание витрин для Dash BI. - Реализация бизнес-логики с использованием Golang и Python. - Мониторинг потребления ресурсов сервисами в кластерах k8s и БД в Grafana. - Подключение новых источников данных Kafka/NATS, OLAP-кубов. - Запуск и поддержка кластера Spark (k8s Native, PySpark). - Создание и запуск ETL-пайплайнов. - Написание сервиса мотиваций на FastAPIдля мотиваций всего WB: расчет мотиваций, получение списка команд по руководителю.
Стек специалиста на проекте
Grafana, dash, ClickHouse, NATS, Spark, API, Go, Superset, FastAPI, DWH, harbor, Docker, Python, GreenPlum, Flask, metabase, Apache AirFlow, REST API, PostgreSQL, olapкубы, Kubernetes, Apache Kafka
Отрасль проекта
HRTech
Период работы
Сентябрь 2023 - По настоящее время  (1 год 10 месяцев)
Торговая платформа для мировых рынков
Роль
Data Engineer
Обязанности
Описание проекта Проект макроэкономической аналитики включал разработку DWH и витрин для аналитики финансовых транзакций между отраслями и регионами России. Выполненные задачи - Ипользование Greenplum и Apache Hadoop для разработки витрин и оптимизации запросов. - Построение ETL-пайплайна из супермаркета данных с использованием Apache Airflow и Apache Kafka. - Использование Oracle для интеграции данных с внешними источниками и для обработки макроэкономической информации, что включало создание и оптимизацию запросов для анализа больших объемов данных. - Разработка ETL-процессов GP2GP, HD2GP, HD2HD из супермаркета данных (Data Mesh) - Тестирование потоков на dev, ift, uat стендах. Участие в выводе на prod стенд. - Разработка универсального сценария ELT, ETL для работы с оркестратором (SberETL) - Разработка тестирования нового уникального сценария - Автоматизация составления S2T для аналитиков (функциональные требования) - Очистка и обработка данных об ОПФ с помощью NLP (spacy, transformers) - Проектирование и запуск интерактивных дашбордов - Парсинг данных из сайта ЦБ об экономических показателях и изменениях - Обработка ad hoc запросов, выполнение анализа данных и предоставление необходимых отчетов об экономической активности
Стек специалиста на проекте
s2t, Работа с интеграциями, transformers, Функциональные требования, SpaCy, Mesh, Spark, Data, Bash, Oracle, Bitbucket, Scala, Cron, ETL, Apache Hadoop, DWH, NLP, UAT, Prod, AD, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Testing, Jenkins, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Октябрь 2022 - Сентябрь 2023  (1 год)
Ассоциация цифровых решений
Роль
Data Engineer
Обязанности
Описание проекта Проект по аналитике Global Markets Trading Platform обеспечивал обработку near real-time и real-time данных для обновления цен драгметаллов и валюты в Сбербанк Онлайн Выполненные задачи - Использование Greenplum и Apache Hadoop для обработки данных и обеспечения их быстрой загрузки в аналитические системы. Использование Apache Kafka и Apache Airflow для управления потоками данных - Работа с Oracle (интеграции данных о финансовых транзакциях и активностях, что включало оптимизацию запросов для повышения их производительности в условиях реального времени) - Разработка и поддержка ELT, ETL-процессов для обработки и интеграции данных импорта и экспорта, включая подготовку данных для рекомендательной системы. - Оптимизация и настройка пайплайнов обработки данных для создания математических моделей, используемых в расчетах по таможенной статистике. - Анализ и трансформация больших объемов данных по импорту и экспорту для создания управленческих отчетов и решений. - Реализация и оптимизация ad-hoc запросов и создание автоматизированных отчетов для оперативного использования. - Проектирование архитектуры данных и обеспечение ее масштабируемости, взаимодействие с различными сервисами и системами хранения данных.
Стек специалиста на проекте
Работа с интеграциями, Программное обеспечение, platform, Numpy, Bash, Pandas, Oracle, Проектирование архитектуры, Linux, Cron, Seaborn, Sklearn, Apache Hadoop, NLP, Plotly, Docker, Python, GreenPlum, elt, Flask, Apache AirFlow, REST API, marketo, PostgreSQL, adhoc, local, Apache Kafka
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2021 - Октябрь 2022  (1 год 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Финансовый университет при Правительстве Российской Федерации
Специальность
Информационные технологии и анализ больших данных / Бизнес-информатика
Завершение учебы
2024 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • HRTech
ТБ
Тынарбек Б.
Москва
Data инженер
Senior
3 766,23 Р/час
s2t
Grafana
анализ
Разработка
Базы данных
Engineering
ClickHouse
ETL-процессы
OLAP
Data
+40

● Опыт работы на коммерческих проектах более 3,5 лет ● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными ● Специализируется на использовании современных технологий для обработки, хранения и анализа данных. ● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности. ● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle) ● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных. ● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков ● Имеет опыт разработки на Python и Golang

Подробнее
Insurance
ДЛ
Дарья Л.
Самара
Бизнес аналитик
Senior
2 987,01 Р/час
Работа с базами данных
методологии
io
Работа с интеграциями
UML
Бизнес требования
Kanban
Функциональные требования
расчет
анализ
+60

Дарья, Senior Business Analyst Дарья — опытный бизнес-аналитик с опытом работы более 4 лет. Она обладает глубокими знаниями и навыками в области BPMN, бизнес-анализа, Figma, JSON, Kanban, Microsoft Office, Postman, REST API, Scrum, SQL, Swagger, Trello, UML, Use case и аналитики. На своих проектах Дарья занималась разработкой ТЗ, описанием проектов, созданием MVP, сбором, формированием и систематизацией требований, составлением и описанием бизнес-процессов в нотации BPMN 2.0, разработкой макетов интерфейса, описанием логики работы функций системы, составлением логической модели данных (ER-диаграмма), разработкой инструкций пользователя и обучением персонала работе с функционалом системы. В своей работе Дарья демонстрирует высокий уровень профессионализма, ответственности и организованности. Она способна эффективно взаимодействовать с заказчиками, заинтересованными сторонами и командой разработчиков для достижения поставленных целей.

Подробнее