Премия рунета
ИИ
Ислам И.
Мужчина
Объединенные Арабские Эмираты, Абу-Даби, UTC+4
Ставка
4 500 Р/час
НДС не облагается
Специалист доступен с 11 сентября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
and
Ansible
Apache
Apache AirFlow
API
Architecture
Avro
BI
CI/CD
Clang
Clean Code
Clickhouse
cloud
code
Composer
Data
Data Warehouse
DBT
debezium
Design Patterns
Docker
Docker Swarm
ETL
Exasol
Flask
GCP
GitHub
Hadoop
HDFS
Hive
Java
Kafka
Kafka Streams
Kotlin
Kubernetes
language
Linear
Native
ngineering
Nginx
optimization
PHP
Python
quality
river
Snowflake
Spark
Spring
Storage
Symfony
Systemd
TeamCity
tools
Unit testing
Vertica
Yarn
DWH
AD
Detection
Zookeeper
ДО
обработка
Планирование
Программное обеспечение
Работа в команде
сервисы
Elasticsearch
Testing
Аналитика
Microservices
Рефакторинг
HP
Разработка
SQL
Jira
PostgreSQL
SAS Data Integration Studio
Отрасли
E-commerce & Retail
FinTech & Banking
Logistics & Transport
Social Networking
Проекты   (7 лет 4 месяца)
Dating app
Роль
Data Engineer
Обязанности
● Работа в команде над разработкой и предоставлением масштабируемой, надежной и удобной платформы данных с упором на поддержание целостности данных и соблюдение соглашений об уровне обслуживания. ● Исследовал и разработал ряд инновационных решений для обработки и маршрутизации потоков данных с использованием Kafka. включая проверку, преобразование и обогащение в реальном времени. Эти решения позволили сократить время разделения событий по типам с 30-40 минут до 3-5 минут, а также существенно снизить загрузку ресурсов и дать возможность обрабатывать до 8 миллионов событий в секунду. ● Реализован анализатор сообщений в реальном времени на основе Kafka с использованием Kotlin, позволяющий владельцам данных получать доступ к конкретным данным и фильтровать их на основе событий. ● Внедрены значительные улучшения в приложении Anomaly Detection: обнаружение проблем в данных временных рядов, включая показатели DAU/WAU, авторизации пользователей и платежей, а также широкий спектр технических показателей. Сотрудничал с пользователями AD для улучшения существующих инструментов и внедрения новых функций. ● Приложения перенесены из локальной среды в облако, мигрированы с Exasol на Snowflake. ● Повышена стабильность конвейера предварительно агрегированных показателей (с задержкой 5–15 минут для миллиардов показателей). ● Управление кластерами ClickHouse и Hadoop: планирование мощности и распределение ресурсов, реализация хаоса. инженерные практики. ● Обслуживание кластера Kafka: обновление с версии 2.8 до версии 3.0, затем до версии 3.5, переход с ZooKeeper на KRaft, обновляя до последних версий все библиотеки Kafka, используемые в приложениях, взаимодействующих с брокерами Kafka. ● Инфраструктура команды: o Платформа отслеживания: более 3,5 млн сообщений в секунду. o Hadoop: более 130 узлов, около 4 ПБ данных. o ClickHouse: 5 геораспределенных кластеров, около 30 серверов, тысячи таблиц. o Kafka: 5 брокеров, JBOD, 10 ТБ, ~2500 производителей с несбалансированной ставкой. o Сервисы GCP и более 20 серверов обработки (кроме Hadoop) в разных ЦОД.
Стек специалиста на проекте
Zookeeper, Clickhouse, Hadoop, Kafka, Detection, Exasol, GCP, SAS Data Integration Studio, AD, Snowflake, Kotlin, PostgreSQL
Отрасль проекта
Social Networking
Период работы
Июнь 2021 - По настоящее время  (3 года 4 месяца)
Онлайн сервис путешествий
Роль
Data Engineer / Server Side Software Engineer
Обязанности
● Разработанная схема данных DWH. ● Разработан конвейер для доставки и обогащения данных о потоке кликов из ElasticSearch в ClickHouse. ● Создание самописного приложения поиска аномалий в timeseries-данных на основе предсказаний. и вот вся математика предсказаний была в ClickHouse и реализация алгоритмов была как раз на уровне sql-запросов ● Создана система ChangeDataCapture(CDC) на базе Debezium. ● Создана система витрины данных с использованием Airflow и Exasol. ● Разработана система тестирования. ● Обученные пользователей и аналитиков, использующих систему A/B-тестирования и DWH. ● Онбординг новых членов команды.
Стек специалиста на проекте
debezium, Clickhouse, Elasticsearch, DWH, Exasol, SQL, Аналитика, Apache AirFlow, PostgreSQL, Testing
Отрасль проекта
Logistics & Transport
Период работы
Январь 2020 - Июнь 2021  (1 год 6 месяцев)
Avito
Роль
Backend PHP Developer
Обязанности
● Перевел существующую логика веб приложения с монолита на микросервисы. ● Разработал API для внешнего интерфейса и мобильных приложений. ● Рефакторинг кода внутри монолита.
Стек специалиста на проекте
PHP, API, Рефакторинг, SQL, Microservices, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Май 2019 - Декабрь 2019  (8 месяцев)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Российский государственный аграрный университет
Специальность
Магистр "информационные системы в логистике"
Завершение учебы
2016 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 125 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
Clickhouse
Confluence
DBT
Docker
FastAPI
Git
+49

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Telecom
МБ
Максим Б.
Москва
Системный аналитик
Senior
4 375 Р/час
UML
JavaScript
Функциональные требования
Pixso
Kubernetes
Use Cases
reat
Postman
map
postgesql
+57

Максим — опытный системный аналитик с пятилетним опытом работы в IT. Он обладает глубокими знаниями и навыками в области разработки информационных систем, включая работу с BPMN, REST API, UML, БД, интеграцией через Apache Kafka, Swagger, а также опыт проектирования микросервисов. Максим работал над проектами для цифровизации компании ТВЭЛ, участвовал в разработке SEO-конвейера для Дзен (VK) и занимался анализом бизнес-процессов и разработкой проектной документации для Beeline. Он способен проводить обследование бизнес-процессов, разрабатывать и согласовывать функциональные требования, проектировать архитектуру решений, моделировать пользовательские потоки, анализировать дефекты и тестировать интеграции.

Подробнее