Ислам И. Data инженер, Senior
ID 13721
ИИ
Ислам И.
Мужчина
Объединенные Арабские Эмираты, Абу-Даби, UTC+4
Ставка
4 500 Р/час
НДС не облагается
Специалист доступен с 11 сентября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(7 лет 4 месяца)
Dating app
Роль
Data Engineer
Обязанности
● Работа в команде над разработкой и предоставлением масштабируемой, надежной и удобной платформы данных с
упором на поддержание целостности данных и соблюдение соглашений об уровне обслуживания.
● Исследовал и разработал ряд инновационных решений для обработки и маршрутизации потоков данных с использованием Kafka.
включая проверку, преобразование и обогащение в реальном времени. Эти решения позволили сократить время разделения событий по типам с 30-40 минут до 3-5 минут, а также существенно снизить загрузку ресурсов и дать возможность обрабатывать до 8 миллионов событий в секунду.
● Реализован анализатор сообщений в реальном времени на основе Kafka с использованием Kotlin, позволяющий владельцам данных получать доступ к конкретным данным и фильтровать их на основе событий.
● Внедрены значительные улучшения в приложении Anomaly Detection: обнаружение проблем в данных временных рядов, включая показатели DAU/WAU, авторизации пользователей и платежей, а также широкий спектр технических показателей. Сотрудничал с пользователями AD для улучшения существующих инструментов и внедрения новых функций.
● Приложения перенесены из локальной среды в облако, мигрированы с Exasol на Snowflake.
● Повышена стабильность конвейера предварительно агрегированных показателей (с задержкой 5–15 минут для миллиардов показателей).
● Управление кластерами ClickHouse и Hadoop: планирование мощности и распределение ресурсов, реализация хаоса.
инженерные практики.
● Обслуживание кластера Kafka: обновление с версии 2.8 до версии 3.0, затем до версии 3.5, переход с ZooKeeper на KRaft, обновляя до последних версий все библиотеки Kafka, используемые в приложениях, взаимодействующих с брокерами Kafka.
● Инфраструктура команды:
o Платформа отслеживания: более 3,5 млн сообщений в секунду.
o Hadoop: более 130 узлов, около 4 ПБ данных.
o ClickHouse: 5 геораспределенных кластеров, около 30 серверов, тысячи таблиц.
o Kafka: 5 брокеров, JBOD, 10 ТБ, ~2500 производителей с несбалансированной ставкой.
o Сервисы GCP и более 20 серверов обработки (кроме Hadoop) в разных ЦОД.
Стек специалиста на проекте
Zookeeper, Clickhouse, Hadoop, Kafka, Detection, Exasol, GCP, SAS Data Integration Studio, AD, Snowflake, Kotlin, PostgreSQL
Отрасль проекта
Social Networking
Период работы
Июнь 2021 - По настоящее время
(3 года 4 месяца)
Онлайн сервис путешествий
Роль
Data Engineer / Server Side Software Engineer
Обязанности
● Разработанная схема данных DWH.
● Разработан конвейер для доставки и обогащения данных о потоке кликов из ElasticSearch в ClickHouse.
● Создание самописного приложения поиска аномалий в timeseries-данных на основе предсказаний. и вот вся математика предсказаний была в ClickHouse и реализация алгоритмов была как раз на уровне sql-запросов
● Создана система ChangeDataCapture(CDC) на базе Debezium.
● Создана система витрины данных с использованием Airflow и Exasol.
● Разработана система тестирования.
● Обученные пользователей и аналитиков, использующих систему A/B-тестирования и DWH.
● Онбординг новых членов команды.
Стек специалиста на проекте
debezium, Clickhouse, Elasticsearch, DWH, Exasol, SQL, Аналитика, Apache AirFlow, PostgreSQL, Testing
Отрасль проекта
Logistics & Transport
Период работы
Январь 2020 - Июнь 2021
(1 год 6 месяцев)
Avito
Роль
Backend PHP Developer
Обязанности
● Перевел существующую логика веб приложения с монолита на микросервисы.
● Разработал API для внешнего интерфейса и мобильных приложений.
● Рефакторинг кода внутри монолита.
Стек специалиста на проекте
PHP, API, Рефакторинг, SQL, Microservices, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Май 2019 - Декабрь 2019
(8 месяцев)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Российский государственный аграрный университет
Специальность
Магистр "информационные системы в логистике"
Завершение учебы
2016 г.