Ислам И. Data инженер, Senior
ID 13721
ИИ
Ислам И.
Мужчина
Объединенные Арабские Эмираты, Абу-Даби, UTC+4
Ставка
4 624,11 Р/час
вкл. НДС 5% (171.43 Р)
Специалист доступен с 11 февраля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(7 лет 9 месяцев)
Dating app
Роль
Data Engineer
Обязанности
● Работа в команде над разработкой и предоставлением масштабируемой, надежной и удобной платформы данных с
упором на поддержание целостности данных и соблюдение соглашений об уровне обслуживания.
● Исследовал и разработал ряд инновационных решений для обработки и маршрутизации потоков данных с использованием Kafka.
включая проверку, преобразование и обогащение в реальном времени. Эти решения позволили сократить время разделения событий по типам с 30-40 минут до 3-5 минут, а также существенно снизить загрузку ресурсов и дать возможность обрабатывать до 8 миллионов событий в секунду.
● Реализован анализатор сообщений в реальном времени на основе Kafka с использованием Kotlin, позволяющий владельцам данных получать доступ к конкретным данным и фильтровать их на основе событий.
● Внедрены значительные улучшения в приложении Anomaly Detection: обнаружение проблем в данных временных рядов, включая показатели DAU/WAU, авторизации пользователей и платежей, а также широкий спектр технических показателей. Сотрудничал с пользователями AD для улучшения существующих инструментов и внедрения новых функций.
● Приложения перенесены из локальной среды в облако, мигрированы с Exasol на Snowflake.
● Повышена стабильность конвейера предварительно агрегированных показателей (с задержкой 5–15 минут для миллиардов показателей).
● Управление кластерами ClickHouse и Hadoop: планирование мощности и распределение ресурсов, реализация хаоса.
инженерные практики.
● Обслуживание кластера Kafka: обновление с версии 2.8 до версии 3.0, затем до версии 3.5, переход с ZooKeeper на KRaft, обновляя до последних версий все библиотеки Kafka, используемые в приложениях, взаимодействующих с брокерами Kafka.
● Инфраструктура команды:
o Платформа отслеживания: более 3,5 млн сообщений в секунду.
o Hadoop: более 130 узлов, около 4 ПБ данных.
o ClickHouse: 5 геораспределенных кластеров, около 30 серверов, тысячи таблиц.
o Kafka: 5 брокеров, JBOD, 10 ТБ, ~2500 производителей с несбалансированной ставкой.
o Сервисы GCP и более 20 серверов обработки (кроме Hadoop) в разных ЦОД.
Стек специалиста на проекте
Zookeeper, Clickhouse, Hadoop, Kafka, Detection, Exasol, GCP, SAS Data Integration Studio, AD, Snowflake, Kotlin, PostgreSQL
Отрасль проекта
Social Networking
Период работы
Июнь 2021 - По настоящее время
(3 года 9 месяцев)
Онлайн сервис путешествий
Роль
Data Engineer / Server Side Software Engineer
Обязанности
● Разработанная схема данных DWH.
● Разработан конвейер для доставки и обогащения данных о потоке кликов из ElasticSearch в ClickHouse.
● Создание самописного приложения поиска аномалий в timeseries-данных на основе предсказаний. и вот вся математика предсказаний была в ClickHouse и реализация алгоритмов была как раз на уровне sql-запросов
● Создана система ChangeDataCapture(CDC) на базе Debezium.
● Создана система витрины данных с использованием Airflow и Exasol.
● Разработана система тестирования.
● Обученные пользователей и аналитиков, использующих систему A/B-тестирования и DWH.
● Онбординг новых членов команды.
Стек специалиста на проекте
debezium, Clickhouse, Elasticsearch, DWH, Exasol, SQL, Аналитика, Apache AirFlow, Testing, PostgreSQL
Отрасль проекта
Logistics & Transport
Период работы
Январь 2020 - Июнь 2021
(1 год 6 месяцев)
Avito
Роль
Backend PHP Developer
Обязанности
● Перевел существующую логика веб приложения с монолита на микросервисы.
● Разработал API для внешнего интерфейса и мобильных приложений.
● Рефакторинг кода внутри монолита.
Стек специалиста на проекте
PHP, API, Рефакторинг, SQL, PostgreSQL, Microservices
Отрасль проекта
E-commerce & Retail
Период работы
Май 2019 - Декабрь 2019
(8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Российский государственный аграрный университет
Специальность
Магистр "информационные системы в логистике"
Завершение учебы
2016 г.