ИИ
Ислам И.
Мужчина
Объединенные Арабские Эмираты, Абу-Даби, UTC+4
Ставка
4 624,11 Р/час
вкл. НДС 5% (171.43 Р)
Специалист доступен с 11 февраля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
and
Ansible
Apache
Apache AirFlow
API
Architecture
Avro
BI
CI/CD
Clang
Clean Code
Clickhouse
cloud
code
Composer
Data
Data Warehouse
DBT
debezium
Design Patterns
Docker
Docker Swarm
ETL
Exasol
Flask
GCP
GitHub
Hadoop
HDFS
Hive
Java
Kafka
Kafka Streams
Kotlin
Kubernetes
language
Linear
Native
ngineering
Nginx
optimization
PHP
Python
quality
river
Snowflake
Spark
Spring
Storage
Symfony
Systemd
TeamCity
tools
Unit testing
Vertica
Yarn
DWH
AD
Detection
Zookeeper
ДО
обработка
Планирование
Программное обеспечение
Работа в команде
сервисы
Elasticsearch
Testing
Аналитика
Microservices
Рефакторинг
HP
Разработка
SQL
Jira
PostgreSQL
SAS Data Integration Studio
Отрасли
E-commerce & Retail
FinTech & Banking
Logistics & Transport
Social Networking
Проекты   (7 лет 9 месяцев)
Dating app
Роль
Data Engineer
Обязанности
● Работа в команде над разработкой и предоставлением масштабируемой, надежной и удобной платформы данных с упором на поддержание целостности данных и соблюдение соглашений об уровне обслуживания. ● Исследовал и разработал ряд инновационных решений для обработки и маршрутизации потоков данных с использованием Kafka. включая проверку, преобразование и обогащение в реальном времени. Эти решения позволили сократить время разделения событий по типам с 30-40 минут до 3-5 минут, а также существенно снизить загрузку ресурсов и дать возможность обрабатывать до 8 миллионов событий в секунду. ● Реализован анализатор сообщений в реальном времени на основе Kafka с использованием Kotlin, позволяющий владельцам данных получать доступ к конкретным данным и фильтровать их на основе событий. ● Внедрены значительные улучшения в приложении Anomaly Detection: обнаружение проблем в данных временных рядов, включая показатели DAU/WAU, авторизации пользователей и платежей, а также широкий спектр технических показателей. Сотрудничал с пользователями AD для улучшения существующих инструментов и внедрения новых функций. ● Приложения перенесены из локальной среды в облако, мигрированы с Exasol на Snowflake. ● Повышена стабильность конвейера предварительно агрегированных показателей (с задержкой 5–15 минут для миллиардов показателей). ● Управление кластерами ClickHouse и Hadoop: планирование мощности и распределение ресурсов, реализация хаоса. инженерные практики. ● Обслуживание кластера Kafka: обновление с версии 2.8 до версии 3.0, затем до версии 3.5, переход с ZooKeeper на KRaft, обновляя до последних версий все библиотеки Kafka, используемые в приложениях, взаимодействующих с брокерами Kafka. ● Инфраструктура команды: o Платформа отслеживания: более 3,5 млн сообщений в секунду. o Hadoop: более 130 узлов, около 4 ПБ данных. o ClickHouse: 5 геораспределенных кластеров, около 30 серверов, тысячи таблиц. o Kafka: 5 брокеров, JBOD, 10 ТБ, ~2500 производителей с несбалансированной ставкой. o Сервисы GCP и более 20 серверов обработки (кроме Hadoop) в разных ЦОД.
Стек специалиста на проекте
Zookeeper, Clickhouse, Hadoop, Kafka, Detection, Exasol, GCP, SAS Data Integration Studio, AD, Snowflake, Kotlin, PostgreSQL
Отрасль проекта
Social Networking
Период работы
Июнь 2021 - По настоящее время  (3 года 9 месяцев)
Онлайн сервис путешествий
Роль
Data Engineer / Server Side Software Engineer
Обязанности
● Разработанная схема данных DWH. ● Разработан конвейер для доставки и обогащения данных о потоке кликов из ElasticSearch в ClickHouse. ● Создание самописного приложения поиска аномалий в timeseries-данных на основе предсказаний. и вот вся математика предсказаний была в ClickHouse и реализация алгоритмов была как раз на уровне sql-запросов ● Создана система ChangeDataCapture(CDC) на базе Debezium. ● Создана система витрины данных с использованием Airflow и Exasol. ● Разработана система тестирования. ● Обученные пользователей и аналитиков, использующих систему A/B-тестирования и DWH. ● Онбординг новых членов команды.
Стек специалиста на проекте
debezium, Clickhouse, Elasticsearch, DWH, Exasol, SQL, Аналитика, Apache AirFlow, Testing, PostgreSQL
Отрасль проекта
Logistics & Transport
Период работы
Январь 2020 - Июнь 2021  (1 год 6 месяцев)
Avito
Роль
Backend PHP Developer
Обязанности
● Перевел существующую логика веб приложения с монолита на микросервисы. ● Разработал API для внешнего интерфейса и мобильных приложений. ● Рефакторинг кода внутри монолита.
Стек специалиста на проекте
PHP, API, Рефакторинг, SQL, PostgreSQL, Microservices
Отрасль проекта
E-commerce & Retail
Период работы
Май 2019 - Декабрь 2019  (8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Российский государственный аграрный университет
Специальность
Магистр "информационные системы в логистике"
Завершение учебы
2016 г.

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+108

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • FoodTech • Government & Public Sector • IoT • Logistics & Transport • Manufacturing • Urban technology
АС
Алексей С.
Омск
1С эксперт
Senior
4 881,01 Р/час
web-сервисы
кд
арм
сервисы
Работа с интеграциями
1С:Управление торговлей
Разработка
Программное обеспечение
1С 8
+36

• Опыт работы с 1С: Предприятие 8.3 – 9 лет. • Опыт работы в проектной команде (работа по ТЗ, хранилище конфигураций, работа с различными трекерами задач). • Знание стандартов разработки 1С, БСП, СКД, управляемых форм, обычных форм, механизма расширений и регламентных заданий. • Знания и навыки описания бизнес процессов компании. • Написание ТЗ, инструкций пользователям, работа на проектах внедрения/сопровождения, работа с пользователями. • Хорошие знания клиент серверного взаимодействия. • Доработка типовых правил 1С: Конвертация данных 2.0 • Опыт организации обменов между различными информационными системами. • Оптимизация высоконагруженных систем на базе 1С. • Разработка программного обеспечения на базе платформы 1С: Предприятие. • Разработка и внедрение не типовых конфигураций на базе БСП. • Построение сложных запросов, оптимизация запросов. • Опыт работы с HTTP - сервисами. • Настройка ролевой модели. • Знание специфики доработки конфигураций в ERP системах. • Опыт интеграции между конфигурациями 1С и внешними системами (xml, com, web). • Знания бизнес-процессов по складскому, управленческому, производственному, финансовому, кадровому и бухгалтерскому учету. Есть сертификаты: • 1С: Специалист “Платформа 8.3" • 1С: Профессионал "Платформа 8" • 1С: Профессионал "ERP" • 1С: Профессионал "Управление торговлей"

Подробнее