ИИ
Ислам И.
Мужчина
Объединенные Арабские Эмираты, Абу-Даби, UTC+4
Ставка
4 624,11 Р/час
вкл. НДС 5% (171.43 Р)
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Ansible
Apache
Apache AirFlow
API
Architecture
Avro
BI
CI/CD
Clang
Clean Code
ClickHouse
cloud
code
Composer
Data
Data Warehouse
DBT
debezium
Design Patterns
Docker
Docker Swarm
ETL
Exasol
Flask
GCP
GitHub
Hadoop
HDFS
Hive
Java
Kafka
Kafka Streams
Kotlin
Kubernetes
language
Linear
Native
ngineering
Nginx
optimization
PHP
Python
quality
river
Snowflake
Spark
Spring
Storage
Symfony
Systemd
TeamCity
tools
Unit testing
Vertica
Yarn
DWH
AD
Detection
Zookeeper
ДО
Планирование
Программное обеспечение
Работа в команде
Elasticsearch
Testing
Аналитика
Microservices
Рефакторинг
HP
Разработка
SQL
Jira
PostgreSQL
SAS Data Integration Studio
Отрасли
E-commerce & Retail
FinTech & Banking
Logistics & Transport
Social Networking
Проекты   (8 лет 2 месяца)
Dating app
Роль
Data Engineer
Обязанности
● Работа в команде над разработкой и предоставлением масштабируемой, надежной и удобной платформы данных с упором на поддержание целостности данных и соблюдение соглашений об уровне обслуживания. ● Исследовал и разработал ряд инновационных решений для обработки и маршрутизации потоков данных с использованием Kafka. включая проверку, преобразование и обогащение в реальном времени. Эти решения позволили сократить время разделения событий по типам с 30-40 минут до 3-5 минут, а также существенно снизить загрузку ресурсов и дать возможность обрабатывать до 8 миллионов событий в секунду. ● Реализован анализатор сообщений в реальном времени на основе Kafka с использованием Kotlin, позволяющий владельцам данных получать доступ к конкретным данным и фильтровать их на основе событий. ● Внедрены значительные улучшения в приложении Anomaly Detection: обнаружение проблем в данных временных рядов, включая показатели DAU/WAU, авторизации пользователей и платежей, а также широкий спектр технических показателей. Сотрудничал с пользователями AD для улучшения существующих инструментов и внедрения новых функций. ● Приложения перенесены из локальной среды в облако, мигрированы с Exasol на Snowflake. ● Повышена стабильность конвейера предварительно агрегированных показателей (с задержкой 5–15 минут для миллиардов показателей). ● Управление кластерами ClickHouse и Hadoop: планирование мощности и распределение ресурсов, реализация хаоса. инженерные практики. ● Обслуживание кластера Kafka: обновление с версии 2.8 до версии 3.0, затем до версии 3.5, переход с ZooKeeper на KRaft, обновляя до последних версий все библиотеки Kafka, используемые в приложениях, взаимодействующих с брокерами Kafka. ● Инфраструктура команды: o Платформа отслеживания: более 3,5 млн сообщений в секунду. o Hadoop: более 130 узлов, около 4 ПБ данных. o ClickHouse: 5 геораспределенных кластеров, около 30 серверов, тысячи таблиц. o Kafka: 5 брокеров, JBOD, 10 ТБ, ~2500 производителей с несбалансированной ставкой. o Сервисы GCP и более 20 серверов обработки (кроме Hadoop) в разных ЦОД.
Стек специалиста на проекте
PostgreSQL, Kotlin, Zookeeper, ClickHouse, Hadoop, Kafka, Detection, SAS Data Integration Studio, AD, GCP, Exasol, Snowflake
Отрасль проекта
Social Networking
Период работы
Июнь 2021 - По настоящее время  (4 года 2 месяца)
Онлайн сервис путешествий
Роль
Data Engineer / Server Side Software Engineer
Обязанности
● Разработанная схема данных DWH. ● Разработан конвейер для доставки и обогащения данных о потоке кликов из ElasticSearch в ClickHouse. ● Создание самописного приложения поиска аномалий в timeseries-данных на основе предсказаний. и вот вся математика предсказаний была в ClickHouse и реализация алгоритмов была как раз на уровне sql-запросов ● Создана система ChangeDataCapture(CDC) на базе Debezium. ● Создана система витрины данных с использованием Airflow и Exasol. ● Разработана система тестирования. ● Обученные пользователей и аналитиков, использующих систему A/B-тестирования и DWH. ● Онбординг новых членов команды.
Стек специалиста на проекте
PostgreSQL, Elasticsearch, SQL, ClickHouse, Аналитика, DWH, Testing, Apache AirFlow, Exasol, debezium
Отрасль проекта
Logistics & Transport
Период работы
Январь 2020 - Июнь 2021  (1 год 6 месяцев)
Avito
Роль
Backend PHP Developer
Обязанности
● Перевел существующую логика веб приложения с монолита на микросервисы. ● Разработал API для внешнего интерфейса и мобильных приложений. ● Рефакторинг кода внутри монолита.
Стек специалиста на проекте
PostgreSQL, API, PHP, SQL, Microservices, Рефакторинг
Отрасль проекта
E-commerce & Retail
Период работы
Май 2019 - Декабрь 2019  (8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Российский государственный аграрный университет
Специальность
Магистр "информационные системы в логистике"
Завершение учебы
2016 г.

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • Telecom
СЯ
София Я.
Москва
Data инженер
Senior
3 802,05 Р/час
Apache
Apache AirFlow
Big Data
BigQuery
CI/CD
ClickHouse
Dagster
DBT
Docker
DWH
+30

София — Senior Data инженер из Москвы с опытом работы в отраслях Telecom и E-commerce & Retail. Имеет высшее образование по специальности «бизнес-информатика» с дополнительной специализацией в области биоинформатики. Владеет английским языком на уровне C1. Ключевые навыки: Apache, Apache AirFlow, Big Data, BigQuery, CI/CD, ClickHouse, Dagster, DBT, Docker, DWH, Elasticsearch, Grafana, Groovy, Hadoop, Java, Kafka, Kubernetes, MSSQL, NiFi, Oracle, PostgreSQL, Python, REST API, Scala, Snowflake, Spark, SQL, Vertica, Victoria. Опыт работы на проектах: - Выгрузка данных по мобильным приложениям компании «Билайн». Разработка высокопроизводительных конвейеров данных с использованием Apache NiFi, Spark и Kafka, обрабатывающих до 1 ТБ ежедневно. - Разработка интеграций на проекте «Нефтехим». Создание рабочих процессов ETL на основе метаданных с использованием Apache Airflow и NiFi, интегрирующих REST API и внутренние источники данных. Общая продолжительность работы на проектах — 2 года 3 месяца.

Подробнее

Недавно просмотренные специалисты

Cloud Services • E-commerce & Retail • IoT • Marketing, Advertising & Design
АИ
Александр И.
Москва
Системный аналитик
Senior
3 532,31 Р/час
*nix
Управление командой
кд
Redmine
ASP.NET
Java 2
package
Servlets
Работа с интеграциями
знание основ управления проектами
+133

Александр, Senior Опытный специалист с 16-летним стажем работы на проектах в сфере IT. Обладает глубокими знаниями и навыками в области системного анализа, разработки и управления проектами. Имеет опыт руководства командами разработчиков и IT-департаментами. Ключевые навыки: - Опыт работы с различными технологиями и языками программирования: .NET, .NET Framework, 1С, ASP.NET, Bootstrap, CMS, ColdFusion, CouchDB, CRM, CSS, DBF, DWH, EJB, Entity Framework, ERP, Excel, Flex, Framework, Hibernate, HTML, Java, JavaScript, JBoss, JSP, Kafka, KPI, LINQ, MSSQL, MVC, OLAP, Oracle, PHP, PostgreSQL, Python, Redmine, Servlets, Spring, SQL, SSAS, SSRS, Tableau, Testing, Vue.js, WCF, Web, XML, XSLT. - Навыки администрирования баз данных, хранилищ БД, серверов и сервисов. - Умение работать с интеграциями и требованиями. - Знание основ управления проектами, планирования сроков, формирования пакетов проектов. - Опыт внедрения методологии, системы поддержки, BI отчётов, SLA. - Владение английским языком на уровне C1 — продвинутый. Александр успешно реализовал множество проектов в роли руководителя и системного аналитика. Среди его достижений — разработка мобильных приложений, платформ для распознавания текстов, веб-платформ для проведения тендеров, АРМ-агентов страховой компании и других проектов.

Подробнее