Ильсаф Х. Data инженер, Senior
ID 43592
ИХ
Ильсаф Х.
Senior
Россия, Казань, UTC+3
3 636,36 Р/час
вкл. НДС 5% (133.33 Р)
Специалист доступен с 13 октября 2026 г.
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Отрасли
Главное о специалисте
Ильсаф — Data инженер уровня Senior из Казани с опытом работы 5 лет 9 месяцев. Специализируется на разработке и сопровождении корпоративных платформ данных. Имеет опыт работы с различными технологиями и инструментами, включая Apache Spark, Kafka, Airflow, ClickHouse, Greenplum, Hadoop, Hive, Trino, Docker, Kubernetes и другие.
Участвовал в проектировании и развитии DWH и Data Lake-архитектуры, анализировал и оптимизировал SQL-скрипты, интегрировал корпоративные источники данных, разрабатывал и сопровождал загрузки в S3-compatible storage, работал с Apache NiFi, развивал витрины данных в ClickHouse, продуктивизировал сборку аналитических витрин.
Имеет опыт работы в отраслях RnD и FinTech & Banking. Участвовал в проектах по развитию ETL-фреймворков, интеграции источников, обработке потоков данных, подготовке данных для аналитики и оптимизации аналитического хранения.
Проекты
(5 лет 11 месяцев)NDA
Роль
Data Engineer / Data Platform Engineer
Обязанности
Описание проекта: Развитие и сопровождение корпоративной Big Data и Lakehouse-платформы: интеграция внутренних и внешних источников, разработка batch- и near-real-time-потоков, продуктивизация ETL/ELT-процессов, подготовка RAW/DDS/CDM-слоёв, построение аналитических витрин и контроль качества данных.
Платформа предназначена для обработки больших объёмов структурированных и полуструктурированных данных из реляционных БД, SAP-систем, API, Kafka, файловых источников и CDC-потоков. Решение построено на базе Trino, Apache Iceberg, S3/MinIO, Apache Spark, Apache Airflow, Astronomer Cosmos, dbt, Kafka, Apache Flink, Debezium и Apache NiFi.
Задачи и зона ответственности:
• Участвовал в проектировании и развитии корпоративной DWH/Data Lake/Lakehouse-платформы: определял архитектуру слоёв RAW/DDS/CDM, интеграционные контуры, форматы хранения, правила историзации и требования к промышленной эксплуатации.
• Проектировал решения с учётом особенностей Big Data и Lakehouse: распределённой обработки, партиционирования, shuffle, data skew, schema evolution, compaction, small files и работы с большими объёмами данных.
• Разрабатывал batch- и streaming-процессы на Apache Spark с использованием Java, Python, PySpark, Spark SQL и SQL; создавал переиспользуемые ETL/ELT-компоненты и шаблоны подключения новых источников.
• Проводил профилирование и оптимизацию SQL, HiveQL и Spark SQL: анализировал планы выполнения, индексы, функции, join, partition pruning, распределение данных и производительность высоконагруженных расчётов.
• Работал с PostgreSQL, Oracle, MySQL, MS SQL, Teradata, Greenplum и ClickHouse: разрабатывал интеграционные запросы, инкрементальные загрузки, сверки и аналитические витрины.
• Разрабатывал и сопровождал процессы на Apache Airflow, dbt и Astronomer Cosmos: настраивал DAG, зависимости, incremental-модели, расписания, retries, backfill, SLA, тесты качества данных и мониторинг выполнения.
• Разрабатывал интеграционные потоки в Apache NiFi: настраивал процессоры, маршрутизацию, очереди, back pressure, обработку ошибок и интеграции с Kafka, S3/MinIO, API, файлами и реляционными БД.
• Использовал Hadoop, HDFS, YARN, Hive, Hive Metastore, Ranger и Zookeeper для распределённой обработки, управления метаданными, доступами и сопровождения компонентов платформы.
• Работал с Trino, Apache Iceberg, S3/MinIO и форматами Parquet, Avro, ORC: проектировал структуру хранения, партиционирование, schema evolution, snapshots, compaction и оптимизацию доступа к данным.
• Разрабатывал near-real-time-потоки на Apache Flink, Kafka и Debezium: реализовывал CDC-обработку, stateful-трансформации, checkpoints, watermarks, exactly-once, контроль lag, backpressure и повторную обработку событий.
• Разрабатывал нетиповые интеграции, включая интеграции с SAP-системами: выполнял маппинг структур, загрузку данных в Lakehouse/DWH, обработку дельт, справочников, историчности и контроль полноты данных.
• Оптимизировал высоконагруженные потоки с инкрементами в миллиарды записей; использовал Grafana, Prometheus, VictoriaMetrics и Zabbix для мониторинга производительности, задержек, ошибок, SLA и качества данных.
• Разрабатывал системный дизайн и архитектурную документацию уровня C2/DD, технические задания, S2T/mapping, эксплуатационные инструкции и схемы интеграционных потоков.
• Выполнял L2–L4 сопровождение data-платформы, анализировал логи и метрики, устранял production-инциденты, вёл задачи в Jira, документацию в Confluence и предоставлял руководителю отчётность по статусу работ.
Достижения
• Разработал и внедрил переиспользуемые шаблоны интеграционных потоков на Spark, Airflow, dbt, Astronomer Cosmos и NiFi, сократив срок подключения нового источника.
• Реализовал и сопровождал batch- и near-real-time-потоков на Kafka, Flink и Debezium с суммарным объёмом записей в сутки.
• Обеспечил интеграцию данных из SAP в корпоративную Lakehouse-платформу.
• Сократил задержку доставки данных из операционных систем благодаря применению Kafka, Flink и Debezium.
• Снизил время выполнения тяжёлых Spark, Trino и SQL-процессов за счёт оптимизации join, партиционирования, shuffle, структуры файлов и compaction.
• Повысил стабильность production-процессов благодаря внедрению мониторинга в Grafana, Prometheus, VictoriaMetrics и Zabbix, а также алертов по SLA, lag, backpressure и качеству данных.
• Снизил количество production-инцидентов за счёт Data Quality-проверок, прозрачного мониторинга и регламентированных сценариев восстановления.
• Обеспечил обработку инкремента объёмом млрд записей с соблюдением SLA.
• Стандартизировал архитектурную документацию и системный дизайн интеграционных решений в формате C2/DD.
Стек специалиста на проекте
PostgreSQL, Git, MySQL, Docker, Java, Jira, Confluence, SQL, Python, Bash, Power BI, Teradata, Oracle, Jenkins, Grafana, SAP, GitHub Actions, Kubernetes, Apache, Yarn, Prometheus, Streams, C, Hive, Spark, Zookeeper, Avro, ClickHouse, Groovy, Zabbix, Ansible, Rancher, GreenPlum, ETL, Apache Hadoop, Apache Spark, MinIo, Kafka, Разработка инструкций, DWH, Microsoft, Storage, Basics, Apache AirFlow, Мониторинг, Cosmos DB, SLA, S3, HDFS, Apache NiFi, GitLab CI/CD, Architecture, PySpark, VictoriaMetrics, Работа с интеграциями, DataLens, monitoring, level, NiFi, mapping, DBT, Программное обеспечение, documentation, debezium, Spark SQL, ELT, user, cdc, Trino, s2t, Processing, Parquet, Data Quality, Diagrams, Apache flink, hiveql, orc, процессы, Kafka Connect, CloudNativePG, girflow, понимание, документации, realtime, Data Lakehouse, Apache Iceberg, Сборка, metastore, Ranger, operational, astronomer
Отрасль проекта
RnD
Начало работы
Июль 2023 - Май 2026
(2 года 11 месяцев)
Банки.ру
Роль
Data Engineer
Обязанности
Описание проекта: Финтех/медиа-платформа с большим объемом продуктовых, клиентских и аналитических данных. Работа была связана с развитием ETL-фреймворков, интеграцией источников, обработкой потоков, подготовкой данных для аналитики и оптимизацией аналитического хранения.
Задачи и зона ответственности:
• Разработал и сопровождал ETL-фреймворк на базе Apache Spark с использованием Java/Python, который стандартизировал подключение новых источников, обработку больших объемов данных и повторное использование типовых шагов загрузки.
• Проектировал структуру ETL-компонентов с учетом ООП-подходов, модульности, читаемости кода, обработки ошибок, конфигурации окружений и удобства поддержки другими инженерами.
• Строил ETL/ELT-процессы для загрузки данных из PostgreSQL, внешних API, Kafka/RabbitMQ, файловых обменов и DWH-источников уровня Oracle/Teradata в Greenplum, ClickHouse и S3/Data Lake.
• Готовил данные для RAW- и обработанных слоев: описывал правила первичной очистки, типизации, дедупликации, обогащения и дальнейшей передачи в аналитические витрины.
• Разрабатывал Spark SQL/PySpark/SQL-трансформации для агрегаций, продуктовых метрик, сверок, расчета витрин и подготовки данных для отчетности.
• Использовал Hadoop/Hive для batch-обработки больших датасетов, формирования промежуточных выборок и оптимизации тяжелых расчетов с учетом HDFS, партиционирования и форматов хранения Parquet/ORC.
• Прорабатывал структуру хранения сырых и обработанных данных в Greenplum/ClickHouse/S3: распределение данных, партиционирование, ключи сортировки, оптимизация запросов и снижение избыточного хранения.
• Применял Trino для ad-hoc аналитических запросов и проверки наборов данных; участвовал в задачах по ETL-доступу к lakehouse-данным и оптимизации Iceberg-таблиц.
• Развивал Airflow-процессы для регулярных загрузок: DAG, расписания, зависимости, ретраи, переменные окружений, контроль статусов, ручной перезапуск и backfill при необходимости.
• Настраивал data-flow для Greenplum, ClickHouse, S3-хранилищ AWS/Yandex, Kafka и RabbitMQ с использованием lambda-подхода для совмещения batch- и near-real-time обработки.
• Настраивал загрузку данных через Debezium и Kafka Connect, контролировал доступность коннекторов, lag, ошибки обработки, корректность прохождения сообщений и соответствие схем.
• Разрабатывал near-real-time-процессы на Apache Flink для обработки событий Kafka и CDC-изменений из операционных источников: реализовывал трансформации, stateful-обработку, checkpoints, watermarks, контроль backpressure и повторный запуск после сбоев.
• Использовал S3-совместимое хранилище MinIO для хранения сырых и обработанных данных; обеспечивал взаимодействие MinIO со Spark, Trino и Iceberg, контролировал партиционирование, compaction и оптимальный размер файлов.
• Оптимизировал SQL-запросы: анализировал планы, переписывал join-логику, проверял индексы/партиции, сокращал лишние обращения к большим таблицам и согласовывал изменения с аналитиками.
• Работал с Git в консоли, участвовал в code review, поддерживал CI/CD-процессы в GitLab, готовил сборки и деплой data-компонентов через Docker/Kubernetes-окружения.
• Настраивал мониторинг и алертинг в Grafana/Prometheus по статусам загрузок, ошибкам коннекторов, задержкам потоков, длительности batch-задач и критичным сбоям в интеграциях.
• Взаимодействовал с аналитиками и командами разработки при подключении новых источников: согласовывал формат данных, SLA загрузок, правила расчета показателей, архитектурные схемы и требования к витринам.
• Участвовал в миграции отчётной логики из Power BI в аналитическое хранилище на базе ClickHouse: анализировал структуру существующих отчётов, источники данных и правила расчёта показателей, переносил расчёты на уровень ClickHouse-витрин, оптимизировал SQL-запросы под новое хранилище и выполнял сверку итоговых метрик совместно с аналитиками.
• Взаимодействовал с аналитиками и потребителями данных при переносе отчётности: объяснял ограничения ClickHouse и причины изменения логики запросов, помогал адаптировать структуру витрин под быстрые пользовательские сценарии и снижать нагрузку на отчётный слой.
Достижения
• Ускорил подключение новых источников за счет переиспользуемого Spark ETL-фреймворка и унифицированной логики загрузки.
• Повысил стабильность интеграционных потоков благодаря мониторингу Kafka Connect, Airflow-регламентам и алертам по проблемным загрузкам.
• Сделал хранение и расчеты в аналитических слоях более прозрачными за счет оптимизации структуры данных, SQL-логики и документации по потокам.
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Git, Docker, API, Java, Jira, Confluence, SQL, Python, Power BI, Teradata, Oracle, Linux, Grafana, Kubernetes, Yandex, Prometheus, Streams, Hive, Spark, ClickHouse, Amazon S3, GreenPlum, Apache Hadoop, Apache Spark, MinIo, Kafka, DWH, Apache AirFlow, Мониторинг, S3, HDFS, GitLab CI/CD, PySpark, monitoring, Framework, структуры данных, Программное обеспечение, debezium, Spark SQL, checkpoint, Trino, Processing, Apache flink, hiveql, as, Kafka Connect, документации, Apache Iceberg, хранение, alerting, sources, external
Отрасль проекта
FinTech & Banking
Начало работы
Июнь 2022 - Июль 2023
(1 год 2 месяца)
ICS
Роль
Data Engineer
Обязанности
Описание проекта: Проект по построению и развитию ETL-конвейеров, аналитического хранилища и отчетного слоя. Основной фокус — загрузка потоковых и batch-данных, моделирование хранилища, трансформации, подготовка данных для аналитики и постановка регулярных процессов на регламент.
Задачи и зона ответственности:
• Разрабатывал и поддерживал ETL-конвейеры для извлечения, преобразования и загрузки данных из Kafka/Kafka Avro, PostgreSQL, файловых источников и внешних DWH-контуров в аналитическое хранилище.
• Настраивал регулярные Airflow DAG: расписания, зависимости, ретраи, контроль статусов, обработку ошибок, запуск исторических пересчетов и регламентную поставку данных для отчетности.
• Участвовал в проектировании моделей данных для DWH: 3NF, Data Vault 2.0, hub/link/satellite-структуры, справочники, связи, историчность и подготовка данных для downstream-витрин.
• Разрабатывал SQL-трансформации для подготовки данных в RAW/DDS/CDM-логике: очистка, нормализация, join-логика, агрегации, проверка ключей, контроль дублей и согласование бизнес-правил.
• Применял Spark/PySpark и Hive/HiveQL для batch-обработки больших объемов данных, предварительного препроцессинга и формирования промежуточных наборов для аналитических витрин.
• Работал с Hadoop/HDFS/YARN: понимал размещение данных, файловые форматы, особенности batch-обработки, контроль доступности данных и влияние структуры хранения на производительность расчетов.
• Работал с Oracle и Teradata SQL на уровне выгрузок, сверок и интеграционных запросов: готовил выборки из источников, проверял корректность данных и адаптировал SQL под требования хранилища.
• Использовал Airbyte для выгрузки данных в PostgreSQL, настраивал источники, коннекторы, расписания и контроль корректности прохождения данных.
• Применял dbt для описания моделей, трансформаций и зависимостей между слоями, повышая прозрачность логики преобразований и переиспользование расчетов.
• Строил отчетный слой и интегрировал подготовленные витрины с Redash; готовил данные для визуализаций, аналитических отчетов и регулярных бизнес-проверок.
• Настраивал базовый мониторинг загрузок и технических метрик в Grafana: статусы пайплайнов, длительность задач, ошибки загрузок, контроль свежести данных и проблемные участки в регламенте.
• Работал с Git в консоли, вел задачи в Jira/Confluence, поддерживал документацию по потокам данных, структурам таблиц, зависимостям, правилам трансформации и сценариям восстановления после сбоев.
• Читал архитектурные схемы и S2T/mapping, уточнял требования у аналитиков и владельцев данных, фиксировал правила взаимодействия конфигурационных единиц платформы данных.
Достижения
• Сформировал устойчивую основу для регулярных ETL-загрузок и отчетности на базе Airflow, SQL, Spark/dbt и PostgreSQL.
• Повысил управляемость хранилища за счет Data Vault 2.0/3NF-моделирования, документирования трансформаций и контроля качества данных.
• Упростил подготовку аналитических витрин благодаря стандартизации моделей, повторно используемым трансформациям и регламентным процессам загрузки.
Стек специалиста на проекте
PostgreSQL, Git, Jira, Confluence, SQL, Teradata, Oracle, Linux, Grafana, Yarn, Hive, Avro, Unix, Redash, Apache Hadoop, Apache Spark, Kafka, Apache AirFlow, HDFS, PySpark, console, DBT, Airbyte, documentation, Data Vault 2.0, 3NF, hiveql, Data Vault, Контроль качества, technical
Отрасль проекта
RnD
Начало работы
Июль 2020 - Май 2022
(1 год 11 месяцев)
Формат работы
Объем участия в проекте
Высокая нагрузка
Формат взаимодействия
Удаленный
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Санкт-Петербургский политехнический университет Петра Великого
Специальность
Прикладная математика и информатика
Завершение учебы
2024 г.
