Ильнар М. Data инженер, Senior

ID 32137
ИМ
Ильнар М.
Мужчина, 33 года
Россия, Казань, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 3 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Hadoop
Apache Spark
Azure DevOps
MinIo
MS SQL
PostgreSQL
Python
ssas
SSIS
SSRS
DWH
PySpark
cdc
CI/CD
Docker
ETL ELT
Git
scd
Spark
Hadoop
S3
ClickHouse
Microsoft
SQL
C#
Identity Server
Power BI
apache hive
API
Big Data
Docker Compose
ETL
JupyterNoteBook
Linux
OLAP
JDBC
Oracle
REST API
sftp
Airbyte
Отрасли
FinTech & Banking
Hardware
Главное о специалисте
Легко нахожу общий язык с коллегами, готов делиться опытом и учиться у других. Своими сильными сторонами считаю ответственность и ориентированность на результат, способен быстро разобраться в новых для себя направлениях.
Проекты   (4 года 7 месяцев)
Вива Деньги
Роль
Data Engineer
Обязанности
Задачи и достижения: – Разрабатываю пайплайны для исторических данных в DWH (Python, PySpark, SSIS), оркестрация в Airflow. – Реализовано CDC триггеры в Postgre для интеграции данных в DWH. – Переписано и оптимизировано хранимые процедуры, что ускорило формирование отчётности на 40%. – Организовано построение витрин данных в MS SQL с помощью Spark и SSIS для дальнейшей трансляции их в SSAS. – Разработал мониторинг загрузки данных, построил комплексную систему для контроля качества данных, что позволило оперативно выявлять сбои. – Регулярно провожу аудит и реинжиниринг DWH: устранил устаревшие объекты, повысил производительность архитектуры и актуальность аналитических витрин. – Подготовка документации. Знания и умения: – SQL продвинутый уровень: оптимизация запросов, чтение плана запросов, партицирование, оконные функции, индексы. Работал с MS SQL, ClickHouse, PostgreSQL. – БД: нормализация, работа индексов и алгоритмы соединения таблиц, модели данных. – Работа с большими данными (Hadoop, S3, PySpark). Решение проблемы мелких файлов. – ETL\ELT: Airflow, Spark. – Docker, Git, CI\CD, CDC, SCD. Linux пользовательский уровень.
Стек специалиста на проекте
PostgreSQL, Git, Docker, SQL, Python, Linux, Spark, ClickHouse, Hadoop, Apache Hadoop, Apache Spark, MinIo, SSRS, DWH, Azure DevOps, Microsoft, Apache AirFlow, Pipelines, CI/CD, S3, SSIS, PySpark, MS SQL, ssas, ETL ELT, cdc, scd
Отрасль проекта
FinTech & Banking
Период работы
Май 2024 - По настоящее время  (1 год 6 месяцев)
Рубикон
Роль
Data Engineer
Обязанности
Клиенты: фармацевтическая компания, производитель потребительских товаров, девелопер коммерческой недвижимости. Сопровождал данные на всех этапах движения от источника до дашбордов, а именно: – Развернул и администрировал инфраструктуру: MS SQL Server, SSAS, SSRS, Power BI Report Server. Настраивал шлюзы для Power BI Cloud. – Спроектировал и развил хранилища данных (DWH) и витрины на базе MS SQL Server. – Интегрировал данные из различных источников (БД, 1С, CSV, XML) с помощью SSIS. – Разработал C# скрипты для сбора и обработки данных через API. Также приложения для конвертации файлов, получения данных. – Спроектировал модели в SSAS и метрики в DAX. – Создал более 30 дашбордов в Power BI , в том числе миграция из Power BI в Сбер Навигатор BI. – Реализовал бесшовную интеграцию с системой "Честный Знак". – Готовил техническую документацию и инструкции для аналитиков.
Стек специалиста на проекте
C#, 1С, ssas, ClickHouse, Spark, DAX, XML, Git, API, Power BI, Linux, Hadoop, Apache Hadoop, Apache Spark, CSV, MinIo, cloud, DWH, S3, SSIS, PySpark, Docker, SQL, Python, SSRS, Azure DevOps, Apache AirFlow, Microsoft, Identity Server, ETL ELT, cdc, CI/CD, BI, Power BI Report Server, scd, Pipelines, PostgreSQL
Отрасль проекта
Hardware
Период работы
Апрель 2021 - Май 2024  (3 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Поволжский государственный технологический университет
Специальность
Радиотехнический факультет, Информатика и вычислительная техника
Завершение учебы
2014 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
FinTech & Banking • Media
ТБ
Тимур Б.
Москва
Data инженер
Senior
4 155,84 Р/час
anchor
Apache AirFlow
Apache Kafka
Apache Spark
CI/CD
ClickHouse
Data Vault
DBT
defect
Docker
+32

Тимур — Data инженер уровня Senior из Москвы, специализация — работа с данными. Имеет высшее образование по специальности «Управление и информатика в технических системах». Ключевые навыки: Anchor, Apache AirFlow, Apache Kafka, Apache Spark, CI/CD, ClickHouse, Data Vault, DBT, Docker, DWH, ETL, Git, GitLab, Grafana, Hadoop, Identity Server, Linux, Microsoft, OLAP, OLTP, Oracle Pl/SQL, PostgreSQL, Prometheus, Python, SQL, SSAS, SSIS, HDFS, Hive, Spark. Опыт работы на проектах: - Mediascope (с 2023 года, отрасль — Media): разработка и оптимизация ETL-пайплайнов для обработки рекламных данных на Spark, реализация унифицированной системы конфигурации Airflow DAG’ов, загрузка данных в Data Lake с интеграцией Kafka и Spark Streaming, внедрение системы алертинга и мониторинга кластера, интеграция ML-модели Whisper для транскрибации рекламных видео в текст. - Ингосстрах Банк (1 год 7 месяцев, отрасль — FinTech & Banking): реализация клиентского Web-сервиса с интерактивными отчётами по банковским продуктам на основе собранных в Oracle датасетов, унификация и очистка данных со всех неупорядоченных источников, работа с командной строкой Linux, Greenplum, знакомство с Teradata. Построение и развитие банковского DWH на Oracle Обработка потоков данных (clickstream, IoT) в экосистеме Hadoop (Spark, HDFS, Hive) Наполнение Big Data Platform (подключение различных источников, создание, очистка и стандартизация датасетов) Дизайн системы оповещений и метрик состояния Hadoop-кластера с помощью Grafana + Prometheus Проект по транскрибации нескольких миллионов роликов с помощью ML

Подробнее
FinTech & Banking • HRTech
ТБ
Тынарбек Б.
Москва
Data инженер
Senior
3 766,23 Р/час
ClickHouse
DWH
elt
ETL-процессы
GOlang
GreenPlum
Hadoop
Oracle
Python
s2t
+40

● Опыт работы на коммерческих проектах более 3,5 лет ● Обладает обширными знаниями в области проектирования и оптимизации ETL/ELT-процессов, разработки и поддержки DWH, а также работы с большими данными ● Специализируется на использовании современных технологий для обработки, хранения и анализа данных. ● Занимается проектированием и реализацией ELT, ETL-пайплайнов, работает с DWH для аналитики и отчетности. ● Имеет опыт написания и оптимизации SQL- запросов к БД (Oracle) ● Умеет настраивать и поддерживать кластеры ClickHouse; организовывать ETL-процессы для витрин данных. ● Занимается оптимизацией витрин данных на Hadoop и Greenplum; автоматизацией составления S2T для аналитиков ● Имеет опыт разработки на Python и Golang

Подробнее
FinTech & Banking • LifeStyle
ВГ
Василий Г.
Санкт-Петербург
Data инженер
Senior
3 272,72 Р/час
Agile
Altera
Apache AirFlow
cdc
ClickHouse
dags
Data
Data Contracts
Data Lake
debezium
+59

Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Media • Social Networking • Telecom
АП
Антон П.
Москва
Data инженер
Senior
4 945,23 Р/час
PostgreSQL
RabbitMQ
Apache Kafka
Git
Docker
API
Confluence
SQL
Python
Linux
+23

Антон — Data инженер уровня Senior из Москвы. Специализируется на проектировании и реализации DWH, разработке правил Data Governance, DataOps, ETL и Data Processing. Имеет опыт работы с Apache AirFlow, Apache Kafka, Apache Spark, API, Atlassian Jira, ClickHouse, Docker, DWH, ETL, Git, GreenPlum, Hadoop, Kafka, Linux, PostgreSQL, Python, RabbitMQ, Redis, SAS, SQL. Участвовал в проектах в отраслях Social Networking, Media, Telecom, FinTech & Banking. В роли Senior Data Engineer в проекте Social Profiler LLC занимался построением полного конвейера данных, разработкой сервисов для интеграции моделей ML, DS, Computer Vision и ChatGPT. В проекте КИБЕР-РОМ в качестве Data Engineer и Python Dev разрабатывал микросервисы для поставки и обработки данных, проектировал хранилище данных, занимался ETL и ELT процессами, потоковой обработкой данных. В проекте Мобильные ТелеСистемы в роли старшего разработчика создавал пайпланы для ML-моделей, работал с DS и DA, помогал в оптимизации кода. В проекте GlowByte Consulting в должности Data Engineer занимался работой с хранилищем данных, поддержкой движка репликации данных Oracle -> dwh hadoop, написанием макросов SAS, скриптов на bash и scala.

Подробнее
Social Networking • Urban technology
АК
Александр К.
Брест
IOS разработчик
Senior
2 825,85 Р/час
build
multithreading
sandbox
provisioning portal
itunes
UI
AppleMaps
instruments
connect
Process management
+95

Александр — опытный iOS-разработчик, специализирующийся на создании приложений для мобильных устройств. Он обладает широким спектром навыков и знаний в области разработки под iOS, включая работу с различными фреймворками и библиотеками. Александр имеет опыт работы над проектами в сфере городских технологий и социальных сетей. В его портфолио есть проекты, связанные с разработкой приложения для поиска Wi-Fi точек и мессенджера для коммуникации, видеозвонков и обмена голосовыми сообщениями. На проектах он выполнял широкий спектр задач, таких как имплементация функционала, переработка экранов, работа с удалённой конфигурацией, рефакторинг кода и написание документации. Опыт Александра включает работу над сложными задачами, требующими глубоких знаний и навыков в разработке под iOS. Это делает его ценным специалистом для компаний, занимающихся созданием мобильных приложений.

Подробнее