Ислам З. Data Quality инженер, Middle+

ID 14928
ИЗ
Ислам З.
Мужчина
Россия, Москва, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 30 апреля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data Quality инженер
Грейд
Middle+
Навыки
Apache AirFlow
Big Data
ClickHouse
Data Analysis
Docker
ETL
GitHub
GitLab
Jupiter Notebook
Kubernetes
Linux
Pandas
PostgreSQL
Python
S3
SQL
Yandex Cloud
Автоматизация процессов
Анализ данных
Базы данных
Объектно-ориентированное программирование (ООП)
Работа с базами данных
Сбор и анализ информации
Статистический анализ
Аналитика
парсинг
arrow
Numpy
SciPy
API
Chart.js
Data
engineer 4
etlelt
Git
Grafana
Helm
PR
Prometheus
sensor
Superset
Testing
Дизайн
Информационные технологии
Консалтинг
маркетинг
Мониторинг
Программное обеспечение
Проектирование
Работа с интеграциями
Разработка
Написание документации
Нереляционные БД (NoSQL)
Анализ бизнес-процессов
Отрасли
BioTech, Pharma, Health care & Sports
Logistics & Transport
Media
Знание языков
Английский — B2
Главное о специалисте
Обладаю успешным опытом реализация и внедрение процессов контроля качества данных: - проверка на достоверность; - устранение повторов и ошибок; - трансформация данных для загрузки в информационную систему; - перемещение информации в хранилище данных и передачи сведений для дальнейшего анализа в заданном формате.
Проекты   (6 лет 9 месяцев)
KONNEKTU
Роль
Data engineer
Обязанности
стек: Python, SQL, Airflow, Clickhouse, Kubernetes, Docker, Linux, Postgres, Git, Yandex Cloud, S3

 Обязанности: - Проектирование, разработка хранилища данных
 - Принятие архитектурных решений по загрузке, хранению и трансформации данных
 - Предобработка и анализ данных Python (pandas, numpy), SQL 
- Проектирование, разработка и тестирование процессов ETL/ELT данных для хранилища данных
 - Развитие системы мониторинга ETL-процессов (grafana, prometheus)
 - Написание и тестирование кастомных плагинов (хуки, операторы, сенсоры) Airflow 
- Оптимизация скриптов и ETL пайплайнов существующих витрин 
- Подключение новых источников данных (базы данных, api, xlsx/csv, s3, sftp/ftp и т.д.) 
- Ревью кода дата инженеров и дата аналитиков 
- Ведение документации проектов 
- Написание helm chart для сервисов аналитического контура 
- Взаимодействие с системными аналитиками 
- Сборка и версионирование образов

 Результаты: 
- Мигрировал airflow(400+ DAG’s) в k8s без багов 
- Мигрировал superset в k8s без багов 
- Оптимизировал 30+ витрин как с точки зрения запросов так и структуры ETL пайплайнов 
- Автоматизировал сборку витрин для нескольких категорий клиентов
Стек специалиста на проекте
Grafana, PR, engineer 4, Базы данных, etlelt, ClickHouse, sensor, Numpy, Data, Git, API, Pandas, Linux, Prometheus, Superset, ETL, Helm, S3, SQL, Docker, Python, Apache AirFlow, Chart.js, Testing, PostgreSQL, Yandex Cloud, Kubernetes
Отрасль проекта
Media
Период работы
Декабрь 2023 - По настоящее время  (1 год 5 месяцев)
Департамент здравоохранения Москвы
Роль
data engineer
Обязанности
Обязанности: - Разработка хранилищ данных, витрин данных; работа с хранилищами данных, SQL(Clickhouse) на уровне сложных подзапросов.
 - Проектирование, разработка и поддержка ETL-процессов; обработка данных с помощью Python(Pandas, NumPy, SciPy и т.д.), SQL, Airfow, Docker, визуализация данных с помощью Matplotlib, Seaborn, Plotly; работа с репозиториями GitHub, в том числе с применением Bash. - Контроль качества загружаемых данных (ручные тесты).
 - Интеграция новых источников.
 - Аналитическое сопровождение проектов в сфере здравоохранения; автоматизация аналитических отчетов для руководителей и специалистов различных отделов.
 - Выполнение Ad hoc запросов от различных отделов по предоставлению аналитики. 
- Формирование системы метрик для проекта; разработка методологий расчетов по проектам.
 - Сверка корректности данных с другими источниками и их критическая оценка.
 - Работа в команде с системными аналитиками.

 Результаты и проекты:
 - В рамках проекта по улучшения доступности амбулаторной медицинской помощи, создал витрину данных (140+процессов) для оперативного доступа к ним других подразделений. 
- В рамках проекта по льготному лекарственному обеспечению создал витрину хранилища данных с ежедневным пополнением данных с пациентами (60+тыс.) и лекарствами (10+тыс. наименований).
 - Лидировал и успешно реализовал проект по автоматизации call-центра в рамках национального проекта по работе с пациентами на диспансерном наблюдении. Обеспечил настройку ETL- процессов, автоматизированы более 10 процессов, полностью автоматизирован обзвон пациентов.
 - В кратчайшие сроки лидировал и успешно реализовал проект по автоматизации Телемедицинского центра, обеспечил настройку ETL- процессов вкл. предобработку "сырых" данных из различных источников, полностью автоматизирован обзвон пациентов заболевших ковидом.
 - Автоматизировал сверку данных патронажных пациентов между ДТСЗН и ДЗМ.
 - Участвовал в оперативных проектах в начало пандемии.
 - Построил модель спроса медицинских услуг для Москвы по терапевтам с использованием алгоритмов машинного обучения с погрешностью 6%.

Стек специалиста на проекте
arrow, Numpy, Pandas, SciPy, SQL, Docker, Python
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Апрель 2019 - Декабрь 2023  (4 года 9 месяцев)
Почта России
Роль
Data analyst
Обязанности
Обязанности: - Формирование ежедневного отчета по продажам и принятым платежам в разрезе филиалов и контрагентов; 
- Формирование и поддержка базы принятых платежей в разрезе филиалов и контрагентов;
 - Анализ динамики платежей по топ-клиентам;
 - Построение ежеквартальных отчетов по филиалам и отдельно по ОПС;
 - Участие в планировании по топ-клиентам Мосэнергосбыт, Ростелеком, Мособлгаз, Мособлеирц и др;
 - Составление ежедневной и ежемесячной отчетности по оперативным доходам финансового бизнеса;
 - Выполнение аналитических задач по запросу заместителя департамента финансового бизнеса, руководителей отдела поддержки продаж и аналитики, отдела продаж, отдела по работе с партнерами, отдела информационно-выплатного центра.
 
Результаты:
 - Сформировал аналитическую базу в разрезе филиалов, отделении, контрагентов; 
- Сократил время формирования отчета с 2,5 часов до 30 минут (5 раз);
 - Детализировал отчет по принятым платежам по дням до ОПС, для чего была написана программа для парсинга данных с сервера, было обработано > 1000 файлов;
- Структурировал доходы в отчетностях по типу комиссии от контрагентов и по зонам ОПС.
Стек специалиста на проекте
Аналитика, парсинг
Отрасль проекта
Logistics & Transport
Период работы
Август 2018 - Март 2019  (8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Курс«DOCKER» KARPOV. COURSES, КУРС «DOCKER» 2023 г.
Основы Scala stepik 2023 г.
Основы Scala stepik 2023 г.
Docker+Ansible 2022 г.
Образование
Высшее
Учебное заведение
Финансовый университет при Правительстве Российской Федерации, Москва
Специальность
Менеджмент, Корпоративное управление
Завершение учебы
2021 г.
Высшее
Учебное заведение
Московский авиационный институт (национальный исследовательский университет), Москва
Специальность
Экономика, Финансы и кредит
Завершение учебы
2018 г.

Недавно просмотренные специалисты

E-commerce & Retail • EdTech
ЮК
Юрий К.
Минск
QA авто
Senior
3 844,15 Р/час
методологии
Auto testing
Agile/Scrum
Подготовка и проведение презентаций
архитектура
мобильных приложений
тесткейсов
анализ
GraphQL
AWS
+48

В последние 4 года работал автоматизатором на Robot Framework(Python based) так же проводил ручное тестирование в рамках подготовки автотестов. Непосредственно на Python писал нагрузочные тесты с использованием библиотеки Locust. Проект был основан на микросервисной архитектуре с использованием AWS и Kubernetes, в рамках проекта так что повсеместно применялись Docker образы для настройки слаженного использования ARGO и CI/CD в целом. Основным местом хранения репазиторий был GitHub (GitLab применялся только в ряде отдельных небольших проектов). На текущем проекте использовалась технология GraphQL которая позволила в больше степени свободы проводить бек-энд тестирование нежели классический REST API. С REST API работал таже пару лет и в качестве основного инструмента тестирования применялся Postman. Опыт написания тестовой документации - более 6 лет, писал тестовую документацию начиная с самого первого проекта (там применялся Excel), на более крупных и продвинутых проектах использовали Jira и TestRail. Опыт покрытия автотестами более 4 лет - на текущем проекте команду собирал и ОБУЧАЛ с 0, сейчас общее количество тестов на текущем проекту составляет: UI ~ 600, API ~ 500. Опыт с Python есть как автоматизация (в том числе создание собственных библиотек под фреймворк), Selenium применял именно в связке с Robot Framework для WEB тестирования UI. C финансовыми данными практического опыта работы нет, но цифры есть цифры =) В рамках своего 7ми летнего опыта работал с различными типами тестирования (кроме по сути юнит тестирования ибо это в больше степени применимо к разработке). Опыт интеграции с платежными системами был, но очень небольшой. В рамках текущего проекта занимал роль TeamLead, прошел внутренние курсы повышения квалификации для менеджеров.

Подробнее
Blockchain • E-commerce & Retail • EdTech • FoodTech • Manufacturing • Media • Social Networking
ВГ
Всеволод Г.
Ростов-на-Дону
PHP разработчик
Senior
3 246,75 Р/час
Управление командой
FoodTech
iiko
Nuxt3
varnish
Caddy
Работа с интеграциями
Laravel 10
MariaDB
Проектирование БД
+71

Основной стек : Laravel 8-11, Vue 3, Nuxt 3 Дополнительно : Symfony 2, 5-7, Yii2, Slim, Alpine.js Разговорный английский. Разработчик с опытом в различных сферах. Веб-разработка Проектирование монолитных и микросервисных архитектур, разработка REST и RPC бэкенда, разработка SSR, SPA и PWA приложений. Реализация фронтенда, включая pixel-perfect верстку, на стороне сервера (PHP - Blade, Livewire, Twig) и клиента (Vue/Nuxt) с использованием CSS фреймворков (Bootstrap, Tailwind). Основные инструменты тестирования: PHP - PHPUnit, Pest, Vue - Vitest. Базы данных и инфраструктура MySQL/MariaDB, PostgreSQL на уровне постоянного использования в проектах. Есть опыт работы с SQLite, MS-SQL и MongoDB. Уверенное владение RabbitMQ в контексте микросервисов и Redis. DevOps Создание и поддержка CI/CD пайплайнов (GitLab CI, GitHub Actions). Разработка кастомных production-grade Docker-образов для локального и продуктового использования. Развертывание проектов на любой инфраструктуре (хостинг, VDS, bare-metal, cloud (Yandex Cloud / AWS). Работа в команде Менторство, управление спринтами команды, проведение код-ревью, разработка локальных стандартов разработки с применением линтеров (PHP-CS, Laravel Pint, Prettier) и инструментов статического анализа кода (PHPStan, Psalm, ESLint).

Подробнее