Ислам З. Data Quality инженер, Middle+
ID 14928
ИЗ
Ислам З.
Мужчина
Россия, Москва, UTC+3
Ставка
3 625 Р/час
НДС не облагается
Специалист доступен с 21 сентября 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data Quality инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Обладаю успешным опытом реализация и внедрение процессов контроля качества данных:
- проверка на достоверность;
- устранение повторов и ошибок;
- трансформация данных для загрузки в информационную систему;
- перемещение информации в хранилище данных и передачи сведений для дальнейшего анализа в заданном формате.
Проекты
(6 лет 2 месяца)
KONNEKTU
Роль
Data engineer
Обязанности
стек:
Python, SQL, Airflow, Clickhouse, Kubernetes, Docker, Linux, Postgres, Git, Yandex Cloud, S3
Обязанности:
- Проектирование, разработка хранилища данных
- Принятие архитектурных решений по загрузке, хранению и трансформации данных
- Предобработка и анализ данных Python (pandas, numpy), SQL
- Проектирование, разработка и тестирование процессов ETL/ELT данных для хранилища данных
- Развитие системы мониторинга ETL-процессов (grafana, prometheus)
- Написание и тестирование кастомных плагинов (хуки, операторы, сенсоры) Airflow
- Оптимизация скриптов и ETL пайплайнов существующих витрин
- Подключение новых источников данных (базы данных, api, xlsx/csv, s3, sftp/ftp и т.д.)
- Ревью кода дата инженеров и дата аналитиков
- Ведение документации проектов
- Написание helm chart для сервисов аналитического контура
- Взаимодействие с системными аналитиками
- Сборка и версионирование образов
Результаты:
- Мигрировал airflow(400+ DAG’s) в k8s без багов
- Мигрировал superset в k8s без багов
- Оптимизировал 30+ витрин как с точки зрения запросов так и структуры ETL пайплайнов
- Автоматизировал сборку витрин для нескольких категорий клиентов
Стек специалиста на проекте
Grafana, PR, Kubernetes, engineer 4, Базы данных, etlelt, sensor, Clickhouse, Numpy, Data, API, Git, Pandas, Linux, Prometheus, Superset, ETL, Helm, Yandex Cloud, S3, Docker, SQL, Python, Apache AirFlow, Chart.js, PostgreSQL, Testing
Отрасль проекта
Media
Период работы
Декабрь 2023 - По настоящее время
(10 месяцев)
Департамент здравоохранения Москвы
Роль
data engineer
Обязанности
Обязанности:
- Разработка хранилищ данных, витрин данных; работа с хранилищами данных, SQL(Clickhouse) на уровне сложных подзапросов.
- Проектирование, разработка и поддержка ETL-процессов; обработка данных с помощью Python(Pandas, NumPy, SciPy и т.д.), SQL, Airfow, Docker, визуализация данных с помощью Matplotlib, Seaborn, Plotly; работа с репозиториями GitHub, в том числе с применением Bash.
- Контроль качества загружаемых данных (ручные тесты).
- Интеграция новых источников.
- Аналитическое сопровождение проектов в сфере здравоохранения; автоматизация аналитических отчетов для руководителей и специалистов различных отделов.
- Выполнение Ad hoc запросов от различных отделов по предоставлению аналитики.
- Формирование системы метрик для проекта; разработка методологий расчетов по проектам.
- Сверка корректности данных с другими источниками и их критическая оценка.
- Работа в команде с системными аналитиками.
Результаты и проекты:
- В рамках проекта по улучшения доступности амбулаторной медицинской помощи, создал витрину данных (140+процессов) для оперативного доступа к ним других подразделений.
- В рамках проекта по льготному лекарственному обеспечению создал витрину хранилища данных с ежедневным пополнением данных с пациентами (60+тыс.) и лекарствами (10+тыс. наименований).
- Лидировал и успешно реализовал проект по автоматизации call-центра в рамках национального проекта по работе с пациентами на диспансерном наблюдении. Обеспечил настройку ETL- процессов, автоматизированы более 10 процессов, полностью автоматизирован обзвон пациентов.
- В кратчайшие сроки лидировал и успешно реализовал проект по автоматизации Телемедицинского центра, обеспечил настройку ETL- процессов вкл. предобработку "сырых" данных из различных источников, полностью автоматизирован обзвон пациентов заболевших ковидом.
- Автоматизировал сверку данных патронажных пациентов между ДТСЗН и ДЗМ.
- Участвовал в оперативных проектах в начало пандемии.
- Построил модель спроса медицинских услуг для Москвы по терапевтам с использованием алгоритмов машинного обучения с погрешностью 6%.
Стек специалиста на проекте
обработка, arrow, Numpy, Pandas, SciPy, Docker, SQL, Python
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Апрель 2019 - Декабрь 2023
(4 года 9 месяцев)
Почта России
Роль
Data analyst
Обязанности
Обязанности:
- Формирование ежедневного отчета по продажам и принятым платежам в разрезе филиалов и контрагентов;
- Формирование и поддержка базы принятых платежей в разрезе филиалов и контрагентов;
- Анализ динамики платежей по топ-клиентам;
- Построение ежеквартальных отчетов по филиалам и отдельно по ОПС;
- Участие в планировании по топ-клиентам Мосэнергосбыт, Ростелеком, Мособлгаз, Мособлеирц и др;
- Составление ежедневной и ежемесячной отчетности по оперативным доходам финансового бизнеса;
- Выполнение аналитических задач по запросу заместителя департамента финансового бизнеса, руководителей отдела поддержки продаж и аналитики, отдела продаж, отдела по работе с партнерами, отдела информационно-выплатного центра.
Результаты:
- Сформировал аналитическую базу в разрезе филиалов, отделении, контрагентов;
- Сократил время формирования отчета с 2,5 часов до 30 минут (5 раз);
- Детализировал отчет по принятым платежам по дням до ОПС, для чего была написана программа для парсинга данных с сервера, было обработано > 1000 файлов;
- Структурировал доходы в отчетностях по типу комиссии от контрагентов и по зонам ОПС.
Стек специалиста на проекте
Аналитика, парсинг
Отрасль проекта
Logistics & Transport
Период работы
Август 2018 - Март 2019
(8 месяцев)
Формат работы
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Курс«DOCKER» KARPOV. COURSES, КУРС «DOCKER» 2023 г.
Основы Scala stepik 2023 г.
Основы Scala stepik 2023 г.
Docker+Ansible 2022 г.
Образование
Высшее
Учебное заведение
Финансовый университет при Правительстве Российской Федерации, Москва
Специальность
Менеджмент, Корпоративное управление
Завершение учебы
2021 г.
Высшее
Учебное заведение
Московский авиационный институт (национальный исследовательский университет), Москва
Специальность
Экономика, Финансы и кредит
Завершение учебы
2018 г.
