КГ
Константин Г.
Мужчина
Россия, Москва, UTC+3
Ставка
4 675,32 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Системный аналитик
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Математический склад ума,системный подход, коммуникативность
Проекты
(4 года 5 месяцев)
Развитие DWH
Роль
Ведущий аналитик
Обязанности
Описание проекта: проектирование и проработка инфраструктуры данных для оперативной отчености и ML пайплайнов.
Обязанности:
- Участие в проектировании и реализации аналитического хранилища данных на основе СУБД ClickHouse (создание структур данных в разных слоях хранилища, наполнение этих структур в ClickHouse, оптимизация структур, подготовка конечных витрин и отчетов), которое сейчас активно используется для аналитики в компании
- Общение с заказчиками из различных отделов, формирование требований к отчетам и дашбордам, написание ТЗ, проведение тестирования, написание S2T
- Настройка ELT/ETL процессов, выгрузок из различного рода API, облачных хранилищ, других СУБД, автоматизация рассылок отчётов с использованием инструмента Apache Airflow, настройка конфигураций системы, поддержка запущенных дагов
(Система интегрирована с GitLab) Самостоятельно разработано больше 30 дагов
- Настройка процесса трансформаций внутри хранилища (между слоями) с использованием инструмента DBT, так использование этого инструмента для описания объектов хранилища,
как следствие повышение прозрачности пайплайнов данных и полноты описания хранилища
- Написание ad-hoc SQL запросов к ClickHouse, PostgreSQL, анализ производительности запросов, оптимизация запросов, работа с большими объемами данных (таблицы объемом несколько Тб)
- Построение визуализации и дашбородов в Redash, параметризация этих объектов, работа с API Redash для реализации нетипичных задач, реализовано самостоятельно несколько дашбордов, внесены доработки в более, чем 10 бордов
- Работа с данным logs api Апметрика, Яндекс метрика, загрузка отчётов и логов в ХД, настройка автоматизации выгрузки на постоянной основе, поддержка этих потоков данных, в результате на данный момент ежедневная стабильная загрузка с оптимальной скоростью
- разработка и автоматизация python скриптов с использованием Cron, реализовано несколько скриптов, которые в конечном итоге были перенесены на Airflow
- Участие в проведении собеседований на позицию Data Engineer (проведение технической части собеседования), активное участие в выстраивании пайплайна общения с кандидатом ( в результате был подготовлен набор вопросов и задач для тех интервью, а также предварительная анкета для кандидата)
Технологический стэк: ClickHouse, Airflow 2.4, DBT, PosgreSql, SQL Sever, My SQL, логическая/физическая модель данных, Jira, Confluence, GitLab, Docker, DWH, Redash, PowerBi, Superset
Стек специалиста на проекте
GitLab, ClickHouse, Data, API, Power BI, Yandex, Analytics, Cron, Superset, Redash, Проектирование ИС, СУБД, SQL Server, DWH, Лого, ФСТЭК, Confluence, SQL, Docker, Python, Аналитика, Apache AirFlow, Logging, MySQL, Testing, Machine learning, Jira, PostgreSQL, Написание ТЗ
Отрасль проекта
LifeStyle
Период работы
Июнь 2022 - Ноябрь 2023
(1 год 6 месяцев)
ООО "КОМУС-ТЕХНОЛОГИИ"
Роль
Аналитик-разработчик
Обязанности
Проект 1 : Поддержка и развитие КХД, оперативной отчетности
Описание проекта: работа в рамках хранилища данных и BI систем, загрузка данных из новых источников, построение отчетности.
Обязанности:
- мониторинг загрузки ХД (Oracle) и различных систем (PricePoint, SAP BW),
- работа с обращениями пользователей на предмет ошибок в системах отчетности и ошибок в данных отчетов, с использованием SQL запросов.
- Изменение загрузки данных в ХД, добавление новых данных в ХД с использованием ETL инструмента Pentaho и SQL процедур, создание новых сущностей и типов загрузок, тестирование изменений.
- Настройка юниверсов в BO, SAP BO 4.2, настройка отчетов на web-сервере с отчетами
Проект 2 : Развитие инфраструктуры ML
Описание проекта: проработка возможных вариантов архитектуры ML и дальнейшая реализация ML ландшафта.
Обязанности:
- Изучение различных вариантов реализации инфраструктуры ML, в том числе таких инструментов JupyterHub, Jenkins, Bitbucket, Luigi, Apache Airflow, Apache Spark, GreenPlum.
- Презентация системы, сбор требований от бизнес-пользователей.
- Постановка требований отделу Devops, тестирование работоспособности системы. Работа с Git, автоматизация Python скриптов с использованием Bitbucket+ Luigi + Jenkins.
- Разработка требований к мониторингу, сбор данных по мониторингу в ХД.
В итоге в компанию были внедрены JupyterHub, система для оркестрации аналитических python-скриптов Jenkins+ Bitbucket + Luigi, а также стартовал проект по внедрению Airflow+GreenPlum
Проект 3 : Развитие систем отчетности Web-аналитики.
Описание проекта: проект был направлен на развитие и дополнение оперативно отчетности данных web-аналитики.
Обязанности:
- Сбор требований заказчика,
- Написание сопроводительных документов,
- консультирование подрядчика,
- Настройка юниверсов в средстве дизайна информации SAP BO 4.2,
- Добавление новых сущностей и изменение загрузки старых.
- Автоматизация, поддержка python-скриптов и подготовка сущностей в ХД для аналитики данных с использованием Python.
Был реализован большой проект по внерению изменений в инфраструктуру для построения отчётов по web-аналитике, которые увеличили скорость отработки ответов и уменьшили нагрузку на хд. Также был внедрён новый подход к etl процессам с использованием архитектуры с оркестрации python скриптов.
Технологический стэк: Oracle 11, JupyterHub, Airflow, GreenPlum, Luigi, Bitbucket, SQL, PostgreSQL, Jira, Confluence, PL/SQL, pandas, numpy, Jupyter Notebook, E-comm, SAP BO 4.2, SAP BI, Pentaho, логическая/физическая модель данных
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, SQL, Bitbucket, Pandas, Numpy, GreenPlum, Pl/SQL, JupyterNoteBook, Jupyter, Pentaho, Apache AirFlow, SAP BI, Oracle 11, SAP BO
Отрасль проекта
LifeStyle
Период работы
Сентябрь 2020 - Июнь 2022
(1 год 10 месяцев)
ООО “Иннодата”
Роль
Аналитик
Обязанности
Проект 1: IBM Campaign Management (Платформа для комплексного управления маркетинговыми кампаниями).
Описание проекта: внедрение и конфигурирование платформы IBM Campaign Management в компанию заказчика.
Обязанности:
- Настройка конфигураций системы, работа с системными таблицами.
- Настройка workflow по созданию сегментов, маркетинговых компаний, сбору откликов.
- Написание инструкций по настройке системы.
- Настройка отчетности по данным маркетинговых компаний. Написание S2T на заливку данных из системы в хранилище для построения отчетности.
Проект 2: IBM Data Governance (Платформа для управления и анализа корпоративных данных) в банке.
Описание проекта: внедрение и конфигурирование платформы IBM Data Governance в компанию заказчика.
Обязанности:
- Погружение в модель данных заказчика.
- Настройка бизнес-глоссария. Маппинг бизнес-терминов на данные.
- Исследование и анализ Data Lineage.
Проект 3: Система динамического ценообразования в строительной компании.
Описание проекта: создание оперативной отчетности, подготовка данных для системы динамического образования.
Обязанности:
- Изучение модели данных заказчика, формирование описания витрин, написание S2T и ТЗ на заливку данных в хранилище.
- Тестирование полученных данных.
- Построение отчетов в Power BI по полученным данным.
Технологический стэк: IBM Campaign Management, IBM Data Governance, SQL, PostgreSQL, Jira, Confluence, Power BI, Техническая документация, PL/SQL, Excel, логическая/физическая модель данных, бизнес-глоссарий
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, SQL, Power BI, Data, Pl/SQL, IBM, Excel, Разработка технической документации
Отрасль проекта
LifeStyle
Период работы
Июль 2019 - Август 2020
(1 год 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский ядерный университет "МИФИ", Москва Институт Интеллектуальных Кибернетических Систем,
Специальность
Информационно-аналитические системы безопасности
Завершение учебы
2023 г.