6. Метрики в модулях Типового ПО Витрины данных

Для обеспечения унифицированного мониторинга, а так же для обеспечения совместимости с платформой Гостех формируются метрики всеми модулями Типового ПО Витрины данных.

Для каждого функционального блока модулей Типового ПО Витрины данных реализованы три метрики запросов:

  • число запросов в секунду для каждого функционального блока {worker}_req_count_total;

  • время обработки запроса для каждого функционального блока {worker}_req_time_seconds_sum/ {worker}_req_time_seconds_count;

  • число ошибок в единицу времени для каждого функционального блока {worker}_req_time_err_total;

где {worker} - название функционального блока.

Для Модуля загрузки CSV-файлов (CSV-Uploader) реализованы метрики для функций:

  • delete from table: удаление данных (1 файл);

  • get data by id: получение данных по идентификатору;

  • get table data: получение данных таблицы;

  • upload rest-uploader: добавление/изменение данных (несколько файлов) через rest-uploader;

  • upsert multipart: добавление/изменение данных (несколько файлов) через csv-uploader;

  • upsert to table: обновление данных таблицы;

  • delete multipart: удаление данных (несколько файлов).

Для Модуля исполнения асинхронных заданий (DATA-Uploader) реализованы метрики для функций:

  • handle mppw answer: обработка ответов от модуля MPPW;

  • send mppw tasks: отправка заданий на загрузку чанков по MPPW;

  • upload files: загрузка файлов с данными;

  • prepare chunks: создание чанков на основе файлов с данными.

Для Модуля асинхронной загрузки данных из сторонних источников (REST-Uploader) реализованы метрики для функций:

  • upload data: загрузка данных;

  • delete data: удаление данных.

Для BLOB-Адаптера реализованы метрики для функций:

  • blob rq: запрос для выгрузки данных по ссылке через Kafka;

  • blob web: запрос для выгрузки данных по ссылке через REST (POST): по _/download.

Для Сервиса формирования документов (printable-form-service) реализованы метрики для функции:

  • report: обработка запроса на получение документа.

Для СМЭВ3-адаптера реализованы метрики для функции:

  • request process: обработка запросов из очереди СМЭВ.

Для Сервиса генерации уникального номера (counter-provider) реализованы метрики для функции:

  • get counter: обработка запроса на получение номера.

Таблица 6.1 Метрики в модулях Типового ПО Витрины данных

Модуль

Сервис

Функции

Метрика

Насыщение ресурсов

Модуль загрузки CSV-файлов

csv-uploader

delete from table;

delete multipart;

get data by id;

get table data;

upload rest-uploader; upsert multipart;

upsert to table;

delete multipart.

req_count_total - число запросов по функциям;

req_time_seconds_sum - время обработки запроса для каждого функционального блока;

req_time_seconds_sum/ req_count_total

  • среднее время обработки.

  1. process_cpu_usage - использование процессора;

  2. jvm_memory_used_bytes - использование памяти:

    jvm_memory_used_bytes{area="heap",id="PS Survivor Space",};

    jvm_memory_used_bytes{area="heap",id="PS Old Gen",};

    jvm_memory_used_bytes{area="heap",id="PS Eden Space",};

    jvm_memory_used_bytes{area="nonheap",id="Metaspace",};

    jvm_memory_used_bytes{area="nonheap",id="Code Cache",};

    jvm_memory_used_bytes{area="nonheap",id="Compressed Class Space",};

    jvm_buffer_memory_used_bytes{id="direct",};

    jvm_buffer_memory_used_bytes{id="mapped",}.

Модуль исполнения асинхронных заданий

data-uploader

handle mppw answer;

send mppw tasks;

upload files;

prepare chunks.

Модуль асинхронной загрузки данных из сторонних источников

rest-uploader

delete data;

upload data.

Blob-Адаптер

blob-adapter

blob rq;

blob web.

Сервис формирования документов

printable-form-service

report.

СМЭВ3-адаптер

smev3-adapter

request process.

Сервис генерации уникального номера

counter-provider

get counter.