7. Метрики в модулях Типового ПО Витрины данных

Для обеспечения унифицированного мониторинга, а так же для обеспечения совместимости с платформой Гостех формируются метрики всеми модулями Типового ПО Витрины данных.

Для каждого функционального блока модулей Типового ПО Витрины данных реализованы три метрики запросов:

  • число запросов в секунду для каждого функционального блока {worker}_req_count_total;

  • время обработки запроса для каждого функционального блока {worker}_req_time_seconds_sum/ {worker}_req_time_seconds_count;

  • число ошибок в единицу времени для каждого функционального блока {worker}_req_time_err_total;

где {worker} - название функционального блока.

Для ПОДД-адаптера - Модуля исполнения запросов (podd-adapter-query) реализованы метрики для функций:

  • query: LLR/MPPR запросы;

  • report: запросы к сервису формирования документов;

  • metadata new data: запрос создания скрипта генерации таблицы;

  • metadata:запрос метаданных;

  • statistics: запрос статистики;

  • cancel query: отмены запросов.

Для ПОДД-адаптера - Модуля MPPR (podd-adapter-mppr) реализованы метрики для функций:

  • mppr delta: передача данных новой дельты для репликации;

  • mppr query: отправка результата выполнения запроса.

Для ПОДД-адаптера - Модуля MPPW (podd-adapter-mppw) реализованы метрики для функций:

  • mppw delta in: обработка команды на загрузку данных по подписке;.

  • mppw tp: обработка запроса с табличными параметрами;

  • mppw upload rq: обработка запроса загрузки большого объема данных.

Для ПОДД-адаптера - Модуля дефрагментации чанков табличных параметров (podd-avro-defragmentator) реализованы метрики для функций:

  • assemble service verticle: обработка чанка модулем;

  • kafka input verticle: получение сообщения из топика query.tp.bin;

  • kafka output verticle: отправка сообщения в топика query.tp;

  • message store verticle: отправка чанка в хранилище.

Для Модуля загрузки CSV-файлов (csv-uploader) реализованы метрики для функций:

  • delete from table: удаление данных (1 файл);

  • get data by id: получение данных по идентификатору;

  • get table data: получение данных таблицы;

  • upload rest-uploader: добавление/изменение данных (несколько файлов) через rest-uploader;

  • upsert multipart: добавление/изменение данных (несколько файлов) через csv-uploader;

  • upsert to table: обновление данных таблицы;

  • delete multipart: удаление данных (несколько файлов).

Для Модуля исполнения асинхронных заданий (data-uploader) реализованы метрики для функций:

  • handle mppw answer: обработка ответов от модуля MPPW;

  • send mppw tasks: отправка заданий на загрузку чанков по MPPW;

  • upload files: загрузка файлов с данными;

  • prepare chunks: создание чанков на основе файлов с данными.

Для Модуля асинхронной загрузки данных из сторонних источников (rest-uploader) реализованы метрики для функций:

  • upload data: загрузка данных;

  • delete data: удаление данных.

Для Blob-Адаптера реализованы метрики для функций:

  • blob rq: запрос для выгрузки данных по ссылке через Kafka;

  • blob web: запрос для выгрузки данных по ссылке через REST (POST): по _/download.

Для Сервиса формирования документов (printable-form-service) реализованы метрики для функции:

  • report: обработка запроса на получение документа.

Для СМЭВ3-адаптера реализованы метрики для функции:

  • request process: обработка запросов из очереди СМЭВ.

Для ПОДД-адаптера - Модуля импорта табличных параметров (podd-adapter-import-tp) реализованы метрики для функций:

  • cancel rq: отмена выполнения запроса;

  • mppw rs: обработка результата запроса с табличными параметрами;

  • tp delete tmp: удаление временных таблиц после выполнения запроса;

  • tp upload delta: обработка запроса на пересечение данных дельт;

  • tp upload delta in: обработка запроса на получение чанков распределенных подписок;

  • tp upload query: обработка запроса с табличными параметрами.

Для ПОДД-адаптера - Модуля группировки табличных параметров (podd-adapter-group-tp ) реализованы метрики для функции:

  • delta in rq: группировка поступающих пакетов каждого табличного параметра в отдельные топики.

Для ПОДД-адаптера - Модуля подписок (podd-adapter-replicator) реализованы метрики для функций:

  • delta apply: обработка результата применения дельт;

  • delta request: обработка запроса на загрузку дельты;

  • replication cancel: обработка запроса на отмену подписки;

  • replication register: обработка запроса на регистрацию подписки;

  • replication register in: обработка запроса на создание таблиц для подписки;

  • status event: отправка статуса событий;

  • subscription consumer cancel: отмена подписки для конкретного потребителя.

Для ПОДД-адаптера - Модуля группировки чанков репликации (podd-adapter-group-repl ) реализованы метрики для функции:

  • delta in rq: обработка запроса с фрагментом дельты для репликации.

Для Сервиса генерации уникального номера (counter-provider) реализованы метрики для функци:

  • get counter: обработка запроса на получение номера.

Таблица 7.1 Метрики в модулях Типового ПО Витрины данных

Модуль

Сервис

Функции

Метрика

Насыщение ресурсов

ПОДД-адаптер - Модуль исполнения запросов

podd-adapter-query

cancel query;

metadata;

metadata new data;

query;

report;

statistics.

req_count_total - число запросов по функциям;

req_time_seconds_sum - время обработки запроса для

каждого функционального блока;

req_time_seconds_sum/ req_count_total

  • среднее время обработки.

  1. process_cpu_usage - использование процессора;

  2. jvm_memory_used_bytes - использование памяти:

    jvm_memory_used_bytes{area="heap",id="PS Survivor Space",};

    jvm_memory_used_bytes{area="heap",id="PS Old Gen",};

    jvm_memory_used_bytes{area="heap",id="PS Eden Space",};

    jvm_memory_used_bytes{area="nonheap",id="Metaspace",};

    jvm_memory_used_bytes{area="nonheap",id="Code Cache",};

    jvm_memory_used_bytes{area="nonheap",id="Compressed Class Space",};

    jvm_buffer_memory_used_bytes{id="direct",};

    jvm_buffer_memory_used_bytes{id="mapped",}.

ПОДД-адаптер - Модуль MPPR

podd-adapter-mppr

mppr delta;

mppr qiery.

ПОДД-адаптер - Модуль MPPW

podd-adapter-mppw

mppw delta in;

mppw tp;

mppw upload rq.

ПОДД-адаптер - Модуль дефрагментации чанков табличных параметров

podd-avro-defragmentator

assemble service verticle;

kafka input verticle;

kafka output verticle;

message store verticle.

Модуль загрузки CSV-файлов

csv-uploader

delete from table;

delete multipart;

get data by id;

get table data;

upload rest-uploader;

upsert multipart;

upsert to table;

delete multipart.

Модуль исполнения асинхронных заданий

data-uploader

handle mppw answer;

send mppw tasks;

upload files;

prepare chunks.

Модуль асинхронной загрузки данных из сторонних источников

rest-uploader

delete data;

upload data.

Blob-Адаптер

blob-adapter

blob rq;

blob web.

Сервис формирования документов

printable-form-service

report.

СМЭВ3-адаптер

smev3-adapter

request process.

Модуль импорта данных табличных параметров

podd-adapter-import-tp

cancel rq;

mppw rs;

tp delete tmp;

tp upload delta;

tp upload delta in;

tp upload query;

Модуль группировки данных табличных параметров

podd-adapter-group-tp

delta in rq.

Модуль подписок

podd-adapter-replicator

delta apply;

delta request;

replication cancel;

replication register;

replication register in;

status event;

subscription consumer cancel;

Модуль группировки чанков репликации

podd-adapter-group-repl

delta in rq.

Сервис генерации уникального номера

counter-provider

get counter.