Метрики в модулях Типового ПО Витрины данных ================================================= Для обеспечения унифицированного мониторинга, а так же для обеспечения совместимости с платформой Гостех формируются метрики всеми модулями Типового ПО Витрины данных. Для каждого функционального блока модулей Типового ПО Витрины данных реализованы три метрики запросов: - число запросов в секунду для каждого функционального блока ``{worker}_req_count_total``; - время обработки запроса для каждого функционального блока ``{worker}_req_time_seconds_sum``/ ``{worker}_req_time_seconds_count``; - число ошибок в единицу времени для каждого функционального блока ``{worker}_req_time_err_total``; где ``{worker}`` - название функционального блока. Для ПОДД-адаптера - Модуля исполнения запросов (podd-adapter-query) реализованы метрики для функций: - query: LLR/MPPR запросы; - report: запросы к сервису формирования документов; - metadata new data: запрос создания скрипта генерации таблицы; - metadata:запрос метаданных; - statistics: запрос статистики; - cancel query: отмены запросов. Для ПОДД-адаптера - Модуля MPPR (podd-adapter-mppr) реализованы метрики для функций: - mppr delta: передача данных новой дельты для репликации; - mppr query: отправка результата выполнения запроса. Для ПОДД-адаптера - Модуля MPPW (podd-adapter-mppw) реализованы метрики для функций: - mppw delta in: обработка команды на загрузку данных по подписке;. - mppw tp: обработка запроса с табличными параметрами; - mppw upload rq: обработка запроса загрузки большого объема данных. Для ПОДД-адаптера - Модуля дефрагментации чанков табличных параметров (podd-avro-defragmentator) реализованы метрики для функций: - assemble service verticle: обработка чанка модулем; - kafka input verticle: получение сообщения из топика query.tp.bin; - kafka output verticle: отправка сообщения в топика query.tp; - message store verticle: отправка чанка в хранилище. Для Модуля загрузки CSV-файлов (csv-uploader) реализованы метрики для функций: - delete from table: удаление данных (1 файл); - get data by id: получение данных по идентификатору; - get table data: получение данных таблицы; - upload rest-uploader: добавление/изменение данных (несколько файлов) через rest-uploader; - upsert multipart: добавление/изменение данных (несколько файлов) через csv-uploader; - upsert to table: обновление данных таблицы; - delete multipart: удаление данных (несколько файлов). Для Модуля исполнения асинхронных заданий (data-uploader) реализованы метрики для функций: - handle mppw answer: обработка ответов от модуля MPPW; - send mppw tasks: отправка заданий на загрузку чанков по MPPW; - upload files: загрузка файлов с данными; - prepare chunks: создание чанков на основе файлов с данными. Для Модуля асинхронной загрузки данных из сторонних источников (rest-uploader) реализованы метрики для функций: - upload data: загрузка данных; - delete data: удаление данных. Для Blob-Адаптера реализованы метрики для функций: - blob rq: запрос для выгрузки данных по ссылке через Kafka; - blob web: запрос для выгрузки данных по ссылке через REST (POST): по _/download. Для Сервиса формирования документов (printable-form-service) реализованы метрики для функции: - report: обработка запроса на получение документа. Для СМЭВ3-адаптера реализованы метрики для функции: - request process: обработка запросов из очереди СМЭВ. Для ПОДД-адаптера - Модуля импорта табличных параметров (podd-adapter-import-tp) реализованы метрики для функций: - cancel rq: отмена выполнения запроса; - mppw rs: обработка результата запроса с табличными параметрами; - tp delete tmp: удаление временных таблиц после выполнения запроса; - tp upload delta: обработка запроса на пересечение данных дельт; - tp upload delta in: обработка запроса на получение чанков распределенных подписок; - tp upload query: обработка запроса с табличными параметрами. Для ПОДД-адаптера - Модуля группировки табличных параметров (podd-adapter-group-tp ) реализованы метрики для функции: - delta in rq: группировка поступающих пакетов каждого табличного параметра в отдельные топики. Для ПОДД-адаптера - Модуля подписок (podd-adapter-replicator) реализованы метрики для функций: - delta apply: обработка результата применения дельт; - delta request: обработка запроса на загрузку дельты; - replication cancel: обработка запроса на отмену подписки; - replication register: обработка запроса на регистрацию подписки; - replication register in: обработка запроса на создание таблиц для подписки; - status event: отправка статуса событий; - subscription consumer cancel: отмена подписки для конкретного потребителя. Для ПОДД-адаптера - Модуля группировки чанков репликации (podd-adapter-group-repl ) реализованы метрики для функции: - delta in rq: обработка запроса с фрагментом дельты для репликации. Для Сервиса генерации уникального номера (counter-provider) реализованы метрики для функци: - get counter: обработка запроса на получение номера. .. table:: Метрики в модулях Типового ПО Витрины данных +------------------------+-------------------------------+-------------------------------+--------------------------------------------+---------------------------------------------------------------------------+ | Модуль | Сервис | Функции | Метрика | Насыщение ресурсов | +========================+===============================+===============================+============================================+===========================================================================+ | ПОДД-адаптер - Модуль | podd-adapter-query | cancel query; | ``req_count_total`` - число запросов | 1. ``process_cpu_usage`` - использование процессора; | | исполнения запросов | | | по функциям; | | | | | metadata; | | 2. ``jvm_memory_used_bytes`` - использование памяти: | | | | | ``req_time_seconds_sum`` - время | | | | | metadata new data; | обработки запроса для | ``jvm_memory_used_bytes{area="heap",id="PS Survivor Space",}``; | | | | | | | | | | query; | каждого функционального блока; | ``jvm_memory_used_bytes{area="heap",id="PS Old Gen",}``; | | | | | | | | | | report; | ``req_time_seconds_sum``/ | ``jvm_memory_used_bytes{area="heap",id="PS Eden Space",}``; | | | | | ``req_count_total`` | | | | | statistics. | | ``jvm_memory_used_bytes{area="nonheap",id="Metaspace",}``; | | | | | - среднее время обработки. | | +------------------------+-------------------------------+-------------------------------+ | ``jvm_memory_used_bytes{area="nonheap",id="Code Cache",}``; | | ПОДД-адаптер - Модуль | podd-adapter-mppr | mppr delta; | | | | MPPR | | | | ``jvm_memory_used_bytes{area="nonheap",id="Compressed Class Space",}``;| | | | mppr qiery. | | | +------------------------+-------------------------------+-------------------------------+ | ``jvm_buffer_memory_used_bytes{id="direct",}``; | | ПОДД-адаптер - Модуль | podd-adapter-mppw | mppw delta in; | | | | MPPW | | | | ``jvm_buffer_memory_used_bytes{id="mapped",}``. | | | | mppw tp; | | | | | | | | | | | | mppw upload rq. | | | +------------------------+-------------------------------+-------------------------------+ | | | ПОДД-адаптер - Модуль | podd-avro-defragmentator | assemble service verticle; | | | | дефрагментации чанков | | | | | | табличных параметров | | kafka input verticle; | | | | | | | | | | | | kafka output verticle; | | | | | | | | | | | | message store verticle. | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль загрузки | csv-uploader | delete from table; | | | | CSV-файлов | | | | | | | | delete multipart; | | | | | | | | | | | | get data by id; | | | | | | | | | | | | get table data; | | | | | | | | | | | | upload rest-uploader; | | | | | | | | | | | | upsert multipart; | | | | | | | | | | | | upsert to table; | | | | | | | | | | | | delete multipart. | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль исполнения | data-uploader | handle mppw answer; | | | | асинхронных заданий | | | | | | | | send mppw tasks; | | | | | | | | | | | | upload files; | | | | | | | | | | | | prepare chunks. | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль асинхронной | rest-uploader | delete data; | | | | загрузки данных из | | | | | | сторонних источников | | upload data. | | | +------------------------+-------------------------------+-------------------------------+ | | | Blob-Адаптер | blob-adapter | blob rq; | | | | | | | | | | | | blob web. | | | +------------------------+-------------------------------+-------------------------------+ | | | Сервис формирования | printable-form-service | report. | | | | документов | | | | | +------------------------+-------------------------------+-------------------------------+ | | | СМЭВ3-адаптер | smev3-adapter | request process. | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль импорта данных | podd-adapter-import-tp | cancel rq; | | | | табличных параметров | | | | | | | | mppw rs; | | | | | | | | | | | | tp delete tmp; | | | | | | | | | | | | tp upload delta; | | | | | | | | | | | | tp upload delta in; | | | | | | | | | | | | tp upload query; | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль группировки | podd-adapter-group-tp | delta in rq. | | | | данных табличных | | | | | | параметров | | | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль подписок | podd-adapter-replicator | delta apply; | | | | | | | | | | | | delta request; | | | | | | | | | | | | replication cancel; | | | | | | | | | | | | replication register; | | | | | | | | | | | | replication register in; | | | | | | | | | | | | status event; | | | | | | | | | | | | subscription consumer cancel; | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль группировки | podd-adapter-group-repl | delta in rq. | | | | чанков репликации | | | | | +------------------------+-------------------------------+-------------------------------+ | | | Сервис генерации | counter-provider | get counter. | | | | уникального номера | | | | | +------------------------+-------------------------------+-------------------------------+--------------------------------------------+---------------------------------------------------------------------------+