Метрики в модулях Типового ПО Витрины данных ================================================= Для обеспечения унифицированного мониторинга, а так же для обеспечения совместимости с платформой Гостех формируются метрики всеми модулями Типового ПО Витрины данных. Для каждого функционального блока модулей Типового ПО Витрины данных реализованы три метрики запросов: - число запросов в секунду для каждого функционального блока ``{worker}_req_count_total``; - время обработки запроса для каждого функционального блока ``{worker}_req_time_seconds_sum``/ ``{worker}_req_time_seconds_count``; - число ошибок в единицу времени для каждого функционального блока ``{worker}_req_time_err_total``; где ``{worker}`` - название функционального блока. .. Для СМЭВ4-адаптера - Модуля исполнения запросов (podd-adapter-query) реализованы метрики для функций: .. - query: LLR/MPPR запросы; .. - report: запросы к сервису формирования документов; .. - metadata new data: запрос создания скрипта генерации таблицы; .. - metadata:запрос метаданных; .. - statistics: запрос статистики; .. - cancel query: отмены запросов. .. Для СМЭВ4-адаптера - Модуля MPPR (podd-adapter-mppr) реализованы метрики для функций: .. - mppr delta: передача данных новой дельты для репликации; .. - mppr query: отправка результата выполнения запроса. .. Для СМЭВ4-адаптера - Модуля MPPW (podd-adapter-mppw) реализованы метрики для функций: .. - mppw delta in: обработка команды на загрузку данных по подписке;. .. - mppw tp: обработка запроса с табличными параметрами; .. - mppw upload rq: обработка запроса загрузки большого объема данных. .. Для СМЭВ4-адаптера - Модуля дефрагментации чанков табличных параметров (podd-avro-defragmentator) реализованы метрики для функций: .. - assemble service verticle: обработка чанка модулем; .. - kafka input verticle: получение сообщения из топика query.tp.bin; .. - kafka output verticle: отправка сообщения в топика query.tp; .. - message store verticle: отправка чанка в хранилище. Для Модуля загрузки CSV-файлов (CSV-Uploader) реализованы метрики для функций: - delete from table: удаление данных (1 файл); - get data by id: получение данных по идентификатору; - get table data: получение данных таблицы; - upload rest-uploader: добавление/изменение данных (несколько файлов) через rest-uploader; - upsert multipart: добавление/изменение данных (несколько файлов) через csv-uploader; - upsert to table: обновление данных таблицы; - delete multipart: удаление данных (несколько файлов). Для Модуля исполнения асинхронных заданий (DATA-Uploader) реализованы метрики для функций: - handle mppw answer: обработка ответов от модуля MPPW; - send mppw tasks: отправка заданий на загрузку чанков по MPPW; - upload files: загрузка файлов с данными; - prepare chunks: создание чанков на основе файлов с данными. Для Модуля асинхронной загрузки данных из сторонних источников (REST-Uploader) реализованы метрики для функций: - upload data: загрузка данных; - delete data: удаление данных. Для BLOB-Адаптера реализованы метрики для функций: - blob rq: запрос для выгрузки данных по ссылке через Kafka; - blob web: запрос для выгрузки данных по ссылке через REST (POST): по _/download. Для Сервиса формирования документов (printable-form-service) реализованы метрики для функции: - report: обработка запроса на получение документа. Для СМЭВ3-адаптера реализованы метрики для функции: - request process: обработка запросов из очереди СМЭВ. .. Для СМЭВ4-адаптера - Модуля импорта табличных параметров (podd-adapter-import-tp) реализованы метрики для функций: .. - cancel rq: отмена выполнения запроса; .. - mppw rs: обработка результата запроса с табличными параметрами; .. - tp delete tmp: удаление временных таблиц после выполнения запроса; .. - tp upload delta: обработка запроса на пересечение данных дельт; .. - tp upload delta in: обработка запроса на получение чанков распределенных подписок; .. - tp upload query: обработка запроса с табличными параметрами. .. Для СМЭВ4-адаптера - Модуля группировки табличных параметров (podd-adapter-group-tp ) реализованы метрики для функции: .. - delta in rq: группировка поступающих пакетов каждого табличного параметра в отдельные топики. .. Для СМЭВ4-адаптера - Модуля подписок (podd-adapter-replicator) реализованы метрики для функций: .. - delta apply: обработка результата применения дельт; .. - delta request: обработка запроса на загрузку дельты; .. - replication cancel: обработка запроса на отмену подписки; .. - replication register: обработка запроса на регистрацию подписки; .. - replication register in: обработка запроса на создание таблиц для подписки; .. - status event: отправка статуса событий; .. - subscription consumer cancel: отмена подписки для конкретного потребителя. .. Для СМЭВ4-адаптера - Модуля группировки чанков репликации (podd-adapter-group-repl ) реализованы метрики для функции: .. - delta in rq: обработка запроса с фрагментом дельты для репликации. Для Сервиса генерации уникального номера (counter-provider) реализованы метрики для функции: - get counter: обработка запроса на получение номера. .. table:: Метрики в модулях Типового ПО Витрины данных +------------------------+-------------------------------+-------------------------------+--------------------------------------------+---------------------------------------------------------------------------+ | Модуль | Сервис | Функции | Метрика | Насыщение ресурсов | +========================+===============================+===============================+============================================+===========================================================================+ | Модуль загрузки | csv-uploader | delete from table; | ``req_count_total`` - число запросов | 1. ``process_cpu_usage`` - использование процессора; | | CSV-файлов | | | по функциям; | | | | | delete multipart; | | 2. ``jvm_memory_used_bytes`` - использование памяти: | | | | | ``req_time_seconds_sum`` - время | | | | | get data by id; | обработки запроса для каждого | ``jvm_memory_used_bytes{area="heap",id="PS Survivor Space",}``; | | | | | функционального блока; | | | | | get table data; | | ``jvm_memory_used_bytes{area="heap",id="PS Old Gen",}``; | | | | | | | | | | upload rest-uploader; | ``req_time_seconds_sum``/ | ``jvm_memory_used_bytes{area="heap",id="PS Eden Space",}``; | | | | upsert multipart; | ``req_count_total`` | | | | | | | ``jvm_memory_used_bytes{area="nonheap",id="Metaspace",}``; | | | | upsert to table; | - среднее время обработки. | | | | | | | ``jvm_memory_used_bytes{area="nonheap",id="Code Cache",}``; | | | | delete multipart. | | | +------------------------+-------------------------------+-------------------------------+ | ``jvm_memory_used_bytes{area="nonheap",id="Compressed Class Space",}``;| | Модуль исполнения | data-uploader | handle mppw answer; | | | | асинхронных заданий | | | | ``jvm_buffer_memory_used_bytes{id="direct",}``; | | | | send mppw tasks; | | | | | | | | ``jvm_buffer_memory_used_bytes{id="mapped",}``. | | | | upload files; | | | | | | | | | | | | prepare chunks. | | | +------------------------+-------------------------------+-------------------------------+ | | | Модуль асинхронной | rest-uploader | delete data; | | | | загрузки данных из | | | | | | сторонних источников | | upload data. | | | +------------------------+-------------------------------+-------------------------------+ | | | Blob-Адаптер | blob-adapter | blob rq; | | | | | | | | | | | | blob web. | | | +------------------------+-------------------------------+-------------------------------+ | | | Сервис формирования | printable-form-service | report. | | | | документов | | | | | +------------------------+-------------------------------+-------------------------------+ | | | СМЭВ3-адаптер | smev3-adapter | request process. | | | +------------------------+-------------------------------+-------------------------------+ | | | Сервис генерации | counter-provider | get counter. | | | | уникального номера | | | | | +------------------------+-------------------------------+-------------------------------+--------------------------------------------+---------------------------------------------------------------------------+