Метрики в модулях Компонента «Витрина данных» ================================================= .. Для обеспечения унифицированного мониторинга, а также для обеспечения совместимости с платформой "Гостех" формируются метрики всеми модулями Компонента «Витрина данных». .. Для каждого функционального блока модулей Компонент «Витрина данных» реализованы три метрики запросов: .. - число запросов в секунду для каждого функционального блока ``{worker}_req_count_total``; .. - время обработки запроса для каждого функционального блока ``{worker}_req_time_seconds_sum``/ ``{worker}_req_time_seconds_count``; .. - число ошибок в единицу времени для каждого функционального блока ``{worker}_req_time_err_total``; .. где ``{worker}`` - название функционального блока. .. Для Модуля загрузки CSV-файлов (CSV-Uploader) реализованы метрики для функций: .. - delete from table: удаление данных (1 файл); .. - get data by id: получение данных по идентификатору; .. - get table data: получение данных таблицы; .. - upload rest-uploader: добавление/изменение данных (несколько файлов) через rest-uploader; .. - upsert multipart: добавление/изменение данных (несколько файлов) через csv-uploader; .. - upsert to table: обновление данных таблицы; .. - delete multipart: удаление данных (несколько файлов). .. Для Модуля исполнения асинхронных заданий (DATA-Uploader) реализованы метрики для функций: .. - handle mppw answer: обработка ответов от модуля MPPW; .. - send mppw tasks: отправка заданий на загрузку чанков по MPPW; .. - upload files: загрузка файлов с данными; .. - prepare chunks: создание чанков на основе файлов с данными. .. Для Модуля асинхронной загрузки данных из сторонних источников (REST-Uploader) реализованы метрики для функций: .. - upload data: загрузка данных; .. - delete data: удаление данных. .. Для BLOB-Адаптера реализованы метрики для функций: .. - blob rq: запрос для выгрузки данных по ссылке через Kafka; .. - blob web: запрос для выгрузки данных по ссылке через REST (POST): по _/download. .. Для Сервиса формирования документов (printable-form-service) реализованы метрики для функции: .. - report: обработка запроса на получение документа. .. Для СМЭВ3-адаптера реализованы метрики для функции: .. - request process: обработка запросов из очереди СМЭВ. .. Для Сервиса генерации уникального номера (counter-provider) реализованы метрики для функции: .. - get counter: обработка запроса на получение номера (см. :numref:`tab_get_counter`). .. Для стандартного загрузчика реализованы метрики для функции: .. - req_count_total: число выполненых сверок, считается от старта приложения; .. - stable_difference_count: число записей в которых выявлены устойчивые различия (подтверждены плечом сверок) с дифференциацией по , датамарту, таблице, типу различия и compare_task_mnemonic; .. - req_count_total: число выравнивающих загрузок в разрезе целевого датамарта и таблицы; .. - correction_exception_count: число исключений из выравнивания в разрезе целевого датамарта, таблицы и compare_task_mnemonic; .. - req_time_seconds_sum: время выполнения попыток выравнивания, а также время выполнения задач сверки; .. - req_err_total: число ошибок при выполнении задач сверки и число ошибок при выравнивающих загрузках в разрезе датамарта и таблицы. .. Для СМЭВ4-адаптера - Модуля импорта табличных параметров (podd-adapter-import-tp) реализованы метрики для функций: .. - cancel rq: отмена выполнения запроса; .. - mppw rs: обработка результата запроса с табличными параметрами; .. - tp delete tmp: удаление временных таблиц после выполнения запроса; .. - tp upload delta: обработка запроса на пересечение данных дельт; .. - tp upload delta in: обработка запроса на получение чанков распределенных подписок; .. - tp upload query: обработка запроса с табличными параметрами. .. Для СМЭВ4-адаптера - Модуля группировки табличных параметров (podd-adapter-group-tp ) реализованы метрики для функции: .. - delta in rq: группировка поступающих пакетов каждого табличного параметра в отдельные топики. .. Для СМЭВ4-адаптера - Модуля подписок (podd-adapter-replicator) реализованы метрики для функций: .. - delta apply: обработка результата применения дельт; .. - delta request: обработка запроса на загрузку дельты; .. - replication cancel: обработка запроса на отмену подписки; .. - replication register: обработка запроса на регистрацию подписки; .. - replication register in: обработка запроса на создание таблиц для подписки; .. - status event: отправка статуса событий; .. - subscription consumer cancel: отмена подписки для конкретного потребителя. .. Для СМЭВ4-адаптера - Модуля группировки чанков репликации (podd-adapter-group-repl ) реализованы метрики для функции: .. - delta in rq: обработка запроса с фрагментом дельты для репликации. .. Для СМЭВ4-адаптера - Модуля исполнения запросов (podd-adapter-query) реализованы метрики для функций: .. - query: LLR/MPPR запросы; .. - report: запросы к сервису формирования документов; .. - metadata new data: запрос создания скрипта генерации таблицы; .. - metadata:запрос метаданных; .. - statistics: запрос статистики; .. - cancel query: отмены запросов. .. Для СМЭВ4-адаптера - Модуля MPPR (podd-adapter-mppr) реализованы метрики для функций: .. - mppr delta: передача данных новой дельты для репликации; .. - mppr query: отправка результата выполнения запроса. .. Для СМЭВ4-адаптера - Модуля MPPW (podd-adapter-mppw) реализованы метрики для функций: .. - mppw delta in: обработка команды на загрузку данных по подписке;. .. - mppw tp: обработка запроса с табличными параметрами; .. - mppw upload rq: обработка запроса загрузки большого объема данных. .. Для СМЭВ4-адаптера - Модуля дефрагментации чанков табличных параметров (podd-avro-defragmentator) реализованы метрики для функций: .. - assemble service verticle: обработка чанка модулем; .. - kafka input verticle: получение сообщения из топика query.tp.bin; .. - kafka output verticle: отправка сообщения в топика query.tp; .. - message store verticle: отправка чанка в хранилище. .. _tab_get_counter: .. table:: Метрики в модулях Компонента «Витрина данных» +------------------------+-------------------------------+---------------------------------+--------------------------------------------+---------------------------------------------------------------------------+ | Модуль | Сервис | Функции | Метрика | Насыщение ресурсов | +========================+===============================+=================================+============================================+===========================================================================+ | Модуль загрузки | csv-uploader | delete from table; | ``req_count_total`` - число запросов | 1. ``process_cpu_usage`` - использование процессора; | | CSV-файлов | | | по функциям; | | | | | delete multipart; | | 2. ``jvm_memory_used_bytes`` - использование памяти: | | | | | ``req_time_seconds_sum`` - время | | | | | get data by id; | обработки запроса для каждого | ``jvm_memory_used_bytes{area="heap",id="PS Survivor Space",}``; | | | | | функционального блока; | | | | | get table data; | | ``jvm_memory_used_bytes{area="heap",id="PS Old Gen",}``; | | | | | ``req_time_seconds_sum``/ | | | | | upload rest-uploader; | ``req_count_total`` - среднее время | ``jvm_memory_used_bytes{area="heap",id="PS Eden Space",}``; | | | | upsert multipart; | обработки. | | | | | | | ``jvm_memory_used_bytes{area="nonheap",id="Metaspace",}``; | | | | upsert to table; | | | | | | | | ``jvm_memory_used_bytes{area="nonheap",id="Code Cache",}``; | | | | delete multipart | | | +------------------------+-------------------------------+---------------------------------+ | ``jvm_memory_used_bytes{area="nonheap",id="Compressed Class Space",}``;| | Модуль исполнения | data-uploader | handle mppw answer; | | | | асинхронных заданий | | | | ``jvm_buffer_memory_used_bytes{id="direct",}``; | | | | send mppw tasks; | | | | | | | | ``jvm_buffer_memory_used_bytes{id="mapped",}``. | | | | upload files; | | | | | | | | | | | | prepare chunks | | | +------------------------+-------------------------------+---------------------------------+ | | | Модуль асинхронной | rest-uploader | delete data; | | | | загрузки данных из | | | | | | сторонних источников | | upload data | | | +------------------------+-------------------------------+---------------------------------+ | | | BLOB-Адаптер | blob-adapter | blob rq; | | | | | | | | | | | | blob web | | | +------------------------+-------------------------------+---------------------------------+ | | | Сервис формирования | printable-form-service | report | | | | документов | | | | | +------------------------+-------------------------------+---------------------------------+ | | | СМЭВ3-адаптер | smev3-adapter | request process | | | +------------------------+-------------------------------+---------------------------------+ | | | Сервис генерации | counter-provider | get counter | | | | уникального номера | | | | | +------------------------+-------------------------------+---------------------------------+--------------------------------------------+ | | Стандартный загрузчик | comparator | stable difference | ``req_count_total`` - число успешно | | | | | | выполненных сверок, считается от старта | | | | | correction_exception | приложения; | | | | | | | | | | | correction attempt | ``stable_difference_count`` - | | | | | | число записей в которых выявлены устойчивые| | | | | compare session | различия (подтверждены плечем сверок) с | | | | | | дифференциацией по датамарту, таблице, типу| | | | | | различия и ``compare_task_mnemonic``; | | | | | | | | | | | | ``correction_attempt_count_total`` - | | | | | | число выравнивающих загрузок в разрезе | | | | | | целевого датамарта и таблицы | | | | | | | | | | | | ``сorrection_exception_count`` - | | | | | | число исключений из выравнивания в разрезе | | | | | | целевого датамарта, таблицы и | | | | | | compare_task_mnemonic; | | | | | | | | | | | | ``req_time_seconds_sum`` - время выполнения| | | | | | задач сверки; | | | | | | | | | | | | ``correction_attempt_time_seconds_sum`` - | | | | | | время выполнения попыток выравнивания; | | | | | | | | | | | | ``req_error_count_total`` - число | | | | | | ошибочно завершенных сверок; | | | | | | | | | | | | ``correction_attempt_error_count_total`` - | | | | | | Число ошибок при выравнивающих загрузках в | | | | | | разрезе датамарта и таблицы. | | +------------------------+-------------------------------+---------------------------------+--------------------------------------------+---------------------------------------------------------------------------+