11. Метрики стандартного загрузчика

Таблица 11.1 Метки, используемые в метриках стандартного загрузчика

Название метки	Описание	Возможные значения
service	Наименование модуля	standard-loader-metrics
exported_service	Наименование сервиса модуля	buffer; comparator; deployer; flk; manager; reader; uploader.
function	Функция сервиса	Для сервиса Manager: assignment - функция делегирования Сеансов (общая); assignment FLK - функция делегирования Сеансов сервису ФЛК; assignment reader- функция делегирования Сеансов сервису Reader; assignment uploader- функция делегирования Сеансов сервису Uploader; register component - функция регистрации компонентов; deployment - функция отправки списков компонентов для развертывания; reassignment - функция возврата Сеансов в очередь после потери исполняющего сервиса; register deployer - функция регистрации Deployer; reset assignment - функция переназначения Сеансов; revert session - функция возврата Сеанса в предыдущее состояние; scheduling - функция обработки Расписаний; scheduling wait - функция ожидания завершения предыдущих Сеансов по Расписанию; session management - функция управления Сеансами. Для сервиса Deployer: register deployer - функция регистрации Deployer; start - функция развертывания сервисов; stop - функция остановки сервисов; update - функция обновления сервисов. Для сервиса Reader: register component - функция регистрации сервиса; dequeue - функция запроса Сеанса; session receiving - функция получения Сеанса; row - подсчет прочитанных строк; byte - подсчет объема прочитанных данных. Для сервиса Buffer: register component - функция регистрации сервиса; chunk receiving - функция получения чанков данных. Для сервиса FLK: register component - функция регистрации сервиса; dequeue - функция запроса Сеанса; session receiving - функция получения Сеанса; data control - функция контроля данных. row - подсчет проверенных строк;м byte - подсчет объема проверенных данных. Для сервиса Uploader: session process - функция обработки Сеансов; register component - функция регистрации сервиса; file read operation - функция чтения из Buffer; stream operation - функция записи в потоковом режиме; llw operation - функция записи в режиме llw; row - подсчет загруженных строк; byte - подсчет объема загруженных данных. Для сервиса Comparator: compare session - функция сверки; register component - функция регистрации сервиса.
quantile	Квантиль для метрики	0.5; 0.75; 0.95.
status_code	Код статуса Сеанса загрузки	100 «Новый»; 101 «Ридер назначен»; 102 «Буферизация»; 105 «Ожидание контроля»; 106 «Контроль (ФЛК)»; 107 «Ожидание загрузки»; 108 «Загрузка»; 109 «Ожидание закрытия дельты»; 300 «Успешно обработан»; 301 «Ошибка обработки»; 302 «Ошибки контроля»; 303 «Отменен».
datamart	Датамарт, для которого рассчитана метрика	Выбирается из списка прикладных датамартов текущей Витрины данных.
table	Таблица, для которой рассчитана метрика	Выбирается из списка таблиц прикладного датамарта, указанного в метке datamart.
action_type	Выполняемое действие	upsert - загрузка или обновление данных; delete - логическое удаление: truncate - удаление данных, включая исторические; modify - совмещение загрузки и логического удаления.
mode	Результат для подсчета строк или объема данных	Для сервиса Reader: read success - успешно прочитано; synchron check fail - ошибка на этапе синхронных проверок (неверный формат); -technical fail - технологические ошибки (внутренние технические ошибки сервисов). Для сервиса FLK: check - проверено ФЛК. Для сервиса Uploader: upload success - успешно загружено; technical fail - технологические ошибки (внутренние технические ошибки сервисов).

Таблица 11.2 Метрики сервиса Manager

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «manager» function= «register component»	Число операций регистраций (подключений) экземпляров сервисов к менеджеру, каждое обращение любого компонента за регистрацией на менеджере учитывается в этой метрике.
	service= «standard-loader-metrics» exported_service= «manager» function= «register deployer»	Число операций регистраций (подключений) экземпляров Deployer к менеджеру, каждое обращение любого из деплоеров за регистрацией на менеджере учитывается в этой метрике.
	service= «standard-loader-metrics» exported_service= «manager» function= «deployment»	Число операций формирования списков сервисов для разворачивания.
	service= «standard-loader-metrics» exported_service= «manager» function= «reset assignment»	Число операций возврата Сеансов в очередь после потери исполняющего сервиса, в рамках одной операции анализируются все зависшие сеансы.
	service= «standard-loader-metrics» exported_service= «manager» function= «revert session»	Число возвращенных на предыдущий статус Сеансов (после потери исполняющего сервиса).
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling»	Число операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling wait»	Число операций ожидания, пока предыдущие сеансы завершатся, в рамках операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment reader»	Число операций делегирования Сеансов Reader.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment FLK»	Число операций делегирования Сеансов ФЛК.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment uploader»	Число операций делегирования Сеансов Uploader.
	service= «standard-loader-metrics» exported_service= «manager» function= «reset assignment»	Число операций возврата Сеансов в очередь после потери исполняющего сервиса, в рамках одной операции анализируются все зависшие сеансы. Аналог метрики req_count_total {service= «standard-loader-metrics», exported_service= «manager», function= «reset assignment»}
object_count	service= «standard-loader-metrics» exported_service= «manager» function= «session management» status_code= «<status_code>» datamart= «<datamart>» table= «<table>»	Число Сеансов загрузки в разрезе: Код статуса / Датамарт / Таблица. Обновлять с конфигурируемым периодом, по умолчанию 1 минута.
schedule_active	exported_service= «manager» function= «scheduling» datamart= «<datamart>» table= «<table>»	Число активных Расписаний в разрезе датамарт / таблица. Обновлять с периодом из конфига, по умолчанию 1 минута.
object_processed_total	service= «standard-loader-metrics» exported_service= «manager» function= «session management» status_code= «<status_code>» datamart= «<datamart>» table= «<table>»	Счетчик числа Сеансов загрузки, переведенных в определенный статус.
req_error_count_total	service= «standard-loader-metrics» exported_service= «manager» function= «register component»	Число ошибок регистрации (подключения) экземпляров сервисов.
	service= «standard-loader-metrics» exported_service= «manager» function= «register deployer»	Число ошибок регистрации (подключения) экземпляров Deployer.
	service= «standard-loader-metrics» exported_service= «manager» function= «deployment»	Число ошибок отправки списков сервисов для разворачивания.
	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling»	Число ошибок создания Сеансов по расписанию (в т.ч. пропуска и откладывания).
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment»	Число ошибок операций делегирования Сеансов.
	service= «standard-loader-metrics» exported_service= «manager» function= «reassignment»	Число ошибок возврата Сеансов в очередь после потери исполняющего сервиса.
req_time_seconds	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling» quantile= «0.95»	Время выполнения операций формирования Сеансов по расписанию для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling wait» quantile= «0.95»	Время ожидания, пока предыдущие сеансы завершатся, в рамках операций формирования Сеансов по расписанию для заданного квантиля запросов
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment reader» quantile= «0.95»	Время выполнения операций делегирования Сеансов Reader для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment FLK» quantile= «0.95»	Время выполнения операций делегирования Сеансов ФЛК для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment uploader» quantile= «0.95»	Время выполнения операций делегирования Сеансов Uploader для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «manager» function= «reset assignment» quantile= «0.95»	Время выполнения операций возврата Сеансов в очередь после потери исполняющего сервиса, в рамках одной операции анализируются все зависшие сеансы для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling»	Максимальное время выполнения операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling wait»	Максимальное время ожидания, пока предыдущие сеансы завершатся, в рамках операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment reader»	Максимальное Время выполнения операций делегирования Сеансов Reader.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment FLK»	Максимальное Время выполнения операций делегирования Сеансов ФЛК.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment uploader»	Максимальное Время выполнения операций делегирования Сеансов Uploader.
	service= «standard-loader-metrics» exported_service= «manager» function= «reset assignment»	Максимальное Время выполнения операций возврата Сеансов в очередь после потери исполняющего компонента, в рамках одной операции анализируются все зависшие сеансы.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling»	Суммарное время выполнения операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «scheduling wait»	Суммарное время ожидания, пока предыдущие сеансы завершатся, в рамках операций формирования Сеансов по расписанию.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment reader»	Суммарное время выполнения операций делегирования Сеансов Reader.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment FLK»	Суммарное время выполнения операций делегирования Сеансов ФЛК.
	service= «standard-loader-metrics» exported_service= «manager» function= «assignment uploader»	Суммарное время выполнения операций делегирования Сеансов Uploader.
	service= «standard-loader-metrics» exported_service= «manager» function= «reset assignment»	Суммарное время выполнения операций возврата Сеансов в очередь после потери исполняющего компонента, в рамках одной операции анализируются все зависшие сеансы.

Таблица 11.3 Метрики сервиса Deployer

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «deployer» function= «register deployer»	Число операций регистрации Deployer.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «deployer» function= «update»	Число операций обновления сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «start»	Число операций разворачивания сервисов
	service= «standard-loader-metrics» exported_service= «deployer» function= «stop»	Число операций остановки сервисов.
req_error_count_total	service= «standard-loader-metrics» exported_service= «deployer» function= «register deployer»	Число ошибок регистрации Deployer.
	service= «standard-loader-metrics» exported_service= «deployer» function= «update»	Число ошибок обновления сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «start»	Число ошибок разворачивания сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «stop»	Число ошибок остановки сервисов.
req_time_seconds	service= «standard-loader-metrics» exported_service= «deployer» function= «update» quantile= «0.95»	Время выполнения операций обновления сервисов для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «start» quantile= «0.95»	Время выполнения операций разворачивания сервисов для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «stop» quantile= «0.95»	Время выполнения операций остановки сервисов для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «deployer» function= «update»	Максимальное время выполнения операций обновления сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «start»	Максимальное время выполнения операций разворачивания сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «stop»	Максимальное время выполнения операций остановки сервисов.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «deployer» function= «update»	Суммарное время выполнения операций обновления сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «start»	Суммарное время выполнения операций разворачивания сервисов.
	service= «standard-loader-metrics» exported_service= «deployer» function= «stop»	Суммарное время выполнения операций остановки сервисов.

Таблица 11.4 Метрики сервиса Reader

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «reader» function= «register component»	Число операций регистрации сервиса.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving»	Число полученных от Manager Сеансов.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «reader» function= «dequeue»	Число вызовов операций запроса Сеанса у менеджера.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving»	Число полученных от Manager Сеансов. Аналог метрики req_count_total {service= «standard-loader-metrics», exported_service= «reader», function= «session receiving»}.
req_error_count_total	service= «standard-loader-metrics» exported_service= «reader» function= «dequeue»	Число ошибок запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving»	Число ошибок парсинга полей Сеанса.
reader_total	service= «standard-loader-metrics» exported_service= «reader» function= «row» datamart= «<datamart>» table= «<table>» action_type = «upsert/delete/truncate/modify» mode= «read success/synchron check fail/ technical fail»	Число прочитанных строк.
	service= «standard-loader-metrics» exported_service= «reader» function= «byte» datamart= «<datamart>» table= «<table>» action_type = «upsert/delete/truncate/modify»	Объем прочитанных данных в байтах
req_time_seconds	service= «standard-loader-metrics» exported_service= «reader» function= «dequeue» quantile= «0.95»	Время выполнения операций запроса Сеанса для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving» quantile= «0.95»	Время выполнения операций получения Сеанса для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «reader» function= «dequeue»	Максимальное время выполнения операций запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving»	Максимальное время выполнения операций получения Сеанса.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «reader» function= «dequeue»	Суммарное время выполнения операций запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «reader» function= «session receiving»	Суммарное время выполнения операций получения Сеанса.

Таблица 11.5 Метрики сервиса Buffer

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «buffer» function= «register component»	Число операций регистрации сервиса.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «buffer» function= «chunk receiving»	Число операций получения и записи чанков в файловое хранилище.
req_error_count_total	service= «standard-loader-metrics» exported_service= «buffer» function= «chunk receiving»	Число ошибок получения и записи чанков в файловое хранилище.
req_time_seconds	service= «standard-loader-metrics» exported_service= «buffer» function= «chunk receiving» quantile= «0.95»	Время выполнения операций получения и записи чанков в файловое хранилище для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «buffer» function= «chunk receiving»	Максимальное время выполнения операций получения и записи чанков в файловое хранилище.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «buffer» function= «chunk receiving»	Суммарное время выполнения операций получения и записи чанков в файловое хранилище.

Таблица 11.6 Метрики сервиса FLK

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «flk» function= «register component»	Число операций регистрации компонента.
	service= «standard-loader-metrics» exported_service= «flk» function= «session receiving»	Число операций получения Сеанса.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «flk» function= «dequeue»	Число операций запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «flk» function= «data control»	Число операций проверки данных Сеанса.
req_error_count_total	service= «standard-loader-metrics» exported_service= «flk» function= «dequeue»	Число ошибок запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «flk» function= «data control»	Число ошибок проверки данных Сеанса.
flk_total	service= «standard-loader-metrics» exported_service= «flk» function= «row» datamart= «<datamart>» table= «<table>» mode= «check»	Число проверенных строк
	service= «standard-loader-metrics» exported_service= «flk» function= «byte» datamart= «<datamart>» table= «<table>» mode= «check»	Объем проверенных данных в байтах
req_time_seconds	service= «standard-loader-metrics» exported_service= «flk» function= «dequeue» quantile= «0.95»	Время выполнения операций запроса Сеанса для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «flk» function= «data control» quantile= «0.95»	Время выполнения проверки данных Сеанса для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «flk» function= «dequeue»	Максимальное время выполнения операций запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «flk» function= «data control»	Максимальное время выполнения проверки данных Сеанса.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «flk» function= «dequeue»	Суммарное время выполнения операций запроса Сеанса.
	service= «standard-loader-metrics» exported_service= «flk» function= «data control»	Суммарное время выполнения проверки данных Сеанса.

Таблица 11.7 Метрики сервиса Uploader

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «uploader» function= «session process»	Число сеансов, поступивших в обработку.
	service= «standard-loader-metrics» exported_service= «uploader» function= «register component»	Число операций регистрации сервиса.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «uploader» function= «file read operation»	Число операций чтения из файлового хранилища.
	service= «standard-loader-metrics» exported_service= «uploader» function= «stream operation»	Число операций потоковой загрузки в Prostore.
	service= «standard-loader-metrics» exported_service= «uploader» function= «session process «	Число сеансов, поступивших в обработку. Аналог метрики req_count_total {service= «standard-loader-metrics», exported_service= «uploader», function= «session process»}.
req_error_count_total	service= «standard-loader-metrics» exported_service= «uploader» function= «session process»	Число ошибок обработки Сеансов загрузки.
	service= «standard-loader-metrics» exported_service= «uploader» function= «file read operation»	Число ошибок при выполнении операций чтения из Buffer.
	service= «standard-loader-metrics» exported_service= «uploader» function= «stream operation»	Число ошибок выполнения потоковой загрузки в Prostore.
	service= «standard-loader-metrics» exported_service= «uploader» function= «llw operation»	Число ошибок выполнения llw загрузок в Prostore.
uploader_total	service= «standard-loader-metrics» exported_service= «uploader» function= «row» datamart= «<datamart>» table= «<table>» action_type= «upsert/delete/truncate/modify» mode= «upload success/technical fail»	Число проверенных строк.
	service= «standard-loader-metrics» exported_service= «uploader» function= «byte» datamart= «<datamart>» table= «<table>» action_type= «upsert/delete/truncate/modify» mode= «upload success/technical fail»	Объем загруженных данных в байтах.
req_time_seconds	service= «standard-loader-metrics» exported_service= «uploader» function= «session process» quantile= «0.95»	Время обработки Сеансов загрузки для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «uploader» function= «file read operation» quantile= «0.95»	Время операций чтения из Buffer для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «uploader» function= «stream operation» quantile= «0.95»	Время выполнения операций потоковой загрузки в Prostore для заданного квантиля запросов.
	service= «standard-loader-metrics» exported_service= «uploader» function= «llw operation» quantile= «0.95»	Время выполнения llw загрузок в Prostore для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «uploader» function= «session process»	Максимальное время обработки Сеансов загрузки.
	service= «standard-loader-metrics» exported_service= «uploader» function= «file read operation»	Максимальное время операций чтения из Buffer.
	service= «standard-loader-metrics» exported_service= «uploader» function= «stream operation»	Максимальное время выполнения потоковой загрузки в Prostore.
	service= «standard-loader-metrics» exported_service= «uploader» function= «llw operation»	Максимальное время выполнения llw загрузок в Prostore.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «uploader» function= «session process»	Суммарное время обработки Сеансов загрузки.
	service= «standard-loader-metrics» exported_service= «uploader» function= «file read operation»	Суммарное время операций чтения из Buffer.
	service= «standard-loader-metrics» exported_service= «uploader» function= «stream operation»	Суммарное время выполнения потоковой загрузки в Prostore.
	service= «standard-loader-metrics» exported_service= «uploader» function= «llw operation»	Суммарное время выполнения llw загрузок в Prostore.

Таблица 11.8 Метрики сервиса Comparator

Метрика	Метки	Описание
req_count_total	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session»	Число успешно выполненных сверок.
	service= «standard-loader-metrics» exported_service= «comparator» function= «register component»	Число операций регистрации сервиса.
req_time_seconds_count	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session»	Число успешно выполненных сверок. Аналог метрики req_count_total {service= «standard-loader-metrics», exported_service= «comparator», function= «compare session»}.
req_error_count_total	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session»	Число ошибочно завершенных сверок.
req_time_seconds	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session» quantile= «0.95»	Время выполнения задач сверки для заданного квантиля запросов.
req_time_seconds_max	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session»	Максимальное время выполнения задач сверки.
req_time_seconds_sum	service= «standard-loader-metrics» exported_service= «comparator» function= «compare session»	Суммарное время выполнения задач сверки.