2. Настройка Компонента

2.1. Настройка технических средств

Серверы, на которых устанавливается Компонент «Витрина данных», должны соответствовать техническим характеристикам, указанным в документе «Техническое описание системы» в разделе Рекомендуемые технические и программные средства, в котором приводятся требования к серверному оборудованию (CPU, RAM, HDD и т.д.), программному обеспечению и каналам связи.

Необходимые настройки для серверов описаны в документе «Руководство по установке Компонента «Витрина данных»», в котором приводятся требования к серверам, доступности портов для каждого сервера, настройка протоколов, наличие библиотек и т.д.

2.2. Настройка программных средств

Предварительные действия необходимые перед установкой Компонента, процесс установки и проверка корректной установки Компонента описаны в документе «Руководство по установке компонента «Витрина данных»» в разделе «Подготовка к установке».

Внимание

Программные средства настраиваются в зависимости от используемой конфигурации. Состав компонентов приведен в разделе Состав модулей в дистрибутиве документа «Техническое описание компонента «Витрина данных»».

2.2.1. Настройка Prostore (dtm-query-execution-core)

2.2.1.1. Настройка Сервиса исполнения запросов )

Конфигурация инстанса сервиса исполнения запросов Prostore (dtm-query-execution-core) с описанием логики и порядка работы сервиса представляет собой текстовый YAML-файл, параметры которого организованы в древовидную структуру.

Для наглядности конфигурация сервиса исполнения запросов разделена на отдельные секции.

Пример файла конфигурации Prostore приведен в разделе Конфигурация ноды документации Prostore.

2.2.1.2. Настройка коннекторов

Следующие коннекторы требуют настройки конфигурации:

Kafka-Clickhouse writer connector;
Kafka-Postgres writer connector;
Kafka Jet writer connector.

Конфигурация коннектора представляет собой текстовый YAML-файл, параметры которого организованы в древовидную структуру.

Пример файла конфигурации коннекторов приведен в разделе Конфигурация коннекторов документации Prostore.

2.2.2. Настройка Агента проверок

2.2.2.1. Конфигурация Агента проверок (application.yml)

Файл application.yml – основной конфигурационный файл Агента проверок, в котором задана логика и порядок работы модуля:

2.2.2.1.1. Пример файла application.yml

В конфигурационном файле следует задавать только те настройки, которые необходимы для решения текущих бизнес-задач.

management:
  endpoint:
    health:
      show-details: always
  prometheus:
    metrics:
      export:
        enabled: true
  endpoints:
    web:
      exposure:
        include: health, prometheus, configprops, env
  metrics:
    tags:
      application: check-adapter-dqf
      namespace: ${POD_NAMESPACE:local}
      pod: ${POD_NAME:local}
      node_name: ${NODE_NAME:local}
spring:
  task:
    scheduling:
      pool:
        size: 5
  profiles:
    active: ${PROFILES_ACTIVE:dqf}
server:
  port: ${HTTP_PORT:3010}
adapter:
  adapterNg:
    http:
      url: http://localhost:3010/
      useAdapter: ${USE_NG_ADAPTER:true}
  podd:
    http:
      url: http://localhost:8172/
  prostore:
    jdbc:
      prostoreUrl: ${PROSTORE_JDBC_URL:jdbc:prostore://{prostore_host}:{prostore_port}/}
      driverClassName: ${PROSTORE_JDBC_DRIVER_CLASS:ru.datamart.prostore.jdbc.Driver}
    http:
      prostoreUrl: ${PROSTORE_HTTP_URL:http://{prostore_host}:{prostore_port}/}
      maxConnections: ${PROSTORE_MAX_CONNECTIONS:1000}
      fetchSize: ${PROSTORE_FETCH_SIZE:10000}
      maxInMemorySize: ${PROSTORE_MAX_IN_MEMORY_SIZE:16777216}
      concurrency: ${PROSTORE_THREAD_COUNT:16}
  webclient:
    input:
      connProvider:
        maxConnections: ${ADAPTER_QUALITY_RECORD_INPUT_MAX_CONNECTIONS:1000}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_INPUT_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_INPUT_MAX_DELAY_MS:5000}
    output:
      connProvider:
        maxConnections: ${ADAPTER_QUALITY_RECORD_OUTPUT_MAX_CONNECTIONS:1000}
        maxIdleTime: ${ADAPTER_QUALITY_RECORD_OUTPUT_MAX_IDLE_TIME:60}
        maxLifeTime: ${ADAPTER_QUALITY_RECORD_OUTPUT_MAX_LIFE_TIME:120}
        evictInBackground: ${ADAPTER_QUALITY_RECORD_OUTPUT_EVICT_IN_BACKGROUND:30}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_OUTPUT_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_OUTPUT_MAX_DELAY_MS:5000}
    execAlg:
      connProvider:
        maxConnections: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_MAX_CONNECTIONS:1000}
        maxIdleTime: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_MAX_IDLE_TIME:60}
        maxLifeTime: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_MAX_LIFE_TIME:120}
        evictInBackground: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_EVICT_IN_BACKGROUND:30}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_MAX_DELAY_MS:5000}
dqf:
  quality:
    bufferSize: 1000
    capacity:
      incomeQueue: ${DQF_QUALITY_CAPACITY_INCOME_QUEUE:1000}
      outcomeQueue: ${DQF_QUALITY_CAPACITY_INCOME_QUEUE:1000}
    threads:
      recordThreads: ${DQF_QUALITY_RECORD_THREAD_COUNT:1}
      checkThreads: ${DQF_QUALITY_CHECK_THREAD_COUNT:1}
      consumerAsyncThreads: ${DQF_QUALITY_CONSUMER_ASYNC_THREADS:16}
  schema: ${DQF_SCHEMA:reg_datamart_dqf}
nsud:
  nsudCron: ${NSUD_CRON_TASK:0 */5 * * * *}
  nsudUrlList: ${NSUD_URL_LIST:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_versions}
  nsudUrlAck: ${NSUD_URL_ACK:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_versions/activations}
  useHash: ${NSUD_USE_HASH:true}
  pebble:
    interval: ${NSUD_PEBBLE_INTERVAL:PT30s}
    idleDelay: ${NSUD_PEBBLE_IDLE_DELAY:PT1m}
    pebbleRefresh: ${NSUD_PEBBLE_REFRESH:PT5m}
  datamarts:
    - {имя основной схемы, подлежащей проверке}
agg:
  aggCron: ${AGGREGATION_CRON_TASK: 0 0 1 * * *}
  aggArmDsCron: ${AGGREGATION_ARM_DS_CRON_TASK: 0 0 1 * * *}
  aggUrl: ${AGGREGATION_URL:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_reports}
  aggArmDsStatUrl: ${AGGREGATION_DS_STAT_URL:http://{agent_host}:{agent_port}/04PV02/pmd/api/v3/data_mart_check_adapter_stats}
incident:
  limitCount: ${INC_RATE_LIMITER_COUNT:100}
  limitCron: ${INC_RATE_LIMITER_CRON:0 0 0 ? * 1}
  batchSize: ${INC_BATCH_SIZE:100}
  incUrl: ${INC_URL:http://{agent_host}:{agent_port}}/04PV02/pue/api/v3/incidents/dqf_quality_check}

2.2.2.2. Параметры конфигурации

Настройка конфигурации сервиса генерации уникального номера осуществляется путем редактирования параметров настроек в файле application.yml, где настраиваются секции:

management – настройка внутренних эндпоинтов и метрик;
spring – настройка Spring Boot и профиля работы приложения;
server – настройка использования альтернативного значения серверного порта;
adapter – настройка параметров вызова внешних сервисов;
dqf – настройка параметров передачи данных аудита гостех;
nsud – настройка взаимодействия с ЕИП НСУД;
agg – настройка плана выполнения агрегаций;
incident – настройка отправки единичных инцидентов качества.

2.2.2.2.1. Секция management

В секции management хранятся настройки внутренних эндпоинтов и метрик.

Например:

management:
  endpoint:
    health:
      show-details: always
  prometheus:
    metrics:
      export:
        enabled: true
  endpoints:
    web:
      exposure:
        include: health, prometheus, configprops, env
  metrics:
    tags:
      application: check-adapter-dqf
      namespace: ${POD_NAMESPACE:local}
      pod: ${POD_NAME:local}
      node_name: ${NODE_NAME:local}

Параметры настроек

endpoint.health.show-details - детализация статуса health;
prometheus.metrics.export.enabled - экспорт метрик Prometheus;
endpoints.web.exposure.include - список доступных HTTP-эндпоинтов;
metrics.tags.* - метки, добавляемые к метрикам.

2.2.2.2.2. Секция spring

В секции spring хранятся настройки Spring Boot и профиля работы приложения.

Например:

spring:
  task:
    scheduling:
      pool:
        size: 5
  profiles:
    active: ${PROFILES_ACTIVE:dqf}

Параметры настроек

task.scheduling.pool.size - размер пула планировщика задач Spring;
profiles.active - активные профили приложения. Для задачи проверки качества данных используется профиль dqf.

2.2.2.2.3. Секция server

В секции server хранятся настройки использования альтернативного значения серверного порта.

Существует два варианта изменения дефолтного значения номера порта:

Значение может быть передано через переменную окружения SERVER_PORT. В случае запуска приложения с помощью systemd переменную необходимо передать через указание Environment="HTTP_PORT=3010" в .service-файле.

В случае прямого запуска, переменная должна быть задана на уровне ОС на момент запуска приложения.

Возможно указать в конфигурационном файле следующую настройку:

server:
  port: ${HTTP_PORT:3010}

Параметры настроек

port - порт сервера, значение может быть изменено на нужное.

2.2.2.2.4. Секция adapter

В секции adapter хранятся настройки параметров вызова внешних сервисов.

Например:

adapter:
  adapterNg:
    http:
      url: http://localhost:3010/
      useAdapter: ${USE_NG_ADAPTER:true}
  podd:
    http:
      url: http://localhost:8172/
  prostore:
    jdbc:
      prostoreUrl: ${PROSTORE_JDBC_URL:jdbc:prostore://{prostore_host}:{prostore_port}/}
      driverClassName: ${PROSTORE_JDBC_DRIVER_CLASS:ru.datamart.prostore.jdbc.Driver}
    http:
      prostoreUrl: ${PROSTORE_HTTP_URL:http://{prostore_host}:{prostore_port}/}
      maxConnections: ${PROSTORE_MAX_CONNECTIONS:1000}
    fetchSize: ${PROSTORE_FETCH_SIZE:10000}
    maxInMemorySize: ${PROSTORE_MAX_IN_MEMORY_SIZE:16777216}
    concurrency: ${PROSTORE_THREAD_COUNT:16}
  webclient:
    input:
      connProvider:
        maxConnections: ${DQF_QUALITY_RECORD_INPUT_MAX_CONNECTIONS:1000}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_INPUT_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_INPUT_MAX_DELAY_MS:5000}
    output:
      connProvider:
        maxConnections: ${DQF_QUALITY_RECORD_OUTPUT_MAX_CONNECTIONS:1000}
        maxIdleTime: ${DQF_QUALITY_RECORD_OUTPUT_MAX_IDLE_TIME:60}
        maxLifeTime: ${DQF_QUALITY_RECORD_OUTPUT_MAX_LIFE_TIME:120}
        evictInBackground: ${DQF_QUALITY_RECORD_OUTPUT_EVICT_IN_BACKGROUND:30}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_OUTPUT_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_OUTPUT_MAX_DELAY_MS:5000}
    execAlg:
      connProvider:
        maxConnections: ${DQF_QUALITY_RECORD_EXEC_ALG_MAX_CONNECTIONS:1000}
        maxIdleTime: ${DQF_QUALITY_RECORD_EXEC_ALG_MAX_IDLE_TIME:60}
        maxLifeTime: ${DQF_QUALITY_RECORD_EXEC_ALG_MAX_LIFE_TIME:120}
        evictInBackground: ${DQF_QUALITY_RECORD_EXEC_ALG_EVICT_IN_BACKGROUND:30}
      retry:
        initialDelayMs: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_INITIAL_DELAY_MS:1000}
        maxDelayMs: ${ADAPTER_QUALITY_RECORD_EXEC_ALG_MAX_DELAY_MS:5000}

Параметры настроек

adapterNg.http.url - URL сервиса ИУА;
adapterNg.http. useAdapter - используется ли ИУА для взаимодействия со СМЭВ 3;
podd.http.url - URL сервиса Агент СМЭВ 4, необходимо указывать порт для взаимодействия именно через Rest-api (по умолчанию в Агенте СМЭВ 4 8172);
prostore.jdbc.* - JDBC-параметры подключения к Prostore;
prostore.http.* - HTTP-параметры подключения к Prostore;
fetchSize - количество записей, получаемых при поточной выборке из компонента Prostore;
pormaxInMemorySizet - буферизация данных в памяти для кодеков webclient;
concurrency - количество потоков трансфорирующих данные, после извлечения;
webclient.input.connProvider.maxConnections - максимальное число одновременно открытых соединений в пуле;
webclient.input.retry.initialDelayMs - начальное время паузы перед выполнением новой попытки вызова при получении ошибки;
webclient.input.retry.maxDelayMs - конечное время паузы перед выполнением новой попытки вызова при получении ошибки;
webclient.output.connProvider.maxIdleTime - максимальное время ожидания без активности для одного соединения;
webclient.output.connProvider.maxLifeTime - общее время жизни соединения от момента его создания;
webclient.output.connProvider.evictInBackground - интервал, с которым фоновой задачей будет выполняться проверка и удаления истекших (idle/expired) соединений;
webclient.output.retry.initialDelayMs - начальное время паузы перед выполнением новой попытки вызова при получении ошибки;
webclient.output.retry.maxDelayMs - конечное время паузы перед выполнением новой попытки вызова при получении ошибки;
webclient.execAlg.connProvider.maxConnections - максимальное число одновременно открытых соединений в пуле;
webclient.execAlg.connProvider. maxIdleTime - максимальное время ожидания без активности для одного соединения;
webclient.execAlg.connProvider.maxLifeTime - общее время жизни соединения от момента его создания;
webclient.execAlg.connProvider.evictInBackground - интервал, с которым фоновой задачей будет выполняться проверка и удаления истекших (idle/expired) соединений;
powebclient. execAlg.retry.initialDelayMsrt - начальное время паузы перед выполнением новой попытки вызова при получении ошибки;
webclient.execAlg.retry.maxDelayMs - конечное время паузы перед выполнением новой попытки вызова при получении ошибки.

2.2.2.2.5. Секция dqf

В секции dqf хранятся настройки параметров передачи данных аудита гостех.

Например:

dqf:
  quality:
    bufferSize: 1000
    capacity:
      incomeQueue: ${DQF_QUALITY_CAPACITY_INCOME_QUEUE:1000}
      outcomeQueue: ${DQF_QUALITY_CAPACITY_INCOME_QUEUE:1000}
    threads:
      recordThreads: ${DQF_QUALITY_RECORD_THREAD_COUNT:1}
      checkThreads: ${DQF_QUALITY_CHECK_THREAD_COUNT:1}
      consumerAsyncThreads: ${DQF_QUALITY_CONSUMER_ASYNC_THREADS:16}
  schema: ${DQF_SCHEMA:reg_datamart_dqf}

Параметры настроек

bufferSize - размер внутреннего пакета обработки;
incomeQueue - размер внутренней очереди извлечения данных;
outcomeQueue - размер очереди на отправку в ПО Prostore;
recordThreads - количество тредов на получение списка идентификаторов;
checkThreads - количество тредов на проверку полученых данных;
consumerAsyncThreads - количество тредов на извлечение данных из внутренней очереди;
schema - наименование служебной схемы (формируется по шаблону: {имя_основной_схемы}_dqf).

2.2.2.2.6. Секция nsud

В секции nsud хранятся настройки взаимодействия с ЕИП НСУД.

Например:

nsud:
  nsudCron: ${NSUD_CRON_TASK:0 */5 * * * *}
  nsudUrlList: ${NSUD_URL_LIST:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_versions}
  nsudUrlAck: ${NSUD_URL_ACK:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_versions/activations}
  useHash: ${NSUD_USE_HASH:true}
  pebble:
    interval: ${NSUD_PEBBLE_INTERVAL:PT30s}
    idleDelay: ${NSUD_PEBBLE_IDLE_DELAY:PT1m}
    pebbleRefresh: ${NSUD_PEBBLE_REFRESH:PT5m}
  datamarts:
    - {имя основной схемы, подлежащей проверке}

Параметры настроек

nsudCron - периодичность получения списка проверок;
nsudUrlList - адрес для получения списка проверок качества данных (необходимо указывать порт для взаимодействия именно через REST API (по умолчанию в Агенте СМЭВ 4 8172));
nsudUrlAck - адрес подтверждения применения проверок качества данных (необходимо указывать порт для взаимодействия именно через REST API (по умолчанию в Агенте СМЭВ 4 8172));
useHash - порт веб-сервера, например: HTTP_PORT:9000.

2.2.2.2.7. Секция agg

В секции agg хранятся настройки плана выполнения агрегаций.

Например:

agg:
  aggCron: ${AGGREGATION_CRON_TASK: 0 0 1 * * *}
  aggArmDsCron: ${AGGREGATION_ARM_DS_CRON_TASK: 0 0 1 * * *}
  aggUrl: ${AGGREGATION_URL:http://{agent_host}:{agent_port}/04PV02/pkch/api/v3/dqf_check_reports}
  aggArmDsStatUrl: ${AGGREGATION_DS_STAT_URL:http://{agent_host}:{agent_port}/04PV02/pmd/api/v3/data_mart_check_adapter_stats}

Параметры настроек

aggCron - периодичность запуска подсчета агрегированной статистики для передачи в ЕИП НСУД (рекомендуется устанавливать 1 раз в день);
aggArmDsCron - периодичность запуска подсчета агрегированной статистики для отображений виджета ТПО УД (рекомендуется устанавливать 1 раз в день);
aggUrl - адрес отправки агрегированной статистики в ЕИП НСУД (необходимо указывать порт для взаимодействия именно через REST API (по умолчанию в Агенте СМЭВ 4 8172));
aggArmDsStatUrl - адрес отправки агрегированной статистики в разрезе таблиц в ЕИП НСУД (необходимо указывать порт для взаимодействия именно через Rest-api (по умолчанию в Агенте СМЭВ 4 8172)).

2.2.2.2.8. Секция incident

В секции incident хранятся настройки отправки единичных инцидентов качества.

Например:

incident:
  batchSize: ${INC_BATCH_SIZE:100}
  incUrl: ${INC_URL:http://{agent_host}:{agent_port}}/04PV02/pue/api/v3/incidents/dqf_quality_check}

Параметры настроек

batchSiz - размер пакета, передаваемого за раз в ЕИП НСУД;
incUrl - адрес для передачи единичных инцидентов в ЕИП НСУД;
aggUrl - адрес отправки агрегированной статистики в ЕИП НСУД (необходимо указывать порт для взаимодействия именно через REST API (по умолчанию в Агенте СМЭВ 4 8172)).

2.2.2.3. Конфигурационный файл с описанием проверяемой схемы

Агенту проверок, для построения внутренней модели со связями таблиц, необходим файл с описанием проверяемой схемы и связей таблиц внутри этой схемы в формате приведенном ниже:

CREATE TABLE vehicle.owners (
  id            UUID        NOT NULL,
  name          VARCHAR(255) NOT NULL,
  birthdate     DATE         NULL,
  PRIMARY KEY (id)
);

CREATE TABLE vehicle.cars (
  id            UUID        NOT NULL,
  owner_id      UUID        NOT NULL,
  model         VARCHAR(255) NOT NULL,
  manufacture_year INTEGER    NULL,
  PRIMARY KEY (id)
);

CREATE TABLE vehicle.repairs (
  id            UUID        NOT NULL,
  car_id        UUID        NOT NULL,
  owner_id      UUID        NOT NULL,
  repair_date   DATE        NOT NULL,
  description   TEXT        NULL,
  PRIMARY KEY (id)
);

-- Foreign key constraints
ALTER TABLE vehicle.cars
  ADD CONSTRAINT fk_cars_owner
    FOREIGN KEY (owner_id)
    REFERENCES vehicle.owners(id);

ALTER TABLE vehicle.repairs
  ADD CONSTRAINT fk_repairs_car
    FOREIGN KEY (car_id)
    REFERENCES vehicle.cars(id);

ALTER TABLE vehicle.repairs
  ADD CONSTRAINT fk_repairs_owner
    FOREIGN KEY (owner_id)
    REFERENCES vehicle.owners(id);

Имя файла необходимо формировать по формату {имя проверяемой схемы}.sql в данном случае vehicle.sql.

2.2.2.4. Описание спецификации для взаимодействия с Агентом проверок

2.2.2.4.1. Выполнение тестирования проверок качества данных, до их публикации и применения к витрине данных

URL сервиса: http://localhost/dqf/quality-checks

Описание сервиса

openapi: 3.0.1
info:
  title: Quality Check API
  version: 1.0.0

# Добавлен базовый путь /dqf
servers:
  - url: /dqf
      description: Base path for DQF Quality Check API

paths:
  /quality-checks:
    post:
      summary: Тестирование проверки качества
      requestBody:
        required: true
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/SimpleQualityCheckRequest'
      responses:
        '200':
          description: Успешный ответ (или ошибка логики запроса)
          content:
            application/json:
              schema:
                  $ref: '#/components/schemas/QualityCheckResponse'
              examples:
                success:
                  summary: Проверка прошла успешно
                  value:
                    id: 1
                    status: success
                    code: "200"
                    description: Тестирование успешно пройдено
                ProstoreError:
                  summary: Ошибка при выполнении SQL-запроса
                  value:
                    id: 1
                    status: error
                    code: "ProstoreError"
                    description: Датамарт не найден
                yamlError:
                  summary: Ошибка при разборе yaml выражения
                  value:
                    id: 1
                    status: error
                    code: "yamlError"
                    description: Ошибка в строке 5
        '400':
          description: Ошибка в запросе
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/QualityCheckResponse'
              examples:
                badRequestError:
                  summary: Ошибка при разборе входящего тела сообщения
                  value:
                    id: 1
                    status: error
                    code: "badRequestError"
                    description: Отсутствует обязательный элемент yaml_schema
        '500':
          description: Внутренняя ошибка сервера
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/QualityCheckResponse'
              examples:
                internalServerError:
                  summary: Внутренняя ошибка сервера
                  value:
                    id: 1
                    status: error
                    code: "internalServerError"
                    description: Возникла внутренняя ошибка при тестировании проверки качества

components:
  schemas:
    SimpleQualityCheckRequest:
      type: object
      properties:
        id:
        type: integer
      dqf_check_template_mnemonic:
        type: string
        enum:
          - CheckValuePlenum
          - CheckValueCorrect
          - CheckValueConsistency
      yaml_schema:
        type: string
      data_mart_version:
        type: object
        properties:
          id:
            type: integer
          mnemonic:
            type: string
          code:
            type: string
        required:
          - id
          - mnemonic
          - code
      data_mart_table_tech_name:
        type: string
      data_mart_attributes:
        type: array
        items:
          type: object
          properties:
            id:
              type: integer
            name:
              type: string
            tech_name:
              type: string
          required:
            - id
            - name
            - tech_name
      required:
        - id
        - dqf_check_template_mnemonic
        - yaml_schema
        - data_mart_version
        - data_mart_table_tech_name
        - data_mart_attributes

    QualityCheckResponse:
      type: object
      properties:
        id:
          type: integer
        status:
          type: string
          enum:
            - success
            - error
        code:
          type: string
          description:
            type: string
      required:
          - id
          - status
          - code
          - description

2.2.2.4.2. Прием результатов сверок и сопоставлений данных подсистемой ЕСУМД ФГИС «Моя школа»

URL сервиса: http://localhost/api/v1/incidents/upload

Описание сервиса

openapi: 3.0.0
info:
  title: Students API
  version: 1.0.0
servers:
  - url: /api/v1/incidents
    description: Base path for incident operations

paths:
  /upload:
    post:
      summary: Создание или обновление записей об инцидентах студентов
      requestBody:
        required: true
        content:
          application/json:
            schema:
              $ref: '#/components/schemas/IncidentUploadRequest'
      responses:
        '200':
          description: Успешное создание или обновление записей студентов
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/UploadResponse'
              examples:
                success:
                  summary: Сообщение об успешной отправке
                  value:
                    message: "Messages sent successfully"

components:
  schemas:
    UploadResponse:
      type: object
      properties:
        message:
          type: string
          description: Сообщение-подтверждение успешной операции (включает количество обработанных записей)
      required:
        - message

    IncidentUploadRequest:
      type: array
      items:
        $ref: '#/components/schemas/IncidentRecord'
      description: Массив объектов с данными об инцидентах студентов

    IncidentRecord:
      type: object
      required:
        - checked_at
        - identifier
        - version
        - table
        - datamart
        - algorithmId
        - errors
      properties:
        checked_at:
          type: integer
          description: Метка времени UTC в миллисекундах
        identifier:
          $ref: '#/components/schemas/Identifier'
          description: Объект с одним ключом, указывающим источник идентификатора (pk для СМЭВ-3 или cardId для ЕСУМД)
        version:
          type: integer
          description: CN (номер изменения) исходной записи
        table:
          type: string
          description: Имя исходной таблицы
        datamart:
          type: string
          description: Имя исходного датамарта
        algorithmId:
          type: integer
          description: Идентификатор алгоритма проверки качества
        errors:
          type: array
          description: Список ошибок, выявленных алгоритмом
          items:
              $ref: '#/components/schemas/ErrorItem'

    Identifier:
      type: object
      oneOf:
        - $ref: '#/components/schemas/IdentifierPK'
        - $ref: '#/components/schemas/IdentifierCardId'
      description: Тип идентификатора, выбирается один из вариантов ниже

    IdentifierPK:
      type: object
      required:
        - pk
      properties:
        pk:
          type: string
          description: Значение идентификатора из СМЭВ-3

    IdentifierCardId:
      type: object
      required:
        - cardId
      properties:
        cardId:
          type: string
          description: Значение идентификатора из ЕСУМД

    ErrorItem:
      type: object
      required:
        - code
        - description
      properties:
        code:
          type: string
          description: Код ошибки, возвращённый алгоритмом проверки
        description:
          type: object
          description: Отображение имён полей на значения, которые не прошли валидацию

2.2.2.5. Описание служебной схемы, создаваемой Агентом проверок

При первом старте Агент проверок создает для корректной работы служебную схему с именем, указанном в конфигурационном файле application.yaml:

dqf:
  schema: ${DQF_SCHEMA:{имя_основной_схемы}_dqf}

2.2.2.5.1. Описание таблицы dqf_{table_name}_errors

Datamart name: Исходный datamart пользователя.

Datamart table: dqf_{table_name}_errors.

Тип таблицы: proxy.

Таблица 2.54 Таблица для хранения результатов проверок
PK	Поле	Тип	Описание	Примечание
true	dqf_id	VARCHAR	Уникальный идентификатор записи
	dqf_version	BIGINT	Идентификатор операции записи (cn), в рамках которой, в исходную таблицу поступила версия записи
	{field_name_1}	{field_type_1}	Первичный ключ строки из исходной таблицы	Число строк в таблице результатов проверок зависит от числа строк, входящих в первичный ключ исходной таблицы, подлежащей проверке
	{field_name_2}	{field_type_2}
	{field_name_N}	{field_type_N}
	dqf_pk_hash	VARCHAR	Хешированные значения первичных ключей исходной таблицы
	dqf_checked_at	TIMESTAMP	Время, в которое выполнялась проверка
	dqf_algorithm_id	BIGINT	Алгоритм, по которому выполнялась проверка
	dqf_code	VARCHAR	Код ошибки
	dqf_description	VARCHAR	Исходное поле и его значение, не прошедшие проверку

2.2.2.5.2. Описание таблицы dqf_checks

Datamart name: Исходный datamart пользователя.

Datamart table: dqf_checks.

Тип таблицы: proxy.

Таблица 2.55 Таблица для хранения последнего проверенного идентификатора записи
PK	Поле	Тип	Описание
true	datamart_table	VARCHAR	Имя datamart
	algorithm_id	BIGINT	Алгоритм, по которому выполнялась проверка
	last_cn	BIGINT	Последний проверенный идентификатор операции записи (cn) из исходной таблицы