Компонент «Витрина данных»

Наименование и обозначение Компонента

Полное наименование: «Компонент «Витрина данных» Единой системы межведомственного электронного взаимодействия».

Условное обозначение: Компонент «Витрина данных».

Назначение Компонента

Национальная система управления данными (далее – НСУД) представляет собой систему, состоящую из взаимосвязанных элементов информационно-технологического, организационного, методологического, кадрового и нормативно-правового характера и обеспечивающую достижение целей и выполнение задач, обозначенных в Концепции Национальной системы управления данными, утвержденной распоряжением Правительства Российской Федерации от 3 июня 2019 года № 1189-р.

НСУД предназначена для управления информацией, содержащейся в информационных системах органов и организаций государственного сектора, а также в информационных ресурсах, созданных в целях реализации полномочий органов и организаций государственного сектора (далее – государственные данные), и для осуществления информационного обмена между Поставщиками и Получателями данных, присоединившимися к НСУД (далее – Участники НСУД).

Управление процессами информационного обмена между Участниками НСУД осуществляется средствами федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными» (далее – ФГИС «ЕИП НСУД»).

Для передачи данных между Участниками НСУД используется среда взаимодействия НСУД, состоящая из Системы межведомственного электронного взаимодействия 3.0 (далее – СМЭВ) и (или) подсистемы обеспечения доступа к данным СМЭВ (далее – СМЭВ4), обеспечивающих транспорт и процессинг данных, а также агентов СМЭВ4, устанавливаемых на стороне Участников НСУД.

Для формирования и (или) получения данных с использованием среды взаимодействия НСУД необходим комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры участника НСУД. Настоящий документ описывает применение Компонента «Витрина данных».

Компонент «Витрина данных» является частью НСУД и предназначен для загрузки публикуемых данных в отдельную БД на стороне Поставщика данных. Компонент представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.

Release Notes

• Обновления Компонента «Витрина данных»

Документация Компонента

• Техническое описание Компонента
  • 1. Общие сведения
    • 1.1. Наименование и обозначение Компонента
    • 1.2. Назначение Компонента
    • 1.3. Возможности Компонента
    • 1.4. Показатели назначения Компонента
    • 1.5. Требования к каналам связи
    • 1.6. Требования к операционным системам
    • 1.7. Требования к техническим и программным средствам
    • 1.8. Режим работы Компонента
      • 1.8.1. Штатный режим
      • 1.8.2. Сервисный режим
      • 1.8.3. Остановка
    • 1.9. Используемые языки программирования
    • 1.10. Требования к персоналу
      • 1.10.1. Требования к системному администратору
  • 2. Структура Компонента «Витрина данных»
    • 2.1. Модули Компонента «Витрина данных»
    • 2.2. Состав модулей в дистрибутиве
    • 2.3. Описание модулей Витрины данных
      • 2.3.1. Агент проверок
        • 2.3.1.1. Область применения
      • 2.3.2. Сервис генерации уникального номера (Counter-Provider)
        • 2.3.2.1. Общее описание
      • 2.3.3. Сервис формирования документов
        • 2.3.3.1. Общее описание
          • 2.3.3.1.1. Процесс обработки запроса через модуль «Сервис формирования документов»
          • 2.3.3.1.2. Общая схема взаимодействия через модуль «Сервис формирования документов»
          • 2.3.3.1.3. Примеры шаблонов
          • 2.3.3.1.4. REST запрос к сервису
      • 2.3.4. СМЭВ3-адаптер
        • 2.3.4.1. Общее описание
        • 2.3.4.2. Схема взаимодействия
      • 2.3.5. СМЭВ QL Сервер
        • 2.3.5.1. Назначение СМЭВ QL сервера
          • 2.3.5.1.1. О системе
          • 2.3.5.1.2. Цели СМЭВ QL сервера
          • 2.3.5.1.3. Задачи СМЭВ QL сервера
          • 2.3.5.1.4. Место СМЭВ QL сервера в ИТ-ландшафте
          • 2.3.5.1.5. Язык и синтаксис
          • 2.3.5.1.6. Типизация
          • 2.3.5.1.7. Моделирование данных
          • 2.3.5.1.8. Метрики
        • 2.3.5.2. Основные понятия СМЭВ QL
          • 2.3.5.2.1. Ресурс
          • 2.3.5.2.2. Машина состояний
          • 2.3.5.2.3. Базовая модель данных
          • 2.3.5.2.4. Модель данных
          • 2.3.5.2.5. Распределённый запрос
          • 2.3.5.2.6. Регламентированный СМЭВ QL запрос
        • 2.3.5.3. Функции СМЭВ QL Сервера
          • 2.3.5.3.1. Администрирование и конфигурирование
          • 2.3.5.3.2. Работа с моделями
          • 2.3.5.3.3. Работа с источниками данных
          • 2.3.5.3.4. Работа с картами машин состояний
          • 2.3.5.3.5. Обработка запроса к витрине
          • 2.3.5.3.6. Уведомления при изменении данных витрины (push-сервис)
          • 2.3.5.3.7. Работа с Регламентированными СМЭВ QL запросами
        • 2.3.5.4. Компонентная модель СМЭВ QL сервера
          • 2.3.5.4.1. Общее представление
          • 2.3.5.4.2. Схема
          • 2.3.5.4.3. Описание компонентов
      • 2.3.6. Стандартный загрузчик
        • 2.3.6.1. Общее описание
          • 2.3.6.1.1. Назначение
          • 2.3.6.1.2. Термины и определения
          • 2.3.6.1.3. Схема взаимодействия
          • 2.3.6.1.4. Ограничения и особенности работы
        • 2.3.6.2. Метаданные стандартного загрузчика
          • 2.3.6.2.1. Объекты конфигурации компонентов
          • 2.3.6.2.2. Объекты загрузки
          • 2.3.6.2.3. Объекты ФЛК
          • 2.3.6.2.4. Объекты сверки
        • 2.3.6.3. Функции стандартного загрузчика
          • 2.3.6.3.1. Загрузка данных
          • 2.3.6.3.2. Сверка данных
        • 2.3.6.4. События модуля
        • 2.3.6.5. Спецификация стандартного загрузчика
          • 2.3.6.5.1. Управление медатанными
          • 2.3.6.5.2. Загрузка данных
          • 2.3.6.5.3. Форматно-логический контроль
      • 2.3.7. BLOB-адаптер
        • 2.3.7.1. Общее описание
        • 2.3.7.2. Общая схема взаимодействия через BLOB-адаптер
        • 2.3.7.3. Взаимодействие через СМЭВ-адаптер
          • 2.3.7.3.1. Схема взаимодействия через СМЭВ-адаптер
          • 2.3.7.3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
        • 2.3.7.4. Взаимодействие через СМЭВ3-адаптер
          • 2.3.7.4.1. Схема взаимодействия через СМЭВ3-адаптер
          • 2.3.7.4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
        • 2.3.7.5. Требования к серверу BLOB-адаптера
        • 2.3.7.6. Требования к Хранилищу BLOB-объектов
        • 2.3.7.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
      • 2.3.8. CSV-Uploader
        • 2.3.8.1. Общее описание
          • 2.3.8.1.1. Взаимодействие компонентов
      • 2.3.9. DATA-Uploader - Модуль исполнения асинхронных заданий
        • 2.3.9.1. Общее описание
      • 2.3.10. ETL - Модуль загрузки/ удаления данных
      • 2.3.11. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
        • 2.3.11.1. Общее описание
        • 2.3.11.2. Проверка форматно-логического контроля
          • 2.3.11.2.1. Синхронная проверка ФЛК
          • 2.3.11.2.2. Асинхронная проверка
        • 2.3.11.3. Статусная модель
    • 2.4. Cвязи между модулями
    • 2.5. Связи с другими программами
    • 2.6. Карта портов
  • 3. Архитектура Компонента «Витрина данных»
    • 3.1. Общая архитектурная схема
    • 3.2. Общая модульная схема
    • 3.3. Схема развертывания конфигурации Лайт
    • 3.4. Алгоритм работы Компонента «Витрина данных» конфигурации Стандарт
    • 3.5. Алгоритм работы Компонента «Витрина данных» конфигурации Лайт
  • 4. Выходные данные
  • 5. Вызов и загрузка
  • 6. Приложение 1. Пример XML-файла со структурой витрины
  • 7. Термины и определения
• Руководство по установке
  • 1. Общие сведения о Компоненте
    • 1.1. Обозначение и наименование программы
    • 1.2. Назначение Компонента
    • 1.3. Возможности Компонента
    • 1.4. Операционная система
    • 1.5. Рекомендуемые технические и программные средства
      • 1.5.1. Требования к серверу Prostore
      • 1.5.2. Требования к серверу «СМЭВ3-адаптер»
      • 1.5.3. Требования к серверам модулей Компонента
    • 1.6. Модули программы
  • 2. Подготовка к установке
    • 2.1. Предварительные действия
      • 2.1.1. Установка операционной системы
      • 2.1.2. Создание пользователя datamart
        • 2.1.2.1. Создание пользователя
        • 2.1.2.2. Отключение пароля
        • 2.1.2.3. Добавление пользователя в группу администраторов
      • 2.1.3. Настройка межсетевого экрана
        • 2.1.3.1. Для РЕД ОС
        • 2.1.3.2. Для AltOS
      • 2.1.4. Отключение SELinux (только для РЕД ОС)
      • 2.1.5. Выбор часового пояса
      • 2.1.6. Установка сервиса синхронизации времени
      • 2.1.7. Настройка имен хостов (FQDN) на серверах
      • 2.1.8. Установка Java SE Development Kit 17.0.7
      • 2.1.9. Подключение к серверу через SSH-клиент PuTTY
      • 2.1.10. Создание SSH-ключей
      • 2.1.11. Копирование SSH-ключей на сервер
      • 2.1.12. Копирование архива программы
      • 2.1.13. Распаковка архива
      • 2.1.14. Установка Docker
        • 2.1.14.1. Установка Docker в РЕД ОС
        • 2.1.14.2. Установка Docker в AltOS
      • 2.1.15. Установка библиотеки python-docker-py
      • 2.1.16. Настройка логирования в Docker
      • 2.1.17. Перезапуск Docker
      • 2.1.18. Добавление пользователя в группу Docker
      • 2.1.19. Настройка Ansible
  • 3. Установка Компонента
    • 3.1. Установка Компонента «Витрина данных» конфигурации Стандарт
      • 3.1.1. Порядок установки
      • 3.1.2. Установка Prostore (dtm-query-execution-core)
      • 3.1.3. Установка СМЭВ QL Сервера
        • 3.1.3.1. Процесс установки
          • 3.1.3.1.1. Предусловия выполнения первого запуска новой версии SMEVQL
          • 3.1.3.1.2. Настройка конфигурации
          • 3.1.3.1.3. Загрузка JAR-файла на сервер
      • 3.1.4. Установка СМЭВ3-адаптера
        • 3.1.4.1. Установка модуля
          • 3.1.4.1.1. Установка КриптоПро
        • 3.1.4.2. Процесс установки
          • 3.1.4.2.1. Предусловия выполнения первого запуска новой версии модуля
          • 3.1.4.2.2. Настройка конфигурации
          • 3.1.4.2.3. Добавление папки для загрузки файлов модуля
          • 3.1.4.2.4. Загрузка файлов на сервер
          • 3.1.4.2.5. Кластеризация модуля
      • 3.1.5. Установка BLOB-адаптера
        • 3.1.5.1. Установка модуля
          • 3.1.5.1.1. Настройка конфигурации
          • 3.1.5.1.2. Добавление папки для загрузки файлов модуля
          • 3.1.5.1.3. Загрузка файлов на сервер
      • 3.1.6. Установка сервиса формирования документов
        • 3.1.6.1. Установки модуля
          • 3.1.6.1.1. Установка модуля
          • 3.1.6.1.2. Настройка конфигурации
          • 3.1.6.1.3. Добавление папки для загрузки файлов модуля
          • 3.1.6.1.4. Загрузка файлов на сервер
          • 3.1.6.1.5. Кластеризация модуля
      • 3.1.7. Установка стандартного загрузчика
        • 3.1.7.1. Процесс установки
          • 3.1.7.1.1. Предусловия выполнения первого запуска новой версии компонентов загрузчика
          • 3.1.7.1.2. Настройка конфигурации
          • 3.1.7.1.3. Загрузка JAR-файла на сервер
      • 3.1.8. Установка CSV-Uploader
        • 3.1.8.1. Процесс установки CSV-uploader
          • 3.1.8.1.1. Предусловия выполнения первого запуска новой версии модуля
          • 3.1.8.1.2. Настройка конфигурации
          • 3.1.8.1.3. Загрузка JAR-файла на сервер
      • 3.1.9. Установка DATA-uploder – Модуля исполнения асинхронных заданий
        • 3.1.9.1. Процесс установки
          • 3.1.9.1.1. Предусловия выполнения первого запуска новой версии модуля
          • 3.1.9.1.2. Настройка конфигурации
          • 3.1.9.1.3. Загрузка JAR-файла на сервер
      • 3.1.10. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
        • 3.1.10.1. Процесс установки
          • 3.1.10.1.1. Предусловия выполнения первого запуска новой версии модуля
          • 3.1.10.1.2. Настройка конфигурации
          • 3.1.10.1.3. Загрузка JAR-файла на сервер
      • 3.1.11. Установка сервиса генерации уникального номера (Counter-Provider)
        • 3.1.11.1. Процесс установки
          • 3.1.11.1.1. Предусловия выполнения первого запуска новой версии Counter-provider с персистентностью в Prostore
          • 3.1.11.1.2. Настройка конфигурации
          • 3.1.11.1.3. Загрузка JAR-файла на сервер
      • 3.1.12. Установка Агента проверок
        • 3.1.12.1. Подготовка и настройка системы для запуска Агента проверок
          • 3.1.12.1.1. Установка и подключение к Prostore
          • 3.1.12.1.2. Установка и подключение интеграционного узла адаптера
          • 3.1.12.1.3. Перечень стороннего ПО и доступов, необходимых для работы Агента проверок
      • 3.1.13. Установка коннектора Kafka-Postgres
      • 3.1.14. Установка и настройка сервиса сбора данных запросов и ответов Витрины данных
        • 3.1.14.1. Процесс установки
          • 3.1.14.1.1. Настройка логирования модулей
          • 3.1.14.1.2. Установка и настройка Vector
          • 3.1.14.1.3. Установка и настройка HaProxy
          • 3.1.14.1.4. Установка и настройка FluentBit
          • 3.1.14.1.5. Установка и настройка ClickHouse
    • 3.2. Установка Компонента «Витрина данных» конфигурации лайт
      • 3.2.1. Настройка конфигурационного файла
      • 3.2.2. Установка Компонента
    • 3.3. Установка системы мониторинга
      • 3.3.1. Установка Prometheus на Bare metal
        • 3.3.1.1. Подготовка сервера
        • 3.3.1.2. Установка Prometheus
          • 3.3.1.2.1. Загрузка
          • 3.3.1.2.2. Установка (копирование файлов)
          • 3.3.1.2.3. Назначение прав
          • 3.3.1.2.4. Запуск и проверка
          • 3.3.1.2.5. Автозапуск
      • 3.3.2. Установка Grafana на Bare metal
        • 3.3.2.1. Настройка брэндмауэра
        • 3.3.2.2. Запуск Grafana
      • 3.3.3. Установка Prometheus и Grafana в Docker
    • 3.4. Подключение к Агенту СМЭВ4
  • 4. Проверка Компонента
    • 4.1. Проверка Компонента «Витрина данных» конфигурации Стандарт
      • 4.1.1. Проверка ПО Prostore
      • 4.1.2. Проверка СМЭВ QL Сервера
        • 4.1.2.1. Проверки и валидации
      • 4.1.3. Проверка СМЭВ3-адаптера
        • 4.1.3.1. Проверка модуля
      • 4.1.4. Проверка DATA-Uploder – Модуля исполнения асинхронных заданий
        • 4.1.4.1. Проверка модуля
      • 4.1.5. Проверка REST-Uploader – Модуля асинхронной загрузки данных из сторонних источников
        • 4.1.5.1. Проверка модуля
      • 4.1.6. Проверка BLOB-адаптера
        • 4.1.6.1. Проверка модуля
      • 4.1.7. Проверка сервиса формирования документов
        • 4.1.7.1. Проверка модуля
      • 4.1.8. Проверка стандартного загрузчика
        • 4.1.8.1. Проверка модуля
      • 4.1.9. Проверка Сервиса генерации уникального номера (Counter-provider)
        • 4.1.9.1. Проверка модуля
      • 4.1.10. Проверка Агента проверок
        • 4.1.10.1. Проверка модуля
    • 4.2. Проверка Компонента «Витрина данных» конфигурации Лайт
  • 5. Обновление Компонента
    • 5.1. Обновление Компонента конфигурации «Стандарт» с версии 1.х на 2.х
      • 5.1.1. Обновление Компонента с переиспользованием прикладной БД
        • 5.1.1.1. Проверка резервной копии
        • 5.1.1.2. Подготовка служебной БД нового Prostore
        • 5.1.1.3. Остановка Компонента версии 1.х
        • 5.1.1.4. Миграция метаданных Prostore
        • 5.1.1.5. Включение Компонента версии 2.х
        • 5.1.1.6. Включение взаимодействий Компонента
        • 5.1.1.7. Заключительные действия
        • 5.1.1.8. Восстановление прежней версии Компонента
      • 5.1.2. Обновление Компонента с поднятием второй копии витрины
      • 5.1.3. Ограничения
    • 5.2. Обновление Компонента конфигурации Лайт
      • 5.2.1. Обновление с версии 1.0.0 до версии 1.0.1
        • 5.2.1.1. Резервное копирование
        • 5.2.1.2. Копирование архива с обновлением Компонента на сервер
        • 5.2.1.3. Распаковка архива с обновлением
        • 5.2.1.4. Процесс обновления Компонента
        • 5.2.1.5. Проверка обновления Компонента до версии 1.0.1
      • 5.2.2. Обновление до версии 2.5.0 и выше
        • 5.2.2.1. Резервное копирование
        • 5.2.2.2. Копирование архива с обновлением Компонента на сервер
        • 5.2.2.3. Распаковка архива с обновлением
        • 5.2.2.4. Процесс обновления Компонента
        • 5.2.2.5. Проверка обновления Компонента
  • 6. Приложение 1. Настройка firewall (Iptables)
  • 7. Приложение 2. Просмотр выполнения загрузки данных в программу
    • 7.1. Настройка подключения к базе данных
      • 7.1.1. Установка программы DBeaver
        • 7.1.1.1. Установка DBeaver для ОС Linux
        • 7.1.1.2. Установка DBeaver для ОС Windows
      • 7.1.2. Установка и настройка JDBC-драйвера
        • 7.1.2.1. Установка и настройка JDBC-драйвера для ОС Windows
        • 7.1.2.2. Подключение к базе данных
        • 7.1.2.3. Установка и настройка драйвера JDBC-драйвер для ОС Linux
        • 7.1.2.4. Подключение к базе данных
      • 7.1.3. Проверка загрузки данных в БД
      • 7.1.4. Создание тестовой БД
      • 7.1.5. Загрузка данных
  • 8. Приложение 3. Рекомендации по конфигурированию инфраструктуры Компонента «Витрина данных»
    • 8.1. Рекомендованные параметры технических средств
    • 8.2. Рекомендованные параметры программных средств
    • 8.3. Показатели производительности при использовании рекомендуемых операционных систем
      • 8.3.1. Профиль нагрузки испытаний
      • 8.3.2. Результаты тестирования конфигурации Стандарт
      • 8.3.3. Результаты тестирования конфигурации Лайт
  • 7. Термины и определения
• Руководство администратора
  • 1. Общие сведения о Компоненте
    • 1.1. Назначение Компонента
    • 1.2. Возможности Компонента
    • 1.3. Технические и программные средства
  • 2. Настройка Компонента
    • 2.1. Настройка технических средств
    • 2.2. Настройка программных средств
      • 2.2.1. Настройка Prostore (dtm-query-execution-core)
        • 2.2.1.1. Настройка Сервиса исполнения запросов )
        • 2.2.1.2. Настройка коннекторов
      • 2.2.2. Настройка Агента проверок
        • 2.2.2.1. Конфигурация Агента проверок (application.yml)
          • 2.2.2.1.1. Пример файла application.yml
        • 2.2.2.2. Параметры конфигурации
          • 2.2.2.2.1. Секция management
          • 2.2.2.2.2. Секция spring
          • 2.2.2.2.3. Секция server
          • 2.2.2.2.4. Секция adapter
          • 2.2.2.2.5. Секция dqf
          • 2.2.2.2.6. Секция nsud
          • 2.2.2.2.7. Секция agg
          • 2.2.2.2.8. Секция incident
        • 2.2.2.3. Конфигурационный файл с описанием проверяемой схемы
        • 2.2.2.4. Описание спецификации для взаимодействия с Агентом проверок
          • 2.2.2.4.1. Выполнение тестирования проверок качества данных, до их публикации и применения к витрине данных
          • 2.2.2.4.2. Прием результатов сверок и сопоставлений данных подсистемой ЕСУМД ФГИС «Моя школа»
        • 2.2.2.5. Описание служебной схемы, создаваемой Агентом проверок
          • 2.2.2.5.1. Описание таблицы dqf_{table_name}_errors
          • 2.2.2.5.2. Описание таблицы dqf_checks
          • 2.2.2.5.3. Описание таблицы aggregation
          • 2.2.2.5.4. Описание таблицы aggregation_arm_ds
          • 2.2.2.5.5. Описание таблицы child_checks
          • 2.2.2.5.6. Описание таблицы parent_checks
          • 2.2.2.5.7. Описание таблицы inc_settings
          • 2.2.2.5.8. Описание таблицы last_processed_operation
          • 2.2.2.5.9. Описание таблицы schedule_checks
          • 2.2.2.5.10. Описание таблицы smev3_adapter_pebble
          • 2.2.2.5.11. Описание таблицы smev3_adapter_receiver_scheduler
          • 2.2.2.5.12. Описание таблицы inc_rate_limiter
      • 2.2.3. Настройка Сервиса генерации уникального номера (Counter-provider)
        • 2.2.3.1. Конфигурация модуля Counter-Provider (application.yml)
        • 2.2.3.2. Пример файла application.yml
        • 2.2.3.3. Параметры конфигурации
          • 2.2.3.3.1. Секция environment
          • 2.2.3.3.2. Секция http-server
          • 2.2.3.3.3. Секция counter
          • 2.2.3.3.4. Секция zookeeper
          • 2.2.3.3.5. Секция persistence-mode
          • 2.2.3.3.6. Секция prostore-rest-client
          • 2.2.3.3.7. Секция migration
          • 2.2.3.3.8. Секция component-info
          • 2.2.3.3.9. Секция metrics
      • 2.2.4. Настройка Сервиса формирования документов
        • 2.2.4.1. Конфигурация модуля «Сервиса Формирования документов» (application.yml)
          • 2.2.4.1.1. Пример файла application.yml
        • 2.2.4.2. Параметры конфигурации
          • 2.2.4.2.1. Секция http-server
          • 2.2.4.2.2. Секция executor
          • 2.2.4.2.3. Секция prostore-rest-client
          • 2.2.4.2.4. Секция metrics
          • 2.2.4.2.5. Секция counter-service
          • 2.2.4.2.6. Секция sign-service
          • 2.2.4.2.7. Секция printable-forms
          • 2.2.4.2.8. Секция component-info
        • 2.2.4.3. Примеры pebble-шаблонов для Сервиса Формирования документов
          • 2.2.4.3.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
          • 2.2.4.3.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
          • 2.2.4.3.3. Pebble-шаблон для формирования xml-документа
          • 2.2.4.3.4. Pebble-шаблон для формирования pdf-документа
      • 2.2.5. Настройка СМЭВ3-адаптера
        • 2.2.5.1. Конфигурация СМЭВ3-адаптер (application.yml)
          • 2.2.5.1.1. Пример файла application.yml
        • 2.2.5.2. Параметры конфигурации
          • 2.2.5.2.1. Секция vertx
          • 2.2.5.2.2. Секция spring
          • 2.2.5.2.3. Секция iua
          • 2.2.5.2.4. Секция smev
          • 2.2.5.2.5. Секция receiver
          • 2.2.5.2.6. Секция persistence-mode
          • 2.2.5.2.7. Секция prostore-rest-client
          • 2.2.5.2.8. Секция prostore-persistence
          • 2.2.5.2.9. Секция environment
          • 2.2.5.2.10. Секция zookeeper
          • 2.2.5.2.11. Секция migration
          • 2.2.5.2.12. Секция paramstorage
          • 2.2.5.2.13. Секция sign
          • 2.2.5.2.14. Секция blob
          • 2.2.5.2.15. Секция rest
          • 2.2.5.2.16. Секция scheduler
          • 2.2.5.2.17. Секция pool
          • 2.2.5.2.18. Секция logging
          • 2.2.5.2.19. Секция http-server
          • 2.2.5.2.20. Секция spf
          • 2.2.5.2.21. Секция dynamic-config
          • 2.2.5.2.22. Секция component-info
      • 2.2.6. Настройка СМЭВ QL Сервера
        • 2.2.6.1. Конфигурирование сервера
          • 2.2.6.1.1. Конфигурация файла application.yml
          • 2.2.6.1.2. Конфигурация файла credentials.yml
          • 2.2.6.1.3. Общий сценарий выполнения
        • 2.2.6.2. Стейт-машина СМЭВ QL
          • 2.2.6.2.1. Конфигурирование Стейт-машины
          • 2.2.6.2.2. Удаление записи через Стейт-машину
          • 2.2.6.2.3. Передача данных без изменения статуса (статичный ивент)
          • 2.2.6.2.4. Обновление объектов через Стейт-машину
          • 2.2.6.2.5. Обогащение payload запроса дополнительными атрибутами
          • 2.2.6.2.6. Методы API Стейт-машины
          • 2.2.6.2.7. Спецификация интерфейса Стейт-машины
        • 2.2.6.3. Запросы
          • 2.2.6.3.1. Блок Credentials
          • 2.2.6.3.2. Блок Query
          • 2.2.6.3.3. Эксплуатационные запросы
          • 2.2.6.3.4. Обработка запросов
        • 2.2.6.4. Ответы
        • 2.2.6.5. Описание эндпоинтов
          • 2.2.6.5.1. GET /ping
          • 2.2.6.5.2. GET /states
          • 2.2.6.5.3. GET /states/{model}
          • 2.2.6.5.4. POST /states/{model}/{event}
          • 2.2.6.5.5. GET /model
          • 2.2.6.5.6. GET /model/{model}
          • 2.2.6.5.7. GET /model/{model}/{version}
          • 2.2.6.5.8. GET /sources
          • 2.2.6.5.9. POST /data
          • 2.2.6.5.10. GET /server/indexes/required
          • 2.2.6.5.11. GET /regulated-query
        • 2.2.6.6. Ошибки
          • 2.2.6.6.1. Базовые ошибки СМЭВ Ql
      • 2.2.7. Настройка стандартного загрузчика
        • 2.2.7.1. Конфигурация стандартного загрузчика
          • 2.2.7.1.1. Пример файла application.yml
        • 2.2.7.2. Параметры конфигурации
          • 2.2.7.2.1. Секция http-server
          • 2.2.7.2.2. Секция metrics
          • 2.2.7.2.3. Секция prostore-rest-client
          • 2.2.7.2.4. Секция spring
          • 2.2.7.2.5. Секция auth
          • 2.2.7.2.6. Секция manager
          • 2.2.7.2.7. Секция buffer
          • 2.2.7.2.8. Секция flk
          • 2.2.7.2.9. Секция uploader
          • 2.2.7.2.10. Секция comparator
          • 2.2.7.2.11. Секция deployer
          • 2.2.7.2.12. Секция dtm-facade
          • 2.2.7.2.13. Секция manager-client
          • 2.2.7.2.14. Секция buffer-client
          • 2.2.7.2.15. Секция component-info
          • 2.2.7.2.16. Секция retry
          • 2.2.7.2.17. Секция grpc
      • 2.2.8. Настройка BLOB-адаптера
        • 2.2.8.1. Конфигурация BLOB-адаптера (application.yml)
          • 2.2.8.1.1. Пример файла application.yml
        • 2.2.8.2. Параметры конфигурации
          • 2.2.8.2.1. Секция http-server
          • 2.2.8.2.2. Секция metrics
          • 2.2.8.2.3. Секция executor
          • 2.2.8.2.4. Секция blob-storage
          • 2.2.8.2.5. Секция logging
        • 2.2.8.3. Спецификация модуля «BLOB-адаптер»
      • 2.2.9. Настройка CSV-Uploader
        • 2.2.9.1. Конфигурация CSV-uploader (application.yml)
          • 2.2.9.1.1. Пример файла application.yml
        • 2.2.9.2. Параметры конфигурации
          • 2.2.9.2.1. Секция auth
          • 2.2.9.2.2. Секция http-server
          • 2.2.9.2.3. Секция file-size
          • 2.2.9.2.4. Секция environment
          • 2.2.9.2.5. Секция prostore-rest-client
          • 2.2.9.2.6. Секция spring
          • 2.2.9.2.7. Секция metadata
          • 2.2.9.2.8. Секция persistence-mode
          • 2.2.9.2.9. Секция validation
          • 2.2.9.2.10. Секция upload
          • 2.2.9.2.11. Секция uploader
          • 2.2.9.2.12. Секция csv-parser
          • 2.2.9.2.13. Секция metrics
      • 2.2.10. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
        • 2.2.10.1. Конфигурация модуля DATA-Uploader (application.yml)
          • 2.2.10.1.1. Пример файла application.yml
        • 2.2.10.2. Параметры конфигурации
          • 2.2.10.2.1. Секция http-server
          • 2.2.10.2.2. Секция persistence-mode
          • 2.2.10.2.3. Секция prostore-rest-client
          • 2.2.10.2.4. Секция redis
          • 2.2.10.2.5. Секция upload
          • 2.2.10.2.6. Секция data-storage
          • 2.2.10.2.7. Секция environment
          • 2.2.10.2.8. Секция zookeeper
          • 2.2.10.2.9. Секция csv-parser
          • 2.2.10.2.10. Секция active
          • 2.2.10.2.11. Секция delta
          • 2.2.10.2.12. Секция stream
          • 2.2.10.2.13. Секция response
          • 2.2.10.2.14. Секция component-info
          • 2.2.10.2.15. Секция metrics
      • 2.2.11. Настройка DTM-Uploader
      • 2.2.12. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
        • 2.2.12.1. Конфигурация модуля REST-Uploader (application.yml)
          • 2.2.12.1.1. Пример файла application.yml
        • 2.2.12.2. Параметры конфигурации
          • 2.2.12.2.1. Секция http-server
          • 2.2.12.2.2. Секция executor
          • 2.2.12.2.3. Секция file-size
          • 2.2.12.2.4. Секция environment
          • 2.2.12.2.5. Секция data-storage
          • 2.2.12.2.6. Секция conditions
          • 2.2.12.2.7. Секция Zookeeper
          • 2.2.12.2.8. Секция persistence-mode
          • 2.2.12.2.9. Секция prostore-rest-client
          • 2.2.12.2.10. Секция migration
          • 2.2.12.2.11. Секция response
          • 2.2.12.2.12. Секция control
          • 2.2.12.2.13. Секция redis
          • 2.2.12.2.14. Секция auth
          • 2.2.12.2.15. Секция metrics
          • 2.2.12.2.16. Секция csv-parser
          • 2.2.12.2.17. Секция component-info
          • 2.2.12.2.18. Секция retries
        • 2.2.12.3. Проверка форматно-логического контроля
          • 2.2.12.3.1. Синхронная проверка ФЛК
          • 2.2.12.3.2. Асинхронная проверка
        • 2.2.12.4. Статусная модель
        • 2.2.12.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
      • 2.2.13. Настройка сервиса журналирования
    • 2.3. Настройка сервиса мониторинга
      • 2.3.1. Предоставление источника данных
      • 2.3.2. Предоставление информационной панели
        • 2.3.2.1. Настройка конфигурационного файла Prometheus
        • 2.3.2.2. Health check
          • 2.3.2.2.1. BLOB-Adapter
          • 2.3.2.2.2. Сервис печатных форм
          • 2.3.2.2.3. СМЭВ3 адаптер
  • 3. Запуск и остановка Компонента
    • 3.1. Prostore
      • 3.1.1. Запуск Prostore
    • 3.2. Агент проверок
      • 3.2.1. Запуск модуля
        • 3.2.1.1. Состав и содержание дистрибутивного пакета
        • 3.2.1.2. Предварительные операции (установка «пре-реквизитов»)
        • 3.2.1.3. Запуск Агента проверок
        • 3.2.1.4. Настройка ротации логов (опционально)
      • 3.2.2. Остановка модуля
    • 3.3. Сервис генерации уникального номера (Counter-provider)
      • 3.3.1. Запуск модуля
      • 3.3.2. Остановка модуля
    • 3.4. Сервис формирования документов
      • 3.4.1. Запуск модуля
      • 3.4.2. Остановка модуля
    • 3.5. СМЭВ3-адаптер
      • 3.5.1. Запуск модуля
      • 3.5.2. Остановка модуля
    • 3.6. СМЭВ QL Сервер
      • 3.6.1. Быстрый старт
        • 3.6.1.1. Генераторы
          • 3.6.1.1.1. Сборка проекта
    • 3.7. Стандартный загрузчик
      • 3.7.1. Запуск модуля
      • 3.7.2. Остановка модуля
    • 3.8. BLOB-адаптер
      • 3.8.1. Запуск модуля
      • 3.8.2. Остановка модуля
    • 3.9. CSV-Uploader
      • 3.9.1. Запуск модуля
      • 3.9.2. Остановка модуля
    • 3.10. DATA-uploader – Модуль исполнения асинхронных заданий
      • 3.10.1. Запуск модуля
      • 3.10.2. Остановка модуля
    • 3.11. REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 3.11.1. Запуск модуля
      • 3.11.2. Остановка модуля
      • 3.11.3. Добавление поставщика данных
  • 4. Бекапирование Компонента «Витрина данных»
  • 5. Дополнительные возможности
    • 5.1. Дополнительные возможности конфигурации Стандарт
      • 5.1.1. Установки опциональных приложений
      • 5.1.2. Материлиазованные представления
      • 5.1.3. Маршрутизация запросов к материализованным представлениям
      • 5.1.4. Миграция из Bare metal варианта установки в Kubernetes
        • 5.1.4.1. Примеры инструкций по развертыванию Prostore в Kubernetes
    • 5.2. Дополнительные возможности конфигурации Лайт
      • 5.2.1. Логирование
      • 5.2.2. Проверка версии компонентов
  • 6. Сообщения администратору
    • 6.1. Сообщения в ходе установки и настройки Компонента
    • 6.2. Сообщения при эксплуатации Компонента
  • 7. Метрики в модулях Компонента «Витрина данных»
  • 8. Приложение 1. Эксплуатация CSV-Uploader
    • 8.1. Инструкция по эксплуатации CSV-Uploader
      • 8.1.1. Общие правила формата загружаемых CSV-файлов
      • 8.1.2. Загрузка структуры Витрины
      • 8.1.3. Выгрузка шаблона CSV
      • 8.1.4. Загрузка CSV-файла
      • 8.1.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
      • 8.1.6. Загрузка данных без подключения к Prostore
      • 8.1.7. Аутентификация
        • 8.1.7.1. Использование jwt-токена при включенной аутентификации в модуле REST-Uploader
        • 8.1.7.2. Аутентификация через Datamart studio
      • 8.1.8. Настройки CSV-uploader
        • 8.1.8.1. Автоматический запуск загрузки CSV-файлов по расписанию
        • 8.1.8.2. Настройка журнала загрузок по расписанию
      • 8.1.9. Просмотр журнала загрузок по расписанию
      • 8.1.10. Интерфейс Форматно-логического контроля
  • 9. Приложение 2. Пример XML-файла со структурой витрины
  • 7. Термины и определения

Модули Компонента

• Агент проверок
  • 1. Область применения
  • 2. Конфигурация Агента проверок (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция management
    • 3.2. Секция spring
    • 3.3. Секция server
    • 3.4. Секция adapter
    • 3.5. Секция dqf
    • 3.6. Секция nsud
    • 3.7. Секция agg
    • 3.8. Секция incident
  • 4. Конфигурационный файл с описанием проверяемой схемы
  • 5. Подготовка и настройка системы для запуска Агента проверок
    • 5.1. Установка и подключение к Prostore
    • 5.2. Установка и подключение интеграционного узла адаптера
    • 5.3. Перечень стороннего ПО и доступов, необходимых для работы Агента проверок
  • 6. Запуск модуля
    • 6.1. Состав и содержание дистрибутивного пакета
    • 6.2. Предварительные операции (установка «пре-реквизитов»)
    • 6.3. Запуск Агента проверок
    • 6.4. Настройка ротации логов (опционально)
  • 7. Остановка модуля
  • 8. Проверка модуля
• Сервис генерации уникального номера (Counter-Provider)
  • 1. Общее описание
  • 2. Конфигурация модуля Counter-Provider (application.yml)
  • 3. Пример файла application.yml
  • 4. Параметры конфигурации
    • 4.1. Секция environment
    • 4.2. Секция http-server
    • 4.3. Секция counter
    • 4.4. Секция zookeeper
    • 4.5. Секция persistence-mode
    • 4.6. Секция prostore-rest-client
    • 4.7. Секция migration
    • 4.8. Секция component-info
    • 4.9. Секция metrics
  • 5. Процесс установки
    • 5.1. Предусловия выполнения первого запуска новой версии Counter-provider с персистентностью в Prostore
    • 5.2. Настройка конфигурации
    • 5.3. Загрузка JAR-файла на сервер
  • 6. Запуск модуля
  • 7. Остановка модуля
  • 8. Проверка модуля
• Сервис Формирования документов
  • 1. Общее описание
    • 1.1. Процесс обработки запроса через модуль «Сервис формирования документов»
    • 1.2. Общая схема взаимодействия через модуль «Сервис формирования документов»
    • 1.3. Примеры шаблонов
      • 1.3.1. Шаблон extract_data.peb
      • 1.3.2. Шаблон generate_xml.peb
      • 1.3.3. Шаблон generate_pdf.peb
    • 1.4. REST запрос к сервису
  • 2. Конфигурация модуля «Сервиса Формирования документов» (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция executor
    • 3.3. Секция prostore-rest-client
    • 3.4. Секция metrics
    • 3.5. Секция counter-service
    • 3.6. Секция sign-service
    • 3.7. Секция printable-forms
    • 3.8. Секция component-info
  • 4. Примеры pebble-шаблонов для Сервиса Формирования документов
    • 4.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
    • 4.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
    • 4.3. Pebble-шаблон для формирования xml-документа
    • 4.4. Pebble-шаблон для формирования pdf-документа
  • 5. Установки модуля
    • 5.1. Установка модуля
    • 5.2. Настройка конфигурации
    • 5.3. Добавление папки для загрузки файлов модуля
    • 5.4. Загрузка файлов на сервер
    • 5.5. Кластеризация модуля
  • 6. Запуск модуля
  • 7. Остановка модуля
  • 8. Проверка модуля
• СМЭВ3-адаптер
  • 1. Общее описание
  • 2. Схема взаимодействия
  • 3. Конфигурация СМЭВ3-адаптер (application.yml)
    • 3.1. Пример файла application.yml
  • 4. Параметры конфигурации
    • 4.1. Секция vertx
    • 4.2. Секция spring
    • 4.3. Секция iua
    • 4.4. Секция smev
    • 4.5. Секция receiver
    • 4.6. Секция persistence-mode
    • 4.7. Секция prostore-rest-client
    • 4.8. Секция prostore-persistence
    • 4.9. Секция environment
    • 4.10. Секция zookeeper
    • 4.11. Секция migration
    • 4.12. Секция paramstorage
    • 4.13. Секция sign
    • 4.14. Секция blob
    • 4.15. Секция rest
    • 4.16. Секция scheduler
    • 4.17. Секция pool
    • 4.18. Секция logging
    • 4.19. Секция http-server
    • 4.20. Секция spf
    • 4.21. Секция dynamic-config
    • 4.22. Секция component-info
  • 5. Установка модуля
    • 5.1. Установка КриптоПро
  • 6. Процесс установки
    • 6.1. Предусловия выполнения первого запуска новой версии модуля
    • 6.2. Настройка конфигурации
    • 6.3. Добавление папки для загрузки файлов модуля
    • 6.4. Загрузка файлов на сервер
    • 6.5. Кластеризация модуля
  • 7. Запуск модуля
  • 8. Остановка модуля
  • 9. Проверка модуля
  • 10. Шаблоны
    • 10.1. Пример шаблона XML
    • 10.2. Пример шаблона JSON
• СМЭВ QL сервер
  • 1. Назначение СМЭВ QL сервера
    • 1.1. О системе
    • 1.2. Цели СМЭВ QL сервера
    • 1.3. Задачи СМЭВ QL сервера
    • 1.4. Место СМЭВ QL сервера в ИТ-ландшафте
    • 1.5. Язык и синтаксис
      • 1.5.1. Моделирование
      • 1.5.2. Запросы и ответы
    • 1.6. Типизация
      • 1.6.1. Типы данных в модели и приведение типов
    • 1.7. Моделирование данных
    • 1.8. Метрики
  • 2. Быстрый старт
    • 2.1. Создание и конфигурация
    • 2.2. Запуск и управление
    • 2.3. Работа с сервером
      • 2.3.1. Генераторы
    • 2.4. Сборка проекта
  • 3. Процесс установки
    • 3.1. Предусловия выполнения первого запуска новой версии SMEVQL
    • 3.2. Настройка конфигурации
    • 3.3. Загрузка JAR-файла на сервер
  • 4. Проверки и валидации
  • 5. Основные понятия СМЭВ QL
    • 5.1. Ресурс
    • 5.2. Машина состояний
    • 5.3. Базовая модель данных
    • 5.4. Модель данных
    • 5.5. Распределённый запрос
    • 5.6. Регламентированный СМЭВ QL запрос
  • 6. Функции СМЭВ QL Сервера
    • 6.1. Администрирование и конфигурирование
      • 6.1.1. Создание СМЭВ QL Сервера
      • 6.1.2. Конфигурирование СМЭВ-QL сервер
      • 6.1.3. Запуск, остановка, перезапуск приложения СМЭВ QL сервер
      • 6.1.4. OpenAPI СМЭВ-QL
        • 6.1.4.1. Общее описание
        • 6.1.4.2. Описание спецификации
        • 6.1.4.3. Обновление OpenAPI на основании изменений модели данных
      • 6.1.5. Регистрация OpenAPI СМЭВ QL в СМЭВ4
    • 6.2. Работа с моделями
      • 6.2.1. Создание базовой модели
        • 6.2.1.1. Общее описание
        • 6.2.1.2. Общий сценарий выполнения
        • 6.2.1.3. Описание базовой модели
      • 6.2.2. Генерация модели данных
        • 6.2.2.1. Общее описание
        • 6.2.2.2. Сценарий выполнения
        • 6.2.2.3. Описание модели данных
        • 6.2.2.4. Пример блока fields
        • 6.2.2.5. Пример блока resources
        • 6.2.2.6. Пример блока connections
        • 6.2.2.7. Пример блока conditions
        • 6.2.2.8. Пример блока extract
        • 6.2.2.9. Пример блока conditions
        • 6.2.2.10. Пример блока fetch
      • 6.2.3. Автоматическое создание модели данных на основе схемы БД
        • 6.2.3.1. Общее описание
        • 6.2.3.2. Сценарий выполнения
      • 6.2.4. Создание новой версии модели данных
        • 6.2.4.1. Общее описание
        • 6.2.4.2. Сценарий выполнения
      • 6.2.5. Проверка валидности модели данных
        • 6.2.5.1. Общее описание
        • 6.2.5.2. Сценарий выполнения
      • 6.2.6. Маппинг типов данных СМЭВ QL - Prostore
    • 6.3. Работа с источниками данных
      • 6.3.1. Создание модели источников
        • 6.3.1.1. Общее описание
        • 6.3.1.2. Общий сценарий выполнения
        • 6.3.1.3. Структура source.yaml
      • 6.3.2. Создание новой версии модели источников
        • 6.3.2.1. Общее описание
        • 6.3.2.2. Сценарий выполнения
      • 6.3.3. Проверка доступности источников
        • 6.3.3.1. Общее описание
        • 6.3.3.2. Сценарий выполнения
    • 6.4. Работа с картами машин состояний
      • 6.4.1. Создание карты машины-состояний
        • 6.4.1.1. Общее описание
        • 6.4.1.2. Структура карты машины состояний
        • 6.4.1.3. Сценарий выполнения
      • 6.4.2. Создание новой версии карты машины-состояний
        • 6.4.2.1. Общее описание
        • 6.4.2.2. Сценарий выполнения
    • 6.5. Обработка запроса к витрине
      • 6.5.1. Запрос получения данных из витрины (POST/data)
        • 6.5.1.1. Общее описание
      • 6.5.2. Запрос изменения данных витрины через события машины состояний (POST/states/{model}/{event})
      • 6.5.3. Обработка запроса получения данных витрины
        • 6.5.3.1. Общее описание
        • 6.5.3.2. Проверка запроса и доступов
        • 6.5.3.3. Формирование плана исполнения запроса
        • 6.5.3.4. Исполнение плана запроса
        • 6.5.3.5. Передача ответа потребителю
        • 6.5.3.6. Пример блока response
        • 6.5.3.7. Пример блока async
        • 6.5.3.8. Пример блока credentials
      • 6.5.4. Асинхронное получение данных клиентом
        • 6.5.4.1. Общее описание
        • 6.5.4.2. Передача асинхронных данных от источника в СМЭВ QL
        • 6.5.4.3. Запрос асинхронных данных потребителем
      • 6.5.5. Обработка запроса изменения данных витрины через машину состояний
        • 6.5.5.1. Общее описание
        • 6.5.5.2. Основной сценарий выполнения
        • 6.5.5.3. Альтернативное направление для событий с типом init
        • 6.5.5.4. Альтернативное направление для событий с блоком confirm
        • 6.5.5.5. Альтернативное направление при переходе в состояние delete
        • 6.5.5.6. Альтернативное направление для событий с блоком hooks
      • 6.5.6. Обработка регламентированного СМЭВ QL запроса
        • 6.5.6.1. Общее описание
        • 6.5.6.2. Алгоритм обработки запроса
    • 6.6. Уведомления при изменении данных витрины (push-сервис)
      • 6.6.1. Регистрация получателя уведомлений
        • 6.6.1.1. Общее описание
        • 6.6.1.2. Описание запроса POST/push/consumer/create
      • 6.6.2. Удаление получателя уведомлений
        • 6.6.2.1. Общее описание
        • 6.6.2.2. Сценарий выполнения
        • 6.6.2.3. Описание запроса
      • 6.6.3. Запрос списка получателей уведомлений
        • 6.6.3.1. Общее описание
        • 6.6.3.2. Сценарий выполнения
      • 6.6.4. Запрос данных об отслеживаемых ресурсах
        • 6.6.4.1. Общее описание
        • 6.6.4.2. Сценарий выполнения
      • 6.6.5. Передача уведомления при вызове события машины-состояний
        • 6.6.5.1. Общее описание
        • 6.6.5.2. Сценарий выполнения
        • 6.6.5.3. Описание формата уведомления
      • 6.6.6. Регистрация метода для получения уведомлений на стороне клиента
      • 6.6.7. Передача уведомления на основе сообщения топика Prostore
        • 6.6.7.1. Общее описание
        • 6.6.7.2. Сценарий выполнения
    • 6.7. Работа с Регламентированными СМЭВ QL запросами
      • 6.7.1. Создание СМЭВ QL РЗ
        • 6.7.1.1. Формат описания шаблона запроса
      • 6.7.2. Создание новой версии СМЭВ QL РЗ
      • 6.7.3. Проверка валидности СМЭВ QL РЗ
  • 7. Компонентная модель СМЭВ QL сервера
    • 7.1. Общее представление
    • 7.2. Схема
    • 7.3. Описание компонентов
  • 8. Конфигурирование сервера
    • 8.1. Конфигурация файла application.yml
      • 8.1.1. Секция ktor
      • 8.1.2. Секция sources
      • 8.1.3. Секция swagger
      • 8.1.4. Секция storage
      • 8.1.5. Секция access
      • 8.1.6. Секция request
      • 8.1.7. Секция delta
      • 8.1.8. Секция state
      • 8.1.9. Секция index_recommendations
      • 8.1.10. Секция standalone-tables
      • 8.1.11. Секция proxy-tables
      • 8.1.12. Секция push
      • 8.1.13. Секция agent
      • 8.1.14. Секция signature
      • 8.1.15. Секция cls
      • 8.1.16. Секция component-info
    • 8.2. Конфигурация файла credentials.yml
    • 8.3. Общий сценарий выполнения
  • 9. Стейт-машина СМЭВ QL
    • 9.1. Конфигурирование Стейт-машины
    • 9.2. Удаление записи через Стейт-машину
    • 9.3. Передача данных без изменения статуса (статичный ивент)
    • 9.4. Обновление объектов через Стейт-машину
    • 9.5. Обогащение payload запроса дополнительными атрибутами
    • 9.6. Методы API Стейт-машины
    • 9.7. Спецификация интерфейса Стейт-машины
      • 9.7.1. Выполнение операций обновления данных в витрине
      • 9.7.2. Обновление объектов через Стейт-машину
  • 10. Запросы
    • 10.1. Блок Credentials
    • 10.2. Блок Query
      • 10.2.1. Условия фильтрации Conditions
      • 10.2.2. Сортировка и пагинация
    • 10.3. Эксплуатационные запросы
    • 10.4. Обработка запросов
      • 10.4.1. Логирование мета-данных
      • 10.4.2. Исполнение плана запроса
  • 11. Ответы
  • 12. Описание эндпоинтов
    • 12.1. GET /ping
    • 12.2. GET /states
    • 12.3. GET /states/{model}
    • 12.4. POST /states/{model}/{event}
    • 12.5. GET /model
    • 12.6. GET /model/{model}
    • 12.7. GET /model/{model}/{version}
    • 12.8. GET /sources
    • 12.9. POST /data
      • 12.9.1. Правила задания условий
      • 12.9.2. Варианты определения условий фильтрации
      • 12.9.3. Подробное описание блока fetch
    • 12.10. GET /server/indexes/required
    • 12.11. GET /regulated-query
  • 13. Ошибки
    • 13.1. Базовые ошибки СМЭВ Ql
• Стандартный загрузчик - Модуль управления данными
  • 1. Общее описание
    • 1.1. Назначение
    • 1.2. Термины и определения
    • 1.3. Схема взаимодействия
    • 1.4. Ограничения и особенности работы
  • 2. Метаданные стандартного загрузчика
    • 2.1. Объекты конфигурации компонентов
      • 2.1.1. information_system
      • 2.1.2. deployer
      • 2.1.3. reader
      • 2.1.4. config
    • 2.2. Объекты загрузки
      • 2.2.1. source
      • 2.2.2. pull_task
      • 2.2.3. schedule
      • 2.2.4. session
      • 2.2.5. event
    • 2.3. Объекты ФЛК
      • 2.3.1. flk_conditions
      • 2.3.2. validation_error
    • 2.4. Объекты сверки
      • 2.4.1. compare_task
      • 2.4.2. compare_schedule
      • 2.4.3. compare_session
      • 2.4.4. compare_event
      • 2.4.5. compare_result
      • 2.4.6. stable_difference
      • 2.4.7. correction_attempt
      • 2.4.8. correction_exception
  • 3. Функции стандартного загрузчика
    • 3.1. Загрузка данных
      • 3.1.1. Алгоритм загрузки
      • 3.1.2. Статусная модель сеанса загрузки
      • 3.1.3. Форматно-догический контроль
        • 3.1.3.1. Режимы ФЛК
        • 3.1.3.2. Проверка уникальности по одному или по сочетанию полей
        • 3.1.3.3. Проверка сравнения значения с константой
        • 3.1.3.4. Проверка соответствия регулярному выражению
      • 3.1.4. Режим совместимости
    • 3.2. Сверка данных
      • 3.2.1. Алгоритм сверки
      • 3.2.2. Статусная модель Сеанса сверки
  • 4. События модуля
  • 5. Конфигурация стандартного загрузчика
    • 5.1. Пример файла application.yml
  • 6. Параметры конфигурации
    • 6.1. Секция http-server
    • 6.2. Секция metrics
    • 6.3. Секция prostore-rest-client
    • 6.4. Секция spring
    • 6.5. Секция auth
    • 6.6. Секция manager
    • 6.7. Секция buffer
    • 6.8. Секция flk
    • 6.9. Секция uploader
    • 6.10. Секция comparator
    • 6.11. Секция deployer
    • 6.12. Секция dtm-facade
    • 6.13. Секция manager-client
    • 6.14. Секция buffer-client
    • 6.15. Секция component-info
    • 6.16. Секция retry
    • 6.17. Секция grpc
  • 7. Процесс установки
    • 7.1. Предусловия выполнения первого запуска новой версии компонентов загрузчика
    • 7.2. Настройка конфигурации
    • 7.3. Загрузка JAR-файла на сервер
  • 8. Запуск модуля
  • 9. Остановка модуля
  • 10. Проверка модуля
• BLOB-адаптер
  • 1. Общее описание
  • 2. Общая схема взаимодействия через BLOB-адаптер
  • 3. Взаимодействие через СМЭВ-адаптер
    • 3.1. Схема взаимодействия через СМЭВ-адаптер
    • 3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
  • 4. Взаимодействие через СМЭВ3-адаптер
    • 4.1. Схема взаимодействия через СМЭВ3-адаптер
    • 4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
  • 5. Требования к серверу BLOB-адаптера
  • 6. Требования к Хранилищу BLOB-объектов
  • 7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
  • 8. Конфигурация BLOB-адаптера (application.yml)
    • 8.1. Пример файла application.yml
  • 9. Параметры конфигурации
    • 9.1. Секция http-server
    • 9.2. Секция metrics
    • 9.3. Секция executor
    • 9.4. Секция blob-storage
    • 9.5. Секция logging
  • 10. Установка модуля
    • 10.1. Настройка конфигурации
    • 10.2. Добавление папки для загрузки файлов модуля
    • 10.3. Загрузка файлов на сервер
  • 11. Запуск модуля
  • 12. Остановка модуля
  • 13. Проверка модуля
  • 14. Спецификация модуля «BLOB-адаптер»
• CSV-uploader
  • 1. Общее описание
    • 1.1. Взаимодействие компонентов
  • 2. Конфигурация CSV-uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция auth
    • 3.2. Секция http-server
    • 3.3. Секция file-size
    • 3.4. Секция environment
    • 3.5. Секция prostore-rest-client
    • 3.6. Секция spring
    • 3.7. Секция metadata
    • 3.8. Секция persistence-mode
    • 3.9. Секция validation
    • 3.10. Секция upload
    • 3.11. Секция uploader
    • 3.12. Секция csv-parser
    • 3.13. Секция metrics
  • 4. Процесс установки CSV-uploader
    • 4.1. Предусловия выполнения первого запуска новой версии модуля
    • 4.2. Настройка конфигурации
    • 4.3. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Инструкция по эксплуатации CSV-Uploader
    • 8.1. Общие правила формата загружаемых CSV-файлов
    • 8.2. Загрузка структуры Витрины
    • 8.3. Выгрузка шаблона CSV
    • 8.4. Загрузка CSV-файла
    • 8.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
    • 8.6. Загрузка данных без подключения к Prostore
    • 8.7. Аутентификация
      • 8.7.1. Использование jwt-токена при включенной аутентификации в модуле REST-Uploader
      • 8.7.2. Аутентификация через Datamart studio
    • 8.8. Настройки CSV-uploader
      • 8.8.1. Автоматический запуск загрузки CSV-файлов по расписанию
      • 8.8.2. Настройка журнала загрузок по расписанию
    • 8.9. Просмотр журнала загрузок по расписанию
    • 8.10. Интерфейс Форматно-логического контроля
• DATA-Uploader - Модуль исполнения асинхронных заданий
  • 1. Общее описание
  • 2. Конфигурация модуля DATA-Uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция persistence-mode
    • 3.3. Секция prostore-rest-client
    • 3.4. Секция redis
    • 3.5. Секция upload
    • 3.6. Секция data-storage
    • 3.7. Секция environment
    • 3.8. Секция zookeeper
    • 3.9. Секция csv-parser
      • 3.9.1. Дополнительное описание параметров
    • 3.10. Секция active
    • 3.11. Секция delta
    • 3.12. Секция stream
    • 3.13. Секция response
    • 3.14. Секция component-info
    • 3.15. Секция metrics
  • 4. Процесс установки
    • 4.1. Предусловия выполнения первого запуска новой версии модуля
    • 4.2. Настройка конфигурации
    • 4.3. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• DTM-Uploader - Модуль загрузки/удаления данных
  • 1. Общие положения
  • 2. Основные требования к исходным файлам
  • 3. Особенности реализации ETL
  • 4. Получение токена Рroxy API
  • 5. Загрузка и удаление данных через DTM-Uploader
    • 5.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
    • 5.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
    • 5.3. Загрузка / удаление несогласованных данных (Endpoint – data)
    • 5.4. Описание возвращаемых кодов
  • 6. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
  • 7. Работа с вложениями через S3
    • 7.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
    • 7.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
    • 7.3. Описание возвращаемых кодов
  • 8. Маппинг данных (Endpoint – generateMapping)
  • 9. Валидация данных
• REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
  • 1. Общее описание
  • 2. Конфигурация модуля REST-Uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция executor
    • 3.3. Секция file-size
    • 3.4. Секция environment
    • 3.5. Секция data-storage
    • 3.6. Секция conditions
      • 3.6.1. Режимы настройки mode
    • 3.7. Секция Zookeeper
    • 3.8. Секция persistence-mode
    • 3.9. Секция prostore-rest-client
    • 3.10. Секция migration
    • 3.11. Секция response
    • 3.12. Секция control
    • 3.13. Секция redis
    • 3.14. Секция auth
    • 3.15. Секция metrics
    • 3.16. Секция csv-parser
      • 3.16.1. Дополнительное описание параметров
    • 3.17. Секция component-info
    • 3.18. Секция retries
  • 4. Процесс установки
    • 4.1. Предусловия выполнения первого запуска новой версии модуля
    • 4.2. Настройка конфигурации
    • 4.3. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Спецификация модуля асинхронной загрузки данных из сторонних источников
  • 9. Проверка форматно-логического контроля
    • 9.1. Синхронная проверка ФЛК
    • 9.2. Асинхронная проверка
      • 9.2.1. Проверка уникальности по одному или по сочетанию полей
      • 9.2.2. Проверка соответствия заданному значению
      • 9.2.3. Поведение в случае таймаута валидации
  • 10. Статусная модель

Описание топиков

• Описание топиков
  • blob.err
  • blob.rq
  • blob.rs
  • cancel.err
  • cancel.rq
  • cancel.rs
  • delta.err
  • delta.in.err
  • delta.in.rq
  • delta.in.rs
  • delta.notification
  • delta.rq
  • delta.rs
  • procedure.query.rq
  • procedure.query.rs
  • procedure.query.err
  • query.err
  • query.estimation.rs
  • query.rq
  • query.rs
  • query.tp
  • replication.cancel.rq
  • replication.cancel.rs
  • replication.err
  • replication.in.err
  • replication.in.rq
  • replication.in.rs
  • replication.rq
  • replication.rs
  • statistics.err
  • statistics.rq
  • statistics.rs

Лицензии и библиотеки

• Сторонние лицензии и библиотеки
  • Лицензия Arenadata
  • Лицензия Kafka
  • Лицензия PostgreSQL
  • Лицензия Zookeeper
  • Data Mart
    • ОТКРЫТАЯ ГОСУДАРСТВЕННАЯ ЛИЦЕНЗИЯ
  • The 3-Clause BSD License
  • MIT License
  • COMMON DEVELOPMENT AND DISTRIBUTION LICENSE (CDDL) Version 1.0
  • Apache License, Version 2.0
  • The 2-Clause BSD License
  • Eclipse Public License - v 2.0
  • GNU LESSER GENERAL PUBLIC LICENSE, Version 2.1
  • Eclipse Public License - v 1.0

Indices and tables

• Алфавитный указатель

• Состав модуля

• Поиск