Техническое описание программы

Содержание

• 1. Общие сведения
  • 1.1. Обозначение и наименование программы
  • 1.2. Назначение программы
  • 1.3. Возможности программы
  • 1.4. Показатели назначения программы
  • 1.5. Требования к каналам связи
  • 1.6. Режим работы программы
    • 1.6.1. Штатный режим
    • 1.6.2. Сервисный режим
    • 1.6.3. Аварийный режим
    • 1.6.4. Остановка
  • 1.7. Используемые языки программирования
  • 1.8. Требования к персоналу
    • 1.8.1. Требования к системному администратору
    • 1.8.2. Требования к программисту
• 2. Структура Витрины данных
  • 2.1. Составные части Витрины данных
  • 2.2. Состав компонентов в дистрибутиве
  • 2.3. Cвязи между компонентами
  • 2.4. Модули Витрины данных
    • 2.4.1. CSV-Uploader
      • 2.4.1.1. Общее описание
        • 2.4.1.1.1. Общая схема взаимодействия через CSV-uploader
    • 2.4.2. DATA-Uploader – Модуль исполнения асинхронных заданий
      • 2.4.2.1. Общее описание
    • 2.4.3. REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 2.4.3.1. Общее описание
      • 2.4.3.2. Проверка форматно-логического контроля
        • 2.4.3.2.1. Синхронная проверка ФЛК
        • 2.4.3.2.2. Асинхронная проверка
          • 2.4.3.2.2.1. Проверка уникальности по одному или по сочетанию полей
          • 2.4.3.2.2.2. Проверка соответствия заданному значению
          • 2.4.3.2.2.3. Поведение в случае таймаута валидации
      • 2.4.3.3. Статусная модель
    • 2.4.4. BLOB-адаптер
      • 2.4.4.1. Общее описание
      • 2.4.4.2. Общая схема взаимодействия через BLOB-адаптер
      • 2.4.4.3. Взаимодействие через СМЭВ-адаптер
        • 2.4.4.3.1. Схема взаимодействия через СМЭВ-адаптер
        • 2.4.4.3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
      • 2.4.4.4. Взаимодействие через СМЭВ3-адаптер
        • 2.4.4.4.1. Схема взаимодействия через СМЭВ3-адаптер
        • 2.4.4.4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
      • 2.4.4.5. Требования к серверу BLOB-адаптера
      • 2.4.4.6. Требования к Хранилищу BLOB-объектов
      • 2.4.4.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
    • 2.4.5. Сервис формирования документов
      • 2.4.5.1. Общее описание
        • 2.4.5.1.1. Процесс обработки запроса через модуль «Сервис Формирования документов»
        • 2.4.5.1.2. Общая схема взаимодействия через Сервис формирования документов
        • 2.4.5.1.3. Примеры шаблонов
          • 2.4.5.1.3.1. Шаблон extract_data.peb
          • 2.4.5.1.3.2. Шаблон generate_xml.peb
          • 2.4.5.1.3.3. Шаблон generate_pdf.peb
        • 2.4.5.1.4. REST запрос к сервису
    • 2.4.6. СМЭВ QL Сервер
      • 2.4.6.1. Назначение СМЭВ QL сервера
        • 2.4.6.1.1. О системе
        • 2.4.6.1.2. Цели СМЭВ QL сервера
        • 2.4.6.1.3. Задачи СМЭВ QL сервера
        • 2.4.6.1.4. Место СМЭВ QL сервера в ИТ-ландшафте
        • 2.4.6.1.5. Язык и синтаксис
          • 2.4.6.1.5.1. Моделирование
          • 2.4.6.1.5.2. Запросы и ответы
        • 2.4.6.1.6. Типизация
          • 2.4.6.1.6.1. Типы данных в модели и приведение типов
        • 2.4.6.1.7. Моделирование данных
        • 2.4.6.1.8. Метрики
    • 2.4.7. СМЭВ3-адаптер
      • 2.4.7.1. Общее описание
      • 2.4.7.2. Схема взаимодействия
    • 2.4.8. Сервис генерации уникального номера (Counter-Provider)
      • 2.4.8.1. Общее описание
    • 2.4.9. ETL - Модуль загрузки/ удаления данных
  • 2.5. Связи с другими программами
  • 2.6. Карта портов
• 3. Архитектура Витрины данных
  • 3.1. Общая архитектурная схема
  • 3.2. Общая компонентная схема
  • 3.3. Схема развертывания конфигурации Лайт
  • 3.4. Алгоритм работы Витрины данных конфигурации Стандарт
  • 3.5. Описание логической структуры конфигурации Лайт
• 4. Входные и выходные данные
  • 4.1. Входные данные
  • 4.2. Выходные данные
• 5. Вызов и загрузка
• 1. Приложение 1. Пример XML-файла со структурой витрины
• 6. Термины и определения

Руководство по установке

Содержание

• 1. Общие сведения о программе
  • 1.1. Обозначение и наименование программы
  • 1.2. Назначение программы
  • 1.3. Возможности программы
  • 1.4. Операционная система
  • 1.5. Рекомендуемые технические и программные средства
  • 1.6. Компоненты программы
• 2. Подготовка к установке
  • 2.1. Предварительные действия
    • 2.1.1. Установка операционной системы
    • 2.1.2. Создание пользователя datamart
      • 2.1.2.1. Создание пользователя
      • 2.1.2.2. Отключение пароля
      • 2.1.2.3. Добавление пользователя в группу администраторов
    • 2.1.3. Настройка межсетевого экрана
      • 2.1.3.1. Для CentOS и RedOS
      • 2.1.3.2. Для AltOS
    • 2.1.4. Отключение SELinux (только для CentOS)
    • 2.1.5. Выбор часового пояса
    • 2.1.6. Установка сервиса синхронизации времени
    • 2.1.7. Настройка имен хостов (FQDN) на серверах
    • 2.1.8. Установка Java SE Development Kit 17.0.7
    • 2.1.9. Подключение к серверу через SSH-клиент PuTTY
    • 2.1.10. Создание SSH-ключей
    • 2.1.11. Копирование SSH-ключей на сервер
    • 2.1.12. Копирование архива программы
    • 2.1.13. Распаковка архива
    • 2.1.14. Установка Docker
      • 2.1.14.1. Установка Docker в CentOS
      • 2.1.14.2. Установка Docker в RedOS
      • 2.1.14.3. Установка Docker в AltOS
    • 2.1.15. Установка библиотеки python-docker-py
    • 2.1.16. Настройка логирования в Docker
    • 2.1.17. Перезапуск Docker
    • 2.1.18. Добавление пользователя в группу docker
    • 2.1.19. Настройка Ansible
• 3. Требования к серверам конфигурации Стандарт
  • 3.1. Требования к серверу Prostore
  • 3.2. Требования к серверу Arenadata Cluster Manager (ADCM)
  • 3.3. Требования к серверу «СМЭВ3-адаптер»
  • 3.4. Требования к сервису «Агент СМЭВ4»
  • 3.5. Требования к серверу «ETL»
• 4. Установка программы
  • 4.1. Установка ПО конфигурации Стандарт
    • 4.1.1. Порядок установки
    • 4.1.2. Установка ПО Prostore
    • 4.1.3. Установка СМЭВ QL Сервера
      • 4.1.3.1. Процесс установки
        • 4.1.3.1.1. Настройка конфигурации
        • 4.1.3.1.2. Загрузка JAR-файла на сервер
    • 4.1.4. Установка СМЭВ3-адаптера
      • 4.1.4.1. Установка модуля
        • 4.1.4.1.1. Установка КриптоПро
      • 4.1.4.2. Процесс установки
        • 4.1.4.2.1. Настройка конфигурации
        • 4.1.4.2.2. Добавление папки для загрузки файлов модуля
        • 4.1.4.2.3. Загрузка файлов на сервер
        • 4.1.4.2.4. Кластеризация модуля
    • 4.1.5. Установка DATA-uploder – Модуля исполнения асинхронных заданий
      • 4.1.5.1. Процесс установки
        • 4.1.5.1.1. Настройка конфигурации
        • 4.1.5.1.2. Загрузка JAR-файла на сервер
    • 4.1.6. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
      • 4.1.6.1. Процесс установки
        • 4.1.6.1.1. Настройка конфигурации
        • 4.1.6.1.2. Загрузка JAR-файла на сервер
    • 4.1.7. Установка BLOB-адаптера
      • 4.1.7.1. Установка модуля
        • 4.1.7.1.1. Настройка конфигурации
        • 4.1.7.1.2. Добавление папки для загрузки файлов модуля
        • 4.1.7.1.3. Загрузка файлов на сервер
    • 4.1.8. Установка Сервиса формирования документов
      • 4.1.8.1. Установки модуля
        • 4.1.8.1.1. Установка модуля
        • 4.1.8.1.2. Настройка конфигурации
        • 4.1.8.1.3. Добавление папки для загрузки файлов модуля
        • 4.1.8.1.4. Загрузка файлов на сервер
        • 4.1.8.1.5. Кластеризация модуля
    • 4.1.9. Загрузка и удаление данных через ETL
      • 4.1.9.1. Общее описание
        • 4.1.9.1.1. Общие положения
      • 4.1.9.2. Особенности реализации
        • 4.1.9.2.1. Основные требования к исходным файлам
        • 4.1.9.2.2. Особенности реализации ETL
        • 4.1.9.2.3. Получение токена Рroxy API
      • 4.1.9.3. Загрузка / удаление данных
        • 4.1.9.3.1. Загрузка/ удаление данных
          • 4.1.9.3.1.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
          • 4.1.9.3.1.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
          • 4.1.9.3.1.3. Загрузка / удаление несогласованных данных (Endpoint – data)
          • 4.1.9.3.1.4. Описание возвращаемых кодов
      • 4.1.9.4. Проверка статусной информации по загрузке
      • 4.1.9.5. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
      • 4.1.9.6. Работа с вложениями через S3
        • 4.1.9.6.1. Работа с вложениями через S3
          • 4.1.9.6.1.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
          • 4.1.9.6.1.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
          • 4.1.9.6.1.3. Описание возвращаемых кодов
      • 4.1.9.7. Маппинг данных
        • 4.1.9.7.1. Маппинг данных (Endpoint – generateMapping)
      • 4.1.9.8. Валидация данных
        • 4.1.9.8.1. Валидация данных
    • 4.1.10. Установка Apache Airflow
      • 4.1.10.1. Подготовка конфигурации
      • 4.1.10.2. Установка Apache Airflow
    • 4.1.11. Установка Apache Spark
      • 4.1.11.1. Подготовка конфигурации
      • 4.1.11.2. Установка
    • 4.1.12. Установка Apache Hadoop
      • 4.1.12.1. Подготовка конфигурации
      • 4.1.12.2. Процесс установки
    • 4.1.13. Установка Tarantool (Vinyl)
      • 4.1.13.1. Подготовка конфигурации
      • 4.1.13.2. Процесс установки
    • 4.1.14. Установка CSV-Uploader
      • 4.1.14.1. Процесс установки CSV-uploader
        • 4.1.14.1.1. Настройка конфигурации
        • 4.1.14.1.2. Загрузка JAR-файла на сервер
    • 4.1.15. Установка Counter-provider
      • 4.1.15.1. Процесс установки
        • 4.1.15.1.1. Настройка конфигурации
        • 4.1.15.1.2. Загрузка JAR-файла на сервер
    • 4.1.16. Установка Arenadata Cluster Manager (ADCM)
    • 4.1.17. Установка компонента сбора данных запросов и ответов Витрины данных
      • 4.1.17.1. Процесс установки
        • 4.1.17.1.1. Настройка логирования модулей
        • 4.1.17.1.2. Установка и настройка Vector
        • 4.1.17.1.3. Установка и настройка HaProxy
        • 4.1.17.1.4. Установка и настройка FluentBit
          • 4.1.17.1.4.1. Включение / выключение отправки сообщений в СЦЛ
        • 4.1.17.1.5. Установка и настройка ClickHouse
  • 4.2. Установка ПО конфигурации лайт
    • 4.2.1. Настройка конфигурационного файла
    • 4.2.2. Установка программы
  • 4.3. Установка системы мониторинга
    • 4.3.1. Установка Prometheus на Bare metal
      • 4.3.1.1. Подготовка сервера
      • 4.3.1.2. Установка Prometheus
        • 4.3.1.2.1. Загрузка
        • 4.3.1.2.2. Установка (копирование файлов)
        • 4.3.1.2.3. Назначение прав
        • 4.3.1.2.4. Запуск и проверка
        • 4.3.1.2.5. Автозапуск
    • 4.3.2. Установка Grafana на Bare metal
      • 4.3.2.1. Настройка брэндмауэра
      • 4.3.2.2. Запуск Grafana
    • 4.3.3. Установка Prometheus и Grafana в Docker
  • 4.4. Подключение к Агенту СМЭВ4
• 5. Проверка программы
  • 5.1. Проверка ПО конфигурации Стандарт
    • 5.1.1. Проверка Arenadata Cluster Manager (ADCM)
    • 5.1.2. Проверка ProStore
    • 5.1.3. Проверка СМЭВ QL Сервера
      • 5.1.3.1. Проверки и валидации
    • 5.1.4. Проверка СМЭВ3-адаптера
      • 5.1.4.1. Проверка модуля
    • 5.1.5. Проверка DATA-Uploder – Модуля исполнения асинхронных заданий
      • 5.1.5.1. Проверка модуля
    • 5.1.6. Проверка REST-Uploader – Модуля асинхронной загрузки данных из сторонних источников
      • 5.1.6.1. Проверка модуля
    • 5.1.7. Проверка BLOB-адаптера
      • 5.1.7.1. Проверка модуля
    • 5.1.8. Проверка Сервиса формирования документов
      • 5.1.8.1. Проверка модуля
    • 5.1.9. Проверка ETL
      • 5.1.9.1. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
      • 5.1.9.2. Проверка Apache Airflow
      • 5.1.9.3. Проверка Apache Spark
      • 5.1.9.4. Проверка Apache Hadoop
      • 5.1.9.5. Проверка Tarantool(Vinyl)
    • 5.1.10. Проверка Counter-provider - Сервиса генерации уникального номера
      • 5.1.10.1. Проверка модуля
  • 5.2. Проверка ПО конфигурации Лайт
• 6. Обновление программы
  • 6.1. Обновление ПО конфигурации Стандарт
  • 6.2. Обновление ПО конфигурации Лайт
    • 6.2.1. Обновление с версии 1.0.0 до версии 1.0.1
      • 6.2.1.1. Резервное копирование
      • 6.2.1.2. Копирование архива с обновлением программы на сервер
      • 6.2.1.3. Распаковка архива с обновлением
      • 6.2.1.4. Процесс обновления программы
      • 6.2.1.5. Проверка обновления программы до версии 1.0.1
    • 6.2.2. Обновление с версии 1.0.1 до версии выше
      • 6.2.2.1. Резервное копирование
      • 6.2.2.2. Копирование архива с обновлением программы на сервер
      • 6.2.2.3. Распаковка архива с обновлением
      • 6.2.2.4. Процесс обновления программы
      • 6.2.2.5. Проверка обновления программы
• 7. Приложение 1. Настройка firewall (Iptables)
• 8. Приложение 2. Просмотр выполнения загрузки данных в программу
  • 8.1. Настройка подключения к базе данных
    • 8.1.1. Установка программы DBeaver
      • 8.1.1.1. Установка DBeaver для ОС Linux
      • 8.1.1.2. Установка DBeaver для ОС Windows
    • 8.1.2. Установка и настройка JDBC-драйвера
      • 8.1.2.1. Установка и настройка JDBC-драйвера для ОС Windows
      • 8.1.2.2. Подключение к базе данных
      • 8.1.2.3. Установка и настройка драйвера JDBC-драйвер для ОС Linux
      • 8.1.2.4. Подключение к базе данных
    • 8.1.3. Проверка загрузки данных в БД
    • 8.1.4. Создание тестовой БД
    • 8.1.5. Загрузка данных
• 9. Приложение 3. Рекомендации по конфигурированию инфраструктуры Типового «ПО Витрина данных»
  • 9.1. Рекомендованные параметры технических средств
  • 9.2. Рекомендованные параметры программных средств
  • 9.3. Показатели производительности при использовании рекомендуемых операционных систем
    • 9.3.1. Профиль нагрузки испытаний
    • 9.3.2. Результаты тестирования конфигурации Стандарт
    • 9.3.3. Результаты тестирования конфигурации Лайт
• 6. Термины и определения

Руководство администратора

Содержание

• 1. Общие сведения о программе
  • 1.1. Назначение программы
  • 1.2. Возможности программы
  • 1.3. Технические и программные средства
• 2. Настройка программы
  • 2.1. Настройка технических средств
  • 2.2. Настройка программных средств
    • 2.2.1. Настройка ProStore
      • 2.2.1.1. Настройка Сервиса исполнения запросов (query-execution)
      • 2.2.1.2. Настройка коннекторов
    • 2.2.2. Настройка СМЭВ QL Сервера
      • 2.2.2.1. Конфигурирование сервера
        • 2.2.2.1.1. Конфигурация файла application.yml
          • 2.2.2.1.1.1. Секция ktor
          • 2.2.2.1.1.2. Секция sources
          • 2.2.2.1.1.3. Секция models
          • 2.2.2.1.1.4. Секция states
          • 2.2.2.1.1.5. Секция swagger
          • 2.2.2.1.1.6. Секция storage
          • 2.2.2.1.1.7. Секция access
          • 2.2.2.1.1.8. Секция request
          • 2.2.2.1.1.9. Секция delta
          • 2.2.2.1.1.10. Секция state
          • 2.2.2.1.1.11. Секция index_recommendations
          • 2.2.2.1.1.12. Секция standalone-tables
          • 2.2.2.1.1.13. Секция proxy-tables
          • 2.2.2.1.1.14. Секция push
          • 2.2.2.1.1.15. Секция storage-queue
          • 2.2.2.1.1.16. Секция agent
          • 2.2.2.1.1.17. Секция signature
          • 2.2.2.1.1.18. Секция cls
          • 2.2.2.1.1.19. Секция component-info
        • 2.2.2.1.2. Конфигурация файла credentials.yml
        • 2.2.2.1.3. Общий сценарий выполнения
    • 2.2.3. Настройка СМЭВ3-адаптера
      • 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
        • 2.2.3.1.1. Пример файла application.yml
      • 2.2.3.2. Параметры конфигурации
        • 2.2.3.2.1. Секция vertx
        • 2.2.3.2.2. Секция spring
        • 2.2.3.2.3. Секция iua
        • 2.2.3.2.4. Секция smev
        • 2.2.3.2.5. Секция receiver
        • 2.2.3.2.6. Секция persistence-mode
        • 2.2.3.2.7. Секция prostore-rest-client
        • 2.2.3.2.8. Секция prostore-persistence
        • 2.2.3.2.9. Секция environment
        • 2.2.3.2.10. Секция zookeeper
        • 2.2.3.2.11. Секция migration
        • 2.2.3.2.12. Секция paramstorage
        • 2.2.3.2.13. Секция deltastorage
        • 2.2.3.2.14. Секция sign
        • 2.2.3.2.15. Секция blob
        • 2.2.3.2.16. Секция rest
        • 2.2.3.2.17. Секция scheduler
        • 2.2.3.2.18. Секция pool
        • 2.2.3.2.19. Секция logging
        • 2.2.3.2.20. Секция http-server
        • 2.2.3.2.21. Секция backup
        • 2.2.3.2.22. Секция spf
        • 2.2.3.2.23. Секция dynamic-config
        • 2.2.3.2.24. Секция component-info
    • 2.2.4. Настройка CSV-Uploader
      • 2.2.4.1. Конфигурация CSV-uploader (application.yml)
        • 2.2.4.1.1. Пример файла application.yml
      • 2.2.4.2. Параметры конфигурации
        • 2.2.4.2.1. Секция http-server
        • 2.2.4.2.2. Секция file-size
        • 2.2.4.2.3. Секция logging.level
        • 2.2.4.2.4. Секция environment
        • 2.2.4.2.5. Секция prostore-rest-client
        • 2.2.4.2.6. Секция validation
        • 2.2.4.2.7. Секция upload
        • 2.2.4.2.8. Секция csv-parser
        • 2.2.4.2.9. Секция metrics
        • 2.2.4.2.10. Секция backup
    • 2.2.5. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
      • 2.2.5.1. Конфигурация модуля DATA-Uploader (application.yml)
        • 2.2.5.1.1. Пример файла application.yml
      • 2.2.5.2. Параметры конфигурации
        • 2.2.5.2.1. Секция http-server
        • 2.2.5.2.2. Секция persistence-mode
        • 2.2.5.2.3. Секция prostore-rest-client
        • 2.2.5.2.4. Секция redis
        • 2.2.5.2.5. Секция upload
        • 2.2.5.2.6. Секция data-storage
        • 2.2.5.2.7. Секция environment
        • 2.2.5.2.8. Секция zookeeper
        • 2.2.5.2.9. Секция csv-parser
        • 2.2.5.2.10. Секция active
        • 2.2.5.2.11. Секция delta
        • 2.2.5.2.12. Секция stream
        • 2.2.5.2.13. Секция response
        • 2.2.5.2.14. Секция component-info
        • 2.2.5.2.15. Секция metrics
    • 2.2.6. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 2.2.6.1. Конфигурация модуля REST-Uploader (application.yml)
        • 2.2.6.1.1. Пример файла application.yml
      • 2.2.6.2. Параметры конфигурации
        • 2.2.6.2.1. Секция http-server
        • 2.2.6.2.2. Секция executor
        • 2.2.6.2.3. Секция file-size
        • 2.2.6.2.4. Секция environment
        • 2.2.6.2.5. Секция data-storage
        • 2.2.6.2.6. Секция conditions
        • 2.2.6.2.7. Секция zookeeper
        • 2.2.6.2.8. Секция persistence-mode
        • 2.2.6.2.9. Секция prostore-rest-client
        • 2.2.6.2.10. Секция response
        • 2.2.6.2.11. Секция control
        • 2.2.6.2.12. Секция redis
        • 2.2.6.2.13. Секция auth
        • 2.2.6.2.14. Секция metrics
        • 2.2.6.2.15. Секция csv-parser
        • 2.2.6.2.16. Секция transform
        • 2.2.6.2.17. Секция backup
        • 2.2.6.2.18. Секция component-info
      • 2.2.6.3. Проверка форматно-логического контроля
        • 2.2.6.3.1. Синхронная проверка ФЛК
        • 2.2.6.3.2. Асинхронная проверка
          • 2.2.6.3.2.1. Проверка уникальности по одному или по сочетанию полей
          • 2.2.6.3.2.2. Проверка соответствия заданному значению
          • 2.2.6.3.2.3. Поведение в случае таймаута валидации
      • 2.2.6.4. Статусная модель
      • 2.2.6.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
    • 2.2.7. Настройка BLOB-адаптера
      • 2.2.7.1. Конфигурация BLOB-адаптера (application.yml)
        • 2.2.7.1.1. Пример файла application.yml
      • 2.2.7.2. Параметры конфигурации
        • 2.2.7.2.1. Секция http-server
        • 2.2.7.2.2. Секция executor
        • 2.2.7.2.3. Секция vertx
        • 2.2.7.2.4. Секция blob
        • 2.2.7.2.5. Секция logging
        • 2.2.7.2.6. Секция prostore-rest-client
        • 2.2.7.2.7. Секция component-info
        • 2.2.7.2.8. Секция metrics
    • 2.2.8. Настройка Сервиса формирования документов
      • 2.2.8.1. Конфигурация Сервиса Формирования документов (application.yml)
        • 2.2.8.1.1. Пример файла application.yml
      • 2.2.8.2. Параметры конфигурации
        • 2.2.8.2.1. Секция http-server
        • 2.2.8.2.2. Секция executor
        • 2.2.8.2.3. Секция prostore-rest-client
        • 2.2.8.2.4. Секция metrics
        • 2.2.8.2.5. Секция counter-service
        • 2.2.8.2.6. Секция sign-service
        • 2.2.8.2.7. Секция notarius
        • 2.2.8.2.8. Секция printable-forms
        • 2.2.8.2.9. Секция component-info
      • 2.2.8.3. Примеры pebble-шаблонов для Сервиса Формирования документов
        • 2.2.8.3.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
        • 2.2.8.3.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
        • 2.2.8.3.3. Pebble-шаблон для формирования xml-документа
        • 2.2.8.3.4. Pebble-шаблон для формирования pdf-документа
    • 2.2.9. Настройка Counter-provider – Сервиса генерации уникального номера
      • 2.2.9.1. Конфигурация модуля Counter-Provider (application.yml)
      • 2.2.9.2. Пример файла application.yml
      • 2.2.9.3. Параметры конфигурации
        • 2.2.9.3.1. Секция environment
        • 2.2.9.3.2. Секция http-server
        • 2.2.9.3.3. Секция counter
        • 2.2.9.3.4. Секция zookeeper
        • 2.2.9.3.5. Секция persistence-mode
        • 2.2.9.3.6. Секция prostore-rest-client
        • 2.2.9.3.7. Секция migration
        • 2.2.9.3.8. Секция backup
        • 2.2.9.3.9. Секция component-info
        • 2.2.9.3.10. Секция metrics
    • 2.2.10. Настройка Arenadata Cluster Manager (ADCM)
    • 2.2.11. Настройка сервиса журналирования
    • 2.2.12. Установка компонента сбора данных запросов и ответов Витрины данных
      • 2.2.12.1. Процесс установки
        • 2.2.12.1.1. Настройка логирования модулей
        • 2.2.12.1.2. Установка и настройка Vector
        • 2.2.12.1.3. Установка и настройка HaProxy
        • 2.2.12.1.4. Установка и настройка Fluent bit
        • 2.2.12.1.5. Работа с БД ClickHouse
        • 2.2.12.1.6. Включение / выключение отправки сообщений в СЦЛ
    • 2.2.13. Настройка Агента СМЭВ4
      • 2.2.13.1. Настройка взаимодействия программы с Агентом СМЭВ4
  • 2.3. Настройка сервиса мониторинга
    • 2.3.1. Предоставление источника данных
    • 2.3.2. Предоставление информационной панели
      • 2.3.2.1. Настройка конфигурационного файла Prometheus
      • 2.3.2.2. Health check
        • 2.3.2.2.1. BLOB-Adapter
        • 2.3.2.2.2. Сервис печатных форм
        • 2.3.2.2.3. СМЭВ3 адаптер
• 3. Запуск и остановка Программы
  • 3.1. Prostore
    • 3.1.1. Запуск
  • 3.2. СМЭВ QL Сервер
    • 3.2.1. Быстрый старт
      • 3.2.1.1. Создание и конфигурация
      • 3.2.1.2. Запуск и управление
      • 3.2.1.3. Работа с сервером
        • 3.2.1.3.1. Генераторы
      • 3.2.1.4. Сборка проекта
  • 3.3. СМЭВ3-адаптер
    • 3.3.1. Запуск модуля
    • 3.3.2. Остановка модуля
  • 3.4. CSV-Uploader
    • 3.4.1. Запуск CSV-uploader
    • 3.4.2. Остановка модуля
  • 3.5. DATA-uploader – Модуль исполнения асинхронных заданий
    • 3.5.1. Запуск модуля
    • 3.5.2. Остановка модуля
  • 3.6. REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 3.6.1. Запуск модуля
    • 3.6.2. Остановка модуля
    • 3.6.3. Добавление поставщика данных
  • 3.7. BLOB-адаптер
    • 3.7.1. Запуск модуля
    • 3.7.2. Остановка модуля
  • 3.8. Сервис формирования документов
    • 3.8.1. Запуск модуля
    • 3.8.2. Остановка модуля
  • 3.9. ETL
    • 3.9.1. Apache Airflow
      • 3.9.1.1. Запуск
      • 3.9.1.2. Остановка
    • 3.9.2. Apache Spark
      • 3.9.2.1. Запуск
      • 3.9.2.2. Остановка
    • 3.9.3. Apache Hadoop
      • 3.9.3.1. Запуск
      • 3.9.3.2. Остановка
    • 3.9.4. Tarantool (Vynil)
      • 3.9.4.1. Запуск
      • 3.9.4.2. Остановка
  • 3.10. Counter-provider – Сервис генерации уникального номера
    • 3.10.1. Запуск модуля
    • 3.10.2. Остановка модуля
  • 3.11. Arenadata Cluster Manager (ADCM)
    • 3.11.1. Запуск
    • 3.11.2. Остановка
• 4. Бекапирование Компонента «Витрины данных»
  • 4.1. Реализация бекапирования в слое адаптеров Компонента «Витрины данных»
    • 4.1.1. Работа модулей для обеспечения резервного копирования
      • 4.1.1.1. Сообщения в топиках команд
      • 4.1.1.2. Статусы модулей
        • 4.1.1.2.1. Значения статусов
  • 4.2. Механизм приостановки модулей, требующих консистентности с Prostore
    • 4.2.1. Приостановка модулей, требующих консистентности с Prostore
    • 4.2.2. Восстановление модулей, требующих консистентности с Prostore
  • 4.3. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
    • 4.3.1. Механизм резервного копирования модулей слоя адаптеров
    • 4.3.2. Механизм восстановления из резервной копии модулей слоя адаптеров
  • 4.4. Поведение в случае ошибок при выполнении резервного копирования
    • 4.4.1. Ошибки резервного копирования и восстановления из резервной копии
• 5. Дополнительные возможности
  • 5.1. Дополнительные возможности конфигурации Стандарт
    • 5.1.1. Установки опциональных приложений
    • 5.1.2. Материлиазованные представления
    • 5.1.3. Маршрутизация запросов к материализованным представлениям
    • 5.1.4. Логирование
    • 5.1.5. Миграция из Bare metal варианта установки в Kubernetes
      • 5.1.5.1. Примеры инструкций по развертыванию Prostore в Kubernetes
  • 5.2. Дополнительные возможности конфигурации Лайт
    • 5.2.1. Логирование
    • 5.2.2. Проверка версии компонентов
• 6. Сообщения администратору
  • 6.1. Сообщения в ходе установки и настройки программы
  • 6.2. Сообщения при эксплуатации программы
• 7. Метрики в модулях Типового ПО Витрины данных
• 8. Приложение 1. Эксплуатация CSV-Uploader
  • 8.1. Инструкция по эксплуатации CSV-Uploader
    • 8.1.1. Общие правила формата загружаемых CSV-файлов
    • 8.1.2. Загрузка структуры Витрины
    • 8.1.3. Выгрузка шаблона CSV
    • 8.1.4. Загрузка CSV-файла
    • 8.1.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
    • 8.1.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
    • 8.1.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
    • 8.1.8. Настройки CSV-uploader
    • 8.1.9. Автоматический запуск загрузки CSV-файлов по расписанию
    • 8.1.10. Настройка Журнала операций
    • 8.1.11. Просмотр Журнала операций
    • 8.1.12. Интерфейс Форматно-логического контроля
• 9. Приложение 2. Пример XML-файла со структурой витрины
• 6. Термины и определения