Компонент «Витрина данных»

Release Notes

  • Обновления Типового ПО Витрина данных
    • Версия 1.17.5
    • Версия 1.17.4
    • Версия 1.17.3
    • Версия 1.17.2
    • Версия 1.17.1
    • Версия 1.17.0
    • Версия 1.16.4
    • Версия 1.16.3
    • Версия 1.16.2
    • Версия 1.16.1
    • Версия 1.16.0
    • Версия 1.15.0
    • Версия 1.14.0
    • Версия 1.13.1
    • Версия 1.13.0
    • Версия 1.12.0
    • Версия 1.11.1
    • Версия 1.11.0

Документация Витрины данных

  • Техническое описание программы
    • 1. Общие сведения
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
      • 1.4. Показатели назначения программы
      • 1.5. Требования к каналам связи
      • 1.6. Режим работы программы
        • 1.6.1. Штатный режим
        • 1.6.2. Сервисный режим
        • 1.6.3. Аварийный режим
        • 1.6.4. Остановка
      • 1.7. Используемые языки программирования
      • 1.8. Требования к персоналу
        • 1.8.1. Требования к системному администратору
        • 1.8.2. Требования к программисту
    • 2. Структура Витрины данных
      • 2.1. Составные части Витрины данных
      • 2.2. Состав компонентов в дистрибутиве
      • 2.3. Cвязи между компонентами
      • 2.4. Модули Витрины данных
        • 2.4.1. СМЭВ4-адаптер - Модуль исполнения запросов
          • 2.4.1.1. Общее описание
            • 2.4.1.1.1. Общая схема взаимодействия через СМЭВ4-адаптер- Модуль исполнения запросов
            • 2.4.1.1.2. Процесс обработки запроса через СМЭВ4-адаптер- Модуль исполнения запросов
        • 2.4.2. СМЭВ4-адаптер - Модуль подписок
          • 2.4.2.1. Общее описание
        • 2.4.3. СМЭВ4-адаптер – Модуль MPPR
          • 2.4.3.1. Общее описание
            • 2.4.3.1.1. Общая схема взаимодействия
            • 2.4.3.1.2. Процесс обработки запроса через Модуль MPPR
        • 2.4.4. СМЭВ4-адаптер - Модуль MPPW
          • 2.4.4.1. Общее описание
        • 2.4.5. СМЭВ4-адаптер - Модуль группировки чанков репликации
          • 2.4.5.1. Общее описание
            • 2.4.5.1.1. Интерфейсы модуля
            • 2.4.5.1.2. Процесс обработки запроса через Модуль MPPR
        • 2.4.6. CSV-Uploader
          • 2.4.6.1. Общее описание
            • 2.4.6.1.1. Общая схема взаимодействия через CSV-uploader
        • 2.4.7. СМЭВ4-адаптер - Модуль импорта табличных параметров
          • 2.4.7.1. Общее описание
        • 2.4.8. СМЭВ4-адаптер - Модуль группировки данных табличных параметров
          • 2.4.8.1. Общее описание
        • 2.4.9. СМЭВ4-адаптер - Модуль дефрагментации чанков табличных параметров
          • 2.4.9.1. Общее описание
        • 2.4.10. DATA-Uploader - Модуль исполнения асинхронных заданий
          • 2.4.10.1. Общее описание
        • 2.4.11. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
          • 2.4.11.1. Общее описание
          • 2.4.11.2. Проверка форматно-логического контроля
            • 2.4.11.2.1. Синхронная проверка ФЛК
            • 2.4.11.2.2. Асинхронная проверка
          • 2.4.11.3. Статусная модель
        • 2.4.12. BLOB-адаптер
          • 2.4.12.1. Общее описание
          • 2.4.12.2. Общая схема взаимодействия через BLOB-адаптер
          • 2.4.12.3. Взаимодействие через СМЭВ-адаптер
            • 2.4.12.3.1. Схема взаимодействия через СМЭВ-адаптер
            • 2.4.12.3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
          • 2.4.12.4. Взаимодействие через СМЭВ3-адаптер
            • 2.4.12.4.1. Схема взаимодействия через СМЭВ3-адаптер
            • 2.4.12.4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
          • 2.4.12.5. Требования к серверу BLOB-адаптера
          • 2.4.12.6. Требования к Хранилищу BLOB-объектов
          • 2.4.12.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
        • 2.4.13. Сервис формирования документов
          • 2.4.13.1. Общее описание
            • 2.4.13.1.1. Процесс обработки запроса через модуль «Сервис Формирования документов»
            • 2.4.13.1.2. Компоненты
            • 2.4.13.1.3. Общая архитектура решения
            • 2.4.13.1.4. Назначение параметров QueryRequest.parameters[]
            • 2.4.13.1.5. Примеры шаблонов
            • 2.4.13.1.6. REST запрос к сервису
        • 2.4.14. СМЭВ QL Сервер
          • 2.4.14.1. Назначение СМЭВ QL сервера
            • 2.4.14.1.1. О системе
            • 2.4.14.1.2. Цели СМЭВ QL сервера
            • 2.4.14.1.3. Задачи СМЭВ QL сервера
            • 2.4.14.1.4. Место СМЭВ QL сервера в ИТ-ландшафте
            • 2.4.14.1.5. Язык и синтаксис
            • 2.4.14.1.6. Типизация
            • 2.4.14.1.7. Моделирование данных
            • 2.4.14.1.8. Метрики
        • 2.4.15. СМЭВ3-адаптер
          • 2.4.15.1. Общее описание
          • 2.4.15.2. Схема взаимодействия
        • 2.4.16. REST-адаптер
          • 2.4.16.1. Схема взаимодействия через СМЭВ3-адаптер
        • 2.4.17. Сервис генерации уникального номера (Counter-Provider)
          • 2.4.17.1. Общее описание
        • 2.4.18. ETL - Модуль загрузки/ удаления данных
        • 2.4.19. Backup manager - утилита резервного копирования
          • 2.4.19.1. Общее описание
      • 2.5. Связи с другими программами
      • 2.6. Карта портов
    • 3. Архитектура Витрины данных
      • 3.1. Общая архитектурная схема
      • 3.2. Общая компонентная схема
      • 3.3. Схема развертывания конфигурации Лайт
      • 3.4. Алгоритм работы Витрины данных конфигурации Стандарт
      • 3.5. Описание логической структуры конфигурации Лайт
    • 4. Входные и выходные данные
      • 4.1. Входные данные
      • 4.2. Выходные данные
    • 5. Вызов и загрузка
    • 6. Приложение 1. Описание спецификации
      • 6.1. Спецификация Модуля исполнения запросов
        • 6.1.1. Запрос данных из Витрины
        • 6.1.2. query.rq
        • 6.1.3. query.rs
        • 6.1.4. query.err
        • 6.1.5. query.estimation.rs
        • 6.1.6. Отмена запроса данных
        • 6.1.7. cancel.rq
        • 6.1.8. cancel.rs
        • 6.1.9. cancel.err
        • 6.1.10. Запрос оценки выполнения запроса на Витрине
        • 6.1.11. query.rq
        • 6.1.12. query.estimation.rs
        • 6.1.13. Запрос статистики
        • 6.1.14. statistics.rq
        • 6.1.15. statistics.rs
        • 6.1.16. statistics.err
        • 6.1.17. Запрос данных по регламентированным запросам
        • 6.1.18. procedure.query.rq
        • 6.1.19. procedure.query.rs
        • 6.1.20. procedure.query.err
        • 6.1.21. Запрос метаданных
        • 6.1.22. metadata.rq
        • 6.1.23. metadata.rs
        • 6.1.24. metadata.err
      • 6.2. Спецификация модуля «BLOB-адаптер»
        • 6.2.1. Запрос на считывание BLOB
        • 6.2.2. blob.rq
        • 6.2.3. blob.rs
        • 6.2.4. blob.err
      • 6.3. Спецификация модуля «Сервис Формирования документов»
        • 6.3.1. Запрос формирования документов
        • 6.3.2. report.rq
        • 6.3.3. report.rs
        • 6.3.4. report.err
    • 7. Приложение 2. Пример XML-файла со структурой витрины
    • 8. Приложение 3 Описание топиков
      • 8.1. blob.err
      • 8.2. blob.rq
      • 8.3. blob.rs
      • 8.4. cancel.err
      • 8.5. cancel.rq
      • 8.6. cancel.rs
      • 8.7. delta.err
      • 8.8. delta.in.err
      • 8.9. delta.in.rq
      • 8.10. delta.in.rs
      • 8.11. delta.notification
      • 8.12. delta.rq
      • 8.13. delta.rs
      • 8.14. procedure.query.rq
      • 8.15. procedure.query.rs
      • 8.16. procedure.query.err
      • 8.17. query.err
      • 8.18. query.estimation.rs
      • 8.19. query.rq
      • 8.20. query.rs
      • 8.21. query.tp
      • 8.22. replication.cancel.rq
      • 8.23. replication.cancel.rs
      • 8.24. replication.err
      • 8.25. replication.in.err
      • 8.26. replication.in.rq
      • 8.27. replication.in.rs
      • 8.28. replication.rq
      • 8.29. replication.rs
      • 8.30. statistics.err
      • 8.31. statistics.rq
      • 8.32. statistics.rs
    • 9. Термины и определения
  • Руководство по установке
    • 1. Общие сведения о программе
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
      • 1.4. Операционная система
      • 1.5. Рекомендуемые технические и программные средства
      • 1.6. Компоненты программы
    • 2. Подготовка к установке
      • 2.1. Предварительные действия
        • 2.1.1. Установка операционной системы
        • 2.1.2. Создание пользователя datamart
          • 2.1.2.1. Создание пользователя
          • 2.1.2.2. Отключение пароля
          • 2.1.2.3. Добавление пользователя в группу администраторов
        • 2.1.3. Настройка межсетевого экрана
          • 2.1.3.1. Для РЕД ОС
          • 2.1.3.2. Для AltOS
        • 2.1.4. Выбор часового пояса
        • 2.1.5. Установка сервиса синхронизации времени
        • 2.1.6. Настройка имен хостов (FQDN) на серверах
        • 2.1.7. Установка Java SE Development Kit 17.0.7
        • 2.1.8. Подключение к серверу через SSH-клиент PuTTY
        • 2.1.9. Создание SSH-ключей
        • 2.1.10. Копирование SSH-ключей на сервер
        • 2.1.11. Копирование архива программы
        • 2.1.12. Распаковка архива
        • 2.1.13. Установка Docker
          • 2.1.13.1. Установка Docker в РЕД ОС
          • 2.1.13.2. Установка Docker в AltOS
        • 2.1.14. Установка библиотеки python-docker-py
        • 2.1.15. Настройка логирования в Docker
        • 2.1.16. Перезапуск Docker
        • 2.1.17. Добавление пользователя в группу docker
        • 2.1.18. Настройка Ansible
    • 3. Требования к серверам конфигурации Стандарт
      • 3.1. Требования к серверу Prostore
      • 3.2. Требования к серверу Arenadata Cluster Manager (ADCM)
      • 3.3. Требования к кластеру серверов Arenadata Streaming (ADS)
      • 3.4. Требования к серверу «СМЭВ3-адаптер»
      • 3.5. Требования к сервису «Агент СМЭВ4»
      • 3.6. Требования к серверу «ETL»
        • 3.6.1. Требования к серверу «REST-адаптер»
    • 4. Установка программы
      • 4.1. Установка ПО конфигурации Стандарт
        • 4.1.1. Порядок установки
        • 4.1.2. Установка ПО Prostore
        • 4.1.3. Установка СМЭВ QL Сервера
          • 4.1.3.1. Процесс установки
            • 4.1.3.1.1. Настройка конфигурации
            • 4.1.3.1.2. Загрузка JAR-файла на сервер
        • 4.1.4. Установка СМЭВ3-адаптера
          • 4.1.4.1. Установка модуля
            • 4.1.4.1.1. Установка КриптоПро
          • 4.1.4.2. Процесс установки
            • 4.1.4.2.1. Настройка конфигурации
            • 4.1.4.2.2. Добавление папки для загрузки файлов модуля
            • 4.1.4.2.3. Загрузка файлов на сервер
            • 4.1.4.2.4. Кластеризация модуля
        • 4.1.5. Установка СМЭВ4-адаптера - Модуля исполнения запросов
          • 4.1.5.1. Процесс установки
            • 4.1.5.1.1. Настройка конфигурации
            • 4.1.5.1.2. Кластеризация модуля
        • 4.1.6. Установка СМЭВ4-адаптера – Модуля MPPR
          • 4.1.6.1. Процесс установки
            • 4.1.6.1.1. Настройка конфигурации
            • 4.1.6.1.2. Загрузка JAR-файла на сервер
            • 4.1.6.1.3. Кластеризация модуля
        • 4.1.7. Установка СМЭВ4-адаптера - Модуля MPPW
          • 4.1.7.1. Установка модуля
            • 4.1.7.1.1. Настройка конфигурации
            • 4.1.7.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.7.1.3. Загрузка файлов на сервер
            • 4.1.7.1.4. Кластеризация модуля
        • 4.1.8. Установка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
          • 4.1.8.1. Установка модуля
            • 4.1.8.1.1. Настройка конфигурации
            • 4.1.8.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.8.1.3. Загрузка файлов на сервер
            • 4.1.8.1.4. Кластеризация модуля
        • 4.1.9. Установка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
          • 4.1.9.1. Установка модуля
            • 4.1.9.1.1. Настройка конфигурации
            • 4.1.9.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.9.1.3. Загрузка файлов на сервер
            • 4.1.9.1.4. Кластеризация модуля
        • 4.1.10. Установка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
          • 4.1.10.1. Установка модуля
            • 4.1.10.1.1. Настройка конфигурации
            • 4.1.10.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.10.1.3. Загрузка файлов на сервер
        • 4.1.11. Установка модуля группировки чанков репликации
          • 4.1.11.1. Процесс установки
            • 4.1.11.1.1. Настройка конфигурации
            • 4.1.11.1.2. Загрузка JAR-файла на сервер
        • 4.1.12. Установка DATA-uploder – Модуля исполнения асинхронных заданий
          • 4.1.12.1. Процесс установки
            • 4.1.12.1.1. Настройка конфигурации
            • 4.1.12.1.2. Загрузка JAR-файла на сервер
        • 4.1.13. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
          • 4.1.13.1. Процесс установки
            • 4.1.13.1.1. Настройка конфигурации
            • 4.1.13.1.2. Загрузка JAR-файла на сервер
        • 4.1.14. Установка СМЭВ4-адаптера – Модуля подписки
          • 4.1.14.1. Установка модуля
            • 4.1.14.1.1. Настройка конфигурации
            • 4.1.14.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.14.1.3. Загрузка файлов на сервер
            • 4.1.14.1.4. Кластеризация модуля
        • 4.1.15. Установка BLOB-адаптера
          • 4.1.15.1. Установка модуля
            • 4.1.15.1.1. Настройка конфигурации
            • 4.1.15.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.15.1.3. Загрузка файлов на сервер
        • 4.1.16. Установка Сервиса формирования документов
          • 4.1.16.1. Установки модуля
            • 4.1.16.1.1. Установка модуля
            • 4.1.16.1.2. Настройка конфигурации
            • 4.1.16.1.3. Добавление папки для загрузки файлов модуля
            • 4.1.16.1.4. Загрузка файлов на сервер
            • 4.1.16.1.5. Кластеризация модуля
        • 4.1.17. Загрузка и удаление данных через ETL
          • 4.1.17.1. Общее описание
            • 4.1.17.1.1. Общие положения
          • 4.1.17.2. Особенности реализации
            • 4.1.17.2.1. Основные требования к исходным файлам
            • 4.1.17.2.2. Особенности реализации ETL
            • 4.1.17.2.3. Получение токена Рroxy API
          • 4.1.17.3. Загрузка / удаление данных
            • 4.1.17.3.1. Загрузка/ удаление данных
          • 4.1.17.4. Проверка статусной информации по загрузке
          • 4.1.17.5. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
          • 4.1.17.6. Работа с вложениями через S3
            • 4.1.17.6.1. Работа с вложениями через S3
          • 4.1.17.7. Маппинг данных
            • 4.1.17.7.1. Маппинг данных (Endpoint – generateMapping)
          • 4.1.17.8. Валидация данных
            • 4.1.17.8.1. Валидация данных
        • 4.1.18. Установка утилиты Backup Manager
          • 4.1.18.1. Установка модуля
            • 4.1.18.1.1. Настройка конфигурации
            • 4.1.18.1.2. Добавление папки для загрузки файлов модуля
            • 4.1.18.1.3. Загрузка файлов на сервер
        • 4.1.19. Установка Apache Airflow
          • 4.1.19.1. Подготовка конфигурации
          • 4.1.19.2. Установка Apache Airflow
        • 4.1.20. Установка Apache Spark
          • 4.1.20.1. Подготовка конфигурации
          • 4.1.20.2. Установка
        • 4.1.21. Установка Apache Hadoop
          • 4.1.21.1. Подготовка конфигурации
          • 4.1.21.2. Процесс установки
        • 4.1.22. Установка Tarantool (Vinyl)
          • 4.1.22.1. Подготовка конфигурации
          • 4.1.22.2. Процесс установки
        • 4.1.23. Установка CSV-Uploader
          • 4.1.23.1. Процесс установки CSV-uploader
            • 4.1.23.1.1. Настройка конфигурации
            • 4.1.23.1.2. Загрузка JAR-файла на сервер
        • 4.1.24. Установка REST-адаптера
          • 4.1.24.1. Установка docker-образов
          • 4.1.24.2. Подготовка конфигурации
          • 4.1.24.3. Процесс установки
        • 4.1.25. Установка Counter-provider
          • 4.1.25.1. Процесс установки
            • 4.1.25.1.1. Настройка конфигурации
            • 4.1.25.1.2. Загрузка JAR-файла на сервер
        • 4.1.26. Установка коннектора Kafka-Postgres
        • 4.1.27. Установка Arenadata Cluster Manager (ADCM)
        • 4.1.28. Установка Arenadata Streaming (ADS)
        • 4.1.29. Установка компонента сбора данных запросов и ответов Витрины данных
          • 4.1.29.1. Процесс установки
            • 4.1.29.1.1. Настройка логирования модулей
            • 4.1.29.1.2. Установка и настройка Vector
            • 4.1.29.1.3. Установка и настройка HaProxy
            • 4.1.29.1.4. Установка и настройка FluentBit
            • 4.1.29.1.5. Установка и настройка ClickHouse
      • 4.2. Установка ПО конфигурации лайт
        • 4.2.1. Настройка конфигурационного файла
        • 4.2.2. Установка программы
      • 4.3. Установка системы мониторинга
        • 4.3.1. Установка Prometheus на Bare metal
          • 4.3.1.1. Подготовка сервера
          • 4.3.1.2. Установка Prometheus
            • 4.3.1.2.1. Загрузка
            • 4.3.1.2.2. Установка (копирование файлов)
            • 4.3.1.2.3. Назначение прав
            • 4.3.1.2.4. Запуск и проверка
            • 4.3.1.2.5. Автозапуск
        • 4.3.2. Установка Grafana на Bare metal
          • 4.3.2.1. Настройка брэндмауэра
          • 4.3.2.2. Запуск Grafana
        • 4.3.3. Установка Prometheus и Grafana в Docker
    • 5. Проверка программы
      • 5.1. Проверка ПО конфигурации Стандарт
        • 5.1.1. Проверка Arenadata Cluster Manager (ADCM)
        • 5.1.2. Проверка Arenadata Streaming (ADS)
          • 5.1.2.1. Проверка сервиса Zookeeper
          • 5.1.2.2. Проверка сервиса Apache Kafka
        • 5.1.3. Проверка ProStore
        • 5.1.4. Проверка СМЭВ QL Сервера
          • 5.1.4.1. Проверки и валидации
        • 5.1.5. Проверка СМЭВ3-адаптера
          • 5.1.5.1. Проверка модуля
        • 5.1.6. Проверка СМЭВ4-адаптера - Модуля исполнения запросов
          • 5.1.6.1. Проверка модуля
        • 5.1.7. Проверка СМЭВ4-адаптера – Модуля MPPR
          • 5.1.7.1. Проверка модуля
        • 5.1.8. Проверка СМЭВ4-адаптера - Модуля MPPW
          • 5.1.8.1. Проверка модуля
        • 5.1.9. Проверка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
          • 5.1.9.1. Проверка модуля
        • 5.1.10. Проверка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
          • 5.1.10.1. Проверка модуля
        • 5.1.11. Проверка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
          • 5.1.11.1. Проверка модуля
        • 5.1.12. Проверка модуля группировки чанков репликации
          • 5.1.12.1. Проверка модуля
        • 5.1.13. Проверка DATA-uploder – Модуля исполнения асинхронных заданий
          • 5.1.13.1. Проверка модуля
        • 5.1.14. Проверка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
          • 5.1.14.1. Проверка модуля
        • 5.1.15. Проверка СМЭВ4-адаптера – Модуля подписки
          • 5.1.15.1. Проверка модуля
        • 5.1.16. Проверка BLOB-адаптера
          • 5.1.16.1. Проверка модуля
        • 5.1.17. Проверка Сервиса формирования документов
          • 5.1.17.1. Проверка модуля
        • 5.1.18. Проверка ETL
          • 5.1.18.1. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
          • 5.1.18.2. Проверка Apache Airflow
          • 5.1.18.3. Проверка Apache Spark
          • 5.1.18.4. Проверка Apache Hadoop
          • 5.1.18.5. Проверка Tarantool(Vinyl)
        • 5.1.19. Проверка Backup manager
          • 5.1.19.1. Проверка модуля
        • 5.1.20. Проверка REST-адаптер
        • 5.1.21. Проверка Counter-provider - Сервиса генерации уникального номера
          • 5.1.21.1. Проверка модуля
      • 5.2. Проверка ПО конфигурации Лайт
    • 6. Обновление программы
      • 6.1. Обновление ПО конфигурации Стандарт
      • 6.2. Обновление ПО конфигурации Лайт
        • 6.2.1. Обновление с версии 1.0.0 до версии 1.0.1
          • 6.2.1.1. Резервное копирование
          • 6.2.1.2. Копирование архива с обновлением программы на сервер
          • 6.2.1.3. Распаковка архива с обновлением
          • 6.2.1.4. Процесс обновления программы
          • 6.2.1.5. Проверка обновления программы до версии 1.0.1
        • 6.2.2. Обновление с версии 1.0.1 до версии выше
          • 6.2.2.1. Резервное копирование
          • 6.2.2.2. Копирование архива с обновлением программы на сервер
          • 6.2.2.3. Распаковка архива с обновлением
          • 6.2.2.4. Процесс обновления программы
          • 6.2.2.5. Проверка обновления программы
    • 7. Приложение 1. Настройка firewall (Iptables)
    • 8. Приложение 2. Просмотр выполнения загрузки данных в программу
      • 8.1. Настройка подключения к базе данных
        • 8.1.1. Установка программы DBeaver
          • 8.1.1.1. Установка DBeaver для ОС Linux
          • 8.1.1.2. Установка DBeaver для ОС Windows
        • 8.1.2. Установка и настройка JDBC-драйвера
          • 8.1.2.1. Установка и настройка JDBC-драйвера для ОС Windows
          • 8.1.2.2. Подключение к базе данных
          • 8.1.2.3. Установка и настройка драйвера JDBC-драйвер для ОС Linux
          • 8.1.2.4. Подключение к базе данных
        • 8.1.3. Проверка загрузки данных в БД
        • 8.1.4. Создание тестовой БД
        • 8.1.5. Загрузка данных
    • 9. Приложение 3. Рекомендации по конфигурированию инфраструктуры Типового «ПО Витрина данных»
      • 9.1. Рекомендованные параметры технических средств
      • 9.2. Рекомендованные параметры программных средств
      • 9.3. Показатели производительности при использовании рекомендуемых операционных систем
        • 9.3.1. Профиль нагрузки испытаний
        • 9.3.2. Результаты тестирования конфигурации Стандарт
        • 9.3.3. Результаты тестирования конфигурации Лайт
    • 9. Термины и определения
  • Руководство администратора
    • 1. Общие сведения о программе
      • 1.1. Назначение программы
      • 1.2. Возможности программы
      • 1.3. Технические и программные средства
    • 2. Настройка программы
      • 2.1. Настройка технических средств
      • 2.2. Настройка программных средств
        • 2.2.1. Настройка ProStore
          • 2.2.1.1. Настройка Сервиса исполнения запросов (query-execution)
          • 2.2.1.2. Настройка коннекторов
        • 2.2.2. Настройка СМЭВ QL Сервера
          • 2.2.2.1. Конфигурирование сервера
            • 2.2.2.1.1. Конфигурация файла application.yml
            • 2.2.2.1.2. Конфигурация файла credentials.yml
            • 2.2.2.1.3. Общий сценарий выполнения
        • 2.2.3. Настройка СМЭВ3-адаптера
          • 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
            • 2.2.3.1.1. Пример файла application.yml
          • 2.2.3.2. Параметры конфигурации
            • 2.2.3.2.1. Секция vertx
            • 2.2.3.2.2. Секция spring
            • 2.2.3.2.3. Секция smev
            • 2.2.3.2.4. Секция receiver
            • 2.2.3.2.5. Секция prostore-rest-client
            • 2.2.3.2.6. Секция environment
            • 2.2.3.2.7. Секция zookeeper
            • 2.2.3.2.8. Секция migration
            • 2.2.3.2.9. Секция paramstorage
            • 2.2.3.2.10. Секция deltastorage
            • 2.2.3.2.11. Секция sign
            • 2.2.3.2.12. Секция blob
            • 2.2.3.2.13. Секция rest
            • 2.2.3.2.14. Секция scheduler
            • 2.2.3.2.15. Секция pool
            • 2.2.3.2.16. Секция logging
            • 2.2.3.2.17. Секция backup
            • 2.2.3.2.18. Секция spf
        • 2.2.4. Настройка CSV-Uploader
          • 2.2.4.1. Конфигурация CSV-uploader (application.yml)
            • 2.2.4.1.1. Пример файла application.yml
          • 2.2.4.2. Параметры конфигурации
            • 2.2.4.2.1. Секция kafkaUrl
            • 2.2.4.2.2. Секция http-server
            • 2.2.4.2.3. Секция send
            • 2.2.4.2.4. Секция file-size
            • 2.2.4.2.5. Секция logging.level
            • 2.2.4.2.6. Секция environment
            • 2.2.4.2.7. Секция zookeeper
            • 2.2.4.2.8. Секция migration
            • 2.2.4.2.9. Секция prostore-rest-client
            • 2.2.4.2.10. Секция prostore
            • 2.2.4.2.11. Секция validation
            • 2.2.4.2.12. Секция upload
            • 2.2.4.2.13. Секция kafka
            • 2.2.4.2.14. Секция csv-parser
            • 2.2.4.2.15. Секция metrics
            • 2.2.4.2.16. Секция backup
            • 2.2.4.2.17. Секция jet-connector
        • 2.2.5. Настройка СМЭВ4-адаптера - Модуль исполнения запросов
          • 2.2.5.1. Конфигурация СМЭВ4-адаптера - Модуль исполнения запросов (application.yml)
            • 2.2.5.1.1. Пример файла application.yml
          • 2.2.5.2. Параметры конфигурации
            • 2.2.5.2.1. Секция http-server
            • 2.2.5.2.2. Секция environment
            • 2.2.5.2.3. Секция executor
            • 2.2.5.2.4. Секция send
            • 2.2.5.2.5. Секция query
            • 2.2.5.2.6. Секция zookeeper
            • 2.2.5.2.7. Секция prostore-rest-client
            • 2.2.5.2.8. Секция printable-forms-service
            • 2.2.5.2.9. Секция kafka
            • 2.2.5.2.10. Секция statistics
            • 2.2.5.2.11. Секция logging
            • 2.2.5.2.12. Секция metrics
        • 2.2.6. Настройка СМЭВ4-адаптера – Модуль MPPR
          • 2.2.6.1. Конфигурация СМЭВ4-адаптера - Модуль MPPR (application.yml)
            • 2.2.6.1.1. Пример файла application.yml
          • 2.2.6.2. Параметры конфигурации
            • 2.2.6.2.1. Секция http-server
            • 2.2.6.2.2. Секция environment
            • 2.2.6.2.3. Секция executor
            • 2.2.6.2.4. Секция send
            • 2.2.6.2.5. Секция prostore-rest-client
            • 2.2.6.2.6. Секция prostore
            • 2.2.6.2.7. Секция kafka
            • 2.2.6.2.8. Секция metrics
            • 2.2.6.2.9. Секция logging
        • 2.2.7. Настройка СМЭВ4-адаптера - Модуль MPPW
          • 2.2.7.1. Конфигурация модуля СМЭВ4-адаптер - Модуль MPPW (application.yml)
            • 2.2.7.1.1. Пример файла application.yml
          • 2.2.7.2. Параметры конфигурации
            • 2.2.7.2.1. Секция tp
            • 2.2.7.2.2. Секция upload
            • 2.2.7.2.3. Секция http-server
            • 2.2.7.2.4. Секция environment
            • 2.2.7.2.5. Секция executor
            • 2.2.7.2.6. Секция scheduler
            • 2.2.7.2.7. Секция replication
            • 2.2.7.2.8. Секция delta
            • 2.2.7.2.9. Секция send
            • 2.2.7.2.10. Секция zookeeper
            • 2.2.7.2.11. Секция prostore-rest-client
            • 2.2.7.2.12. Секция prostore
            • 2.2.7.2.13. Секция kafka
            • 2.2.7.2.14. Секция metrics
            • 2.2.7.2.15. Секция jet-connector
        • 2.2.8. Настройка СМЭВ4-адаптера – Модуль импорта данных табличных параметров
          • 2.2.8.1. Конфигурация модуля СМЭВ4-адаптер - Модуль импорта данных табличных параметров (application.yml)
            • 2.2.8.1.1. Пример файла application.yml
          • 2.2.8.2. Параметры конфигурации
            • 2.2.8.2.1. Секция http-server
            • 2.2.8.2.2. Секция environment
            • 2.2.8.2.3. Секция zookeeper
            • 2.2.8.2.4. Секция prostore-rest-client
            • 2.2.8.2.5. Секция prostore
            • 2.2.8.2.6. Секция kafka
            • 2.2.8.2.7. Секция query
            • 2.2.8.2.8. Секция mppw
            • 2.2.8.2.9. Секция delete
            • 2.2.8.2.10. Секция delta
            • 2.2.8.2.11. Секция metrics
        • 2.2.9. Настройка СМЭВ4-адаптера – Модуль группировки данных табличных параметров
          • 2.2.9.1. Конфигурация модуля СМЭВ4-адаптер – Модуль группировки данных табличных параметров (application.yml)
            • 2.2.9.1.1. Пример файла application.yml
          • 2.2.9.2. Параметры конфигурации
            • 2.2.9.2.1. Секция http-server
            • 2.2.9.2.2. Секция kafka
            • 2.2.9.2.3. Секция group
            • 2.2.9.2.4. Секция query
            • 2.2.9.2.5. Секция delta
            • 2.2.9.2.6. Секция environment
            • 2.2.9.2.7. Секция zookeeper
            • 2.2.9.2.8. Секция metrics
        • 2.2.10. Настройка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
          • 2.2.10.1. Конфигурация модуля СМЭВ-адаптер - Модуль дефрагментации чанков табличных параметров (application.yml)
            • 2.2.10.1.1. Пример файла application.yml
          • 2.2.10.2. Параметры конфигурации
            • 2.2.10.2.1. Секция application
            • 2.2.10.2.2. Секция environment
            • 2.2.10.2.3. Секция kafka
            • 2.2.10.2.4. Секция logging
            • 2.2.10.2.5. Секция metrics
        • 2.2.11. Настройка Модуля группировки чанков
          • 2.2.11.1. Конфигурация Модуля группировки чанков репликации (application.yml)
            • 2.2.11.1.1. Пример файла application.yml
          • 2.2.11.2. Параметры конфигурации
            • 2.2.11.2.1. Секция http-server
            • 2.2.11.2.2. Секция storage
            • 2.2.11.2.3. Секция kafka
            • 2.2.11.2.4. Секция environment
            • 2.2.11.2.5. Секция zookeeper
            • 2.2.11.2.6. Секция logging
            • 2.2.11.2.7. Секция metrics
        • 2.2.12. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
          • 2.2.12.1. Конфигурация модуля DATA-Uploader (application.yml)
            • 2.2.12.1.1. Пример файла application.yml
          • 2.2.12.2. Параметры конфигурации
            • 2.2.12.2.1. Секция http-server
            • 2.2.12.2.2. Секция persistence-mode
            • 2.2.12.2.3. Секция prostore-rest-client
            • 2.2.12.2.4. Секция redis
            • 2.2.12.2.5. Секция upload
            • 2.2.12.2.6. Секция data-storage
            • 2.2.12.2.7. Секция environment
            • 2.2.12.2.8. Секция zookeeper
            • 2.2.12.2.9. Секция csv-parser
            • 2.2.12.2.10. Секция active
            • 2.2.12.2.11. Секция delta
            • 2.2.12.2.12. Секция response
            • 2.2.12.2.13. Секция kafka
            • 2.2.12.2.14. Секция metrics
        • 2.2.13. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
          • 2.2.13.1. Конфигурация модуля REST-Uploader (application.yml)
            • 2.2.13.1.1. Пример файла application.yml
          • 2.2.13.2. Параметры конфигурации
            • 2.2.13.2.1. Секция http-server
            • 2.2.13.2.2. Секция executor
            • 2.2.13.2.3. Секция file-size
            • 2.2.13.2.4. Секция environment
            • 2.2.13.2.5. Секция data-storage
            • 2.2.13.2.6. Секция conditions
            • 2.2.13.2.7. Секция zookeeper
            • 2.2.13.2.8. Секция persistence-mode
            • 2.2.13.2.9. Секция prostore-rest-client
            • 2.2.13.2.10. Секция response
            • 2.2.13.2.11. Секция control
            • 2.2.13.2.12. Секция redis
            • 2.2.13.2.13. Секция auth
            • 2.2.13.2.14. Секция metrics
            • 2.2.13.2.15. Секция scheduler
            • 2.2.13.2.16. Секция csv-parser
            • 2.2.13.2.17. Секция backup
          • 2.2.13.3. Проверка форматно-логического контроля
            • 2.2.13.3.1. Синхронная проверка ФЛК
            • 2.2.13.3.2. Асинхронная проверка
          • 2.2.13.4. Статусная модель
          • 2.2.13.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
        • 2.2.14. Настройка СМЭВ4-адаптера – Модуль подписок
          • 2.2.14.1. Конфигурация модуля СМЭВ4-адаптер - Модуль подписок (application.yml)
            • 2.2.14.1.1. Пример файла application.yml
          • 2.2.14.2. Параметры конфигурации
            • 2.2.14.2.1. Секция environment
            • 2.2.14.2.2. Секция http-server
            • 2.2.14.2.3. Секция executor
            • 2.2.14.2.4. Секция zookeeper
            • 2.2.14.2.5. Секция migration
            • 2.2.14.2.6. Секция prostore-rest-client
            • 2.2.14.2.7. Секция subscription
            • 2.2.14.2.8. Секция replication
            • 2.2.14.2.9. Секция storage
            • 2.2.14.2.10. Секция kafka
            • 2.2.14.2.11. Секция metrics
            • 2.2.14.2.12. Секция log
            • 2.2.14.2.13. Секция backup
        • 2.2.15. Настройка BLOB-адаптера
          • 2.2.15.1. Конфигурация BLOB-адаптера (application.yml)
            • 2.2.15.1.1. Пример файла application.yml
          • 2.2.15.2. Параметры конфигурации
            • 2.2.15.2.1. Секция http-server
            • 2.2.15.2.2. Секция executor
            • 2.2.15.2.3. Секция vertx
            • 2.2.15.2.4. Секция kafka
            • 2.2.15.2.5. Секция blob
            • 2.2.15.2.6. Секция logging
            • 2.2.15.2.7. Секция metrics
        • 2.2.16. Настройка Сервиса формирования документов
          • 2.2.16.1. Конфигурация Сервиса Формирования документов (application.yml)
            • 2.2.16.1.1. Пример файла application.yml
          • 2.2.16.2. Параметры конфигурации
            • 2.2.16.2.1. Секция http-server
            • 2.2.16.2.2. Секция executor
            • 2.2.16.2.3. Секция prostore-rest-client
            • 2.2.16.2.4. Секция metrics
            • 2.2.16.2.5. Секция counter-service
            • 2.2.16.2.6. Секция sign-service
            • 2.2.16.2.7. Секция notarius
            • 2.2.16.2.8. Секция printable-forms
          • 2.2.16.3. Примеры pebble-шаблонов для Сервиса Формирования документов
            • 2.2.16.3.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
            • 2.2.16.3.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
            • 2.2.16.3.3. Pebble-шаблон для формирования xml-документа
            • 2.2.16.3.4. Pebble-шаблон для формирования pdf-документа
        • 2.2.17. Настройка REST-адаптера
          • 2.2.17.1. Конфигурация REST-адаптера
            • 2.2.17.1.1. Пример файла application.yml
          • 2.2.17.2. Параметры конфигурации
            • 2.2.17.2.1. Секция http-server
            • 2.2.17.2.2. Секция prostore-rest-client
            • 2.2.17.2.3. Секция swagger
            • 2.2.17.2.4. Секция metrics
            • 2.2.17.2.5. Секция spf
          • 2.2.17.3. Kонфигурационный файл с конечными точками
          • 2.2.17.4. Шаблоны
        • 2.2.18. Настройка Counter-provider - Сервиса генерации уникального номера
          • 2.2.18.1. Конфигурация модуля Counter-Provider (application.yml)
          • 2.2.18.2. Пример файла application.yml
          • 2.2.18.3. Параметры конфигурации
            • 2.2.18.3.1. Секция environment
            • 2.2.18.3.2. Секция http-server
            • 2.2.18.3.3. Секция counter
            • 2.2.18.3.4. Секция zookeeper
            • 2.2.18.3.5. Секция persistence-mode
            • 2.2.18.3.6. Секция prostore-rest-client
            • 2.2.18.3.7. Секция migration
            • 2.2.18.3.8. Секция backup
            • 2.2.18.3.9. Секция metrics
        • 2.2.19. Настройка утилиты Backup manager
          • 2.2.19.1. Конфигурация утилиты Backup manager (application.yml)
          • 2.2.19.2. Пример файла application.yml
          • 2.2.19.3. Параметры конфигурации
            • 2.2.19.3.1. Секция logging
            • 2.2.19.3.2. Секция spring
            • 2.2.19.3.3. Секция config
            • 2.2.19.3.4. Секция backup
        • 2.2.20. Настройка Arenadata Cluster Manager (ADCM)
        • 2.2.21. Настройка Arenadata Streaming (ADS)
        • 2.2.22. Настройка сервиса журналирования
        • 2.2.23. Установка компонента сбора данных запросов и ответов Витрины данных
          • 2.2.23.1. Процесс установки
            • 2.2.23.1.1. Настройка логирования модулей
            • 2.2.23.1.2. Установка и настройка Vector
            • 2.2.23.1.3. Установка и настройка HaProxy
            • 2.2.23.1.4. Установка и настройка Fluent bit
            • 2.2.23.1.5. Работа с БД ClickHouse
            • 2.2.23.1.6. Включение / выключение отправки сообщений в СЦЛ
        • 2.2.24. Настройка Агента СМЭВ4
          • 2.2.24.1. Настройка взаимодействия программы с Агентом СМЭВ4
      • 2.3. Настройка сервиса мониторинга
        • 2.3.1. Предоставление источника данных
        • 2.3.2. Предоставление информационной панели
          • 2.3.2.1. Настройка конфигурационного файла Prometheus
    • 3. Запуск и остановка Программы
      • 3.1. Prostore
        • 3.1.1. Запуск
      • 3.2. СМЭВ QL Сервер
        • 3.2.1. Быстрый старт
          • 3.2.1.1. Создание и конфигурация
          • 3.2.1.2. Запуск и управление
          • 3.2.1.3. Работа с сервером
            • 3.2.1.3.1. Генераторы
          • 3.2.1.4. Сборка проекта
      • 3.3. СМЭВ3-адаптер
        • 3.3.1. Запуск модуля
        • 3.3.2. Остановка модуля
      • 3.4. CSV-Uploader
        • 3.4.1. Запуск CSV-uploader
        • 3.4.2. Остановка модуля
      • 3.5. СМЭВ4-адаптер - Модуль исполнения запросов
        • 3.5.1. Запуск модуля
        • 3.5.2. Остановка модуля
      • 3.6. СМЭВ4-адаптер – Модуль MPPR
        • 3.6.1. Запуск модуля
        • 3.6.2. Остановка модуля
      • 3.7. СМЭВ4-адаптер-Модуль MPPW
        • 3.7.1. Запуск модуля
        • 3.7.2. Остановка модуля
      • 3.8. СМЭВ4-адаптер – Модуль импорта данных табличных параметров
        • 3.8.1. Запуск модуля
        • 3.8.2. Остановка модуля
      • 3.9. СМЭВ4-адаптер – Модуль группировки данных табличных параметров
        • 3.9.1. Запуск модуля
        • 3.9.2. Остановка модуля
      • 3.10. СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
        • 3.10.1. Запуск модуля
        • 3.10.2. Остановка модуля
      • 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
        • 3.11.1. Запуск модуля
        • 3.11.2. Остановка модуля
      • 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
        • 3.12.1. Запуск модуля
        • 3.12.2. Остановка модуля
        • 3.12.3. Добавление поставщика данных
      • 3.13. СМЭВ4-адаптер-Модуль подписки
        • 3.13.1. Запуск модуля
        • 3.13.2. Остановка модуля
      • 3.14. BLOB-адаптер
        • 3.14.1. Запуск модуля
        • 3.14.2. Остановка модуля
      • 3.15. Сервис формирования документов
        • 3.15.1. Запуск модуля
        • 3.15.2. Остановка модуля
      • 3.16. Утилита Backup manager
        • 3.16.1. Запуск утилиты
      • 3.17. ETL
        • 3.17.1. Apache Airflow
          • 3.17.1.1. Запуск
          • 3.17.1.2. Остановка
        • 3.17.2. Apache Spark
          • 3.17.2.1. Запуск
          • 3.17.2.2. Остановка
        • 3.17.3. Apache Hadoop
          • 3.17.3.1. Запуск
          • 3.17.3.2. Остановка
        • 3.17.4. Tarantool (Vynil)
          • 3.17.4.1. Запуск
          • 3.17.4.2. Остановка
      • 3.18. REST-адаптер
      • 3.19. Counter-provider - Сервис генерации уникального номера
        • 3.19.1. Запуск модуля
        • 3.19.2. Остановка модуля
      • 3.20. Установка коннектора Kafka-Postgres
      • 3.21. Arenadata Cluster Manager (ADCM)
        • 3.21.1. Запуск
        • 3.21.2. Остановка
      • 3.22. Arenadata Streaming (ADS)
        • 3.22.1. Kafka
          • 3.22.1.1. Запуск
          • 3.22.1.2. Остановка
          • 3.22.1.3. Перезапуск
        • 3.22.2. Zookeeper
          • 3.22.2.1. Запуск
          • 3.22.2.2. Остановка
          • 3.22.2.3. Перезапуск
        • 3.22.3. Запуск и остановка сервисов ADS через консоль
        • 3.22.4. Запуск и остановка сервисов ADS через ADCM
          • 3.22.4.1. Запуск
          • 3.22.4.2. Остановка
    • 4. Бекапирование Витрины данных НСУД
      • 4.1. Состав резервной копии Типового ПО Витрина данных
      • 4.2. Описание и механизм работы утилиты Backup Manager
        • 4.2.1. Описание утилиты Backup Manager
        • 4.2.2. Механизм работы утилиты Backup manager
        • 4.2.3. Создание резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
          • 4.2.3.1. Механизм работы утилиты Backup manager при выполнении резервного копирования
        • 4.2.4. Восстановление из резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
      • 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
        • 4.3.1. Работа модулей для обеспечения резервного копирования
          • 4.3.1.1. Сообщения в топиках команд
          • 4.3.1.2. Статусы модулей
            • 4.3.1.2.1. Значения статусов
      • 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
        • 4.4.1. Приостановка модулей, требующих консистентности с Prostore
        • 4.4.2. Восстановление модулей, требующих консистентности с Prostore
      • 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
        • 4.5.1. Механизм резервного копирования модулей слоя адаптеров
        • 4.5.2. Механизм восстановления из резервной копии модулей слоя адаптеров
      • 4.6. Поведение в случае ошибок при выполнении резервного копирования
        • 4.6.1. Ошибки резервного копирования и восстановления из резервной копии
        • 4.6.2. Поведение в случае остановки утилиты Backup Manager в процессе снятия/восстановления из резервной копии
        • 4.6.3. Ограничения
    • 5. Дополнительные возможности
      • 5.1. Дополнительные возможности конфигурации Стандарт
        • 5.1.1. Установки опциональных приложений
        • 5.1.2. Материлиазованные представления
        • 5.1.3. Маршрутизация запросов к материализованным представлениям
        • 5.1.4. Логирование
        • 5.1.5. Обновление
          • 5.1.5.1. Менеджер кластера ADCM
          • 5.1.5.2. Диспетчер сообщений ADS
            • 5.1.5.2.1. Обновление бандла
            • 5.1.5.2.2. Обновление кластера
        • 5.1.6. Миграция из Bare metal варианта установки в Kubernetes
          • 5.1.6.1. Примеры инструкций по развертыванию СМЭВ4-адаптера — Модуля исполнения запросов в Kubernetes
          • 5.1.6.2. Примеры инструкций по развертыванию Prostore в Kubernetes
      • 5.2. Дополнительные возможности конфигурации Лайт
        • 5.2.1. Логирование
        • 5.2.2. Проверка версии компонентов
    • 6. Сообщения администратору
      • 6.1. Сообщения в ходе установки и настройки программы
      • 6.2. Сообщения при эксплуатации программы
    • 7. Метрики в модулях Типового ПО Витрины данных
    • 8. Приложение 1. Эксплуатация CSV-Uploader
      • 8.1. Инструкция по эксплуатации CSV-Uploader
        • 8.1.1. Общие правила формата загружаемых CSV-файлов
        • 8.1.2. Загрузка структуры Витрины
        • 8.1.3. Выгрузка шаблона CSV
        • 8.1.4. Загрузка CSV-файла
        • 8.1.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
        • 8.1.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
        • 8.1.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
        • 8.1.8. Настройки CSV-uploader
        • 8.1.9. Автоматический запуск загрузки CSV-файлов по расписанию
        • 8.1.10. Настройка Журнала операций
        • 8.1.11. Просмотр Журнала операций
        • 8.1.12. Интерфейс Форматно-логического контроля
    • 9. Приложение 2. Пример XML-файла со структурой витрины
    • 9. Термины и определения

Модули витрин

  • BLOB-адаптер
    • 1. Общее описание
    • 2. Общая схема взаимодействия через BLOB-адаптер
    • 3. Взаимодействие через СМЭВ-адаптер
      • 3.1. Схема взаимодействия через СМЭВ-адаптер
      • 3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
    • 4. Взаимодействие через СМЭВ3-адаптер
      • 4.1. Схема взаимодействия через СМЭВ3-адаптер
      • 4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
    • 5. Требования к серверу BLOB-адаптера
    • 6. Требования к Хранилищу BLOB-объектов
    • 7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
    • 8. Конфигурация BLOB-адаптера (application.yml)
      • 8.1. Пример файла application.yml
    • 9. Параметры конфигурации
      • 9.1. Секция http-server
      • 9.2. Секция executor
      • 9.3. Секция vertx
      • 9.4. Секция kafka
      • 9.5. Секция blob
      • 9.6. Секция logging
      • 9.7. Секция metrics
    • 10. Установка модуля
      • 10.1. Настройка конфигурации
      • 10.2. Добавление папки для загрузки файлов модуля
      • 10.3. Загрузка файлов на сервер
    • 11. Запуск модуля
    • 12. Остановка модуля
    • 13. Проверка модуля
    • 14. Спецификация модуля «BLOB-адаптер»
      • 14.1. Запрос на считывание BLOB
      • 14.2. blob.rq
      • 14.3. blob.rs
      • 14.4. blob.err
  • Сервис Формирования документов
    • 1. Общее описание
      • 1.1. Процесс обработки запроса через модуль «Сервис Формирования документов»
      • 1.2. Компоненты
      • 1.3. Общая архитектура решения
      • 1.4. Назначение параметров QueryRequest.parameters[]
      • 1.5. Примеры шаблонов
        • 1.5.1. Шаблон extract_data.peb
        • 1.5.2. Шаблон generate_xml.peb
        • 1.5.3. Шаблон generate_pdf.peb
      • 1.6. REST запрос к сервису
        • 1.6.1. Запрос
        • 1.6.2. Ответ
    • 2. Конфигурация Сервиса Формирования документов (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция executor
      • 3.3. Секция prostore-rest-client
      • 3.4. Секция metrics
      • 3.5. Секция counter-service
      • 3.6. Секция sign-service
      • 3.7. Секция notarius
      • 3.8. Секция printable-forms
    • 4. Примеры pebble-шаблонов для Сервиса Формирования документов
      • 4.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
      • 4.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
      • 4.3. Pebble-шаблон для формирования xml-документа
      • 4.4. Pebble-шаблон для формирования pdf-документа
    • 5. Установки модуля
      • 5.1. Установка модуля
      • 5.2. Настройка конфигурации
      • 5.3. Добавление папки для загрузки файлов модуля
      • 5.4. Загрузка файлов на сервер
      • 5.5. Кластеризация модуля
    • 6. Запуск модуля
    • 7. Остановка модуля
    • 8. Проверка модуля
  • СМЭВ QL сервер
    • 1. Назначение СМЭВ QL сервера
      • 1.1. О системе
      • 1.2. Цели СМЭВ QL сервера
      • 1.3. Задачи СМЭВ QL сервера
      • 1.4. Место СМЭВ QL сервера в ИТ-ландшафте
      • 1.5. Язык и синтаксис
        • 1.5.1. Моделирование
        • 1.5.2. Запросы и ответы
      • 1.6. Типизация
        • 1.6.1. Типы данных в модели и приведение типов
      • 1.7. Моделирование данных
      • 1.8. Метрики
    • 2. Быстрый старт
      • 2.1. Создание и конфигурация
      • 2.2. Запуск и управление
      • 2.3. Работа с сервером
        • 2.3.1. Генераторы
      • 2.4. Сборка проекта
    • 3. Основные понятия СМЭВ QL
      • 3.1. Ресурс
      • 3.2. Машина состояний
      • 3.3. Базовая модель данных
      • 3.4. Модель данных
      • 3.5. Распределённый запрос
    • 4. Функции СМЭВ QL Сервера
      • 4.1. Администрирование и конфигурирование
        • 4.1.1. Создание СМЭВ QL Сервера
        • 4.1.2. Конфигурирование СМЭВ-QL сервер
        • 4.1.3. Запуск, остановка, перезапуск приложения СМЭВ QL сервер
        • 4.1.4. OpenAPI СМЭВ-QL
          • 4.1.4.1. Общее описание
          • 4.1.4.2. Описание спецификации
          • 4.1.4.3. Обновление OpenAPI на основании изменений модели данных
        • 4.1.5. Регистрация OpenAPI СМЭВ QL в СМЭВ4
      • 4.2. Работа с моделями
        • 4.2.1. Создание базовой модели
          • 4.2.1.1. Общее описание
          • 4.2.1.2. Общий сценарий выполнения
          • 4.2.1.3. Описание базовой модели
        • 4.2.2. Генерация модели данных
          • 4.2.2.1. Общее описание
          • 4.2.2.2. Сценарий выполнения
          • 4.2.2.3. Описание модели данных
          • 4.2.2.4. Пример блока fields
          • 4.2.2.5. Пример блока resources
          • 4.2.2.6. Пример блока connections
          • 4.2.2.7. Пример блока conditions
          • 4.2.2.8. Пример блока extract
          • 4.2.2.9. Пример блока conditions
          • 4.2.2.10. Пример блока fetch
        • 4.2.3. Автоматическое создание модели данных на основе схемы БД
          • 4.2.3.1. Общее описание
          • 4.2.3.2. Сценарий выполнения
        • 4.2.4. Создание новой версии модели данных
          • 4.2.4.1. Общее описание
          • 4.2.4.2. Сценарий выполнения
        • 4.2.5. Проверка валидности модели данных
          • 4.2.5.1. Общее описание
          • 4.2.5.2. Сценарий выполнения
        • 4.2.6. Маппинг типов данных СМЭВ QL - Prostore
      • 4.3. Работа с источниками данных
        • 4.3.1. Создание модели источников
          • 4.3.1.1. Общее описание
          • 4.3.1.2. Общий сценарий выполнения
          • 4.3.1.3. Структура source.yaml
        • 4.3.2. Создание новой версии модели источников
          • 4.3.2.1. Общее описание
          • 4.3.2.2. Сценарий выполнения
        • 4.3.3. Проверка доступности источников
          • 4.3.3.1. Общее описание
          • 4.3.3.2. Сценарий выполнения
      • 4.4. Работа с картами машин состояний
        • 4.4.1. Создание карты машины-состояний
          • 4.4.1.1. Общее описание
          • 4.4.1.2. Структура карты машины состояний
          • 4.4.1.3. Сценарий выполнения
        • 4.4.2. Создание новой версии карты машины-состояний
          • 4.4.2.1. Общее описание
          • 4.4.2.2. Сценарий выполнения
      • 4.5. Обработка запроса к витрине
        • 4.5.1. Запрос получения данных из витрины (POST/data)
          • 4.5.1.1. Общее описание
        • 4.5.2. Запрос изменения данных витрины через события машины состояний (POST/states/{model}/{event})
        • 4.5.3. Обработка запроса получения данных витрины
          • 4.5.3.1. Общее описание
          • 4.5.3.2. Проверка запроса и доступов
          • 4.5.3.3. Формирование плана исполнения запроса
          • 4.5.3.4. Исполнение плана запроса
          • 4.5.3.5. Передача ответа потребителю
          • 4.5.3.6. Пример блока response
          • 4.5.3.7. Пример блока async
          • 4.5.3.8. Пример блока credentials
        • 4.5.4. Асинхронное получение данных клиентом
          • 4.5.4.1. Общее описание
          • 4.5.4.2. Передача асинхронных данных от источника в СМЭВ QL
          • 4.5.4.3. Запрос асинхронных данных потребителем
        • 4.5.5. Обработка запроса изменения данных витрины через машину состояний
          • 4.5.5.1. Общее описание
          • 4.5.5.2. Основной сценарий выполнения
          • 4.5.5.3. Альтернативное направление для событий с типом init
          • 4.5.5.4. Альтернативное направление для событий с блоком confirm
          • 4.5.5.5. Альтернативное направление при переходе в состояние delete
          • 4.5.5.6. Альтернативное направление для событий с блоком hooks
      • 4.6. Уведомления при изменении данных витрины (push-сервис)
        • 4.6.1. Регистрация получателя уведомлений
          • 4.6.1.1. Общее описание
          • 4.6.1.2. Описание запроса POST/push/consumer/create
        • 4.6.2. Удаление получателя уведомлений
          • 4.6.2.1. Общее описание
          • 4.6.2.2. Сценарий выполнения
          • 4.6.2.3. Описание запроса
        • 4.6.3. Запрос списка получателей уведомлений
          • 4.6.3.1. Общее описание
          • 4.6.3.2. Сценарий выполнения
        • 4.6.4. Запрос данных об отслеживаемых ресурсах
          • 4.6.4.1. Общее описание
          • 4.6.4.2. Сценарий выполнения
        • 4.6.5. Передача уведомления при вызове события машины-состояний
          • 4.6.5.1. Общее описание
          • 4.6.5.2. Сценарий выполнения
          • 4.6.5.3. Описание формата уведомления
        • 4.6.6. Регистрация метода для получения уведомлений на стороне клиента
        • 4.6.7. Передача уведомления на основе сообщения топика Prostore
          • 4.6.7.1. Общее описание
          • 4.6.7.2. Сценарий выполнения
    • 5. Компонентная модель СМЭВ QL сервера
      • 5.1. Общее представление
      • 5.2. Схема
      • 5.3. Описание компонентов
    • 6. Конфигурирование сервера
      • 6.1. Конфигурация файла application.yml
        • 6.1.1. Секция storage
        • 6.1.2. Секция access
        • 6.1.3. Секция request
        • 6.1.4. Секция delta
        • 6.1.5. Секция state
        • 6.1.6. Секция index_recommendations
        • 6.1.7. Секция standalone-tables
        • 6.1.8. Секция proxy-tables
        • 6.1.9. Секция push
        • 6.1.10. Секция agent
        • 6.1.11. Секция signature
      • 6.2. Конфигурация файла credentials.yml
      • 6.3. Общий сценарий выполнения
    • 7. Стейт-машина СМЭВ QL
      • 7.1. Конфигурирование Стейт-машины
      • 7.2. Удаление записи через Стейт-машину
      • 7.3. Передача данных без изменения статуса (статичный ивент)
      • 7.4. Обновление объектов через Стейт-машину
      • 7.5. Обогащение payload запроса дополнительными атрибутами
      • 7.6. Методы API Стейт-машины
      • 7.7. Спецификация интерфейса Стейт-машины
        • 7.7.1. Выполнение операций обновления данных в витрине
        • 7.7.2. Обновление объектов через Стейт-машину
    • 8. Запросы
      • 8.1. Блок Credentials
      • 8.2. Блок Query
        • 8.2.1. Условия фильтрации Conditions
        • 8.2.2. Сортировка и пагинация
      • 8.3. Эксплуатационные запросы
      • 8.4. Обработка запросов
        • 8.4.1. Логирование мета-данных
        • 8.4.2. Построение плана
    • 9. Ответы
    • 10. Описание эндпоинтов
      • 10.1. GET /ping
      • 10.2. GET /states
      • 10.3. GET /states/{model}
      • 10.4. POST /states/{model}/{event}
      • 10.5. GET /model
      • 10.6. GET /model/{model}
      • 10.7. GET /model/{model}/{version}
      • 10.8. GET /sources
      • 10.9. POST /data
        • 10.9.1. Правила задания условий
        • 10.9.2. Варианты определения условий фильтрации
        • 10.9.3. Подробное описание блока fetch
      • 10.10. GET /server/indexes/required
    • 11. Ошибки
      • 11.1. Базовые ошибки СМЭВ Ql
  • СМЭВ3-адаптер
    • 1. Общее описание
    • 2. Схема взаимодействия
    • 3. Конфигурация СМЭВ3-адаптер (application.yml)
      • 3.1. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция vertx
      • 4.2. Секция spring
      • 4.3. Секция smev
      • 4.4. Секция receiver
      • 4.5. Секция prostore-rest-client
      • 4.6. Секция environment
      • 4.7. Секция zookeeper
      • 4.8. Секция migration
      • 4.9. Секция paramstorage
      • 4.10. Секция deltastorage
      • 4.11. Секция sign
      • 4.12. Секция blob
      • 4.13. Секция rest
      • 4.14. Секция scheduler
      • 4.15. Секция pool
      • 4.16. Секция logging
      • 4.17. Секция backup
      • 4.18. Секция spf
    • 5. Установка модуля
      • 5.1. Установка КриптоПро
    • 6. Процесс установки
      • 6.1. Настройка конфигурации
      • 6.2. Добавление папки для загрузки файлов модуля
      • 6.3. Загрузка файлов на сервер
      • 6.4. Кластеризация модуля
    • 7. Запуск модуля
    • 8. Остановка модуля
    • 9. Проверка модуля
    • 10. Шаблоны
      • 10.1. Пример шаблона XML
      • 10.2. Пример шаблона JSON
  • CSV-uploader
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия через CSV-uploader
    • 2. Конфигурация CSV-uploader (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция kafkaUrl
      • 3.2. Секция http-server
      • 3.3. Секция send
      • 3.4. Секция file-size
      • 3.5. Секция logging.level
      • 3.6. Секция environment
      • 3.7. Секция zookeeper
      • 3.8. Секция migration
      • 3.9. Секция prostore-rest-client
      • 3.10. Секция prostore
      • 3.11. Секция validation
      • 3.12. Секция upload
      • 3.13. Секция kafka
      • 3.14. Секция csv-parser
      • 3.15. Секция metrics
      • 3.16. Секция backup
      • 3.17. Секция jet-connector
    • 4. Процесс установки CSV-uploader
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
    • 5. Запуск CSV-uploader
    • 6. Остановка модуля
    • 7. Проверка модуля
    • 8. Инструкция по эксплуатации CSV-Uploader
      • 8.1. Общие правила формата загружаемых CSV-файлов
      • 8.2. Загрузка структуры Витрины
      • 8.3. Выгрузка шаблона CSV
      • 8.4. Загрузка CSV-файла
      • 8.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
      • 8.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
      • 8.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
      • 8.8. Настройки CSV-uploader
      • 8.9. Автоматический запуск загрузки CSV-файлов по расписанию
      • 8.10. Настройка Журнала операций
      • 8.11. Просмотр Журнала операций
      • 8.12. Интерфейс Форматно-логического контроля
  • СМЭВ4-адаптер - Модуль исполнения запросов
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия через СМЭВ4-адаптер- Модуль исполнения запросов
      • 1.2. Процесс обработки запроса через СМЭВ4-адаптер- Модуль исполнения запросов
    • 2. Конфигурация СМЭВ4-адаптера - Модуль исполнения запросов (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция environment
      • 3.3. Секция executor
      • 3.4. Секция send
      • 3.5. Секция query
      • 3.6. Секция zookeeper
      • 3.7. Секция prostore-rest-client
      • 3.8. Секция printable-forms-service
      • 3.9. Секция kafka
      • 3.10. Секция statistics
      • 3.11. Секция logging
      • 3.12. Секция metrics
    • 4. Процесс установки
      • 4.1. Настройка конфигурации
      • 4.2. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
    • 8. Спецификация Модуля исполнения запросов
      • 8.1. Запрос данных из Витрины
      • 8.2. query.rq
      • 8.3. query.rs
      • 8.4. query.err
      • 8.5. query.estimation.rs
      • 8.6. Отмена запроса данных
      • 8.7. cancel.rq
      • 8.8. cancel.rs
      • 8.9. cancel.err
      • 8.10. Запрос оценки выполнения запроса на Витрине
      • 8.11. query.rq
      • 8.12. query.estimation.rs
      • 8.13. Запрос статистики
      • 8.14. statistics.rq
      • 8.15. statistics.rs
      • 8.16. statistics.err
      • 8.17. Запрос данных по регламентированным запросам
      • 8.18. procedure.query.rq
      • 8.19. procedure.query.rs
      • 8.20. procedure.query.err
      • 8.21. Запрос метаданных
      • 8.22. metadata.rq
      • 8.23. metadata.rs
      • 8.24. metadata.err
  • СМЭВ4-адаптер – Модуль MPPR
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия
      • 1.2. Процесс обработки запроса через Модуль MPPR
    • 2. Конфигурация СМЭВ4-адаптера - Модуль MPPR (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция environment
      • 3.3. Секция executor
      • 3.4. Секция send
      • 3.5. Секция prostore-rest-client
      • 3.6. Секция prostore
      • 3.7. Секция kafka
      • 3.8. Секция metrics
      • 3.9. Секция logging
    • 4. Процесс установки
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
      • 4.3. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • СМЭВ4-адаптер-Модуль MPPW
    • 1. Общее описание
    • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль MPPW (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция tp
      • 3.2. Секция upload
      • 3.3. Секция http-server
      • 3.4. Секция environment
      • 3.5. Секция executor
      • 3.6. Секция scheduler
      • 3.7. Секция replication
      • 3.8. Секция delta
      • 3.9. Секция send
      • 3.10. Секция zookeeper
      • 3.11. Секция prostore-rest-client
      • 3.12. Секция prostore
      • 3.13. Секция kafka
      • 3.14. Секция metrics
      • 3.15. Секция jet-connector
    • 4. Установка модуля
      • 4.1. Настройка конфигурации
      • 4.2. Добавление папки для загрузки файлов модуля
      • 4.3. Загрузка файлов на сервер
      • 4.4. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • СМЭВ4-адаптер – Модуль импорта данных табличных параметров
    • 1. Общее описание
    • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль импорта данных табличных параметров (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция environment
      • 3.3. Секция zookeeper
      • 3.4. Секция prostore-rest-client
      • 3.5. Секция prostore
      • 3.6. Секция kafka
      • 3.7. Секция query
      • 3.8. Секция mppw
      • 3.9. Секция delete
      • 3.10. Секция delta
      • 3.11. Секция metrics
    • 4. Установка модуля
      • 4.1. Настройка конфигурации
      • 4.2. Добавление папки для загрузки файлов модуля
      • 4.3. Загрузка файлов на сервер
      • 4.4. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • СМЭВ4-адаптер – Модуль группировки данных табличных параметров
    • 1. Общее описание
    • 2. Конфигурация модуля СМЭВ4-адаптер – Модуль группировки данных табличных параметров (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция kafka
      • 3.3. Секция group
      • 3.4. Секция query
      • 3.5. Секция delta
      • 3.6. Секция environment
      • 3.7. Секция zookeeper
      • 3.8. Секция metrics
    • 4. Установка модуля
      • 4.1. Настройка конфигурации
      • 4.2. Добавление папки для загрузки файлов модуля
      • 4.3. Загрузка файлов на сервер
      • 4.4. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
    • 1. Общее описание
    • 2. Конфигурация модуля СМЭВ-адаптер - Модуль дефрагментации чанков табличных параметров (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция application
      • 3.2. Секция environment
      • 3.3. Секция kafka
      • 3.4. Секция logging
      • 3.5. Секция metrics
    • 4. Установка модуля
      • 4.1. Настройка конфигурации
      • 4.2. Добавление папки для загрузки файлов модуля
      • 4.3. Загрузка файлов на сервер
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • СМЭВ4-адаптер-Модуль подписок
    • 1. Общее описание
    • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль подписок (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция environment
      • 3.2. Секция http-server
      • 3.3. Секция executor
      • 3.4. Секция zookeeper
      • 3.5. Секция migration
      • 3.6. Секция prostore-rest-client
      • 3.7. Секция subscription
      • 3.8. Секция replication
      • 3.9. Секция storage
      • 3.10. Секция kafka
      • 3.11. Секция metrics
      • 3.12. Секция log
      • 3.13. Секция backup
    • 4. Установка модуля
      • 4.1. Настройка конфигурации
      • 4.2. Добавление папки для загрузки файлов модуля
      • 4.3. Загрузка файлов на сервер
      • 4.4. Кластеризация модуля
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
    • 8. Спецификация СМЭВ4-адаптера - Модуль подписок
      • 8.1. Уведомление о новых данных по подписке
        • 8.1.1. delta.notification
      • 8.2. Запрос первоначальной выгрузки
        • 8.2.1. delta.rq
        • 8.2.2. delta.rs
        • 8.2.3. delta.err
      • 8.3. Создание структур для репликации/подписки на уведомления
        • 8.3.1. replication.in.rq
        • 8.3.2. replication.in.rs
        • 8.3.3. replication.in.err
      • 8.4. Управление структурой таблиц витрины
        • 8.4.1. metadata.rq
        • 8.4.2. metadata.rs
        • 8.4.3. metadata.err
        • 8.4.4. metadata.newdata.rq
        • 8.4.5. metadata.newdata.rs
        • 8.4.6. metadata.newdata.err
      • 8.5. Запрос на регистрацию репликации
        • 8.5.1. replication.rq
        • 8.5.2. replication.rs
        • 8.5.3. replication.err
      • 8.6. Запрос на отмену репликации
        • 8.6.1. replication.cancel.rq
        • 8.6.2. replication.cancel.rs
      • 8.7. Прием данных репликаций
        • 8.7.1. delta.in.rq
        • 8.7.2. delta.in.rs
        • 8.7.3. delta.in.err
  • Модуль группировки чанков репликации
    • 1. Общее описание
      • 1.1. Интерфейсы модуля
      • 1.2. Процесс обработки запроса через Модуль MPPR
    • 2. Конфигурация Модуля группировки чанков репликации (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция storage
      • 3.3. Секция kafka
      • 3.4. Секция environment
      • 3.5. Секция zookeeper
      • 3.6. Секция logging
      • 3.7. Секция metrics
    • 4. Процесс установки
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • DATA-Uploader - Модуль исполнения асинхронных заданий
    • 1. Общее описание
    • 2. Конфигурация модуля DATA-Uploader (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция persistence-mode
      • 3.3. Секция prostore-rest-client
      • 3.4. Секция redis
      • 3.5. Секция upload
      • 3.6. Секция data-storage
      • 3.7. Секция environment
      • 3.8. Секция zookeeper
      • 3.9. Секция csv-parser
        • 3.9.1. Дополнительное описание параметров
      • 3.10. Секция active
      • 3.11. Секция delta
      • 3.12. Секция response
      • 3.13. Секция kafka
      • 3.14. Секция metrics
    • 4. Процесс установки
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
  • REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 1. Общее описание
    • 2. Конфигурация модуля REST-Uploader (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция executor
      • 3.3. Секция file-size
      • 3.4. Секция environment
      • 3.5. Секция data-storage
      • 3.6. Секция conditions
        • 3.6.1. Режимы настройки mode
      • 3.7. Секция zookeeper
      • 3.8. Секция persistence-mode
      • 3.9. Секция prostore-rest-client
      • 3.10. Секция response
      • 3.11. Секция control
      • 3.12. Секция redis
      • 3.13. Секция auth
      • 3.14. Секция metrics
      • 3.15. Секция scheduler
      • 3.16. Секция csv-parser
        • 3.16.1. Дополнительное описание параметров
      • 3.17. Секция backup
    • 4. Процесс установки
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
    • 5. Запуск модуля
    • 6. Остановка модуля
    • 7. Проверка модуля
    • 8. Спецификация модуля асинхронной загрузки данных из сторонних источников
    • 9. Проверка форматно-логического контроля
      • 9.1. Синхронная проверка ФЛК
      • 9.2. Асинхронная проверка
        • 9.2.1. Проверка уникальности по одному или по сочетанию полей
        • 9.2.2. Проверка соответствия заданному значению
        • 9.2.3. Поведение в случае таймаута валидации
    • 10. Статусная модель
  • Counter-Provider – Сервис генерации уникального номера
    • 1. Общее описание
    • 2. Конфигурация модуля Counter-Provider (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция environment
      • 4.2. Секция http-server
      • 4.3. Секция counter
      • 4.4. Секция zookeeper
      • 4.5. Секция persistence-mode
      • 4.6. Секция prostore-rest-client
      • 4.7. Секция migration
      • 4.8. Секция backup
      • 4.9. Секция metrics
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
    • 6. Запуск модуля
    • 7. Остановка модуля
    • 8. Проверка модуля
  • ETL - Модуль загрузки/удаления данных
    • 1. Общие положения
    • 2. Основные требования к исходным файлам
    • 3. Особенности реализации ETL
    • 4. Получение токена Рroxy API
    • 5. Загрузка/ удаление данных
      • 5.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
      • 5.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
      • 5.3. Загрузка / удаление несогласованных данных (Endpoint – data)
      • 5.4. Описание возвращаемых кодов
    • 6. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
    • 7. Работа с вложениями через S3
      • 7.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
      • 7.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
      • 7.3. Описание возвращаемых кодов
    • 8. Маппинг данных (Endpoint – generateMapping)
    • 9. Валидация данных
  • Backup manager
    • 1. Общее описание
    • 2. Конфигурация утилиты Backup manager (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция logging
      • 4.2. Секция spring
      • 4.3. Секция config
      • 4.4. Секция backup
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
    • 6. Запуск утилиты
    • 7. Проверка модуля

Описание топиков

  • Описание топиков
    • blob.err
    • blob.rq
    • blob.rs
    • cancel.err
    • cancel.rq
    • cancel.rs
    • delta.err
    • delta.in.err
    • delta.in.rq
    • delta.in.rs
    • delta.notification
    • delta.rq
    • delta.rs
    • procedure.query.rq
    • procedure.query.rs
    • procedure.query.err
    • query.err
    • query.estimation.rs
    • query.rq
    • query.rs
    • query.tp
    • replication.cancel.rq
    • replication.cancel.rs
    • replication.err
    • replication.in.err
    • replication.in.rq
    • replication.in.rs
    • replication.rq
    • replication.rs
    • statistics.err
    • statistics.rq
    • statistics.rs

Лицензии и библиотеки

  • Сторонние лицензии и библиотеки
    • Лицензия Arenadata
    • Лицензия Kafka
    • Лицензия PostgreSQL
    • Лицензия Zookeeper
    • Data Mart
      • ОТКРЫТАЯ ГОСУДАРСТВЕННАЯ ЛИЦЕНЗИЯ
    • The 3-Clause BSD License
    • MIT License
    • COMMON DEVELOPMENT AND DISTRIBUTION LICENSE (CDDL) Version 1.0
    • Apache License, Version 2.0
    • The 2-Clause BSD License
    • Eclipse Public License - v 2.0
    • GNU LESSER GENERAL PUBLIC LICENSE, Version 2.1
    • Eclipse Public License - v 1.0

Сторонние инструкции

  • Инструкция по работе с BitBucket
    • Установить SSH-ключи
    • Скачать репозиторий на локальный компьютер
    • Как переключится на develop-ветку?
    • Как получить изменения других авторов?
    • Как загрузить изменения на сервер документации
      • Проверить изменения в локальном репозитории
      • Добавить новые файлы в репозиторий
      • Отправить изменения в главный репозиторий
      • Проверить изменения на сайте
  • Синтаксис разметки reStructuredText
    • Базовые концепции
    • Заголовки
    • Выделение текста
    • Нумерованные списки
    • Маркированные списки
    • Вложенные списки
    • Изображения
      • Вставка изображения
      • Вставка изображения в тексте
      • Вставка ссылки на изображение
    • PlantUML
    • Ссылки и сноски
      • Внешние ссылки
      • Перекресные ссылки
      • Ссылки на файлы (текстовые и для загрузки)
      • Cноски
    • Таблицы
      • Работа с таблицами
      • Вставка ссылки на таблицу
    • Блоки примечаний
    • Вставка в текст исходного кода (листинг)
    • Подключение файлов
    • Комментарии
    • Важные особенности
      • Имена файлов в Sphinx
Компонент «Витрина данных»
  • <no title>
  • СМЭВ4-адаптер – Модуль группировки данных табличных параметров
  • Просмотреть исходный код страницы

СМЭВ4-адаптер – Модуль группировки данных табличных параметров

Содержание

  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ4-адаптер – Модуль группировки данных табличных параметров (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция kafka
    • 3.3. Секция group
    • 3.4. Секция query
    • 3.5. Секция delta
    • 3.6. Секция environment
    • 3.7. Секция zookeeper
    • 3.8. Секция metrics
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
    • 4.4. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
Предыдущая Следующая

© Copyright .

Собрано при помощи Sphinx с использованием темы, предоставленной Read the Docs.
Другие версии v: 1.17.5
Версии
1.11.1
1.11.2
1.12
1.13
1.13.1
1.14
1.15
1.16
1.16.1
1.16.2
1.16.3
1.16.4
1.17.0
1.17.1
1.17.2
1.17.3
1.17.4
1.17.5
1.17.6
2.0
2.1.0
2.2.0
2.3.0
2.4.0
2.5.0
2.6.0