Компонент «Витрина данных»

Релизы

  • Версия 1.12.0
    • Состав релиза Типового ПО Витрина данных конфигурации Лайт
      • Список изменений по сравнению с 1.11.1
        • Список изменений CSV-Uploader версии 1.12.0
        • Список изменений podd-adapter-mppr версии 1.12.0
        • Список изменений podd-adapter-query версии 1.12.0
        • Список изменений podd-adapter-replicator версии 1.12.0
    • Состав релиза Типового ПО Витрина данных конфигурации Стандарт
      • Список изменений по сравнению с 1.11.1
        • Список изменений dbackup-manage версии 1.12.0
        • Список изменений blob-adapter версии 1.12.0
        • Список изменений counter-provider версии 1.12.0
        • Список изменений data-uploader версии 1.12.0
        • Список изменений podd-adapter-group-repl версии 1.12.0
        • Список изменений podd-adapter-group-tp версии 1.12.0
        • Список изменений podd-adapter-import-tp версии 1.12.0
        • Список изменений podd-adapter-mppr версии 1.12.0
        • Список изменений podd-adapter-mppw версии 1.12.0
        • Список изменений podd-adapter-query версии 1.12.0
        • Список изменений podd-adapter-replicator версии 1.12.0
        • Список изменений podd-avro-defragmentator версии 1.12.0
        • Список изменений printable-form-service версии 1.12.0
        • Список изменений rest-adapter версии 1.12.0
        • Список изменений rest-uploader версии 1.12.0
        • Список изменений smev3-adapter версии 1.12.0
        • Список изменений smevql-server версии 1.12.0
  • Версия 1.11.1
    • Состав релиза Типового ПО Витрина данных конфигурации Лайт
      • Список изменений по сравнению с 1.10.0
        • Список изменений CSV-Uploader версии 1.11.1
        • Список изменений podd-adapter-mppr версии 1.11.1
        • Список изменений podd-adapter-replicator версии 1.11.1
    • Состав релиза Типового ПО Витрина данных конфигурации Стандарт
      • Список изменений по сравнению с 1.11.0
        • Список изменений data-uploader версии 1.11.1
        • Список изменений podd-adapter-mppr версии 1.11.1
        • Список изменений podd-adapter-mppw версии 1.11.1
        • Список изменений podd-adapter-replicator версии 1.11.1
  • Версия 1.11.0
    • Состав релиза Типового ПО Витрина данных конфигурации Лайт
      • Список изменений по сравнению с 1.10.0
        • Список изменений CSV-Uploader версии 1.11.0
        • Список изменений podd-adapter-mppr версии 1.11.0
        • Список изменений podd-adapter-query версии 1.11.0
        • Список изменений podd-adapter-replicator версии 1.11.0
    • Состав релиза Типового ПО Витрина данных конфигурации Стандарт
      • Список изменений по сравнению с 1.10.0
        • Список изменений backup-manager версии 1.11.0
        • Список изменений blob-adapter версии 1.11.0
        • Список изменений counter-provider версии 1.11.0
        • Список изменений data-uploader версии 1.11.0
        • Список изменений podd-adapter-group-repl версии 1.11.0
        • Список изменений podd-adapter-group-tp версии 1.11.0
        • Список изменений podd-adapter-mppr версии 1.11.0
        • Список изменений podd-adapter-mppw версии 1.11.0
        • Список изменений podd-adapter-query версии 1.11.0
        • Список изменений podd-adapter-replicator версии 1.11.0
        • Список изменений podd-avro-defragmentator версии 1.11.0
        • Список изменений printable-form-service версии 1.11.0
        • Список изменений rest-adapter версии 1.11.0
        • Список изменений rest-uploader версии 1.11.0
        • Список изменений smev3-adapter версии 1.11.0
        • Список изменений smevql-server версии 1.11.0
  • Версия 1.10.4
    • Состав релиза
    • Список изменений по сравнению с 1.10.3
      • Список изменений podd-adapter-query версии 5.4.2
  • Версия 1.10.3
    • Состав релиза
    • Список изменений по сравнению с 1.10.2:
      • Список изменений blob-adapter версии 1.3.1
      • Список изменений podd-adapter-query версии 5.4.2
      • Список изменений podd-adapter-group-tp версии 5.3.1
      • Список изменений podd-adapter-import-tp версии 5.3.2
      • Список изменений podd-adapter-mppw версии 5.3.1
      • Список изменений podd-adapter-mppr версии 5.3.2
      • Список изменений podd-adapter-replicator версии 1.4.2
      • Список изменений podd-adapter-group-repl версии 1.3.1
      • Список изменений podd-avro-defragmentator версии 5.2.1
      • Список изменений smevql-server версии 1.1.1
  • Версия 1.5.0
    • Состав релиза
    • Список изменений
      • Список изменений blob-adapter версии 1.2.1
      • Список изменений podd-adapter-query версии 5.3.0
      • Список изменений podd-adapter-group-tp версии 5.2.0
      • Список изменений podd-adapter-import-tp версии 5.2.3
      • Список изменений podd-adapter-mppw версии 5.2.2
      • Список изменений podd-adapter-mppr версии 5.2.1
      • Список изменений podd-adapter-replicator версии 1.3.4
      • Список изменений podd-adapter-group-repl версии 1.2.0
      • Список изменений podd-avro-defragmentator версии 5.1.0
      • Список изменений printable-form-service версии 1.2.1
      • Список изменений smev3-adapter версии 4.1.1
      • Список изменений rest-uploader версии 1.1.3
      • Список изменений data-uploader версии 1.1.2
  • Версия 1.4.0
    • Состав релиза
    • Список изменений
      • Список изменений blob-adapter версии 1.1.7
      • Список изменений podd-adapter-query версии 5.2.0
      • Список изменений podd-adapter-group-tp версии 5.1.2
      • Список изменений podd-adapter-import-tp версии 5.1.2
      • Список изменений podd-adapter-mppw версии 5.1.2
      • Список изменений podd-adapter-mppr версии 5.1.6
      • Список изменений podd-adapter-replicator версии 1.1.0
      • Список изменений podd-adapter-group-repl версии 1.1.1
      • Список изменений podd-avro-defragmentator версии 5.0.5
      • Список изменений printable-form-service версии 1.1.1
      • Список изменений smev3-adapter версии 4.0.12
      • Список изменений rest-uploader версии 1.0.4
      • Список изменений data-uploader версии 1.0.4

Витрина конфигурации Лайт

  • Техническое описание программы
    • 1. Общие сведения
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
      • 1.4. Рекомендуемые технические и программные средства
        • 1.4.1. Серверное оборудование
        • 1.4.2. Программное обеспечение
        • 1.4.3. Требования к каналам связи
      • 1.5. Режим работы программы
        • 1.5.1. Штатный режим
        • 1.5.2. Сервисный режим
        • 1.5.3. Аварийный режим
        • 1.5.4. Остановка
      • 1.6. Используемые языки программирования
      • 1.7. Требования к персоналу
        • 1.7.1. Требования к системному администратору
        • 1.7.2. Требования к программисту
    • 2. Структура Витрины данных
      • 2.1. Составные части Витрины данных
        • 2.1.1. Основные компоненты
        • 2.1.2. Дополнительные компоненты
        • 2.1.3. Операционная система
      • 2.2. Модули Витрины данных
        • 2.2.1. ПОДД-адаптер — Модуль исполнения запросов
          • 2.2.1.1. Общее описание
            • 2.2.1.1.1. Общая схема взаимодействия через ПОДД-адаптер- Модуль исполнения запросов
            • 2.2.1.1.2. Процесс обработки запроса через ПОДД-адаптер- Модуль исполнения запросов
        • 2.2.2. ПОДД-адаптер — Модуль MPPR
          • 2.2.2.1. Общее описание
            • 2.2.2.1.1. Общая схема взаимодействия
            • 2.2.2.1.2. Процесс обработки запроса через Модуль MPPR
        • 2.2.3. Модуль подписок
          • 2.2.3.1. Общее описание
        • 2.2.4. CSV-uploader
          • 2.2.4.1. Общее описание
            • 2.2.4.1.1. Общая схема взаимодействия через CSV-uploader
      • 2.3. Состав компонентов в дистрибутиве
      • 2.4. Cвязи между составными частями
      • 2.5. Связи с другими программами
      • 2.6. Карта портов
    • 3. Архитектура Витрины данных
      • 3.1. Общая архитектурная схема
      • 3.2. Общая компонентная схема
      • 3.3. Схема развертывания
      • 3.4. Описание логической структуры
    • 4. Описание технических решений
      • 4.1. Задачи реализованных технических решений
        • 4.1.1. Задача «Упрощение процесса установки»
        • 4.1.2. Задача «Создание структуры таблиц витрины»
        • 4.1.3. Задача «Выгрузка шаблона»
        • 4.1.4. Задача «Загрузка данных в витрину»
          • 4.1.4.1. Загрузка данных через графический интерфейс (CSV-файлы)
          • 4.1.4.2. Загрузка данных через REST API
          • 4.1.4.3. Загрузка данных через файловый обмен
        • 4.1.5. Настройка параметров работы витрины через графический интерфейс
        • 4.1.6. Задача «Журналирование событий функциональных блоков»
        • 4.1.7. Задача «Мониторинг информации о работоспособности экземпляра программы»
        • 4.1.8. Задача «Совместимость Типового ПО Витрина данных конфигурации Лайт с РЕД ОС версии 7.2»
        • 4.1.9. Задача «Совместимость Типового ПО Витрина данных конфигурации Лайт с АЛЬТ Сервер 8 СП»
        • 4.1.10. Задача «Совместимость Типового ПО Витрина данных конфигурации Лайт с Astra Linux 1.7»
          • 4.1.10.1. Описание тестирования процесса развертывания витрины данных на серверах с предустановленной операционной системой Astra Linux
          • 4.1.10.2. Описание регрессионного тестирования функционирования витрины данных без подключения к ПОДД на серверах с предустановленной операционной системой Astra Linux
          • 4.1.10.3. Описание подготовки отчетов о регрессионном тестировании витрины данных на серверах с предустановленной операционной системой Astra Linux
          • 4.1.10.4. Описание выполнения необходимых доработок Типового ПО Витрина данных по итогам регрессионного тестирования для обеспечения совместимости с операционными системами Astra Linux
          • 4.1.10.5. Описание подготовки скриптов и проведения нагрузочного тестирования
          • 4.1.10.6. Описание подготовки отчета о результатах нагрузочного тестирования
        • 4.1.11. Выполнение запросов с системными параметрами
          • 4.1.11.1. Общее описание
          • 4.1.11.2. Обработка системных параметров
          • 4.1.11.3. Примеры преобразования запросов
    • 5. Вызов и загрузка
    • 6. Входные и выходные данные
      • 6.1. Входные данные
      • 6.2. Выходные данные
  • Руководство по установке
    • 1. Общие сведения о программе
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
    • 2. Подготовка к установке
      • 2.1. Требования к серверу
      • 2.2. Предварительные действия
        • 2.2.1. Установка операционной системы
          • 2.2.1.1. Установка CentOS
          • 2.2.1.2. Установка РЕД ОС
          • 2.2.1.3. Установка АЛЬТ Сервер 8 СП
          • 2.2.1.4. Установка Astra Linux 1.7 (уровень защищенности «Воронеж»)
        • 2.2.2. Создание пользователя
          • 2.2.2.1. Создание пользователя
          • 2.2.2.2. Отключение пароля
          • 2.2.2.3. Добавление пользователя в группу администраторов
        • 2.2.3. Отключение межсетевого экрана
          • 2.2.3.1. Для CentOS и RedOS
          • 2.2.3.2. Для AltOS
        • 2.2.4. Отключение SELinux
        • 2.2.5. Выбор часового пояса
          • 2.2.5.1. Для CentOS и RedOS
          • 2.2.5.2. Для AltOS
        • 2.2.6. Подключение к серверу через SSH-клиент PuTTY
        • 2.2.7. Создание SSH-ключей
        • 2.2.8. Копирование ssh-ключей на сервер
        • 2.2.9. Копирование архива программы
        • 2.2.10. Распаковка архива
        • 2.2.11. Установка Docker
          • 2.2.11.1. Установка Docker в CentOS
          • 2.2.11.2. Установка Docker в RedOS
          • 2.2.11.3. Установка Docker в AltOS
        • 2.2.12. Установка библиотеки python-docker-py
        • 2.2.13. Настройка логирования в Docker
        • 2.2.14. Перезапуск Docker
        • 2.2.15. Добавление пользователя в группу docker
        • 2.2.16. Настройка Ansible
    • 3. Установка программы
      • 3.1. Настройка конфигурационного файла
      • 3.2. Установка программы
    • 4. Проверка программы
    • 5. Обновление программы
      • 5.1. Обновление с версии 1.0.0 до версии 1.0.1
        • 5.1.1. Резервное копирование
        • 5.1.2. Копирование архива с обновлением программы на сервер
        • 5.1.3. Распаковка архива с обновлением
        • 5.1.4. Процесс обновления программы
        • 5.1.5. Проверка обновления программы до версии 1.0.1
      • 5.2. Обновление с версии 1.0.1 до версии выше
        • 5.2.1. Резервное копирование
        • 5.2.2. Копирование архива с обновлением программы на сервер
        • 5.2.3. Распаковка архива с обновлением
        • 5.2.4. Процесс обновления программы
        • 5.2.5. Проверка обновления программы
    • 6. Приложение
      • 6.1. Настройка firewall (Iptables)
      • 6.2. Просмотр выполнения загрузки данных в программу
        • 6.2.1. Настройка подключения к базе данных
          • 6.2.1.1. Установка программы DBeaver
            • 6.2.1.1.1. Установка DBeaver для ОС Linux
            • 6.2.1.1.2. Установка DBeaver для ОС Windows
          • 6.2.1.2. Установка и настройка JDBC-драйвера
            • 6.2.1.2.1. Установка и настройка JDBC-драйвера для ОС Windows
            • 6.2.1.2.2. Подключение к базе данных
            • 6.2.1.2.3. Установка и настройка драйвера JDBC-драйвер для ОС Linux
            • 6.2.1.2.4. Подключение к базе данных
        • 6.2.2. Проверка загрузки данных в БД
          • 6.2.2.1. Создание тестовой БД
          • 6.2.2.2. Загрузка данных
  • Руководство администратора
    • 1. Общие сведения о программе
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
      • 1.4. Обеспечивающие технические и программные средства
    • 2. Настройка программы
      • 2.1. Настройка на состав технических средств
      • 2.2. Настройка на состав программных средств
        • 2.2.1. Настройка ProStore
          • 2.2.1.1. Настройка Сервиса исполнения запросов (query-execution)
          • 2.2.1.2. Настройка Сервиса мониторинга Kafka (status-monitor)
        • 2.2.2. Настройка ПОДД-адаптера - Модуль исполнения запросов
          • 2.2.2.1. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
          • 2.2.2.2. Пример файла application.yml
          • 2.2.2.3. Параметры конфигурации
            • 2.2.2.3.1. Секция http-server
            • 2.2.2.3.2. Секция environment
            • 2.2.2.3.3. Секция executor
            • 2.2.2.3.4. Секция send
            • 2.2.2.3.5. Секция query
            • 2.2.2.3.6. Секция zookeeper
            • 2.2.2.3.7. Секция prostore-rest-client
            • 2.2.2.3.8. Секция printable-forms-service
            • 2.2.2.3.9. Секция kafka
            • 2.2.2.3.10. Секция statistics
            • 2.2.2.3.11. Секция logging
            • 2.2.2.3.12. Секция metrics
        • 2.2.3. Настройка ПОДД-адаптер – Модуль MPPR
          • 2.2.3.1. Конфигурация ПОДД-адаптера - Модуль MPPR (application.yml)
          • 2.2.3.2. Пример файла application.yml
          • 2.2.3.3. Параметры конфигурации
            • 2.2.3.3.1. Секция http
            • 2.2.3.3.2. Секция environment
            • 2.2.3.3.3. Секция executor
            • 2.2.3.3.4. Секция send
            • 2.2.3.3.5. Секция prostore-rest-client
            • 2.2.3.3.6. Секция kafka
            • 2.2.3.3.7. Секция metrics
            • 2.2.3.3.8. Секция logging
        • 2.2.4. Настройка ПОДД-адаптер-Модуль MPPW
          • 2.2.4.1. Конфигурация модуля ПОДД-адаптер - Модуль MPPW (application.yml)
          • 2.2.4.2. Пример файла application.yml
          • 2.2.4.3. Параметры конфигурации
            • 2.2.4.3.1. Секция tp
            • 2.2.4.3.2. Секция upload
            • 2.2.4.3.3. Секция http
            • 2.2.4.3.4. Секция environment
            • 2.2.4.3.5. Секция executor
            • 2.2.4.3.6. Секция scheduler
            • 2.2.4.3.7. Секция delta
            • 2.2.4.3.8. Секция send
            • 2.2.4.3.9. Секция zookeeper
            • 2.2.4.3.10. Секция prostore-rest-client
            • 2.2.4.3.11. Секция kafka
            • 2.2.4.3.12. Секция metrics
            • 2.2.4.3.13. Секция jet-connector
        • 2.2.5. Настройка Модуля подписок
          • 2.2.5.1. Конфигурация модуля ПОДД-адаптер - Модуль подписок (application.yml)
          • 2.2.5.2. Пример файла application.yml
          • 2.2.5.3. Параметры конфигурации
            • 2.2.5.3.1. Секция environment
            • 2.2.5.3.2. Секция http-server
            • 2.2.5.3.3. Секция executor
            • 2.2.5.3.4. Секция zookeeper
            • 2.2.5.3.5. Секция migration
            • 2.2.5.3.6. Секция prostore-rest-client
            • 2.2.5.3.7. Секция subscription
            • 2.2.5.3.8. Секция kafka
            • 2.2.5.3.9. Секция log
            • 2.2.5.3.10. Секция metrics
            • 2.2.5.3.11. Секция backup
        • 2.2.6. Настройка Модуля группировки группировки чанков репликации
          • 2.2.6.1. Конфигурация Модуля группировки чанков репликации (application.yml)
          • 2.2.6.2. Пример файла application.yml
          • 2.2.6.3. Параметры конфигурации
            • 2.2.6.3.1. Секция http
            • 2.2.6.3.2. Секция executor
            • 2.2.6.3.3. Секция kafka
            • 2.2.6.3.4. Секция logging
            • 2.2.6.3.5. Секция metrics
        • 2.2.7. Настройка CSV-Uploader
          • 2.2.7.1. Конфигурация CSV-uploader (application.yml)
            • 2.2.7.1.1. Пример файла application.yml
          • 2.2.7.2. Параметры конфигурации
            • 2.2.7.2.1. Секция kafkaUrl
            • 2.2.7.2.2. Секция http
            • 2.2.7.2.3. Секция query-executor
            • 2.2.7.2.4. Секция send
            • 2.2.7.2.5. Секция logging.level
            • 2.2.7.2.6. Секция environment
            • 2.2.7.2.7. Секция zookeeper
            • 2.2.7.2.8. Секция migration
            • 2.2.7.2.9. Секция prostore-rest-client
            • 2.2.7.2.10. Секция validation
            • 2.2.7.2.11. Секция upload
            • 2.2.7.2.12. Секция kafka
            • 2.2.7.2.13. Секция csv-parser
            • 2.2.7.2.14. Секция metrics
            • 2.2.7.2.15. Секция backup
            • 2.2.7.2.16. Секция jet-connector
        • 2.2.8. Настройка Агента ПОДД
        • 2.2.9. Настройка взаимодействия программы с Агентом ПОДД
    • 3. Запуск и остановка программы
    • 4. Резервное копирование
      • 4.1. Плановое резервное копирование информации
      • 4.2. Рекомендации по выполнению резервного копирования
      • 4.3. Контроль результатов резервного копирования
      • 4.4. Внеплановое резервное копирование информационных ресурсов Системы
      • 4.5. Восстановление информации из резервных копий
    • 5. Дополнительные возможности
      • 5.1. Логирование
      • 5.2. Проверка версии компонентов
    • 6. Сообщения администратору
      • 6.1. Сообщения в ходе установки программы с помощью Ansible
      • 6.2. Сообщения при эксплуатации
    • 7. REST API
      • 7.1. Получение данных
      • 7.2. Добавление/изменение данных (1 файл)
      • 7.3. Добавление/изменение данных (несколько файлов)
      • 7.4. Удаление данных (1 файл)
      • 7.5. Удаление данных (несколько файлов)
      • 7.6. Использование Curl для загрузки данных
    • 8. Приложение 1
      • 8.1. Настройка firewall (Iptables)
        • 8.1.1. Инструкция по эксплуатации CSV-uploader
          • 8.1.1.1. Загрузка структуры Витрины
          • 8.1.1.2. Выгрузка шаблона CSV
          • 8.1.1.3. Загрузка CSV-файла
          • 8.1.1.4. Загрузка CSV-файла с предварительным форматно-логическим контролем
          • 8.1.1.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
          • 8.1.1.6. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
          • 8.1.1.7. Настройки CSV-uploader
          • 8.1.1.8. Автоматический запуск загрузки CSV-файлов по расписанию
          • 8.1.1.9. Настройка Журнала операций
          • 8.1.1.10. Просмотр Журнала операций
          • 8.1.1.11. Интерфейс Форматно-логического контроля

Витрина конфигурации Стандарт

  • Техническое описание программы
    • 1. Общие сведения
      • 1.1. Обозначение и наименование программы
      • 1.2. Назначение программы
      • 1.3. Возможности программы
      • 1.4. Основные характеристики программы
      • 1.5. Рекомендуемые технические и программные средства
        • 1.5.1. Серверное оборудование
        • 1.5.2. Программное обеспечение
        • 1.5.3. Требования к каналам связи
      • 1.6. Режим работы программы
        • 1.6.1. Штатный режим
        • 1.6.2. Сервисный режим
        • 1.6.3. Аварийный режим
        • 1.6.4. Остановка
      • 1.7. Используемые языки программирования
      • 1.8. Требования к персоналу
        • 1.8.1. Требования к системному администратору
        • 1.8.2. Требования к программисту
    • 2. Структура Витрины данных
      • 2.1. Составные части Витрины данных
      • 2.2. Модули Витрины данных
        • 2.2.1. BLOB-адаптер
          • 2.2.1.1. Общее описание
          • 2.2.1.2. Общая схема взаимодействия через BLOB-адаптер
          • 2.2.1.3. Взаимодействие через ПОДД-адаптер
            • 2.2.1.3.1. Схема взаимодействия через ПОДД-адаптер
            • 2.2.1.3.2. Процесс обработки запроса на получение BLOB-объекта (ПОДД-адаптер)
          • 2.2.1.4. Взаимодействие через СМЭВ3-адаптер
            • 2.2.1.4.1. Схема взаимодействия через СМЭВ3-адаптер
            • 2.2.1.4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
          • 2.2.1.5. Требования к серверу BLOB-адаптера
          • 2.2.1.6. Требования к Хранилищу BLOB-объектов
          • 2.2.1.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс REST)
        • 2.2.2. Сервис формирования документов
          • 2.2.2.1. Общее описание
            • 2.2.2.1.1. Общая схема взаимодействия модуля «Сервис Формирования документов»
            • 2.2.2.1.2. Процесс обработки запроса через модуль «Сервис Формирования документов»
        • 2.2.3. СМЭВ3-адаптер
          • 2.2.3.1. Общее описание
          • 2.2.3.2. Схема взаимодействия
        • 2.2.4. ПОДД-адаптер-Модуль исполнения запросов
          • 2.2.4.1. Общее описание
            • 2.2.4.1.1. Общая схема взаимодействия через ПОДД-адаптер- Модуль исполнения запросов
            • 2.2.4.1.2. Процесс обработки запроса через ПОДД-адаптер- Модуль исполнения запросов
        • 2.2.5. ПОДД-адаптер – Модуль MPPR
          • 2.2.5.1. Общее описание
            • 2.2.5.1.1. Общая схема взаимодействия
            • 2.2.5.1.2. Процесс обработки запроса через Модуль MPPR
        • 2.2.6. ПОДД-адаптер-Модуль MPPW
        • 2.2.7. ПОДД-адаптер - Модуль группировки данных табличных параметров
          • 2.2.7.1. Общее описание
        • 2.2.8. ПОДД-адаптер - Модуль импорта табличных параметров
          • 2.2.8.1. Общее описание
        • 2.2.9. ПОДД-адаптер - Wrapper
          • 2.2.9.1. Общее описание
        • 2.2.10. Модуль группировки чанков репликации
          • 2.2.10.1. Общее описание
            • 2.2.10.1.1. Интерфейсы модуля
            • 2.2.10.1.2. Процесс обработки запроса через Модуль MPPR
        • 2.2.11. DATA-Uploader - Модуль исполнения асинхронных заданий
          • 2.2.11.1. Общее описание
        • 2.2.12. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
          • 2.2.12.1. Общее описание
          • 2.2.12.2. Проверка форматно-логического контроля
            • 2.2.12.2.1. Синхронная проверка ФЛК
            • 2.2.12.2.2. Асинхронная проверка
            • 2.2.12.2.3. Статусная модель
        • 2.2.13. ПОДД-адаптер - Модуль подписки
          • 2.2.13.1. Общее описание
        • 2.2.14. REST-адаптер
          • 2.2.14.1. Схема взаимодействия через СМЭВ3-адаптер
        • 2.2.15. СМЭВ QL Сервер
          • 2.2.15.1. Назначение СМЭВ QL сервера
            • 2.2.15.1.1. О системе
            • 2.2.15.1.2. Цели СМЭВ QL сервера
            • 2.2.15.1.3. Задачи СМЭВ QL сервера
            • 2.2.15.1.4. Место СМЭВ QL сервера в ИТ-ландшафте
            • 2.2.15.1.5. Язык и синтаксис
            • 2.2.15.1.6. Типизация
            • 2.2.15.1.7. Моделирование данных
            • 2.2.15.1.8. Метрики
      • 2.3. Состав компонентов в дистрибутиве
      • 2.4. Cвязи между составными частями
      • 2.5. Связи с другими программами
      • 2.6. Карта портов
    • 3. Архитектура Витрины данных
      • 3.1. Общая архитектурная схема
      • 3.2. Общая компонентная схема
      • 3.3. Алгоритм работы Витрины данных
    • 4. Входные и выходные данные
      • 4.1. Входные данные
      • 4.2. Выходные данные
    • 5. Вызов и загрузка
    • 6. Описание технических решений
      • 6.1. Задачи реализованных технических решений
      • 6.2. Описание технических решений
        • 6.2.1. Описание логической модели данных
          • 6.2.1.1. Задача «Создание логической модели данных «ЕИП НСУД – Поставщик данных»
          • 6.2.1.2. Задача «Создание логической модели данных «Внешняя ИС – Поставщик данных»
          • 6.2.1.3. Задача «Создание логической модели данных «ЕИП НСУД – Потребитель данных»
          • 6.2.1.4. Задача и методы решения
        • 6.2.2. Загрузка и хранение данных
        • 6.2.3. Извлечение данных из внешних систем
          • 6.2.3.1. Задача «Извлечение и преобразование данных из внешних ИС»
          • 6.2.3.2. Задача и методы решения
        • 6.2.4. Поддержка языка SQL
          • 6.2.4.1. Задача «SQL-запрос через ПОДД»
          • 6.2.4.2. Задача «SQL-запрос через СМЭВ 3»
          • 6.2.4.3. Задача «Прямой SQL-запрос от Внешней ИС»
          • 6.2.4.4. Задача и методы решения
        • 6.2.5. Поддержка протокола коммуникаций Агента ПОДД
          • 6.2.5.1. Задача «Поддержка протокола коммуникации ПОДД»
          • 6.2.5.2. Задача и методы решения
        • 6.2.6. Подключение к СМЭВ3 как информационной системе участника взаимодействия
          • 6.2.6.1. Задача «Подключение к СМЭВ 3»
          • 6.2.6.2. Задача и методы решения
        • 6.2.7. Обработка запросов с использованием стандарта JDBC
          • 6.2.7.1. Задача «Обработка запросов с использованием стандарта JDBC»
          • 6.2.7.2. Задача и методы решения
        • 6.2.8. Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3
          • 6.2.8.1. Задача «Подключение Внешней ИС через Сервер конечных точек (REST-адаптер)»
          • 6.2.8.2. Задача и методы решения
        • 6.2.9. Восстановление данных в непротиворечивое состояние после сбоев
        • 6.2.10. Журналирование событий функциональных блоков
        • 6.2.11. Мониторинг информации о работоспособности экземпляра Программы
        • 6.2.12. Работа с BLOB-объектами
        • 6.2.13. Формирование, подписание и передачи через ПОДД сформированных документов
        • 6.2.14. Предоставление оценки объема запрашиваемых ПОДД данных
        • 6.2.15. Управление взаимодействием со СМЭВ3
        • 6.2.16. Запись событий в журнал и конфигурирование количества соединений к ProStore для СМЭВ3
        • 6.2.17. Использование табличных параметров в запросах через ПОДД и выделение функций в отдельные модули
        • 6.2.18. Пакетная загрузка больших объемов данных при первичном наполнении витрины
          • 6.2.18.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования SQL-запроса и отправки его в ADB на обновление данных (UPDATE) из физической таблицы staging в таблицу actual
          • 6.2.18.2. Описание процесса создания обогащенного SQL-запроса UPDATE на обновление данных из физической таблицы staging в таблицу actual
          • 6.2.18.3. Описание процесса отправки обогащенного SQL-запроса UPDATE в ADB через модуль плагина ADB
            • 6.2.18.3.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования и отправки SQL-запроса в ADB на вставку данных (INSERT) из физической таблицы staging в таблицу actual
          • 6.2.18.4. Описание процесса создания обогащенного SQL-запроса INSERT на вставку данных из физической таблицы staging в таблицу actual
          • 6.2.18.5. Описание процесса отправки обогащенного SQL-запроса INSERT в ADB через модуль плагина ADB
            • 6.2.18.5.1. Описание технического решения по переносу «горячих» данных в ADB вне зависимости от используемого коннектора из Брокера сообщений в ADB
          • 6.2.18.6. Описание алгоритма переноса «горячих» записей витрины в «актуальные» записи витрины вне зависимости от используемого коннектора
        • 6.2.19. Исполнение запросов с табличными параметрами через неверсионируемые таблицы
          • 6.2.19.1. Описание технического решения по записи адаптером ПОДД временных данных из табличных параметров запроса в неверсионируемые таблицы
          • 6.2.19.2. Реализация модуля группировки данных ТП
          • 6.2.19.3. Реализация модуля импорта ТП
          • 6.2.19.4. Реализация модуля MPPW
          • 6.2.19.5. Реализация модуля обработки запросов (Адаптер ПОДД)
          • 6.2.19.6. Реализация модуля MPPR
            • 6.2.19.6.1. Описание технического решения по удалению адаптером ПОДД временных данных из табличных параметров из неверсионируемых таблиц после их использования в целевом запросе
        • 6.2.20. Модуль загрузки данных в Витрину из внешних источников
          • 6.2.20.1. Описание формата CSV для сервиса загрузки данных
            • 6.2.20.1.1. Описание технического решения по реализации асинхронной загрузки данных из источников по REST
          • 6.2.20.2. Архитектура технического решения по реализации асинхронной загрузки данных из источников по REST
            • 6.2.20.2.1. Описание технического решения по реализации получения статуса асинхронного задания по REST-интерфейсу
            • 6.2.20.2.2. Описание технического решения временного хранилища данных
            • 6.2.20.2.3. Описание технического решения обработки очереди файлов при помощи модуля исполнения асинхронных заданий
          • 6.2.20.3. Описание технического решения работы активного экземпляра модуля исполнения асинхронных заданий
          • 6.2.20.4. Описание технического решения цикла обработки файлов
            • 6.2.20.4.1. Особенности и ограничения
        • 6.2.21. Кластеризация модулей витрин данных
          • 6.2.21.1. Описание технического решения по доработке 8 модулей слоя сервисов адаптеров
          • 6.2.21.2. Реализация доработки 8 модулей слоя сервисов адаптеров
            • 6.2.21.2.1. Описание технического решения по доработке 2 модулей сервиса исполнения запросов ядра Prostore
          • 6.2.21.3. Описание технического решения по поддержке работы кластеризованного сервиса исполнения запросов из двух и более узлов с экземплярами сервиса исполнения запросов
          • 6.2.21.4. Реализация режима асинхронного взаимодействия узла кластеризованного сервиса исполнения запросов с общими компонентами
          • 6.2.21.5. Описание технического решения по добавлению в конфигурацию сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
          • 6.2.21.6. Описание технического решения по удалению из конфигурации сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
            • 6.2.21.6.1. Описание технического решения по контейнеризации доработанных 10 модулей Типового ПО витрины данных
            • 6.2.21.6.2. Особенности и ограничения
        • 6.2.22. Генерация номера отчета в сервисе печатных форм
          • 6.2.22.1. Схема взаимодействия технического решения
          • 6.2.22.2. Описание технического решения по реализации функции расширения peeble-шаблона
          • 6.2.22.3. Описание технического решения по реализации функции долговременного хранения неограниченного списка счетчиков
          • 6.2.22.4. Описание технического решения по реализации сервиса получения номера печатных форм
          • 6.2.22.5. Описание технического решения по инициализации произвольного счетчика
          • 6.2.22.6. Описание технического решения по обнулению произвольного счетчика
            • 6.2.22.6.1. Описание технического решения по реализации атомарного изменения счетчика при параллельном использовании этой функции
          • 6.2.22.7. Операция инкремента счетчика
          • 6.2.22.8. Повторение попытки инкремента счетчика
            • 6.2.22.8.1. Описание технического решения по реализации передачи дополнительной информации по параметрам печатных форм из ПОДД в Витрину
            • 6.2.22.8.2. Описание технического решения по обеспечению конкурентной записи (инкремент счетчика) в многопоточном режиме
        • 6.2.23. Реализация применения комплексных ключей в модуле CSV-Uploader в Типовом ПО Витрина данных
          • 6.2.23.1. Описание технического решения по реализации поддержки парсинга комплексных первичных ключей в модуле CSV-Uploader
          • 6.2.23.2. Описание технического решения по реализации поддержка передачи модулем CSV-uploader в ядро Типового ПО Витрины комплексных первичных ключей и комплексных ключей шардирования
        • 6.2.24. Технические решения по сбору статистики и протоколированию обработанных запросов
          • 6.2.24.1. Описание технического решения по фиксации запросов и ответов в модулях витрины данных
            • 6.2.24.1.1. Архитектура технического решения
            • 6.2.24.1.2. Реализация фиксации запросов и ответов в модулях витрины данных
          • 6.2.24.2. Описание технического решения по обработке протоколируемых запросов и ответов
          • 6.2.24.3. Описание технического решения по хранению протоколируемых запросов и ответов, с возможностью извлекать данные по уникальному идентификатору
          • 6.2.24.4. Описание технического решения по поддержке протокола ПОДД, обеспечивающего передачу идентифицирующих атрибутов запросов
          • 6.2.24.5. Описание технического решения по фиксации, передачи, хранению и очистки идентифицирующих атрибутов запросов
          • 6.2.24.6. Особенности и ограничения
        • 6.2.25. Технические решения по реализации обеспечения совместимости Типового ПО Витрина данных под управлением операционных систем Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
          • 6.2.25.1. Описание тестирования процесса развертывания витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
          • 6.2.25.2. Описание регрессионного тестирования функционирования витрины данных без подключения к ПОДД на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
          • 6.2.25.3. Описание подготовки отчетов о регрессионном тестировании витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
          • 6.2.25.4. Описание выполнения необходимых доработок Типового ПО Витрина данных по итогам регрессионного тестирования для обеспечения совместимости с операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
          • 6.2.25.5. Описание подготовки скриптов и проведения нагрузочного тестирования
          • 6.2.25.6. Описание подготовки отчета о результатах нагрузочного тестирования
        • 6.2.26. Выполнение запросов с системными параметрами
          • 6.2.26.1. Общее описание
          • 6.2.26.2. Обработка системных параметров
          • 6.2.26.3. Примеры преобразования запросов
    • 7. Приложение 1
      • 7.1. Описание спецификации
        • 7.1.1. Спецификация модуля ПОДД-адаптера - Модуль исполнения запросов
          • 7.1.1.1. Запрос данных из Витрины
            • 7.1.1.1.1. query.rq
            • 7.1.1.1.2. query.rs
            • 7.1.1.1.3. query.err
            • 7.1.1.1.4. query.estimation.rs
          • 7.1.1.2. Отмена запроса данных
            • 7.1.1.2.1. cancel.rq
            • 7.1.1.2.2. cancel.rs
            • 7.1.1.2.3. cancel.err
          • 7.1.1.3. Запрос оценки выполнения запроса на Витрине
            • 7.1.1.3.1. query.rq
            • 7.1.1.3.2. query.estimation.rs
          • 7.1.1.4. Запрос статистики
            • 7.1.1.4.1. statistics.rq
            • 7.1.1.4.2. statistics.rs
            • 7.1.1.4.3. statistics.err
          • 7.1.1.5. Запрос данных по регламентированным запросам
            • 7.1.1.5.1. procedure.query.rq
            • 7.1.1.5.2. procedure.query.rs
            • 7.1.1.5.3. procedure.query.err
          • 7.1.1.6. Запрос метаданных
            • 7.1.1.6.1. metadata.rq
            • 7.1.1.6.2. metadata.rs
            • 7.1.1.6.3. metadata.err
        • 7.1.2. Спецификация модуля «BLOB-адаптер»
          • 7.1.2.1. Запрос на считывание BLOB
            • 7.1.2.1.1. blob.rq
            • 7.1.2.1.2. blob.rs
            • 7.1.2.1.3. blob.err
        • 7.1.3. Спецификация модуля «Сервис Формирования документов»
          • 7.1.3.1. Запрос формирования документов
            • 7.1.3.1.1. report.rq
            • 7.1.3.1.2. report.rs
            • 7.1.3.1.3. report.err
      • 7.2. Поддержка функций SQL
      • 7.3. Поддержка функции LISTAGG
      • 7.4. Пример XML-файла со структурой витрины
    • 6. Термины и определения
  • Руководство по установке
    • 1. Общие сведения о программе
      • 1.1. Назначение программы
      • 1.2. Возможности программы
      • 1.3. Компоненты системы
    • 2. Подготовка к установке
      • 2.1. Предварительные действия
        • 2.1.1. Установка операционной системы
        • 2.1.2. Настройка межсетевого экрана
        • 2.1.3. Отключение SELinux (только для CentOS)
        • 2.1.4. Выбор часового пояса
        • 2.1.5. Установка сервиса синхронизации времени
        • 2.1.6. Настройка имен хостов (FQDN) на серверах
        • 2.1.7. Установка Java SE Development Kit 17.0.7
        • 2.1.8. Установка компонента сбора данных запросов и ответов Витрины данных
          • 2.1.8.1. Процесс установки
            • 2.1.8.1.1. Настройка логирования приложений
            • 2.1.8.1.2. Установка и настройка Vector
            • 2.1.8.1.3. Установка и настройка HaProxy
            • 2.1.8.1.4. Установка и настройка FluentBit
            • 2.1.8.1.5. Включение / выключение отправки сообщений в СЦЛ
            • 2.1.8.1.6. Установка и настройка ClickHouse
        • 2.1.9. Настройка сервиса журналирования
        • 2.1.10. Настройка подсистемы мониторинга
          • 2.1.10.1. Настройка конфигурации для OpenShift
          • 2.1.10.2. Grafana: графики мониторинга
    • 3. Настройка на состав технических средств
      • 3.1. Общие требования
      • 3.2. Требования к серверам
        • 3.2.1. Требования к серверу ProStore
        • 3.2.2. Требования к серверу Arenadata Cluster Manager (ADCM)
        • 3.2.3. Требования к кластеру серверов Arenadata Streaming (ADS)
        • 3.2.4. Требования к серверу «СМЭВ3-адаптер»
        • 3.2.5. Требования к серверу «Агент ПОДД»
        • 3.2.6. Требования к серверу «ETL»
        • 3.2.7. Требования к серверу «REST-адаптер»
    • 4. Установка программы
      • 4.1. Порядок установки
      • 4.2. Установка ПО ProStore
        • 4.2.1. Запуск службы dtm-status-monitor
        • 4.2.2. Запуск службы Prostore-query-execution-core
      • 4.3. Установка СМЭВ QL Сервера
      • 4.4. Установка СМЭВ3-адаптера
      • 4.5. Установка ПОДД-адаптера - Модуль исполнения запросов
      • 4.6. Установка ПОДД-адаптер – Модуль MPPR
      • 4.7. Установка ПОДД-адаптер-Модуль MPPW
      • 4.8. Установка ПОДД-адаптер – Модуль импорта данных табличных параметров
      • 4.9. Установка ПОДД-адаптер – Модуль группировки данных табличных параметров
      • 4.10. Установка ПОДД-адаптер – Wrapper
      • 4.11. Установка модуля группировки чанков репликации
      • 4.12. Установка DATA-uploder – Модуль исполнения асинхронных заданий
      • 4.13. Установка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 4.14. Установка ПОДД-адаптер – Модуль подписки
      • 4.15. Установка BLOB-адаптер
      • 4.16. Установка Сервиса формирования документов
      • 4.17. Загрузка и удаление данных через ETL
        • 4.17.1. Общее описание
          • 4.17.1.1. Общие положения
        • 4.17.2. Особенности реализации
          • 4.17.2.1. Основные требования к исходным файлам
          • 4.17.2.2. Особенности реализации ETL
          • 4.17.2.3. Получение токена Рroxy API
        • 4.17.3. Загрузка / удаление данных
          • 4.17.3.1. Загрузка/ удаление данных
            • 4.17.3.1.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
            • 4.17.3.1.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
            • 4.17.3.1.3. Загрузка / удаление несогласованных данных (Endpoint – data)
            • 4.17.3.1.4. Описание возвращаемых кодов
        • 4.17.4. Проверка статусной информации по загрузке
          • 4.17.4.1. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
        • 4.17.5. Работа с вложениями через S3
          • 4.17.5.1. Работа с вложениями через S3
            • 4.17.5.1.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
            • 4.17.5.1.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
            • 4.17.5.1.3. Описание возвращаемых кодов
        • 4.17.6. Маппинг данных
          • 4.17.6.1. Маппинг данных (Endpoint – generateMapping)
        • 4.17.7. Валидация данных
          • 4.17.7.1. Валидация данных
        • 4.17.8. Установка Apache Airflow
        • 4.17.9. Установка Apache Spark
        • 4.17.10. Установка Apache Hadoop
        • 4.17.11. Установка Tarantool(Vinyl)
      • 4.18. Установка CSV-Uploader
      • 4.19. Установка REST-адаптера
        • 4.19.1. Установка docker-образов
        • 4.19.2. Подготовка конфигурации
        • 4.19.3. Процесс установки
      • 4.20. Установка Counter-provider
      • 4.21. Установка коннектора Kafka-Postgres
      • 4.22. Установка Arenadata Cluster Manager (ADCM)
      • 4.23. Установка Arenadata Streaming (ADS)
    • 5. Проверка программы
      • 5.1. Проверка Arenadata Cluster Manager (ADCM)
      • 5.2. Проверка Arenadata Streaming (ADS)
        • 5.2.1. Проверка сервиса Zookeeper
        • 5.2.2. Проверка сервиса Apache Kafka
      • 5.3. Проверка ProStore
      • 5.4. Проверка СМЭВ QL Сервера
        • 5.4.1. Проверки и валидации
      • 5.5. Проверка СМЭВ3-адаптера
      • 5.6. Проверка ПОДД-адаптера - Модуль исполнения запросов
      • 5.7. Проверка ПОДД-адаптер – Модуль MPPR
      • 5.8. Проверка ПОДД-адаптер-Модуль MPPW
      • 5.9. Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров
      • 5.10. Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров
      • 5.11. Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper
      • 5.12. Проверка модуля группировки чанков репликации
      • 5.13. Проверка DATA-uploder – Модуль исполнения асинхронных заданий
      • 5.14. Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 5.15. Проверка ПОДД-адаптер – Модуль подписки
      • 5.16. Проверка BLOB-адаптер
      • 5.17. Проверка Сервиса формирования документов
      • 5.18. Проверка ETL
        • 5.18.1. Проверка Apache Airflow
        • 5.18.2. Проверка Apache Spark
        • 5.18.3. Проверка Apache Hadoop
        • 5.18.4. Проверка Tarantool(Vinyl)
      • 5.19. Проверка REST-адаптер
      • 5.20. Проверка Counter-provider - Сервиса генерации уникального номера
    • 6. Термины и определения
  • Руководство администратора
    • 1. Общие сведения о программе
      • 1.1. Назначение программы
      • 1.2. Возможности программы
      • 1.3. Обеспечивающие технические и программные средства
    • 2. Настройка программы
      • 2.1. Настройка на состав технических средств
      • 2.2. Настройка на состав программных средств
        • 2.2.1. Настройка ProStore
          • 2.2.1.1. Настройка Сервиса исполнения запросов (query-execution)
            • 2.2.1.1.1. Пример файла application.yml
          • 2.2.1.2. Настройка Сервиса мониторинга Kafka (status-monitor)
            • 2.2.1.2.1. Пример файла application.yml для status-monitor
          • 2.2.1.3. Настройка kafka-clickhouse-reader
            • 2.2.1.3.1. Пример файла application.yml для kafka-clickhouse-reader
          • 2.2.1.4. Настройка kafka-clickhouse-writer
            • 2.2.1.4.1. Пример файла application.yml для kafka-clickhouse-writer
        • 2.2.2. Настройка СМЭВ QL Сервера
          • 2.2.2.1. Конфигурирование сервера
            • 2.2.2.1.1. Конфигурация файла application.yml
            • 2.2.2.1.2. Конфигурация файла credentials.yml
        • 2.2.3. Настройка СМЭВ3-адаптера
          • 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
          • 2.2.3.2. Пример файла application.yml
          • 2.2.3.3. Параметры конфигурации
            • 2.2.3.3.1. Секция vertx
            • 2.2.3.3.2. Секция spring
            • 2.2.3.3.3. Секция smev
            • 2.2.3.3.4. Секция receiver
            • 2.2.3.3.5. Секция prostore-rest-client
            • 2.2.3.3.6. Секция environment
            • 2.2.3.3.7. Секция zookeeper
            • 2.2.3.3.8. Секция migration
            • 2.2.3.3.9. Секция paramstorage
            • 2.2.3.3.10. Секция deltastorage
            • 2.2.3.3.11. Секция sign
            • 2.2.3.3.12. Секция blob
            • 2.2.3.3.13. Секция rest
            • 2.2.3.3.14. Секция scheduler
            • 2.2.3.3.15. Секция pool
            • 2.2.3.3.16. Секция logging
            • 2.2.3.3.17. Секция backup
            • 2.2.3.3.18. Секция spf
        • 2.2.4. Настройка CSV-Uploader
          • 2.2.4.1. Конфигурация CSV-uploader (application.yml)
            • 2.2.4.1.1. Пример файла application.yml
          • 2.2.4.2. Параметры конфигурации
            • 2.2.4.2.1. Секция kafkaUrl
            • 2.2.4.2.2. Секция http
            • 2.2.4.2.3. Секция query-executor
            • 2.2.4.2.4. Секция send
            • 2.2.4.2.5. Секция logging.level
            • 2.2.4.2.6. Секция environment
            • 2.2.4.2.7. Секция zookeeper
            • 2.2.4.2.8. Секция migration
            • 2.2.4.2.9. Секция prostore-rest-client
            • 2.2.4.2.10. Секция validation
            • 2.2.4.2.11. Секция upload
            • 2.2.4.2.12. Секция kafka
            • 2.2.4.2.13. Секция csv-parser
            • 2.2.4.2.14. Секция metrics
            • 2.2.4.2.15. Секция backup
            • 2.2.4.2.16. Секция jet-connector
        • 2.2.5. Настройка ПОДД-адаптера - Модуль исполнения запросов
          • 2.2.5.1. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
          • 2.2.5.2. Пример файла application.yml
          • 2.2.5.3. Параметры конфигурации
            • 2.2.5.3.1. Секция http-server
            • 2.2.5.3.2. Секция environment
            • 2.2.5.3.3. Секция executor
            • 2.2.5.3.4. Секция send
            • 2.2.5.3.5. Секция query
            • 2.2.5.3.6. Секция zookeeper
            • 2.2.5.3.7. Секция prostore-rest-client
            • 2.2.5.3.8. Секция printable-forms-service
            • 2.2.5.3.9. Секция kafka
            • 2.2.5.3.10. Секция statistics
            • 2.2.5.3.11. Секция logging
            • 2.2.5.3.12. Секция metrics
        • 2.2.6. Настройка ПОДД-адаптер – Модуль MPPR
          • 2.2.6.1. Конфигурация ПОДД-адаптера - Модуль MPPR (application.yml)
          • 2.2.6.2. Пример файла application.yml
          • 2.2.6.3. Параметры конфигурации
            • 2.2.6.3.1. Секция http
            • 2.2.6.3.2. Секция environment
            • 2.2.6.3.3. Секция executor
            • 2.2.6.3.4. Секция send
            • 2.2.6.3.5. Секция prostore-rest-client
            • 2.2.6.3.6. Секция kafka
            • 2.2.6.3.7. Секция metrics
            • 2.2.6.3.8. Секция logging
        • 2.2.7. Настройка ПОДД-адаптер-Модуль MPPW
          • 2.2.7.1. Конфигурация модуля ПОДД-адаптер - Модуль MPPW (application.yml)
          • 2.2.7.2. Пример файла application.yml
          • 2.2.7.3. Параметры конфигурации
            • 2.2.7.3.1. Секция tp
            • 2.2.7.3.2. Секция upload
            • 2.2.7.3.3. Секция http
            • 2.2.7.3.4. Секция environment
            • 2.2.7.3.5. Секция executor
            • 2.2.7.3.6. Секция scheduler
            • 2.2.7.3.7. Секция delta
            • 2.2.7.3.8. Секция send
            • 2.2.7.3.9. Секция zookeeper
            • 2.2.7.3.10. Секция prostore-rest-client
            • 2.2.7.3.11. Секция kafka
            • 2.2.7.3.12. Секция metrics
            • 2.2.7.3.13. Секция jet-connector
        • 2.2.8. Настройка ПОДД-адаптер – Модуль импорта данных табличных параметров
          • 2.2.8.1. Конфигурация модуля ПОДД-адаптер - Модуль импорта данных табличных параметров (application.yml)
          • 2.2.8.2. Пример файла application.yml
          • 2.2.8.3. Параметры конфигурации
            • 2.2.8.3.1. Секция http-server
            • 2.2.8.3.2. Секция environment
            • 2.2.8.3.3. Секция zookeeper
            • 2.2.8.3.4. Секция prostore-rest-client
            • 2.2.8.3.5. Секция kafka
            • 2.2.8.3.6. Секция query
            • 2.2.8.3.7. Секция mppw
            • 2.2.8.3.8. Секция delete
            • 2.2.8.3.9. Секция delta
            • 2.2.8.3.10. Секция metrics
        • 2.2.9. Настройка ПОДД-адаптер – Модуль группировки данных табличных параметров
          • 2.2.9.1. Конфигурация модуля ПОДД-адаптер - Модуль импорта данных табличных параметров (application.yml)
          • 2.2.9.2. Пример файла application.yml
          • 2.2.9.3. Параметры конфигурации
            • 2.2.9.3.1. Секция http-server
            • 2.2.9.3.2. Секция environment
            • 2.2.9.3.3. Секция zookeeper
            • 2.2.9.3.4. Секция prostore-rest-client
            • 2.2.9.3.5. Секция kafka
            • 2.2.9.3.6. Секция query
            • 2.2.9.3.7. Секция mppw
            • 2.2.9.3.8. Секция delete
            • 2.2.9.3.9. Секция delta
            • 2.2.9.3.10. Секция metrics
        • 2.2.10. Настройка ПОДД-адаптер – ПОДД-адаптер – Wrapper
          • 2.2.10.1. Конфигурация модуля ПОДД-адаптер - Wrapper (application.yml)
          • 2.2.10.2. Пример файла application.yml
          • 2.2.10.3. Параметры конфигурации
            • 2.2.10.3.1. Секция application
            • 2.2.10.3.2. Секция environment
            • 2.2.10.3.3. Секция kafka
            • 2.2.10.3.4. Секция logging
            • 2.2.10.3.5. Секция metrics
        • 2.2.11. Настройка Модуля группировки чанков
          • 2.2.11.1. Конфигурация Модуля группировки чанков репликации (application.yml)
          • 2.2.11.2. Пример файла application.yml
          • 2.2.11.3. Параметры конфигурации
            • 2.2.11.3.1. Секция http
            • 2.2.11.3.2. Секция executor
            • 2.2.11.3.3. Секция kafka
            • 2.2.11.3.4. Секция logging
            • 2.2.11.3.5. Секция metrics
        • 2.2.12. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
          • 2.2.12.1. Конфигурация модуля DATA-Uploader (application.yml)
          • 2.2.12.2. Пример файла application.yml
          • 2.2.12.3. Параметры конфигурации
            • 2.2.12.3.1. Секция server
            • 2.2.12.3.2. Секция prostore-rest-client
            • 2.2.12.3.3. Секция redis
            • 2.2.12.3.4. Секция csv-parser
            • 2.2.12.3.5. Секция active
            • 2.2.12.3.6. Секция delta
            • 2.2.12.3.7. Секция response
            • 2.2.12.3.8. Секция kafka
            • 2.2.12.3.9. Секция metrics
            • 2.2.12.3.10. Секция scheduler
            • 2.2.12.3.11. Дополнительное описание параметров
        • 2.2.13. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
          • 2.2.13.1. Конфигурация модуля REST-Uploader (application.yml)
          • 2.2.13.2. Пример файла application.yml
          • 2.2.13.3. Параметры конфигурации
            • 2.2.13.3.1. Секция http-server
            • 2.2.13.3.2. Секция executor
            • 2.2.13.3.3. Секция send
            • 2.2.13.3.4. Секция environment
            • 2.2.13.3.5. Секция conditions
            • 2.2.13.3.6. Секция zookeeper
            • 2.2.13.3.7. Секция prostore-rest-client
            • 2.2.13.3.8. Секция redis
            • 2.2.13.3.9. Секция auth
            • 2.2.13.3.10. Секция metrics
            • 2.2.13.3.11. Секция scheduler
            • 2.2.13.3.12. Секция csv-parser
            • 2.2.13.3.13. Дополнительное описание параметров
            • 2.2.13.3.14. Секция backup
          • 2.2.13.4. Проверка форматно-логического контроля
            • 2.2.13.4.1. Синхронная проверка ФЛК
            • 2.2.13.4.2. Асинхронная проверка
            • 2.2.13.4.3. Статусная модель
          • 2.2.13.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
        • 2.2.14. Настройка ПОДД-адаптер – Модуль подписки
          • 2.2.14.1. Конфигурация модуля ПОДД-адаптер - Модуль подписок (application.yml)
          • 2.2.14.2. Пример файла application.yml
          • 2.2.14.3. Параметры конфигурации
            • 2.2.14.3.1. Секция environment
            • 2.2.14.3.2. Секция http-server
            • 2.2.14.3.3. Секция executor
            • 2.2.14.3.4. Секция zookeeper
            • 2.2.14.3.5. Секция migration
            • 2.2.14.3.6. Секция prostore-rest-client
            • 2.2.14.3.7. Секция subscription
            • 2.2.14.3.8. Секция kafka
            • 2.2.14.3.9. Секция log
            • 2.2.14.3.10. Секция metrics
            • 2.2.14.3.11. Секция backup
        • 2.2.15. Настройка BLOB-адаптер
          • 2.2.15.1. Конфигурация BLOB-адаптера (application.yml)
          • 2.2.15.2. Пример файла application.yml
          • 2.2.15.3. Параметры конфигурации
            • 2.2.15.3.1. Секция http-server
            • 2.2.15.3.2. Секция executor
            • 2.2.15.3.3. Секция vertx
            • 2.2.15.3.4. Секция kafka
            • 2.2.15.3.5. Секция blob
            • 2.2.15.3.6. Секция logging
            • 2.2.15.3.7. Секция metrics
        • 2.2.16. Настройка Сервиса формирования документов
          • 2.2.16.1. Конфигурация Сервиса Формирования документов (application.yml)
            • 2.2.16.1.1. Пример файла application.yml
          • 2.2.16.2. Параметры конфигурации
            • 2.2.16.2.1. Секция http-server
            • 2.2.16.2.2. Секция executor
            • 2.2.16.2.3. Секция prostore-rest-client
            • 2.2.16.2.4. Секция metrics
            • 2.2.16.2.5. Секция counter-service
            • 2.2.16.2.6. Секция sign-service
            • 2.2.16.2.7. Секция notarius
            • 2.2.16.2.8. Секция printable-forms
          • 2.2.16.3. Примеры pebble-шаблонов для Сервиса Формирования документов
            • 2.2.16.3.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
            • 2.2.16.3.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
            • 2.2.16.3.3. Pebble-шаблон для формирования xml-документа
            • 2.2.16.3.4. Pebble-шаблон для формирования pdf-документа
        • 2.2.17. Настройка REST-адаптера
          • 2.2.17.1. Kонфигурационный файл с конечными точками
          • 2.2.17.2. Шаблоны
        • 2.2.18. Настройка Counter-provider - Сервиса генерации уникального номера
          • 2.2.18.1. Конфигурация модуля Counter-Provider (application.yml)
          • 2.2.18.2. Пример файла application.yml
          • 2.2.18.3. Параметры конфигурации
            • 2.2.18.3.1. Секция environment
            • 2.2.18.3.2. Секция http-server
            • 2.2.18.3.3. Секция counter
            • 2.2.18.3.4. Секция zookeeper
            • 2.2.18.3.5. Секция migration
            • 2.2.18.3.6. Секция backup
            • 2.2.18.3.7. Секция metrics
        • 2.2.19. Настройка Arenadata Cluster Manager (ADCM)
        • 2.2.20. Настройка Arenadata Streaming (ADS)
        • 2.2.21. Настройка сервиса журналирования
        • 2.2.22. Настройка подсистемы мониторинга
          • 2.2.22.1. Настройка конфигурации для OpenShift
          • 2.2.22.2. Grafana: графики мониторинга
        • 2.2.23. Установка компонента сбора данных запросов и ответов Витрины данных
          • 2.2.23.1. Процесс установки
            • 2.2.23.1.1. Настройка логирования приложений
            • 2.2.23.1.2. Установка и настройка Vector
            • 2.2.23.1.3. Установка и настройка HaProxy
            • 2.2.23.1.4. Установка и настройка fluentbit
            • 2.2.23.1.5. Работа с БД ClickHouse
            • 2.2.23.1.6. Включение / выключение отправки сообщений в СЦЛ
    • 3. Запуск и остановка Программы
      • 3.1. Prostore
        • 3.1.1. Запуск
      • 3.2. СМЭВ QL Сервер
      • 3.3. СМЭВ3-адаптер
      • 3.4. CSV-Uploader
      • 3.5. ПОДД-адаптера - Модуль исполнения запросов
      • 3.6. ПОДД-адаптер – Модуль MPPR
      • 3.7. ПОДД-адаптер-Модуль MPPW
      • 3.8. ПОДД-адаптер – Модуль импорта данных табличных параметров
      • 3.9. ПОДД-адаптер – Модуль группировки данных табличных параметров
      • 3.10. ПОДД-адаптер – ПОДД-адаптер – Wrapper
      • 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
      • 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
        • 3.12.1. Добавление поставщика данных
      • 3.13. ПОДД-адаптер-Модуль подписки
      • 3.14. BLOB-адаптер
      • 3.15. Сервис формирования документов
      • 3.16. ETL
        • 3.16.1. Apache Airflow
          • 3.16.1.1. Запуск
          • 3.16.1.2. Остановка
        • 3.16.2. Apache Spark
          • 3.16.2.1. Запуск
          • 3.16.2.2. Остановка
        • 3.16.3. Apache Hadoop
          • 3.16.3.1. Запуск
          • 3.16.3.2. Остановка
        • 3.16.4. Tarantool (Vynil)
          • 3.16.4.1. Запуск
          • 3.16.4.2. Остановка
      • 3.17. REST-адаптер
      • 3.18. Counter-provider - Сервис генерации уникального номера
      • 3.19. Установка коннектора Kafka-Postgres
      • 3.20. Arenadata Cluster Manager (ADCM)
        • 3.20.1. Запуск
        • 3.20.2. Остановка
      • 3.21. Arenadata Streaming (ADS)
        • 3.21.1. Запуск и остановка через консоль
        • 3.21.2. Запуск и остановка сервисов ADS через ADCM
          • 3.21.2.1. Zookeeper
            • 3.21.2.1.1. Запуск
            • 3.21.2.1.2. Остановка
          • 3.21.2.2. Перезапуск
          • 3.21.2.3. Kafka
            • 3.21.2.3.1. Запуск
          • 3.21.2.4. Остановка
          • 3.21.2.5. Перезапуск
        • 3.21.3. Запуск и остановка Arenadata Streaming (ADS)
          • 3.21.3.1. Запуск
          • 3.21.3.2. Остановка
    • 4. Бекапирование Витрины данных НСУД
      • 4.1. Состав резервной копии Типового ПО Витрина данных
        • 4.1.1. Модули слоя адаптеров Типового ПО Витрины данных, подлежащие резервному копированию
      • 4.2. Описание и механизм работы утилиты Backup Manager
        • 4.2.1. Описание утилиты Backup Manager
        • 4.2.2. Механизм работы утилиты Backup manager
        • 4.2.3. Создание резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
          • 4.2.3.1. Механизм работы утилиты Backup manager при выполнении резервного копирования
        • 4.2.4. Восстановление из резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
      • 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
        • 4.3.1. Работа модулей для обеспечения резервного копирования
          • 4.3.1.1. Сообщения в топиках команд
          • 4.3.1.2. Статусы модулей
            • 4.3.1.2.1. Значения статусов
      • 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
        • 4.4.1. Приостановка модулей, требующих консистентности с Prostore
        • 4.4.2. Восстановление модулей, требующих консистентности с Prostore
      • 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
        • 4.5.1. Механизм резервного копирования модулей слоя адаптеров
        • 4.5.2. Механизм восстановления из резервной копии модулей слоя адаптеров
      • 4.6. Поведение в случае ошибок при выполнении резервного копирования
        • 4.6.1. Ошибки резервного копирования и восстановления из резервной копии
        • 4.6.2. Поведение в случае остановки утилиты Backup Manager в процессе снятия/восстановления из резервной копии
        • 4.6.3. Ограничения
    • 5. Дополнительные возможности
      • 5.1. Установки опциональных приложений
      • 5.2. Материлиазованные представления
      • 5.3. Маршрутизация запросов к материализованным представлениям
      • 5.4. Логирование
      • 5.5. Обновление
        • 5.5.1. Менеджер кластера ADCM
        • 5.5.2. Диспетчер сообщений ADS
          • 5.5.2.1. Обновление бандла
          • 5.5.2.2. Обновление кластера
      • 5.6. Миграция из Bare metal варианта установки в Kubernetes
        • 5.6.1. Примеры инструкций по развертыванию ПОДД-адаптера — Модуля исполнения запросов в Kubernetes
        • 5.6.2. Примеры инструкций по развертыванию Prostore в Kubernetes
    • 6. Сообщения администратору
      • 6.1. Сообщения в ходе выполнения настройки программы
      • 6.2. Сообщения при эксплуатации программы
    • 7. Приложение 1
      • 7.1. Описание спецификации
        • 7.1.1. Спецификация модуля ПОДД-адаптера - Модуль исполнения запросов
          • 7.1.1.1. Запрос данных из Витрины
            • 7.1.1.1.1. query.rq
            • 7.1.1.1.2. query.rs
            • 7.1.1.1.3. query.err
            • 7.1.1.1.4. query.estimation.rs
          • 7.1.1.2. Отмена запроса данных
            • 7.1.1.2.1. cancel.rq
            • 7.1.1.2.2. cancel.rs
            • 7.1.1.2.3. cancel.err
          • 7.1.1.3. Запрос оценки выполнения запроса на Витрине
            • 7.1.1.3.1. query.rq
            • 7.1.1.3.2. query.estimation.rs
          • 7.1.1.4. Запрос статистики
            • 7.1.1.4.1. statistics.rq
            • 7.1.1.4.2. statistics.rs
            • 7.1.1.4.3. statistics.err
          • 7.1.1.5. Запрос данных по регламентированным запросам
            • 7.1.1.5.1. procedure.query.rq
            • 7.1.1.5.2. procedure.query.rs
            • 7.1.1.5.3. procedure.query.err
          • 7.1.1.6. Запрос метаданных
            • 7.1.1.6.1. metadata.rq
            • 7.1.1.6.2. metadata.rs
            • 7.1.1.6.3. metadata.err
        • 7.1.2. Спецификация модуля «BLOB-адаптер»
          • 7.1.2.1. Запрос на считывание BLOB
            • 7.1.2.1.1. blob.rq
            • 7.1.2.1.2. blob.rs
            • 7.1.2.1.3. blob.err
        • 7.1.3. Спецификация модуля «Сервис Формирования документов»
          • 7.1.3.1. Запрос формирования документов
            • 7.1.3.1.1. report.rq
            • 7.1.3.1.2. report.rs
            • 7.1.3.1.3. report.err
      • 7.2. Поддержка функций SQL
      • 7.3. Поддержка функции LISTAGG
      • 7.4. Пример XML-файла со структурой витрины
        • 7.4.1. Инструкция по эксплуатации CSV-uploader
          • 7.4.1.1. Загрузка структуры Витрины
          • 7.4.1.2. Выгрузка шаблона CSV
          • 7.4.1.3. Загрузка CSV-файла
          • 7.4.1.4. Загрузка CSV-файла с предварительным форматно-логическим контролем
          • 7.4.1.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
          • 7.4.1.6. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
          • 7.4.1.7. Настройки CSV-uploader
          • 7.4.1.8. Автоматический запуск загрузки CSV-файлов по расписанию
          • 7.4.1.9. Настройка Журнала операций
          • 7.4.1.10. Просмотр Журнала операций
          • 7.4.1.11. Интерфейс Форматно-логического контроля
    • 6. Термины и определения

Модули витрин

  • BLOB-адаптер
    • 1. Общее описание
    • 2. Общая схема взаимодействия через BLOB-адаптер
    • 3. Взаимодействие через ПОДД-адаптер
      • 3.1. Схема взаимодействия через ПОДД-адаптер
      • 3.2. Процесс обработки запроса на получение BLOB-объекта (ПОДД-адаптер)
    • 4. Взаимодействие через СМЭВ3-адаптер
      • 4.1. Схема взаимодействия через СМЭВ3-адаптер
      • 4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
    • 5. Требования к серверу BLOB-адаптера
    • 6. Требования к Хранилищу BLOB-объектов
    • 7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс REST)
    • 8. Конфигурация BLOB-адаптера (application.yml)
    • 9. Пример файла application.yml
    • 10. Параметры конфигурации
      • 10.1. Секция http-server
      • 10.2. Секция executor
      • 10.3. Секция vertx
      • 10.4. Секция kafka
      • 10.5. Секция blob
      • 10.6. Секция logging
      • 10.7. Секция metrics
    • 11. Установка модуля
      • 11.1. Настройка конфигурации
      • 11.2. Добавление папки для загрузки файлов модуля
      • 11.3. Загрузка файлов на сервер
    • 12. Запуск модуля
    • 13. Остановка модуля
    • 14. Проверка модуля
    • 15. Спецификация модуля «BLOB-адаптер»
      • 15.1. Запрос на считывание BLOB
        • 15.1.1. blob.rq
        • 15.1.2. blob.rs
        • 15.1.3. blob.err
  • Сервис Формирования документов
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия модуля «Сервис Формирования документов»
      • 1.2. Процесс обработки запроса через модуль «Сервис Формирования документов»
    • 2. Конфигурация Сервиса Формирования документов (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция http-server
      • 3.2. Секция executor
      • 3.3. Секция prostore-rest-client
      • 3.4. Секция metrics
      • 3.5. Секция counter-service
      • 3.6. Секция sign-service
      • 3.7. Секция notarius
      • 3.8. Секция printable-forms
    • 4. Примеры pebble-шаблонов для Сервиса Формирования документов
      • 4.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
      • 4.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
      • 4.3. Pebble-шаблон для формирования xml-документа
      • 4.4. Pebble-шаблон для формирования pdf-документа
    • 5. Установки модуля
      • 5.1. Установка модуля
      • 5.2. Настройка конфигурации
      • 5.3. Добавление папки для загрузки файлов модуля
      • 5.4. Загрузка файлов на сервер
      • 5.5. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля из JAR-файла
    • 7. Остановка модуля
    • 8. Проверка модуля
  • СМЭВ QL сервер
    • 1. Назначение СМЭВ QL сервера
      • 1.1. О системе
      • 1.2. Цели СМЭВ QL сервера
      • 1.3. Задачи СМЭВ QL сервера
      • 1.4. Место СМЭВ QL сервера в ИТ-ландшафте
      • 1.5. Язык и синтаксис
        • 1.5.1. Моделирование
        • 1.5.2. Запросы и ответы
      • 1.6. Типизация
        • 1.6.1. Типы данных в модели и приведение типов
      • 1.7. Моделирование данных
      • 1.8. Метрики
    • 2. Быстрый старт
      • 2.1. Создание и конфигурация
      • 2.2. Запуск и управление
      • 2.3. Работа с сервером
        • 2.3.1. Генераторы
      • 2.4. Сборка проекта
    • 3. Основные понятия СМЭВ QL
      • 3.1. Ресурс
      • 3.2. Базовая модель данных
      • 3.3. Модель данных
        • 3.3.1. Структура модели данных
        • 3.3.2. Загрузка
        • 3.3.3. Guard-атрибуты
      • 3.4. Распределённый запрос
    • 4. Функции СМЭВ QL Сервера
      • 4.1. Администрирование и конфигурирование
        • 4.1.1. Создание СМЭВ QL Сервера
        • 4.1.2. Конфигурирование СМЭВ-QL сервер
        • 4.1.3. Запуск, остановка, перезапуск приложения СМЭВ QL сервер
        • 4.1.4. Генерация OpenAPI СМЭВ-QL
        • 4.1.5. Регистрация OpenAPI СМЭВ QL в ПОДД СМЭВ4
      • 4.2. Работа с моделями
      • 4.3. Работа с источниками данных
        • 4.3.1. Создание модели источников данных
      • 4.4. Работа с картами машин состояний
      • 4.5. Обработка входящего REST-запроса изменения данных витрины
      • 4.6. Уведомления при изменении данных витрины (push-сервис)
    • 5. Компонентная модель СМЭВ QL сервера
      • 5.1. Общее представление
      • 5.2. Схема
      • 5.3. Описание компонентов
    • 6. Конфигурирование сервера
      • 6.1. Конфигурация файла application.yml
        • 6.1.1. Секция storage
        • 6.1.2. Секция access
        • 6.1.3. Секция request
        • 6.1.4. Секция delta
        • 6.1.5. Секция state
        • 6.1.6. Секция index_recommendations
        • 6.1.7. Секция push
        • 6.1.8. Секция agent
        • 6.1.9. Секция signature
      • 6.2. Конфигурация файла credentials.yml
    • 7. Стейт-машина СМЭВ QL
      • 7.1. Конфигурирование Стейт-машины
      • 7.2. Удаление записи через Стейт-машину
      • 7.3. Передача данных без изменения статуса (статичный ивент)
      • 7.4. Обновление объектов через Стейт-машину
      • 7.5. Обогащение payload запроса дополнительными атрибутами
      • 7.6. Методы API Стейт-машины
      • 7.7. Спецификация интерфейса Стейт-машины
        • 7.7.1. Выполнение операций обновления данных в витрине
        • 7.7.2. Обновление объектов через Стейт-машину
    • 8. Запросы
      • 8.1. Блок Credentials
      • 8.2. Блок Query
        • 8.2.1. Условия фильтрации Conditions
        • 8.2.2. Сортировка и пагинация
      • 8.3. Эксплуатационные запросы
      • 8.4. Обработка запросов
        • 8.4.1. Логирование мета-данных
        • 8.4.2. Построение плана
    • 9. Ответы
    • 10. Описание эндпоинтов
      • 10.1. GET /ping
      • 10.2. GET /states
      • 10.3. GET /states/{model}
      • 10.4. POST /states/{model}/{event}
      • 10.5. GET /model
      • 10.6. GET /model/{model}
      • 10.7. GET /model/{model}/{version}
      • 10.8. GET /sources
      • 10.9. POST /data
      • 10.10. GET /server/indexes/required
    • 11. Ошибки
      • 11.1. Базовые ошибки СМЭВ Ql
  • СМЭВ3-адаптер
    • 1. Общее описание
    • 2. Схема взаимодействия
    • 3. Конфигурация СМЭВ3-адаптер (application.yml)
    • 4. Пример файла application.yml
    • 5. Параметры конфигурации
      • 5.1. Секция vertx
      • 5.2. Секция spring
      • 5.3. Секция smev
      • 5.4. Секция receiver
      • 5.5. Секция prostore-rest-client
      • 5.6. Секция environment
      • 5.7. Секция zookeeper
      • 5.8. Секция migration
      • 5.9. Секция paramstorage
      • 5.10. Секция deltastorage
      • 5.11. Секция sign
      • 5.12. Секция blob
      • 5.13. Секция rest
      • 5.14. Секция scheduler
      • 5.15. Секция pool
      • 5.16. Секция logging
      • 5.17. Секция backup
      • 5.18. Секция spf
    • 6. Установка модуля
      • 6.1. Установка КриптоПро
    • 7. Процесс установки
      • 7.1. Настройка конфигурации
      • 7.2. Добавление папки для загрузки файлов модуля
      • 7.3. Загрузка файлов на сервер
      • 7.4. Кластеризация модуля
    • 8. Запуск модуля
      • 8.1. Запуск модуля из Docker
      • 8.2. Запуск модуля как JAR-файл
    • 9. Остановка модуля
    • 10. Проверка СМЭВ3-адаптера
    • 11. Шаблоны
      • 11.1. Пример шаблона XML
      • 11.2. Пример шаблона JSON
  • CSV-uploader
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия через CSV-uploader
    • 2. Конфигурация CSV-uploader (application.yml)
      • 2.1. Пример файла application.yml
    • 3. Параметры конфигурации
      • 3.1. Секция kafkaUrl
      • 3.2. Секция http
      • 3.3. Секция query-executor
      • 3.4. Секция send
      • 3.5. Секция logging.level
      • 3.6. Секция environment
      • 3.7. Секция zookeeper
      • 3.8. Секция migration
      • 3.9. Секция prostore-rest-client
      • 3.10. Секция validation
      • 3.11. Секция upload
      • 3.12. Секция kafka
      • 3.13. Секция csv-parser
      • 3.14. Секция metrics
      • 3.15. Секция backup
      • 3.16. Секция jet-connector
    • 4. Процесс установки CSV-uploader
      • 4.1. Настройка конфигурации
      • 4.2. Загрузка JAR-файла на сервер
    • 5. Запуск CSV-uploader
      • 5.1. Запуск модуля из Docker
      • 5.2. Запуск модуля как JAR-файл
    • 6. Остановка модуля
    • 7. Проверка CSV-uploader
    • 8. Инструкция по эксплуатации CSV-uploader
      • 8.1. Загрузка структуры Витрины
      • 8.2. Выгрузка шаблона CSV
      • 8.3. Загрузка CSV-файла
      • 8.4. Загрузка CSV-файла с предварительным форматно-логическим контролем
      • 8.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
      • 8.6. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
      • 8.7. Настройки CSV-uploader
      • 8.8. Автоматический запуск загрузки CSV-файлов по расписанию
      • 8.9. Настройка Журнала операций
      • 8.10. Просмотр Журнала операций
      • 8.11. Интерфейс Форматно-логического контроля
  • ПОДД-адаптер - Модуль исполнения запросов
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия через ПОДД-адаптер- Модуль исполнения запросов
      • 1.2. Процесс обработки запроса через ПОДД-адаптер- Модуль исполнения запросов
    • 2. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http-server
      • 4.2. Секция environment
      • 4.3. Секция executor
      • 4.4. Секция send
      • 4.5. Секция query
      • 4.6. Секция zookeeper
      • 4.7. Секция prostore-rest-client
      • 4.8. Секция printable-forms-service
      • 4.9. Секция kafka
      • 4.10. Секция statistics
      • 4.11. Секция logging
      • 4.12. Секция metrics
    • 5. Процесс установки ПОДД-адаптера - Модуль исполнения запросов
      • 5.1. Настройка конфигурации ПОДД-адаптера - Модуль исполнения запросов
      • 5.2. Кластеризация модуля
    • 6. Запуск ПОДД-адаптера - Модуль исполнения запросов
      • 6.1. Запуск ПОДД-адаптера - Модуль исполнения запросов из Docker
      • 6.2. Запуск ПОДД-адаптер - Модуль исполнения запросов как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
    • 9. Спецификация модуля ПОДД-адаптера - Модуль исполнения запросов
      • 9.1. Запрос данных из Витрины
        • 9.1.1. query.rq
        • 9.1.2. query.rs
        • 9.1.3. query.err
        • 9.1.4. query.estimation.rs
      • 9.2. Отмена запроса данных
        • 9.2.1. cancel.rq
        • 9.2.2. cancel.rs
        • 9.2.3. cancel.err
      • 9.3. Запрос оценки выполнения запроса на Витрине
        • 9.3.1. query.rq
        • 9.3.2. query.estimation.rs
      • 9.4. Запрос статистики
        • 9.4.1. statistics.rq
        • 9.4.2. statistics.rs
        • 9.4.3. statistics.err
      • 9.5. Запрос данных по регламентированным запросам
        • 9.5.1. procedure.query.rq
        • 9.5.2. procedure.query.rs
        • 9.5.3. procedure.query.err
      • 9.6. Запрос метаданных
        • 9.6.1. metadata.rq
        • 9.6.2. metadata.rs
        • 9.6.3. metadata.err
  • ПОДД-адаптер – Модуль MPPR
    • 1. Общее описание
      • 1.1. Общая схема взаимодействия
      • 1.2. Процесс обработки запроса через Модуль MPPR
    • 2. Конфигурация ПОДД-адаптера - Модуль MPPR (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http
      • 4.2. Секция environment
      • 4.3. Секция executor
      • 4.4. Секция send
      • 4.5. Секция prostore-rest-client
      • 4.6. Секция kafka
      • 4.7. Секция metrics
      • 4.8. Секция logging
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
      • 5.3. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как jar-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ПОДД-адаптер-Модуль MPPW
    • 1. Общее описание
    • 2. Конфигурация модуля ПОДД-адаптер - Модуль MPPW (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция tp
      • 4.2. Секция upload
      • 4.3. Секция http
      • 4.4. Секция environment
      • 4.5. Секция executor
      • 4.6. Секция scheduler
      • 4.7. Секция delta
      • 4.8. Секция send
      • 4.9. Секция zookeeper
      • 4.10. Секция prostore-rest-client
      • 4.11. Секция kafka
      • 4.12. Секция metrics
      • 4.13. Секция jet-connector
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
      • 5.4. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ПОДД-адаптер – Модуль импорта данных табличных параметров
    • 1. Общее описание
    • 2. Конфигурация модуля ПОДД-адаптер - Модуль импорта данных табличных параметров (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http-server
      • 4.2. Секция environment
      • 4.3. Секция zookeeper
      • 4.4. Секция prostore-rest-client
      • 4.5. Секция kafka
      • 4.6. Секция query
      • 4.7. Секция mppw
      • 4.8. Секция delete
      • 4.9. Секция delta
      • 4.10. Секция metrics
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
      • 5.4. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ПОДД-адаптер – Модуль группировки данных табличных параметров
    • 1. Общее описание
    • 2. Конфигурация модуля ПОДД-адаптер – Модуль группировки данных табличных параметров (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http-server
      • 4.2. Секция kafka
      • 4.3. Секция group
      • 4.4. Секция query
      • 4.5. Секция group
      • 4.6. Секция delta
      • 4.7. Секция environment
      • 4.8. Секция zookeeper
      • 4.9. Секция metrics
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
      • 5.4. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ПОДД-адаптер – Wrapper
    • 1. Общее описание
    • 2. Конфигурация модуля ПОДД-адаптер - Wrapper (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция application
      • 4.2. Секция environment
      • 4.3. Секция kafka
      • 4.4. Секция logging
      • 4.5. Секция metrics
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ПОДД-адаптер-Модуль подписок
    • 1. Общее описание
    • 2. Конфигурация модуля ПОДД-адаптер - Модуль подписок (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция environment
      • 4.2. Секция http-server
      • 4.3. Секция executor
      • 4.4. Секция zookeeper
      • 4.5. Секция migration
      • 4.6. Секция prostore-rest-client
      • 4.7. Секция subscription
      • 4.8. Секция kafka
      • 4.9. Секция log
      • 4.10. Секция metrics
      • 4.11. Секция backup
    • 5. Установка модуля
      • 5.1. Настройка конфигурации
      • 5.2. Добавление папки для загрузки файлов модуля
      • 5.3. Загрузка файлов на сервер
      • 5.4. Кластеризация модуля
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
    • 9. Спецификация ПОДД-адаптера - Модуль подписок
      • 9.1. Уведомление о новых данных по подписке
        • 9.1.1. delta.notification
      • 9.2. Запрос первоначальной выгрузки
        • 9.2.1. delta.rq
        • 9.2.2. delta.rs
        • 9.2.3. delta.err
      • 9.3. Создание структур для репликации/подписки на уведомления
        • 9.3.1. replication.in.rq
        • 9.3.2. replication.in.rs
        • 9.3.3. replication.in.err
      • 9.4. Управление структурой таблиц витрины
        • 9.4.1. metadata.rq
        • 9.4.2. metadata.rs
        • 9.4.3. metadata.err
        • 9.4.4. metadata.newdata.rq
        • 9.4.5. metadata.newdata.rs
        • 9.4.6. metadata.newdata.err
      • 9.5. Запрос на регистрацию репликации
        • 9.5.1. replication.rq
        • 9.5.2. replication.rs
        • 9.5.3. replication.err
      • 9.6. Запрос на отмену репликации
        • 9.6.1. replication.cancel.rq
        • 9.6.2. replication.cancel.rs
      • 9.7. Прием данных репликаций
        • 9.7.1. delta.in.rq
        • 9.7.2. delta.in.rs
        • 9.7.3. delta.in.err
  • Модуль группировки чанков репликации
    • 1. Общее описание
      • 1.1. Интерфейсы модуля
      • 1.2. Процесс обработки запроса через Модуль MPPR
    • 2. Конфигурация Модуля группировки чанков репликации (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http
      • 4.2. Секция executor
      • 4.3. Секция kafka
      • 4.4. Секция logging
      • 4.5. Секция metrics
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как jar-файл
    • 7. Остановка модуля
    • 8. Проверка
  • DATA-Uploader - Модуль исполнения асинхронных заданий
    • 1. Общее описание
    • 2. Конфигурация модуля DATA-Uploader (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция server
      • 4.2. Секция prostore-rest-client
      • 4.3. Секция redis
      • 4.4. Секция csv-parser
      • 4.5. Секция active
      • 4.6. Секция delta
      • 4.7. Секция response
      • 4.8. Секция kafka
      • 4.9. Секция metrics
      • 4.10. Секция scheduler
      • 4.11. Дополнительное описание параметров
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 1. Общее описание
    • 2. Конфигурация модуля REST-Uploader (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция http-server
      • 4.2. Секция executor
      • 4.3. Секция send
      • 4.4. Секция environment
      • 4.5. Секция conditions
      • 4.6. Секция zookeeper
      • 4.7. Секция prostore-rest-client
      • 4.8. Секция redis
      • 4.9. Секция auth
      • 4.10. Секция metrics
      • 4.11. Секция scheduler
      • 4.12. Секция csv-parser
      • 4.13. Дополнительное описание параметров
      • 4.14. Секция backup
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
    • 9. Спецификация модуля асинхронной загрузки данных из сторонних источников
    • 10. Проверка форматно-логического контроля
      • 10.1. Синхронная проверка ФЛК
      • 10.2. Асинхронная проверка
        • 10.2.1. Проверка уникальности по одному или по сочетанию полей
        • 10.2.2. Проверка соответствия заданному значению
        • 10.2.3. Поведение в случае таймаута валидации
      • 10.3. Статусная модель
  • Counter-Provider – Сервис генерации уникального номера
    • 1. Общее описание
    • 2. Конфигурация модуля Counter-Provider (application.yml)
    • 3. Пример файла application.yml
    • 4. Параметры конфигурации
      • 4.1. Секция environment
      • 4.2. Секция http-server
      • 4.3. Секция counter
      • 4.4. Секция zookeeper
      • 4.5. Секция migration
      • 4.6. Секция backup
      • 4.7. Секция metrics
    • 5. Процесс установки
      • 5.1. Настройка конфигурации
      • 5.2. Загрузка JAR-файла на сервер
    • 6. Запуск модуля
      • 6.1. Запуск модуля из Docker
      • 6.2. Запуск модуля как JAR-файл
    • 7. Остановка модуля
    • 8. Проверка
  • ETL - Модуль загрузки/удаления данных
    • 1. Общие положения
    • 2. Основные требования к исходным файлам
    • 3. Особенности реализации ETL
    • 4. Получение токена Рroxy API
    • 5. Загрузка/ удаление данных
      • 5.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
      • 5.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
      • 5.3. Загрузка / удаление несогласованных данных (Endpoint – data)
      • 5.4. Описание возвращаемых кодов
    • 6. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
    • 7. Работа с вложениями через S3
      • 7.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
      • 7.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
      • 7.3. Описание возвращаемых кодов
    • 8. Маппинг данных (Endpoint – generateMapping)
    • 9. Валидация данных

Документация ГОСТ

  • Описание применения
    • 1. НАЗНАЧЕНИЕ ПРОГРАММЫ
      • 1.1. Назначение программы
      • 1.2. Возможности программы
      • 1.3. Основные характеристики программы
      • 1.4. Перечень эксплуатационной документации
    • 2. УСЛОВИЯ ПРИМЕНЕНИЯ
      • 2.1. Ограничения, накладываемые на область применения программы
      • 2.2. Требования к техническим средствам
        • 2.2.1. Рекомендации по расчету необходимых технических средств
        • 2.2.2. Серверное оборудование
        • 2.2.3. Телекоммуникационное оборудование и каналы связи
      • 2.3. Требования к обеспечению безопасности
    • 3. ОПИСАНИЕ ЗАДАЧИ
      • 3.1. Определение задачи
      • 3.2. Методы решения задачи
        • 3.2.1. Описание логической модели данных
          • 3.2.1.1. Задача «Создание логической модели данных «ЕИП НСУД – Поставщик данных»
          • 3.2.1.2. Задача «Создание логической модели данных «Внешняя ИС – Поставщик данных»
          • 3.2.1.3. Задача «Создание логической модели данных «ЕИП НСУД – Потребитель данных»
          • 3.2.1.4. Задача и методы решения
        • 3.2.2. Загрузка и хранение данных
        • 3.2.3. Извлечение данных из внешних систем
          • 3.2.3.1. Задача «Извлечение и преобразование данных из внешних ИС»
          • 3.2.3.2. Задача и методы решения
        • 3.2.4. Поддержка языка SQL
          • 3.2.4.1. Задача «SQL-запрос через ПОДД»
          • 3.2.4.2. Задача «SQL-запрос через СМЭВ 3»
          • 3.2.4.3. Задача «Прямой SQL-запрос от Внешней ИС»
          • 3.2.4.4. Задача и методы решения
        • 3.2.5. Поддержка протокола коммуникаций Агента ПОДД
          • 3.2.5.1. Задача «Поддержка протокола коммуникации ПОДД»
          • 3.2.5.2. Задача и методы решения
        • 3.2.6. Подключение к СМЭВ 3 как информационной системе участника взаимодействия
          • 3.2.6.1. Задача «Подключение к СМЭВ 3»
          • 3.2.6.2. Задача и методы решения
        • 3.2.7. Обработка запросов с использованием стандарта JDBC
          • 3.2.7.1. Задача «Обработка запросов с использованием стандарта JDBC»
          • 3.2.7.2. Задача и методы решения
        • 3.2.8. Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3
          • 3.2.8.1. Задача «Подключение Внешней ИС через Сервер конечных точек (REST-адаптер)»
          • 3.2.8.2. Задача и методы решения
        • 3.2.9. Восстановление данных в непротиворечивое состояние после сбоев
        • 3.2.10. Журналирование событий функциональных блоков
        • 3.2.11. Мониторинг информации о работоспособности экземпляра Программы
    • 4. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
      • 4.1. Входные данные
      • 4.2. Выходные данные
  • Руководство программиста
    • 1. Аннотация
    • 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
      • 2.1. Назначение программы
      • 2.2. Возможности программы
      • 2.3. Условия, необходимые для выполнения программы
      • 2.4. Требования к программному обеспечению
      • 2.5. Требования к персоналу
      • 2.6. Перечень эксплуатационной документации
    • 3. ХАРАКТЕРИСТИКА ПРОГРАММЫ
      • 3.1. Основные характеристики программы
        • 3.1.1. Режим работы программы
          • 3.1.1.1. Штатный режим
          • 3.1.1.2. Сервисный режим
          • 3.1.1.3. Аварийный режим
          • 3.1.1.4. Остановка
    • 4. ОБРАЩЕНИЕ К ПРОГРАММЕ
      • 4.1. СМЭВ3-адаптер
        • 4.1.1. Способы передачи управления
        • 4.1.2. Способы передачи параметров данных
      • 4.2. ПОДД-адаптер
        • 4.2.1. Способы передачи управления
        • 4.2.2. Способы передачи параметров данных
      • 4.3. REST-адаптер
        • 4.3.1. Способы передачи управления
        • 4.3.2. Способы передачи параметров данных
      • 4.4. Сервис извлечения данных
        • 4.4.1. Способы передачи управления
        • 4.4.2. Способы передачи параметров данных
      • 4.5. JDBC-драйвер
        • 4.5.1. Способы передачи управления
        • 4.5.2. Способы передачи параметров данных
    • 5. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
      • 5.1. СМЭВ3-адаптер
        • 5.1.1. Pebble-шаблон
          • 5.1.1.1. Информация о дельтах
      • 5.2. ПОДД-адаптер
      • 5.3. REST-адаптер
        • 5.3.1. Описание REST API (OpenAPI)
        • 5.3.2. Pebble-шаблон конечной точки
          • 5.3.2.1. Параметры строки запроса
          • 5.3.2.2. Изменение кода ответа
          • 5.3.2.3. xPath выражение
          • 5.3.2.4. SQL запрос к витрине
          • 5.3.2.5. Присвоение значения переменной
      • 5.4. Сервис извлечения данных
        • 5.4.1. JDBC-extractor
        • 5.4.2. CSV-extractor
        • 5.4.3. XML-extractor
        • 5.4.4. JDBC-CSV-transformer
        • 5.4.5. XML-transformer
        • 5.4.6. Kafka loader
          • 5.4.6.1. Схема описания структуры выгружаемых данных
      • 5.5. JDBC-драйвер
        • 5.5.1. Типы данных
          • 5.5.1.1. Формат AVRO
        • 5.5.2. Массивно-параллельная запись
          • 5.5.2.1. Назначение
          • 5.5.2.2. Ограничения и допущения
          • 5.5.2.3. Входные данные
          • 5.5.2.4. Выходные данные (SUCCESS)
          • 5.5.2.5. Выходные данные (FAIL)
          • 5.5.2.6. Последовательность
          • 5.5.2.7. Данные в топике Kafka
        • 5.5.3. Массивно-параллельное чтение
          • 5.5.3.1. Назначение
          • 5.5.3.2. Ограничения и допущения
          • 5.5.3.3. Входные данные
          • 5.5.3.4. Выходные данные
          • 5.5.3.5. Последовательность
          • 5.5.3.6. Данные в топике Kafka
        • 5.5.4. Чтение с минимальной задержкой
          • 5.5.4.1. Назначение
          • 5.5.4.2. Входные данные
          • 5.5.4.3. Выходные данные
          • 5.5.4.4. Последовательность
        • 5.5.5. SQL+
          • 5.5.5.1. CREATE DATABASE
          • 5.5.5.2. DROP DATABASE
          • 5.5.5.3. CREATE TABLE
          • 5.5.5.4. DROP TABLE
          • 5.5.5.5. CREATE VIEW
          • 5.5.5.6. ALTER VIEW
          • 5.5.5.7. DROP VIEW
          • 5.5.5.8. TRUNCATE HISTORY
          • 5.5.5.9. BEGIN DELTA
          • 5.5.5.10. ROLLBACK DELTA
          • 5.5.5.11. GET_DELTA_HOT
          • 5.5.5.12. GET_DELTA_OK
          • 5.5.5.13. GET_DELTA_BY_DATETIME
          • 5.5.5.14. GET_DELTA_BY_NUM
          • 5.5.5.15. USE
          • 5.5.5.16. SELECT
          • 5.5.5.17. CREATE DOWNLOAD EXTERNAL TABLE
          • 5.5.5.18. DROP DOWNLOAD EXTERNAL TABLE
          • 5.5.5.19. CREATE UPLOAD EXTERNAL TABLE
          • 5.5.5.20. DROP UPLOAD EXTERNAL TABLE
          • 5.5.5.21. UPLOAD
          • 5.5.5.22. DOWNLOAD
          • 5.5.5.23. CHECK_DATABASE
          • 5.5.5.24. CHECK_TABLE
          • 5.5.5.25. CHECK_DATA
          • 5.5.5.26. CONFIG_STORAGE_ADD
    • 6. СООБЩЕНИЯ
      • 6.1. SQL+
    • 7. САМОСТОЯТЕЛЬНАЯ СБОРКА ПРИЛОЖЕНИЯ
      • 7.1. Адаптер СМЭВ 3
      • 7.2. Адаптер ПОДД
      • 7.3. Сервер конечных точек API
      • 7.4. Сервис извлечения данных
  • Руководство системного программиста
    • 1. АННОТАЦИЯ
    • 2. Общие сведения о программе
      • 2.1. Назначение программы
      • 2.2. Возможности программы
      • 2.3. Обеспечивающие технические и программные средства
        • 2.3.1. Минимальный состав технических средств
        • 2.3.2. Минимальный состав программных средств
      • 2.4. Перечень эксплуатационной документации
    • 3. Структура программы
      • 3.1. Структура программы
      • 3.2. Составные части программы
        • 3.2.1. Состав компонентов в дистрибутиве
        • 3.2.2. Схема развертывания
      • 3.3. Связи между составными частями
        • 3.3.1. Общая архитектура решения
        • 3.3.2. Архитектура ProStore
          • 3.3.2.1. Схема компонентов ProStore
          • 3.3.2.2. Связи ProStore с другими программами
        • 3.3.3. Cвязи между составными частями
        • 3.3.4. Связи с другими программами
    • 4. Настройка программы
      • 4.1. Настройка на состав технических средств
        • 4.1.1. Общие требования
        • 4.1.2. Общие требования для развертывания ProStore
        • 4.1.3. Требования к серверу ProStore
        • 4.1.4. Требования к серверу «Менеджер кластера ADCM»
        • 4.1.5. Требования к кластеру серверов «ADQM»
        • 4.1.6. Требования к кластеру серверов «ADS»
        • 4.1.7. Требования к кластеру серверов «ADB»
        • 4.1.8. Требования к кластеру серверов «ADG»
        • 4.1.9. Требования к серверу «СМЭВ3 коннектор»
        • 4.1.10. Требования к серверу «Агент ПОДД»
        • 4.1.11. Требования к серверу «ETL»
        • 4.1.12. Требования к серверу конечных точек
      • 4.2. Настройка на состав программных средств
        • 4.2.1. Создание технологического пользователя
        • 4.2.2. Установка Менеджера кластера ADCM
        • 4.2.3. Установка ADQM
        • 4.2.4. Настройка ПО ADQM
        • 4.2.5. Установка Диспетчера сообщений ADS
        • 4.2.6. Настройка Диспетчера сообщений ADS
        • 4.2.7. Установка ПО ADB
        • 4.2.8. Настройка ПО ADB
        • 4.2.9. Установка ПО ADG
        • 4.2.10. Установка ПО ADG
        • 4.2.11. Настройка ПО ADG
        • 4.2.12. Установка ПО ProStore
        • 4.2.13. Настройка ПО ProStore
        • 4.2.14. Установка СМЭВ3-адаптера
        • 4.2.15. Установка ПОДД-адаптера
          • 4.2.15.1. Процесс установки ПОДД-адаптера - Модуль исполнения запросов
            • 4.2.15.1.1. Настройка конфигурации ПОДД-адаптера - Модуль исполнения запросов
            • 4.2.15.1.2. Кластеризация модуля
        • 4.2.16. Настройка ПОДД-адаптера
          • 4.2.16.1. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
          • 4.2.16.2. Пример файла application.yml
          • 4.2.16.3. Параметры конфигурации
            • 4.2.16.3.1. Секция http-server
            • 4.2.16.3.2. Секция environment
            • 4.2.16.3.3. Секция executor
            • 4.2.16.3.4. Секция send
            • 4.2.16.3.5. Секция query
            • 4.2.16.3.6. Секция zookeeper
            • 4.2.16.3.7. Секция prostore-rest-client
            • 4.2.16.3.8. Секция printable-forms-service
            • 4.2.16.3.9. Секция kafka
            • 4.2.16.3.10. Секция statistics
            • 4.2.16.3.11. Секция logging
            • 4.2.16.3.12. Секция metrics
        • 4.2.17. Установка ETL
        • 4.2.18. Установка REST-адаптера
        • 4.2.19. Настройка сервера конечных точек API
    • 5. Запуск и остановка программы
      • 5.1. Менеджер кластера ADCM
      • 5.2. ADQM
        • 5.2.1. Запуск и остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
        • 5.2.2. Запуск кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
        • 5.2.3. Остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
        • 5.2.4. Диспетчер сообщений ADS
        • 5.2.5. Запуск и остановка сервисов ПО ADS через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.1. Запуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.2. Остановка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.3. Перезапуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.4. Запуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.5. Остановка сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.6. Перезапуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.2.5.7. Запуск и остановка диспетчера сообщений ADS на уровне кластера
      • 5.3. ADB
        • 5.3.1. Запуск и остановка кластера ADB через текстовый пользовательский интерфейс программной консоли
        • 5.3.2. Запуск и остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.3.2.1. Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.3.2.2. Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.4. ADG
        • 5.4.1. Запуск и остановка кластера ADG через текстовый пользовательский интерфейс программной консоли
        • 5.4.2. Запуск и остановка кластера ADG через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.4.2.1. Создание экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
          • 5.4.2.2. Удаление экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.5. Ядро витрины  ProStore
        • 5.5.1. Запуск ProStore
      • 5.6. СМЭВ3-адаптер
        • 5.6.1. Запуск СМЭВ3-адаптера
        • 5.6.2. Настройка СМЭВ3-адаптера
        • 5.6.3. Сервисная БД СМЭВ3-адаптер
      • 5.7. Запуск ПОДД-адаптер
      • 5.8. ETL
        • 5.8.1. Apache Airflow
        • 5.8.2. Apache Spark
        • 5.8.3. СУБД Tarantool
      • 5.9. REST-адаптер
    • 6. Проверка программы
      • 6.1. Проверка менеджера кластера ADCM
      • 6.2. Проверка ПО ADQM
      • 6.3. Диспетчер сообщений ADS
        • 6.3.1. Проверка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
        • 6.3.2. Запуск сервиса Apache Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 6.4. Проверка ПО ADB
      • 6.5. Проверка ПО ADG
      • 6.6. Проверка ядра витрины ProStore
      • 6.7. Проверка СМЭВ3-адаптера
      • 6.8. Проверка ETL
        • 6.8.1. Apache Airflow
        • 6.8.2. Apache Spark
        • 6.8.3. Apache Hadoop
        • 6.8.4. СУБД Tarantool
      • 6.9. Проверка сервера конечных точек API
    • 7. Резервное копирование Витрины данных
      • 7.1. Плановое резервное копирование информации
      • 7.2. Контроль результатов резервного копирования
      • 7.3. Внеплановое резервное копирование информационных ресурсов Системы
      • 7.4. Восстановление информации из резервных копий
    • 8. Дополнительные возможности
      • 8.1. Установки опциональных приложений
      • 8.2. Логирование
      • 8.3. Обновление
        • 8.3.1. Менеджер кластера ADCM
        • 8.3.2. ADQM
        • 8.3.3. Диспетчер сообщений ADS
          • 8.3.3.1. Обновление бандла
          • 8.3.3.2. Обновление кластера
        • 8.3.4. ADB
          • 8.3.4.1. Обновление с изменением версии ADB
          • 8.3.4.2. Обновление PXF версии 3х
        • 8.3.5. ADG
      • 8.4. Управление размером кластеров СУБД
        • 8.4.1. Управление размером кластера ADB
          • 8.4.1.1. Расширение кластера
          • 8.4.1.2. Ранжирование таблиц для перераспределения
          • 8.4.1.3. Перераспределение таблиц с помощью gpexpand
          • 8.4.1.4. Мониторинг перераспределения таблиц
          • 8.4.1.5. Удаление временной схемы расширения
          • 8.4.1.6. Сжатие кластеров
        • 8.4.2. Управление размером кластера ADG
          • 8.4.2.1. Расширение кластера
          • 8.4.2.2. Балансировка данных
          • 8.4.2.3. Отключение наборов реплик
          • 8.4.2.4. Исключение экземпляров
        • 8.4.3. Управление размером кластера ADQM
          • 8.4.3.1. Предварительные действия
          • 8.4.3.2. Расширение
    • 9. Сообщения системному программисту
      • 9.1. Сообщения в ходе выполнения настройки ПО ProStore
      • 9.2. Сообщения в ходе выполнения проверки ПО ProStore
    • 10. Приложение 1
      • 10.1. Основные объекты ADCM
      • 10.2. Пример yml – файла настройки ProStore
      • 10.3. Пример application.yml файла для СМЭВ3-адаптер
      • 10.4. Пример application.yml файла для REST-адаптер
      • 10.5. Пример adg.yml для установки ADG
      • 10.6. Пример config.yml для установки ADG
      • 10.7. Пример cartridge.yml
  • Руководство оператора
    • 1. АННОТАЦИЯ
    • 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
      • 2.1. Назначение программы
      • 2.2. Возможности программы
      • 2.3. Требование к квалификации персонала
      • 2.4. Перечень эксплуатационной документации
    • 3. УСЛОВИЯ ВЫПОЛНЕНИЯ ПРОГРАММЫ
      • 3.1. Минимальный состав аппаратных и программных средств
        • 3.1.1. Минимальный состав аппаратных средств
        • 3.1.2. Минимальный состав программных средств
    • 4. ВЫПОЛНЕНИЕ ПРОГРАММЫ
      • 4.1. Подготовка к работе
        • 4.1.1. Настройка подключения к базам данных
          • 4.1.1.1. Установка программы DBeaver
          • 4.1.1.2. Установка DBeaver для ОС Linux
          • 4.1.1.3. Установка DBeaver для ОС Windows
          • 4.1.1.4. Установка и настройка JDBC-драйвера
          • 4.1.1.5. Установка и настройка JDBC-драйвера для ОС Windows
          • 4.1.1.6. Установка и настройка драйвера JDBC-драйвер для Linux
        • 4.1.2. Настройка подключения к серверу ETL
          • 4.1.2.1. Установка и настройка программы FileZilla
          • 4.1.2.2. Установка FileZilla для ОС Windows
          • 4.1.2.3. Установка FileZilla для ОС Linux
          • 4.1.2.4. Создание SSH-ключей
          • 4.1.2.5. Создание SSH-ключей для ОС Linux
          • 4.1.2.6. Создание SSH-ключей для ОС Windows
          • 4.1.2.7. Подключение к серверу через SSH-клиент PuTTY
          • 4.1.2.8. Подключение к серверу с помощью программы FileZilla
          • 4.1.2.9. Проверка подключения к серверу ETL в программе FileZilla
      • 4.2. Выполнение запросов к базам данных
      • 4.3. Работа с файлами
        • 4.3.1. Загрузка csv-файлов на сервер
        • 4.3.2. Скачивание файлов с сервера
        • 4.3.3. Работа в Airflow
          • 4.3.3.1. Авторизация в Airflow
          • 4.3.3.2. Загрузка DAG-файла
          • 4.3.3.3. Перезапуск процесса
        • 4.3.4. Мониторинг статуса выполнения процесса
        • 4.3.5. Мониторинг и статистика работоспособности
          • 4.3.5.1. Описание возможностей
          • 4.3.5.2. Детализация событий в лог-файле
          • 4.3.5.3. Скачивание лог-файла с сервера
          • 4.3.5.4. Просмотр информации в лог-файле
          • 4.3.5.5. Поиск информации в лог-файле
          • 4.3.5.6. Проверка работоспособности кластера ETL
        • 4.3.6. Контроль результатов резервного копирования
        • 4.3.7. Завершение работы с программой
    • 5. Сообщения оператору
      • 5.1. Действия оператора в случае аварии и сбоев
      • 5.2. Классификатор ошибок

Описание топиков

  • Описание топиков
    • blob.err
    • blob.rq
    • blob.rs
    • cancel.err
    • cancel.rq
    • cancel.rs
    • delta.err
    • delta.in.err
    • delta.in.rq
    • delta.in.rs
    • delta.notification
    • delta.rq
    • delta.rs
    • procedure.query.rq
    • procedure.query.rs
    • procedure.query.err
    • query.err
    • query.estimation.rs
    • query.rq
    • query.rs
    • query.tp
    • replication.cancel.rq
    • replication.cancel.rs
    • replication.err
    • replication.in.err
    • replication.in.rq
    • replication.in.rs
    • replication.rq
    • replication.rs
    • statistics.err
    • statistics.rq
    • statistics.rs

Поддержка функций SQL

  • Поддержка функций SQL
    • LISTAGG
      • Описание
      • Поддержка в модулях
      • Синтаксис

Лицензии и библиотеки

  • Сторонние лицензии и библиотеки
    • Лицензия Arenadata
    • Лицензия Kafka
    • Лицензия PostgreSQL
    • Лицензия Zookeeper
    • Data Mart
      • ОТКРЫТАЯ ГОСУДАРСТВЕННАЯ ЛИЦЕНЗИЯ
    • The 3-Clause BSD License
    • MIT License
    • COMMON DEVELOPMENT AND DISTRIBUTION LICENSE (CDDL) Version 1.0
    • Apache License, Version 2.0
    • The 2-Clause BSD License
    • Eclipse Public License - v 2.0
    • GNU LESSER GENERAL PUBLIC LICENSE, Version 2.1
    • Eclipse Public License - v 1.0

Журнал изменений

  • Журнал изменений

Сторонние инструкции

  • Инструкция по работе с BitBucket
    • Установить SSH-ключи
    • Скачать репозиторий на локальный компьютер
    • Как переключится на develop-ветку?
    • Как получить изменения других авторов?
    • Как загрузить изменения на сервер документации
      • Проверить изменения в локальном репозитории
      • Добавить новые файлы в репозиторий
      • Отправить изменения в главный репозиторий
      • Проверить изменения на сайте
  • Синтаксис разметки reStructuredText
    • Базовые концепции
    • Заголовки
    • Выделение текста
    • Нумерованные списки
    • Маркированные списки
    • Вложенные списки
    • Изображения
      • Вставка изображения
      • Вставка изображения в тексте
      • Вставка ссылки на изображение
    • PlantUML
    • Ссылки и сноски
      • Внешние ссылки
      • Перекресные ссылки
      • Ссылки на файлы (текстовые и для загрузки)
      • Cноски
    • Таблицы
      • Работа с таблицами
      • Вставка ссылки на таблицу
    • Блоки примечаний
    • Вставка в текст исходного кода (листинг)
    • Подключение файлов
    • Комментарии
    • Важные особенности
      • Имена файлов в Sphinx
Компонент «Витрина данных»
  • Поиск

© Copyright .

Собрано при помощи Sphinx с использованием темы, предоставленной Read the Docs.
Другие версии v: 1.12
Версии
1.11.1
1.11.2
1.12
1.13
1.13.1
1.14
1.15
1.16
1.16.1
1.16.2
1.16.3
1.16.4
1.17.0
1.17.1
1.17.2
1.17.3
1.17.4
1.17.5
1.17.6
2.0
2.1.0
2.2.0
2.3.0
2.4.0
2.5.0
2.6.0