Техническое описание программы

Содержание

• 1. Общие сведения
  • 1.1. Обозначение и наименование программы
  • 1.2. Назначение программы
  • 1.3. Возможности программы
  • 1.4. Основные характеристики программы
  • 1.5. Рекомендуемые технические и программные средства
    • 1.5.1. Серверное оборудование
    • 1.5.2. Программное обеспечение
    • 1.5.3. Требования к каналам связи
  • 1.6. Режим работы программы
    • 1.6.1. Штатный режим
    • 1.6.2. Сервисный режим
    • 1.6.3. Аварийный режим
    • 1.6.4. Остановка
  • 1.7. Используемые языки программирования
  • 1.8. Требования к персоналу
    • 1.8.1. Требования к системному администратору
    • 1.8.2. Требования к программисту
• 2. Структура Витрины данных
  • 2.1. Составные части Витрины данных
  • 2.2. Модули Витрины данных
    • 2.2.1. BLOB-адаптер
      • 2.2.1.1. Общее описание
      • 2.2.1.2. Общая схема взаимодействия через BLOB-адаптер
      • 2.2.1.3. Взаимодействие через ПОДД-адаптер
        • 2.2.1.3.1. Схема взаимодействия через ПОДД-адаптер
        • 2.2.1.3.2. Процесс обработки запроса на получение BLOB-объекта (ПОДД-адаптер)
      • 2.2.1.4. Взаимодействие через СМЭВ3-адаптер
        • 2.2.1.4.1. Схема взаимодействия через СМЭВ3-адаптер
        • 2.2.1.4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
      • 2.2.1.5. Требования к серверу BLOB-адаптера
      • 2.2.1.6. Требования к Хранилищу BLOB-объектов
      • 2.2.1.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс REST)
    • 2.2.2. Сервис формирования документов
      • 2.2.2.1. Общее описание
        • 2.2.2.1.1. Общая схема взаимодействия модуля «Сервис Формирования документов»
        • 2.2.2.1.2. Процесс обработки запроса через модуль «Сервис Формирования документов»
    • 2.2.3. СМЭВ3-адаптер
      • 2.2.3.1. Общее описание
      • 2.2.3.2. Схема взаимодействия
    • 2.2.4. ПОДД-адаптер-Модуль исполнения запросов
      • 2.2.4.1. Общее описание
        • 2.2.4.1.1. Общая схема взаимодействия через ПОДД-адаптер- Модуль исполнения запросов
        • 2.2.4.1.2. Процесс обработки запроса через ПОДД-адаптер- Модуль исполнения запросов
    • 2.2.5. ПОДД-адаптер – Модуль MPPR
      • 2.2.5.1. Общее описание
        • 2.2.5.1.1. Общая схема взаимодействия
        • 2.2.5.1.2. Процесс обработки запроса через Модуль MPPR
    • 2.2.6. ПОДД-адаптер-Модуль MPPW
    • 2.2.7. ПОДД-адаптер - Модуль группировки данных табличных параметров
      • 2.2.7.1. Общее описание
    • 2.2.8. ПОДД-адаптер - Модуль импорта табличных параметров
      • 2.2.8.1. Общее описание
    • 2.2.9. ПОДД-адаптер - Wrapper
      • 2.2.9.1. Общее описание
    • 2.2.10. Модуль группировки чанков репликации
      • 2.2.10.1. Общее описание
        • 2.2.10.1.1. Интерфейсы модуля
        • 2.2.10.1.2. Процесс обработки запроса через Модуль MPPR
    • 2.2.11. DATA-Uploader - Модуль исполнения асинхронных заданий
      • 2.2.11.1. Общее описание
    • 2.2.12. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
      • 2.2.12.1. Общее описание
      • 2.2.12.2. Проверка форматно-логического контроля
        • 2.2.12.2.1. Синхронная проверка ФЛК
        • 2.2.12.2.2. Асинхронная проверка
          • 2.2.12.2.2.1. Проверка уникальности по одному или по сочетанию полей
          • 2.2.12.2.2.2. Проверка соответствия заданному значению
          • 2.2.12.2.2.3. Поведение в случае таймаута валидации
        • 2.2.12.2.3. Статусная модель
    • 2.2.13. ПОДД-адаптер - Модуль подписки
      • 2.2.13.1. Общее описание
    • 2.2.14. REST-адаптер
      • 2.2.14.1. Схема взаимодействия через СМЭВ3-адаптер
    • 2.2.15. СМЭВ QL Сервер
      • 2.2.15.1. Назначение СМЭВ QL сервера
        • 2.2.15.1.1. О системе
        • 2.2.15.1.2. Цели СМЭВ QL сервера
        • 2.2.15.1.3. Задачи СМЭВ QL сервера
        • 2.2.15.1.4. Место СМЭВ QL сервера в ИТ-ландшафте
        • 2.2.15.1.5. Язык и синтаксис
          • 2.2.15.1.5.1. Моделирование
          • 2.2.15.1.5.2. Запросы и ответы
        • 2.2.15.1.6. Типизация
          • 2.2.15.1.6.1. Типы данных в модели и приведение типов
        • 2.2.15.1.7. Моделирование данных
        • 2.2.15.1.8. Метрики
  • 2.3. Состав компонентов в дистрибутиве
  • 2.4. Cвязи между составными частями
  • 2.5. Связи с другими программами
  • 2.6. Карта портов
• 3. Архитектура Витрины данных
  • 3.1. Общая архитектурная схема
  • 3.2. Общая компонентная схема
  • 3.3. Алгоритм работы Витрины данных
• 4. Входные и выходные данные
  • 4.1. Входные данные
  • 4.2. Выходные данные
• 5. Вызов и загрузка
• 6. Описание технических решений
  • 6.1. Задачи реализованных технических решений
  • 6.2. Описание технических решений
    • 6.2.1. Описание логической модели данных
      • 6.2.1.1. Задача «Создание логической модели данных «ЕИП НСУД – Поставщик данных»
      • 6.2.1.2. Задача «Создание логической модели данных «Внешняя ИС – Поставщик данных»
      • 6.2.1.3. Задача «Создание логической модели данных «ЕИП НСУД – Потребитель данных»
      • 6.2.1.4. Задача и методы решения
    • 6.2.2. Загрузка и хранение данных
    • 6.2.3. Извлечение данных из внешних систем
      • 6.2.3.1. Задача «Извлечение и преобразование данных из внешних ИС»
      • 6.2.3.2. Задача и методы решения
    • 6.2.4. Поддержка языка SQL
      • 6.2.4.1. Задача «SQL-запрос через ПОДД»
      • 6.2.4.2. Задача «SQL-запрос через СМЭВ 3»
      • 6.2.4.3. Задача «Прямой SQL-запрос от Внешней ИС»
      • 6.2.4.4. Задача и методы решения
    • 6.2.5. Поддержка протокола коммуникаций Агента ПОДД
      • 6.2.5.1. Задача «Поддержка протокола коммуникации ПОДД»
      • 6.2.5.2. Задача и методы решения
    • 6.2.6. Подключение к СМЭВ3 как информационной системе участника взаимодействия
      • 6.2.6.1. Задача «Подключение к СМЭВ 3»
      • 6.2.6.2. Задача и методы решения
    • 6.2.7. Обработка запросов с использованием стандарта JDBC
      • 6.2.7.1. Задача «Обработка запросов с использованием стандарта JDBC»
      • 6.2.7.2. Задача и методы решения
    • 6.2.8. Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3
      • 6.2.8.1. Задача «Подключение Внешней ИС через Сервер конечных точек (REST-адаптер)»
      • 6.2.8.2. Задача и методы решения
    • 6.2.9. Восстановление данных в непротиворечивое состояние после сбоев
    • 6.2.10. Журналирование событий функциональных блоков
    • 6.2.11. Мониторинг информации о работоспособности экземпляра Программы
    • 6.2.12. Работа с BLOB-объектами
    • 6.2.13. Формирование, подписание и передачи через ПОДД сформированных документов
    • 6.2.14. Предоставление оценки объема запрашиваемых ПОДД данных
    • 6.2.15. Управление взаимодействием со СМЭВ3
    • 6.2.16. Запись событий в журнал и конфигурирование количества соединений к ProStore для СМЭВ3
    • 6.2.17. Использование табличных параметров в запросах через ПОДД и выделение функций в отдельные модули
    • 6.2.18. Пакетная загрузка больших объемов данных при первичном наполнении витрины
      • 6.2.18.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования SQL-запроса и отправки его в ADB на обновление данных (UPDATE) из физической таблицы staging в таблицу actual
      • 6.2.18.2. Описание процесса создания обогащенного SQL-запроса UPDATE на обновление данных из физической таблицы staging в таблицу actual
      • 6.2.18.3. Описание процесса отправки обогащенного SQL-запроса UPDATE в ADB через модуль плагина ADB
        • 6.2.18.3.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования и отправки SQL-запроса в ADB на вставку данных (INSERT) из физической таблицы staging в таблицу actual
      • 6.2.18.4. Описание процесса создания обогащенного SQL-запроса INSERT на вставку данных из физической таблицы staging в таблицу actual
      • 6.2.18.5. Описание процесса отправки обогащенного SQL-запроса INSERT в ADB через модуль плагина ADB
        • 6.2.18.5.1. Описание технического решения по переносу «горячих» данных в ADB вне зависимости от используемого коннектора из Брокера сообщений в ADB
      • 6.2.18.6. Описание алгоритма переноса «горячих» записей витрины в «актуальные» записи витрины вне зависимости от используемого коннектора
    • 6.2.19. Исполнение запросов с табличными параметрами через неверсионируемые таблицы
      • 6.2.19.1. Описание технического решения по записи адаптером ПОДД временных данных из табличных параметров запроса в неверсионируемые таблицы
      • 6.2.19.2. Реализация модуля группировки данных ТП
      • 6.2.19.3. Реализация модуля импорта ТП
      • 6.2.19.4. Реализация модуля MPPW
      • 6.2.19.5. Реализация модуля обработки запросов (Адаптер ПОДД)
      • 6.2.19.6. Реализация модуля MPPR
        • 6.2.19.6.1. Описание технического решения по удалению адаптером ПОДД временных данных из табличных параметров из неверсионируемых таблиц после их использования в целевом запросе
    • 6.2.20. Модуль загрузки данных в Витрину из внешних источников
      • 6.2.20.1. Описание формата CSV для сервиса загрузки данных
        • 6.2.20.1.1. Описание технического решения по реализации асинхронной загрузки данных из источников по REST
      • 6.2.20.2. Архитектура технического решения по реализации асинхронной загрузки данных из источников по REST
        • 6.2.20.2.1. Описание технического решения по реализации получения статуса асинхронного задания по REST-интерфейсу
        • 6.2.20.2.2. Описание технического решения временного хранилища данных
        • 6.2.20.2.3. Описание технического решения обработки очереди файлов при помощи модуля исполнения асинхронных заданий
      • 6.2.20.3. Описание технического решения работы активного экземпляра модуля исполнения асинхронных заданий
      • 6.2.20.4. Описание технического решения цикла обработки файлов
        • 6.2.20.4.1. Особенности и ограничения
    • 6.2.21. Кластеризация модулей витрин данных
      • 6.2.21.1. Описание технического решения по доработке 8 модулей слоя сервисов адаптеров
      • 6.2.21.2. Реализация доработки 8 модулей слоя сервисов адаптеров
        • 6.2.21.2.1. Описание технического решения по доработке 2 модулей сервиса исполнения запросов ядра Prostore
      • 6.2.21.3. Описание технического решения по поддержке работы кластеризованного сервиса исполнения запросов из двух и более узлов с экземплярами сервиса исполнения запросов
      • 6.2.21.4. Реализация режима асинхронного взаимодействия узла кластеризованного сервиса исполнения запросов с общими компонентами
      • 6.2.21.5. Описание технического решения по добавлению в конфигурацию сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
      • 6.2.21.6. Описание технического решения по удалению из конфигурации сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
        • 6.2.21.6.1. Описание технического решения по контейнеризации доработанных 10 модулей Типового ПО витрины данных
        • 6.2.21.6.2. Особенности и ограничения
    • 6.2.22. Генерация номера отчета в сервисе печатных форм
      • 6.2.22.1. Схема взаимодействия технического решения
      • 6.2.22.2. Описание технического решения по реализации функции расширения peeble-шаблона
      • 6.2.22.3. Описание технического решения по реализации функции долговременного хранения неограниченного списка счетчиков
      • 6.2.22.4. Описание технического решения по реализации сервиса получения номера печатных форм
      • 6.2.22.5. Описание технического решения по инициализации произвольного счетчика
      • 6.2.22.6. Описание технического решения по обнулению произвольного счетчика
        • 6.2.22.6.1. Описание технического решения по реализации атомарного изменения счетчика при параллельном использовании этой функции
      • 6.2.22.7. Операция инкремента счетчика
      • 6.2.22.8. Повторение попытки инкремента счетчика
        • 6.2.22.8.1. Описание технического решения по реализации передачи дополнительной информации по параметрам печатных форм из ПОДД в Витрину
        • 6.2.22.8.2. Описание технического решения по обеспечению конкурентной записи (инкремент счетчика) в многопоточном режиме
    • 6.2.23. Реализация применения комплексных ключей в модуле CSV-Uploader в Типовом ПО Витрина данных
      • 6.2.23.1. Описание технического решения по реализации поддержки парсинга комплексных первичных ключей в модуле CSV-Uploader
      • 6.2.23.2. Описание технического решения по реализации поддержка передачи модулем CSV-uploader в ядро Типового ПО Витрины комплексных первичных ключей и комплексных ключей шардирования
    • 6.2.24. Технические решения по сбору статистики и протоколированию обработанных запросов
      • 6.2.24.1. Описание технического решения по фиксации запросов и ответов в модулях витрины данных
        • 6.2.24.1.1. Архитектура технического решения
        • 6.2.24.1.2. Реализация фиксации запросов и ответов в модулях витрины данных
      • 6.2.24.2. Описание технического решения по обработке протоколируемых запросов и ответов
      • 6.2.24.3. Описание технического решения по хранению протоколируемых запросов и ответов, с возможностью извлекать данные по уникальному идентификатору
      • 6.2.24.4. Описание технического решения по поддержке протокола ПОДД, обеспечивающего передачу идентифицирующих атрибутов запросов
      • 6.2.24.5. Описание технического решения по фиксации, передачи, хранению и очистки идентифицирующих атрибутов запросов
      • 6.2.24.6. Особенности и ограничения
    • 6.2.25. Технические решения по реализации обеспечения совместимости Типового ПО Витрина данных под управлением операционных систем Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 6.2.25.1. Описание тестирования процесса развертывания витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 6.2.25.2. Описание регрессионного тестирования функционирования витрины данных без подключения к ПОДД на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 6.2.25.3. Описание подготовки отчетов о регрессионном тестировании витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 6.2.25.4. Описание выполнения необходимых доработок Типового ПО Витрина данных по итогам регрессионного тестирования для обеспечения совместимости с операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 6.2.25.5. Описание подготовки скриптов и проведения нагрузочного тестирования
      • 6.2.25.6. Описание подготовки отчета о результатах нагрузочного тестирования
    • 6.2.26. Выполнение запросов с системными параметрами
      • 6.2.26.1. Общее описание
      • 6.2.26.2. Обработка системных параметров
      • 6.2.26.3. Примеры преобразования запросов
• 7. Приложение 1
  • 7.1. Описание спецификации
    • 7.1.1. Спецификация модуля ПОДД-адаптера - Модуль исполнения запросов
      • 7.1.1.1. Запрос данных из Витрины
        • 7.1.1.1.1. query.rq
        • 7.1.1.1.2. query.rs
        • 7.1.1.1.3. query.err
        • 7.1.1.1.4. query.estimation.rs
      • 7.1.1.2. Отмена запроса данных
        • 7.1.1.2.1. cancel.rq
        • 7.1.1.2.2. cancel.rs
        • 7.1.1.2.3. cancel.err
      • 7.1.1.3. Запрос оценки выполнения запроса на Витрине
        • 7.1.1.3.1. query.rq
        • 7.1.1.3.2. query.estimation.rs
      • 7.1.1.4. Запрос статистики
        • 7.1.1.4.1. statistics.rq
        • 7.1.1.4.2. statistics.rs
        • 7.1.1.4.3. statistics.err
      • 7.1.1.5. Запрос данных по регламентированным запросам
        • 7.1.1.5.1. procedure.query.rq
        • 7.1.1.5.2. procedure.query.rs
        • 7.1.1.5.3. procedure.query.err
      • 7.1.1.6. Запрос метаданных
        • 7.1.1.6.1. metadata.rq
        • 7.1.1.6.2. metadata.rs
        • 7.1.1.6.3. metadata.err
    • 7.1.2. Спецификация модуля «BLOB-адаптер»
      • 7.1.2.1. Запрос на считывание BLOB
        • 7.1.2.1.1. blob.rq
        • 7.1.2.1.2. blob.rs
        • 7.1.2.1.3. blob.err
    • 7.1.3. Спецификация модуля «Сервис Формирования документов»
      • 7.1.3.1. Запрос формирования документов
        • 7.1.3.1.1. report.rq
        • 7.1.3.1.2. report.rs
        • 7.1.3.1.3. report.err
  • 7.2. Поддержка функций SQL
  • 7.3. Поддержка функции LISTAGG
  • 7.4. Пример XML-файла со структурой витрины
• 6. Термины и определения

Руководство по установке

Содержание

• 1. Общие сведения о программе
  • 1.1. Назначение программы
  • 1.2. Возможности программы
  • 1.3. Компоненты системы
• 2. Подготовка к установке
  • 2.1. Предварительные действия
    • 2.1.1. Установка операционной системы
    • 2.1.2. Настройка межсетевого экрана
    • 2.1.3. Отключение SELinux (только для CentOS)
    • 2.1.4. Выбор часового пояса
    • 2.1.5. Установка сервиса синхронизации времени
    • 2.1.6. Настройка имен хостов (FQDN) на серверах
    • 2.1.7. Установка Java SE Development Kit 17.0.7
    • 2.1.8. Установка компонента сбора данных запросов и ответов Витрины данных
      • 2.1.8.1. Процесс установки
        • 2.1.8.1.1. Настройка логирования приложений
        • 2.1.8.1.2. Установка и настройка Vector
        • 2.1.8.1.3. Установка и настройка HaProxy
        • 2.1.8.1.4. Установка и настройка FluentBit
        • 2.1.8.1.5. Включение / выключение отправки сообщений в СЦЛ
        • 2.1.8.1.6. Установка и настройка ClickHouse
    • 2.1.9. Настройка сервиса журналирования
    • 2.1.10. Настройка подсистемы мониторинга
      • 2.1.10.1. Настройка конфигурации для OpenShift
      • 2.1.10.2. Grafana: графики мониторинга
• 3. Настройка на состав технических средств
  • 3.1. Общие требования
  • 3.2. Требования к серверам
    • 3.2.1. Требования к серверу ProStore
    • 3.2.2. Требования к серверу Arenadata Cluster Manager (ADCM)
    • 3.2.3. Требования к кластеру серверов Arenadata Streaming (ADS)
    • 3.2.4. Требования к серверу «СМЭВ3-адаптер»
    • 3.2.5. Требования к серверу «Агент ПОДД»
    • 3.2.6. Требования к серверу «ETL»
    • 3.2.7. Требования к серверу «REST-адаптер»
• 4. Установка программы
  • 4.1. Порядок установки
  • 4.2. Установка ПО ProStore
    • 4.2.1. Запуск службы dtm-status-monitor
    • 4.2.2. Запуск службы Prostore-query-execution-core
  • 4.3. Установка СМЭВ QL Сервера
  • 4.4. Установка СМЭВ3-адаптера
  • 4.5. Установка ПОДД-адаптера - Модуль исполнения запросов
  • 4.6. Установка ПОДД-адаптер – Модуль MPPR
  • 4.7. Установка ПОДД-адаптер-Модуль MPPW
  • 4.8. Установка ПОДД-адаптер – Модуль импорта данных табличных параметров
  • 4.9. Установка ПОДД-адаптер – Модуль группировки данных табличных параметров
  • 4.10. Установка ПОДД-адаптер – Wrapper
  • 4.11. Установка модуля группировки чанков репликации
  • 4.12. Установка DATA-uploder – Модуль исполнения асинхронных заданий
  • 4.13. Установка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
  • 4.14. Установка ПОДД-адаптер – Модуль подписки
  • 4.15. Установка BLOB-адаптер
  • 4.16. Установка Сервиса формирования документов
  • 4.17. Загрузка и удаление данных через ETL
    • 4.17.1. Общее описание
      • 4.17.1.1. Общие положения
    • 4.17.2. Особенности реализации
      • 4.17.2.1. Основные требования к исходным файлам
      • 4.17.2.2. Особенности реализации ETL
      • 4.17.2.3. Получение токена Рroxy API
    • 4.17.3. Загрузка / удаление данных
      • 4.17.3.1. Загрузка/ удаление данных
        • 4.17.3.1.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
        • 4.17.3.1.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
        • 4.17.3.1.3. Загрузка / удаление несогласованных данных (Endpoint – data)
        • 4.17.3.1.4. Описание возвращаемых кодов
    • 4.17.4. Проверка статусной информации по загрузке
      • 4.17.4.1. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
    • 4.17.5. Работа с вложениями через S3
      • 4.17.5.1. Работа с вложениями через S3
        • 4.17.5.1.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
        • 4.17.5.1.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
        • 4.17.5.1.3. Описание возвращаемых кодов
    • 4.17.6. Маппинг данных
      • 4.17.6.1. Маппинг данных (Endpoint – generateMapping)
    • 4.17.7. Валидация данных
      • 4.17.7.1. Валидация данных
    • 4.17.8. Установка Apache Airflow
    • 4.17.9. Установка Apache Spark
    • 4.17.10. Установка Apache Hadoop
    • 4.17.11. Установка Tarantool(Vinyl)
  • 4.18. Установка CSV-Uploader
  • 4.19. Установка REST-адаптера
    • 4.19.1. Установка docker-образов
    • 4.19.2. Подготовка конфигурации
    • 4.19.3. Процесс установки
  • 4.20. Установка Counter-provider
  • 4.21. Установка коннектора Kafka-Postgres
  • 4.22. Установка Arenadata Cluster Manager (ADCM)
  • 4.23. Установка Arenadata Streaming (ADS)
• 5. Проверка программы
  • 5.1. Проверка Arenadata Cluster Manager (ADCM)
  • 5.2. Проверка Arenadata Streaming (ADS)
    • 5.2.1. Проверка сервиса Zookeeper
    • 5.2.2. Проверка сервиса Apache Kafka
  • 5.3. Проверка ProStore
  • 5.4. Проверка СМЭВ QL Сервера
    • 5.4.1. Проверки и валидации
  • 5.5. Проверка СМЭВ3-адаптера
  • 5.6. Проверка ПОДД-адаптера - Модуль исполнения запросов
  • 5.7. Проверка ПОДД-адаптер – Модуль MPPR
  • 5.8. Проверка ПОДД-адаптер-Модуль MPPW
  • 5.9. Проверка ПОДД-адаптер – Модуль импорта данных табличных параметров
  • 5.10. Проверка ПОДД-адаптер – Модуль группировки данных табличных параметров
  • 5.11. Проверка ПОДД-адаптер – ПОДД-адаптер – Wrapper
  • 5.12. Проверка модуля группировки чанков репликации
  • 5.13. Проверка DATA-uploder – Модуль исполнения асинхронных заданий
  • 5.14. Проверка REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
  • 5.15. Проверка ПОДД-адаптер – Модуль подписки
  • 5.16. Проверка BLOB-адаптер
  • 5.17. Проверка Сервиса формирования документов
  • 5.18. Проверка ETL
    • 5.18.1. Проверка Apache Airflow
    • 5.18.2. Проверка Apache Spark
    • 5.18.3. Проверка Apache Hadoop
    • 5.18.4. Проверка Tarantool(Vinyl)
  • 5.19. Проверка REST-адаптер
  • 5.20. Проверка Counter-provider - Сервиса генерации уникального номера
• 6. Термины и определения

Руководство администратора

Содержание

• 1. Общие сведения о программе
  • 1.1. Назначение программы
  • 1.2. Возможности программы
  • 1.3. Обеспечивающие технические и программные средства
• 2. Настройка программы
  • 2.1. Настройка на состав технических средств
  • 2.2. Настройка на состав программных средств
    • 2.2.1. Настройка ProStore
      • 2.2.1.1. Настройка Сервиса исполнения запросов (query-execution)
        • 2.2.1.1.1. Пример файла application.yml
      • 2.2.1.2. Настройка Сервиса мониторинга Kafka (status-monitor)
        • 2.2.1.2.1. Пример файла application.yml для status-monitor
      • 2.2.1.3. Настройка kafka-clickhouse-reader
        • 2.2.1.3.1. Пример файла application.yml для kafka-clickhouse-reader
      • 2.2.1.4. Настройка kafka-clickhouse-writer
        • 2.2.1.4.1. Пример файла application.yml для kafka-clickhouse-writer
    • 2.2.2. Настройка СМЭВ QL Сервера
      • 2.2.2.1. Конфигурирование сервера
        • 2.2.2.1.1. Конфигурация файла application.yml
          • 2.2.2.1.1.1. Секция storage
          • 2.2.2.1.1.2. Секция access
          • 2.2.2.1.1.3. Секция request
          • 2.2.2.1.1.4. Секция delta
          • 2.2.2.1.1.5. Секция state
          • 2.2.2.1.1.6. Секция index_recommendations
          • 2.2.2.1.1.7. Секция push
          • 2.2.2.1.1.8. Секция agent
          • 2.2.2.1.1.9. Секция signature
        • 2.2.2.1.2. Конфигурация файла credentials.yml
    • 2.2.3. Настройка СМЭВ3-адаптера
      • 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
      • 2.2.3.2. Пример файла application.yml
      • 2.2.3.3. Параметры конфигурации
        • 2.2.3.3.1. Секция vertx
        • 2.2.3.3.2. Секция spring
        • 2.2.3.3.3. Секция smev
        • 2.2.3.3.4. Секция receiver
        • 2.2.3.3.5. Секция prostore-rest-client
        • 2.2.3.3.6. Секция environment
        • 2.2.3.3.7. Секция zookeeper
        • 2.2.3.3.8. Секция migration
        • 2.2.3.3.9. Секция paramstorage
        • 2.2.3.3.10. Секция deltastorage
        • 2.2.3.3.11. Секция sign
        • 2.2.3.3.12. Секция blob
        • 2.2.3.3.13. Секция rest
        • 2.2.3.3.14. Секция scheduler
        • 2.2.3.3.15. Секция pool
        • 2.2.3.3.16. Секция logging
        • 2.2.3.3.17. Секция backup
        • 2.2.3.3.18. Секция spf
    • 2.2.4. Настройка CSV-Uploader
      • 2.2.4.1. Конфигурация CSV-uploader (application.yml)
        • 2.2.4.1.1. Пример файла application.yml
      • 2.2.4.2. Параметры конфигурации
        • 2.2.4.2.1. Секция kafkaUrl
        • 2.2.4.2.2. Секция http
        • 2.2.4.2.3. Секция query-executor
        • 2.2.4.2.4. Секция send
        • 2.2.4.2.5. Секция logging.level
        • 2.2.4.2.6. Секция environment
        • 2.2.4.2.7. Секция zookeeper
        • 2.2.4.2.8. Секция migration
        • 2.2.4.2.9. Секция prostore-rest-client
        • 2.2.4.2.10. Секция validation
        • 2.2.4.2.11. Секция upload
        • 2.2.4.2.12. Секция kafka
        • 2.2.4.2.13. Секция csv-parser
        • 2.2.4.2.14. Секция metrics
        • 2.2.4.2.15. Секция backup
        • 2.2.4.2.16. Секция jet-connector
    • 2.2.5. Настройка ПОДД-адаптера - Модуль исполнения запросов
      • 2.2.5.1. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
      • 2.2.5.2. Пример файла application.yml
      • 2.2.5.3. Параметры конфигурации
        • 2.2.5.3.1. Секция http-server
        • 2.2.5.3.2. Секция environment
        • 2.2.5.3.3. Секция executor
        • 2.2.5.3.4. Секция send
        • 2.2.5.3.5. Секция query
        • 2.2.5.3.6. Секция zookeeper
        • 2.2.5.3.7. Секция prostore-rest-client
        • 2.2.5.3.8. Секция printable-forms-service
        • 2.2.5.3.9. Секция kafka
        • 2.2.5.3.10. Секция statistics
        • 2.2.5.3.11. Секция logging
        • 2.2.5.3.12. Секция metrics
    • 2.2.6. Настройка ПОДД-адаптер – Модуль MPPR
      • 2.2.6.1. Конфигурация ПОДД-адаптера - Модуль MPPR (application.yml)
      • 2.2.6.2. Пример файла application.yml
      • 2.2.6.3. Параметры конфигурации
        • 2.2.6.3.1. Секция http
        • 2.2.6.3.2. Секция environment
        • 2.2.6.3.3. Секция executor
        • 2.2.6.3.4. Секция send
        • 2.2.6.3.5. Секция prostore-rest-client
        • 2.2.6.3.6. Секция kafka
        • 2.2.6.3.7. Секция metrics
        • 2.2.6.3.8. Секция logging
    • 2.2.7. Настройка ПОДД-адаптер-Модуль MPPW
      • 2.2.7.1. Конфигурация модуля ПОДД-адаптер - Модуль MPPW (application.yml)
      • 2.2.7.2. Пример файла application.yml
      • 2.2.7.3. Параметры конфигурации
        • 2.2.7.3.1. Секция tp
        • 2.2.7.3.2. Секция upload
        • 2.2.7.3.3. Секция http
        • 2.2.7.3.4. Секция environment
        • 2.2.7.3.5. Секция executor
        • 2.2.7.3.6. Секция scheduler
        • 2.2.7.3.7. Секция delta
        • 2.2.7.3.8. Секция send
        • 2.2.7.3.9. Секция zookeeper
        • 2.2.7.3.10. Секция prostore-rest-client
        • 2.2.7.3.11. Секция kafka
        • 2.2.7.3.12. Секция metrics
        • 2.2.7.3.13. Секция jet-connector
    • 2.2.8. Настройка ПОДД-адаптер – Модуль импорта данных табличных параметров
      • 2.2.8.1. Конфигурация модуля ПОДД-адаптер - Модуль импорта данных табличных параметров (application.yml)
      • 2.2.8.2. Пример файла application.yml
      • 2.2.8.3. Параметры конфигурации
        • 2.2.8.3.1. Секция http-server
        • 2.2.8.3.2. Секция environment
        • 2.2.8.3.3. Секция zookeeper
        • 2.2.8.3.4. Секция prostore-rest-client
        • 2.2.8.3.5. Секция kafka
        • 2.2.8.3.6. Секция query
        • 2.2.8.3.7. Секция mppw
        • 2.2.8.3.8. Секция delete
        • 2.2.8.3.9. Секция delta
        • 2.2.8.3.10. Секция metrics
    • 2.2.9. Настройка ПОДД-адаптер – Модуль группировки данных табличных параметров
      • 2.2.9.1. Конфигурация модуля ПОДД-адаптер - Модуль импорта данных табличных параметров (application.yml)
      • 2.2.9.2. Пример файла application.yml
      • 2.2.9.3. Параметры конфигурации
        • 2.2.9.3.1. Секция http-server
        • 2.2.9.3.2. Секция environment
        • 2.2.9.3.3. Секция zookeeper
        • 2.2.9.3.4. Секция prostore-rest-client
        • 2.2.9.3.5. Секция kafka
        • 2.2.9.3.6. Секция query
        • 2.2.9.3.7. Секция mppw
        • 2.2.9.3.8. Секция delete
        • 2.2.9.3.9. Секция delta
        • 2.2.9.3.10. Секция metrics
    • 2.2.10. Настройка ПОДД-адаптер – ПОДД-адаптер – Wrapper
      • 2.2.10.1. Конфигурация модуля ПОДД-адаптер - Wrapper (application.yml)
      • 2.2.10.2. Пример файла application.yml
      • 2.2.10.3. Параметры конфигурации
        • 2.2.10.3.1. Секция application
        • 2.2.10.3.2. Секция environment
        • 2.2.10.3.3. Секция kafka
        • 2.2.10.3.4. Секция logging
        • 2.2.10.3.5. Секция metrics
    • 2.2.11. Настройка Модуля группировки чанков
      • 2.2.11.1. Конфигурация Модуля группировки чанков репликации (application.yml)
      • 2.2.11.2. Пример файла application.yml
      • 2.2.11.3. Параметры конфигурации
        • 2.2.11.3.1. Секция http
        • 2.2.11.3.2. Секция executor
        • 2.2.11.3.3. Секция kafka
        • 2.2.11.3.4. Секция logging
        • 2.2.11.3.5. Секция metrics
    • 2.2.12. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
      • 2.2.12.1. Конфигурация модуля DATA-Uploader (application.yml)
      • 2.2.12.2. Пример файла application.yml
      • 2.2.12.3. Параметры конфигурации
        • 2.2.12.3.1. Секция server
        • 2.2.12.3.2. Секция prostore-rest-client
        • 2.2.12.3.3. Секция redis
        • 2.2.12.3.4. Секция csv-parser
        • 2.2.12.3.5. Секция active
        • 2.2.12.3.6. Секция delta
        • 2.2.12.3.7. Секция response
        • 2.2.12.3.8. Секция kafka
        • 2.2.12.3.9. Секция metrics
        • 2.2.12.3.10. Секция scheduler
        • 2.2.12.3.11. Дополнительное описание параметров
    • 2.2.13. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
      • 2.2.13.1. Конфигурация модуля REST-Uploader (application.yml)
      • 2.2.13.2. Пример файла application.yml
      • 2.2.13.3. Параметры конфигурации
        • 2.2.13.3.1. Секция http-server
        • 2.2.13.3.2. Секция executor
        • 2.2.13.3.3. Секция send
        • 2.2.13.3.4. Секция environment
        • 2.2.13.3.5. Секция conditions
        • 2.2.13.3.6. Секция zookeeper
        • 2.2.13.3.7. Секция prostore-rest-client
        • 2.2.13.3.8. Секция redis
        • 2.2.13.3.9. Секция auth
        • 2.2.13.3.10. Секция metrics
        • 2.2.13.3.11. Секция scheduler
        • 2.2.13.3.12. Секция csv-parser
        • 2.2.13.3.13. Дополнительное описание параметров
        • 2.2.13.3.14. Секция backup
      • 2.2.13.4. Проверка форматно-логического контроля
        • 2.2.13.4.1. Синхронная проверка ФЛК
        • 2.2.13.4.2. Асинхронная проверка
          • 2.2.13.4.2.1. Проверка уникальности по одному или по сочетанию полей
          • 2.2.13.4.2.2. Проверка соответствия заданному значению
          • 2.2.13.4.2.3. Поведение в случае таймаута валидации
        • 2.2.13.4.3. Статусная модель
      • 2.2.13.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
    • 2.2.14. Настройка ПОДД-адаптер – Модуль подписки
      • 2.2.14.1. Конфигурация модуля ПОДД-адаптер - Модуль подписок (application.yml)
      • 2.2.14.2. Пример файла application.yml
      • 2.2.14.3. Параметры конфигурации
        • 2.2.14.3.1. Секция environment
        • 2.2.14.3.2. Секция http-server
        • 2.2.14.3.3. Секция executor
        • 2.2.14.3.4. Секция zookeeper
        • 2.2.14.3.5. Секция migration
        • 2.2.14.3.6. Секция prostore-rest-client
        • 2.2.14.3.7. Секция subscription
        • 2.2.14.3.8. Секция kafka
        • 2.2.14.3.9. Секция log
        • 2.2.14.3.10. Секция metrics
        • 2.2.14.3.11. Секция backup
    • 2.2.15. Настройка BLOB-адаптер
      • 2.2.15.1. Конфигурация BLOB-адаптера (application.yml)
      • 2.2.15.2. Пример файла application.yml
      • 2.2.15.3. Параметры конфигурации
        • 2.2.15.3.1. Секция http-server
        • 2.2.15.3.2. Секция executor
        • 2.2.15.3.3. Секция vertx
        • 2.2.15.3.4. Секция kafka
        • 2.2.15.3.5. Секция blob
        • 2.2.15.3.6. Секция logging
        • 2.2.15.3.7. Секция metrics
    • 2.2.16. Настройка Сервиса формирования документов
      • 2.2.16.1. Конфигурация Сервиса Формирования документов (application.yml)
        • 2.2.16.1.1. Пример файла application.yml
      • 2.2.16.2. Параметры конфигурации
        • 2.2.16.2.1. Секция http-server
        • 2.2.16.2.2. Секция executor
        • 2.2.16.2.3. Секция prostore-rest-client
        • 2.2.16.2.4. Секция metrics
        • 2.2.16.2.5. Секция counter-service
        • 2.2.16.2.6. Секция sign-service
        • 2.2.16.2.7. Секция notarius
        • 2.2.16.2.8. Секция printable-forms
      • 2.2.16.3. Примеры pebble-шаблонов для Сервиса Формирования документов
        • 2.2.16.3.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
        • 2.2.16.3.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
        • 2.2.16.3.3. Pebble-шаблон для формирования xml-документа
        • 2.2.16.3.4. Pebble-шаблон для формирования pdf-документа
    • 2.2.17. Настройка REST-адаптера
      • 2.2.17.1. Kонфигурационный файл с конечными точками
      • 2.2.17.2. Шаблоны
    • 2.2.18. Настройка Counter-provider - Сервиса генерации уникального номера
      • 2.2.18.1. Конфигурация модуля Counter-Provider (application.yml)
      • 2.2.18.2. Пример файла application.yml
      • 2.2.18.3. Параметры конфигурации
        • 2.2.18.3.1. Секция environment
        • 2.2.18.3.2. Секция http-server
        • 2.2.18.3.3. Секция counter
        • 2.2.18.3.4. Секция zookeeper
        • 2.2.18.3.5. Секция migration
        • 2.2.18.3.6. Секция backup
        • 2.2.18.3.7. Секция metrics
    • 2.2.19. Настройка Arenadata Cluster Manager (ADCM)
    • 2.2.20. Настройка Arenadata Streaming (ADS)
    • 2.2.21. Настройка сервиса журналирования
    • 2.2.22. Настройка подсистемы мониторинга
      • 2.2.22.1. Настройка конфигурации для OpenShift
      • 2.2.22.2. Grafana: графики мониторинга
    • 2.2.23. Установка компонента сбора данных запросов и ответов Витрины данных
      • 2.2.23.1. Процесс установки
        • 2.2.23.1.1. Настройка логирования приложений
        • 2.2.23.1.2. Установка и настройка Vector
        • 2.2.23.1.3. Установка и настройка HaProxy
        • 2.2.23.1.4. Установка и настройка fluentbit
        • 2.2.23.1.5. Работа с БД ClickHouse
        • 2.2.23.1.6. Включение / выключение отправки сообщений в СЦЛ
• 3. Запуск и остановка Программы
  • 3.1. Prostore
    • 3.1.1. Запуск
  • 3.2. СМЭВ QL Сервер
  • 3.3. СМЭВ3-адаптер
  • 3.4. CSV-Uploader
  • 3.5. ПОДД-адаптера - Модуль исполнения запросов
  • 3.6. ПОДД-адаптер – Модуль MPPR
  • 3.7. ПОДД-адаптер-Модуль MPPW
  • 3.8. ПОДД-адаптер – Модуль импорта данных табличных параметров
  • 3.9. ПОДД-адаптер – Модуль группировки данных табличных параметров
  • 3.10. ПОДД-адаптер – ПОДД-адаптер – Wrapper
  • 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
  • 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 3.12.1. Добавление поставщика данных
  • 3.13. ПОДД-адаптер-Модуль подписки
  • 3.14. BLOB-адаптер
  • 3.15. Сервис формирования документов
  • 3.16. ETL
    • 3.16.1. Apache Airflow
      • 3.16.1.1. Запуск
      • 3.16.1.2. Остановка
    • 3.16.2. Apache Spark
      • 3.16.2.1. Запуск
      • 3.16.2.2. Остановка
    • 3.16.3. Apache Hadoop
      • 3.16.3.1. Запуск
      • 3.16.3.2. Остановка
    • 3.16.4. Tarantool (Vynil)
      • 3.16.4.1. Запуск
      • 3.16.4.2. Остановка
  • 3.17. REST-адаптер
  • 3.18. Counter-provider - Сервис генерации уникального номера
  • 3.19. Установка коннектора Kafka-Postgres
  • 3.20. Arenadata Cluster Manager (ADCM)
    • 3.20.1. Запуск
    • 3.20.2. Остановка
  • 3.21. Arenadata Streaming (ADS)
    • 3.21.1. Запуск и остановка через консоль
    • 3.21.2. Запуск и остановка сервисов ADS через ADCM
      • 3.21.2.1. Zookeeper
        • 3.21.2.1.1. Запуск
        • 3.21.2.1.2. Остановка
      • 3.21.2.2. Перезапуск
      • 3.21.2.3. Kafka
        • 3.21.2.3.1. Запуск
      • 3.21.2.4. Остановка
      • 3.21.2.5. Перезапуск
    • 3.21.3. Запуск и остановка Arenadata Streaming (ADS)
      • 3.21.3.1. Запуск
      • 3.21.3.2. Остановка
• 4. Бекапирование Витрины данных НСУД
  • 4.1. Состав резервной копии Типового ПО Витрина данных
    • 4.1.1. Модули слоя адаптеров Типового ПО Витрины данных, подлежащие резервному копированию
  • 4.2. Описание и механизм работы утилиты Backup Manager
    • 4.2.1. Описание утилиты Backup Manager
    • 4.2.2. Механизм работы утилиты Backup manager
    • 4.2.3. Создание резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
      • 4.2.3.1. Механизм работы утилиты Backup manager при выполнении резервного копирования
    • 4.2.4. Восстановление из резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
  • 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
    • 4.3.1. Работа модулей для обеспечения резервного копирования
      • 4.3.1.1. Сообщения в топиках команд
      • 4.3.1.2. Статусы модулей
        • 4.3.1.2.1. Значения статусов
  • 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
    • 4.4.1. Приостановка модулей, требующих консистентности с Prostore
    • 4.4.2. Восстановление модулей, требующих консистентности с Prostore
  • 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
    • 4.5.1. Механизм резервного копирования модулей слоя адаптеров
    • 4.5.2. Механизм восстановления из резервной копии модулей слоя адаптеров
  • 4.6. Поведение в случае ошибок при выполнении резервного копирования
    • 4.6.1. Ошибки резервного копирования и восстановления из резервной копии
    • 4.6.2. Поведение в случае остановки утилиты Backup Manager в процессе снятия/восстановления из резервной копии
    • 4.6.3. Ограничения
• 5. Дополнительные возможности
  • 5.1. Установки опциональных приложений
  • 5.2. Материлиазованные представления
  • 5.3. Маршрутизация запросов к материализованным представлениям
  • 5.4. Логирование
  • 5.5. Обновление
    • 5.5.1. Менеджер кластера ADCM
    • 5.5.2. Диспетчер сообщений ADS
      • 5.5.2.1. Обновление бандла
      • 5.5.2.2. Обновление кластера
  • 5.6. Миграция из Bare metal варианта установки в Kubernetes
    • 5.6.1. Примеры инструкций по развертыванию ПОДД-адаптера — Модуля исполнения запросов в Kubernetes
    • 5.6.2. Примеры инструкций по развертыванию Prostore в Kubernetes
• 6. Сообщения администратору
  • 6.1. Сообщения в ходе выполнения настройки программы
  • 6.2. Сообщения при эксплуатации программы
• 7. Приложение 1
  • 7.1. Описание спецификации
    • 7.1.1. Спецификация модуля ПОДД-адаптера - Модуль исполнения запросов
      • 7.1.1.1. Запрос данных из Витрины
        • 7.1.1.1.1. query.rq
        • 7.1.1.1.2. query.rs
        • 7.1.1.1.3. query.err
        • 7.1.1.1.4. query.estimation.rs
      • 7.1.1.2. Отмена запроса данных
        • 7.1.1.2.1. cancel.rq
        • 7.1.1.2.2. cancel.rs
        • 7.1.1.2.3. cancel.err
      • 7.1.1.3. Запрос оценки выполнения запроса на Витрине
        • 7.1.1.3.1. query.rq
        • 7.1.1.3.2. query.estimation.rs
      • 7.1.1.4. Запрос статистики
        • 7.1.1.4.1. statistics.rq
        • 7.1.1.4.2. statistics.rs
        • 7.1.1.4.3. statistics.err
      • 7.1.1.5. Запрос данных по регламентированным запросам
        • 7.1.1.5.1. procedure.query.rq
        • 7.1.1.5.2. procedure.query.rs
        • 7.1.1.5.3. procedure.query.err
      • 7.1.1.6. Запрос метаданных
        • 7.1.1.6.1. metadata.rq
        • 7.1.1.6.2. metadata.rs
        • 7.1.1.6.3. metadata.err
    • 7.1.2. Спецификация модуля «BLOB-адаптер»
      • 7.1.2.1. Запрос на считывание BLOB
        • 7.1.2.1.1. blob.rq
        • 7.1.2.1.2. blob.rs
        • 7.1.2.1.3. blob.err
    • 7.1.3. Спецификация модуля «Сервис Формирования документов»
      • 7.1.3.1. Запрос формирования документов
        • 7.1.3.1.1. report.rq
        • 7.1.3.1.2. report.rs
        • 7.1.3.1.3. report.err
  • 7.2. Поддержка функций SQL
  • 7.3. Поддержка функции LISTAGG
  • 7.4. Пример XML-файла со структурой витрины
    • 7.4.1. Инструкция по эксплуатации CSV-uploader
      • 7.4.1.1. Загрузка структуры Витрины
      • 7.4.1.2. Выгрузка шаблона CSV
      • 7.4.1.3. Загрузка CSV-файла
      • 7.4.1.4. Загрузка CSV-файла с предварительным форматно-логическим контролем
      • 7.4.1.5. Обязательная загрузка данных с предварительным форматно-логическим контролем
      • 7.4.1.6. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
      • 7.4.1.7. Настройки CSV-uploader
      • 7.4.1.8. Автоматический запуск загрузки CSV-файлов по расписанию
      • 7.4.1.9. Настройка Журнала операций
      • 7.4.1.10. Просмотр Журнала операций
      • 7.4.1.11. Интерфейс Форматно-логического контроля
• 6. Термины и определения