Техническое описание программы
Содержание
- 1. Общие сведения
- 2. Структура Витрины данных
- 2.1. Составные части Витрины данных
- 2.2. Состав компонентов в дистрибутиве
- 2.3. Cвязи между компонентами
- 2.4. Модули Витрины данных
- 2.4.1. СМЭВ4-адаптер - Модуль исполнения запросов
- 2.4.2. СМЭВ4-адаптер - Модуль подписок
- 2.4.3. СМЭВ4-адаптер – Модуль MPPR
- 2.4.4. СМЭВ4-адаптер - Модуль MPPW
- 2.4.5. СМЭВ4-адаптер - Модуль группировки чанков репликации
- 2.4.6. CSV-Uploader
- 2.4.7. СМЭВ4-адаптер - Модуль импорта табличных параметров
- 2.4.8. СМЭВ4-адаптер - Модуль группировки данных табличных параметров
- 2.4.9. СМЭВ4-адаптер - Модуль дефрагментации чанков табличных параметров
- 2.4.10. DATA-Uploader - Модуль исполнения асинхронных заданий
- 2.4.11. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
- 2.4.12. BLOB-адаптер
- 2.4.12.1. Общее описание
- 2.4.12.2. Общая схема взаимодействия через BLOB-адаптер
- 2.4.12.3. Взаимодействие через СМЭВ-адаптер
- 2.4.12.4. Взаимодействие через СМЭВ3-адаптер
- 2.4.12.5. Требования к серверу BLOB-адаптера
- 2.4.12.6. Требования к Хранилищу BLOB-объектов
- 2.4.12.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
- 2.4.13. Сервис формирования документов
- 2.4.14. СМЭВ QL Сервер
- 2.4.15. СМЭВ3-адаптер
- 2.4.16. REST-адаптер
- 2.4.17. Сервис генерации уникального номера (Counter-Provider)
- 2.4.18. ETL - Модуль загрузки/ удаления данных
- 2.4.19. Backup manager - утилита резервного копирования
- 2.5. Связи с другими программами
- 2.6. Карта портов
- 3. Архитектура Витрины данных
- 4. Входные и выходные данные
- 5. Вызов и загрузка
- 6. Приложение 1. Описание спецификации
- 6.1. Спецификация Модуля исполнения запросов
- 6.1.1. Запрос данных из Витрины
- 6.1.2. query.rq
- 6.1.3. query.rs
- 6.1.4. query.err
- 6.1.5. query.estimation.rs
- 6.1.6. Отмена запроса данных
- 6.1.7. cancel.rq
- 6.1.8. cancel.rs
- 6.1.9. cancel.err
- 6.1.10. Запрос оценки выполнения запроса на Витрине
- 6.1.11. query.rq
- 6.1.12. query.estimation.rs
- 6.1.13. Запрос статистики
- 6.1.14. statistics.rq
- 6.1.15. statistics.rs
- 6.1.16. statistics.err
- 6.1.17. Запрос данных по регламентированным запросам
- 6.1.18. procedure.query.rq
- 6.1.19. procedure.query.rs
- 6.1.20. procedure.query.err
- 6.1.21. Запрос метаданных
- 6.1.22. metadata.rq
- 6.1.23. metadata.rs
- 6.1.24. metadata.err
- 6.2. Спецификация модуля «BLOB-адаптер»
- 6.3. Спецификация модуля «Сервис Формирования документов»
- 6.1. Спецификация Модуля исполнения запросов
- 7. Приложение 2. Пример XML-файла со структурой витрины
- 8. Приложение 3 Описание топиков
- 8.1. blob.err
- 8.2. blob.rq
- 8.3. blob.rs
- 8.4. cancel.err
- 8.5. cancel.rq
- 8.6. cancel.rs
- 8.7. delta.err
- 8.8. delta.in.err
- 8.9. delta.in.rq
- 8.10. delta.in.rs
- 8.11. delta.notification
- 8.12. delta.rq
- 8.13. delta.rs
- 8.14. procedure.query.rq
- 8.15. procedure.query.rs
- 8.16. procedure.query.err
- 8.17. query.err
- 8.18. query.estimation.rs
- 8.19. query.rq
- 8.20. query.rs
- 8.21. query.tp
- 8.22. replication.cancel.rq
- 8.23. replication.cancel.rs
- 8.24. replication.err
- 8.25. replication.in.err
- 8.26. replication.in.rq
- 8.27. replication.in.rs
- 8.28. replication.rq
- 8.29. replication.rs
- 8.30. statistics.err
- 8.31. statistics.rq
- 8.32. statistics.rs
- 10. Термины и определения
Руководство по установке
Содержание
- 1. Общие сведения о программе
- 2. Подготовка к установке
- 2.1. Предварительные действия
- 2.1.1. Установка операционной системы
- 2.1.2. Создание пользователя datamart
- 2.1.3. Настройка межсетевого экрана
- 2.1.4. Выбор часового пояса
- 2.1.5. Установка сервиса синхронизации времени
- 2.1.6. Настройка имен хостов (FQDN) на серверах
- 2.1.7. Установка Java SE Development Kit 17.0.7
- 2.1.8. Подключение к серверу через SSH-клиент PuTTY
- 2.1.9. Создание SSH-ключей
- 2.1.10. Копирование SSH-ключей на сервер
- 2.1.11. Копирование архива программы
- 2.1.12. Распаковка архива
- 2.1.13. Установка Docker
- 2.1.14. Установка библиотеки python-docker-py
- 2.1.15. Настройка логирования в Docker
- 2.1.16. Перезапуск Docker
- 2.1.17. Добавление пользователя в группу docker
- 2.1.18. Настройка Ansible
- 2.1. Предварительные действия
- 3. Требования к серверам конфигурации Стандарт
- 4. Установка программы
- 4.1. Установка ПО конфигурации Стандарт
- 4.1.1. Порядок установки
- 4.1.2. Установка ПО Prostore
- 4.1.3. Установка СМЭВ QL Сервера
- 4.1.4. Установка СМЭВ3-адаптера
- 4.1.5. Установка СМЭВ4-адаптера - Модуля исполнения запросов
- 4.1.6. Установка СМЭВ4-адаптера – Модуля MPPR
- 4.1.7. Установка СМЭВ4-адаптера - Модуля MPPW
- 4.1.8. Установка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
- 4.1.9. Установка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
- 4.1.10. Установка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
- 4.1.11. Установка модуля группировки чанков репликации
- 4.1.12. Установка DATA-uploder – Модуля исполнения асинхронных заданий
- 4.1.13. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
- 4.1.14. Установка СМЭВ4-адаптера – Модуля подписки
- 4.1.15. Установка BLOB-адаптера
- 4.1.16. Установка Сервиса формирования документов
- 4.1.17. Загрузка и удаление данных через ETL
- 4.1.17.1. Общее описание
- 4.1.17.2. Особенности реализации
- 4.1.17.3. Загрузка / удаление данных
- 4.1.17.4. Проверка статусной информации по загрузке
- 4.1.17.5. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
- 4.1.17.6. Работа с вложениями через S3
- 4.1.17.7. Маппинг данных
- 4.1.17.8. Валидация данных
- 4.1.18. Установка утилиты Backup Manager
- 4.1.19. Установка Apache Airflow
- 4.1.20. Установка Apache Spark
- 4.1.21. Установка Apache Hadoop
- 4.1.22. Установка Tarantool (Vinyl)
- 4.1.23. Установка CSV-Uploader
- 4.1.24. Установка REST-адаптера
- 4.1.25. Установка Counter-provider
- 4.1.26. Установка коннектора Kafka-Postgres
- 4.1.27. Установка Arenadata Cluster Manager (ADCM)
- 4.1.28. Установка Arenadata Streaming (ADS)
- 4.1.29. Установка компонента сбора данных запросов и ответов Витрины данных
- 4.2. Установка ПО конфигурации лайт
- 4.3. Установка системы мониторинга
- 4.1. Установка ПО конфигурации Стандарт
- 5. Проверка программы
- 5.1. Проверка ПО конфигурации Стандарт
- 5.1.1. Проверка Arenadata Cluster Manager (ADCM)
- 5.1.2. Проверка Arenadata Streaming (ADS)
- 5.1.3. Проверка ProStore
- 5.1.4. Проверка СМЭВ QL Сервера
- 5.1.5. Проверка СМЭВ3-адаптера
- 5.1.6. Проверка СМЭВ4-адаптера - Модуля исполнения запросов
- 5.1.7. Проверка СМЭВ4-адаптера – Модуля MPPR
- 5.1.8. Проверка СМЭВ4-адаптера - Модуля MPPW
- 5.1.9. Проверка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
- 5.1.10. Проверка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
- 5.1.11. Проверка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
- 5.1.12. Проверка модуля группировки чанков репликации
- 5.1.13. Проверка DATA-uploder – Модуля исполнения асинхронных заданий
- 5.1.14. Проверка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
- 5.1.15. Проверка СМЭВ4-адаптера – Модуля подписки
- 5.1.16. Проверка BLOB-адаптера
- 5.1.17. Проверка Сервиса формирования документов
- 5.1.18. Проверка ETL
- 5.1.19. Проверка Backup manager
- 5.1.20. Проверка REST-адаптер
- 5.1.21. Проверка Counter-provider - Сервиса генерации уникального номера
- 5.2. Проверка ПО конфигурации Лайт
- 5.1. Проверка ПО конфигурации Стандарт
- 6. Обновление программы
- 7. Приложение 1. Настройка firewall (Iptables)
- 8. Приложение 2. Просмотр выполнения загрузки данных в программу
- 9. Приложение 3. Рекомендации по конфигурированию инфраструктуры Типового «ПО Витрина данных»
- 10. Термины и определения
Руководство администратора
Содержание
- 1. Общие сведения о программе
- 2. Настройка программы
- 2.1. Настройка технических средств
- 2.2. Настройка программных средств
- 2.2.1. Настройка ProStore
- 2.2.2. Настройка СМЭВ QL Сервера
- 2.2.2.1. Конфигурирование сервера
- 2.2.2.1.1. Конфигурация файла application.yml
- 2.2.2.1.1.1. Секция storage
- 2.2.2.1.1.2. Секция access
- 2.2.2.1.1.3. Секция request
- 2.2.2.1.1.4. Секция delta
- 2.2.2.1.1.5. Секция state
- 2.2.2.1.1.6. Секция index_recommendations
- 2.2.2.1.1.7. Секция standalone-tables
- 2.2.2.1.1.8. Секция proxy-tables
- 2.2.2.1.1.9. Секция push
- 2.2.2.1.1.10. Секция agent
- 2.2.2.1.1.11. Секция signature
- 2.2.2.1.2. Конфигурация файла credentials.yml
- 2.2.2.1.3. Общий сценарий выполнения
- 2.2.2.1.1. Конфигурация файла application.yml
- 2.2.2.1. Конфигурирование сервера
- 2.2.3. Настройка СМЭВ3-адаптера
- 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
- 2.2.3.2. Параметры конфигурации
- 2.2.3.2.1. Секция vertx
- 2.2.3.2.2. Секция spring
- 2.2.3.2.3. Секция smev
- 2.2.3.2.4. Секция receiver
- 2.2.3.2.5. Секция prostore-rest-client
- 2.2.3.2.6. Секция environment
- 2.2.3.2.7. Секция zookeeper
- 2.2.3.2.8. Секция migration
- 2.2.3.2.9. Секция paramstorage
- 2.2.3.2.10. Секция deltastorage
- 2.2.3.2.11. Секция sign
- 2.2.3.2.12. Секция blob
- 2.2.3.2.13. Секция rest
- 2.2.3.2.14. Секция scheduler
- 2.2.3.2.15. Секция pool
- 2.2.3.2.16. Секция logging
- 2.2.3.2.17. Секция backup
- 2.2.3.2.18. Секция spf
- 2.2.4. Настройка CSV-Uploader
- 2.2.4.1. Конфигурация CSV-uploader (application.yml)
- 2.2.4.2. Параметры конфигурации
- 2.2.4.2.1. Секция kafkaUrl
- 2.2.4.2.2. Секция http-server
- 2.2.4.2.3. Секция send
- 2.2.4.2.4. Секция file-size
- 2.2.4.2.5. Секция logging.level
- 2.2.4.2.6. Секция environment
- 2.2.4.2.7. Секция zookeeper
- 2.2.4.2.8. Секция migration
- 2.2.4.2.9. Секция prostore-rest-client
- 2.2.4.2.10. Секция prostore
- 2.2.4.2.11. Секция validation
- 2.2.4.2.12. Секция upload
- 2.2.4.2.13. Секция kafka
- 2.2.4.2.14. Секция csv-parser
- 2.2.4.2.15. Секция metrics
- 2.2.4.2.16. Секция backup
- 2.2.4.2.17. Секция jet-connector
- 2.2.5. Настройка СМЭВ4-адаптера - Модуль исполнения запросов
- 2.2.5.1. Конфигурация СМЭВ4-адаптера - Модуль исполнения запросов (application.yml)
- 2.2.5.2. Параметры конфигурации
- 2.2.5.2.1. Секция http-server
- 2.2.5.2.2. Секция environment
- 2.2.5.2.3. Секция executor
- 2.2.5.2.4. Секция send
- 2.2.5.2.5. Секция query
- 2.2.5.2.6. Секция zookeeper
- 2.2.5.2.7. Секция prostore-rest-client
- 2.2.5.2.8. Секция printable-forms-service
- 2.2.5.2.9. Секция kafka
- 2.2.5.2.10. Секция statistics
- 2.2.5.2.11. Секция logging
- 2.2.5.2.12. Секция metrics
- 2.2.6. Настройка СМЭВ4-адаптера – Модуль MPPR
- 2.2.7. Настройка СМЭВ4-адаптера - Модуль MPPW
- 2.2.7.1. Конфигурация модуля СМЭВ4-адаптер - Модуль MPPW (application.yml)
- 2.2.7.2. Параметры конфигурации
- 2.2.7.2.1. Секция tp
- 2.2.7.2.2. Секция upload
- 2.2.7.2.3. Секция http-server
- 2.2.7.2.4. Секция environment
- 2.2.7.2.5. Секция executor
- 2.2.7.2.6. Секция scheduler
- 2.2.7.2.7. Секция replication
- 2.2.7.2.8. Секция delta
- 2.2.7.2.9. Секция send
- 2.2.7.2.10. Секция zookeeper
- 2.2.7.2.11. Секция prostore-rest-client
- 2.2.7.2.12. Секция prostore
- 2.2.7.2.13. Секция kafka
- 2.2.7.2.14. Секция metrics
- 2.2.7.2.15. Секция jet-connector
- 2.2.8. Настройка СМЭВ4-адаптера – Модуль импорта данных табличных параметров
- 2.2.8.1. Конфигурация модуля СМЭВ4-адаптер - Модуль импорта данных табличных параметров (application.yml)
- 2.2.8.2. Параметры конфигурации
- 2.2.8.2.1. Секция http-server
- 2.2.8.2.2. Секция environment
- 2.2.8.2.3. Секция zookeeper
- 2.2.8.2.4. Секция prostore-rest-client
- 2.2.8.2.5. Секция prostore
- 2.2.8.2.6. Секция kafka
- 2.2.8.2.7. Секция query
- 2.2.8.2.8. Секция mppw
- 2.2.8.2.9. Секция delete
- 2.2.8.2.10. Секция delta
- 2.2.8.2.11. Секция metrics
- 2.2.9. Настройка СМЭВ4-адаптера – Модуль группировки данных табличных параметров
- 2.2.10. Настройка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
- 2.2.11. Настройка Модуля группировки чанков
- 2.2.12. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
- 2.2.12.1. Конфигурация модуля DATA-Uploader (application.yml)
- 2.2.12.2. Параметры конфигурации
- 2.2.12.2.1. Секция http-server
- 2.2.12.2.2. Секция persistence-mode
- 2.2.12.2.3. Секция prostore-rest-client
- 2.2.12.2.4. Секция redis
- 2.2.12.2.5. Секция upload
- 2.2.12.2.6. Секция data-storage
- 2.2.12.2.7. Секция environment
- 2.2.12.2.8. Секция zookeeper
- 2.2.12.2.9. Секция csv-parser
- 2.2.12.2.10. Секция active
- 2.2.12.2.11. Секция delta
- 2.2.12.2.12. Секция response
- 2.2.12.2.13. Секция kafka
- 2.2.12.2.14. Секция metrics
- 2.2.13. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
- 2.2.13.1. Конфигурация модуля REST-Uploader (application.yml)
- 2.2.13.2. Параметры конфигурации
- 2.2.13.2.1. Секция http-server
- 2.2.13.2.2. Секция executor
- 2.2.13.2.3. Секция file-size
- 2.2.13.2.4. Секция environment
- 2.2.13.2.5. Секция data-storage
- 2.2.13.2.6. Секция conditions
- 2.2.13.2.7. Секция zookeeper
- 2.2.13.2.8. Секция persistence-mode
- 2.2.13.2.9. Секция prostore-rest-client
- 2.2.13.2.10. Секция response
- 2.2.13.2.11. Секция control
- 2.2.13.2.12. Секция redis
- 2.2.13.2.13. Секция auth
- 2.2.13.2.14. Секция metrics
- 2.2.13.2.15. Секция scheduler
- 2.2.13.2.16. Секция csv-parser
- 2.2.13.2.17. Секция backup
- 2.2.13.3. Проверка форматно-логического контроля
- 2.2.13.4. Статусная модель
- 2.2.13.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
- 2.2.14. Настройка СМЭВ4-адаптера – Модуль подписок
- 2.2.14.1. Конфигурация модуля СМЭВ4-адаптер - Модуль подписок (application.yml)
- 2.2.14.2. Параметры конфигурации
- 2.2.14.2.1. Секция environment
- 2.2.14.2.2. Секция http-server
- 2.2.14.2.3. Секция executor
- 2.2.14.2.4. Секция zookeeper
- 2.2.14.2.5. Секция migration
- 2.2.14.2.6. Секция prostore-rest-client
- 2.2.14.2.7. Секция subscription
- 2.2.14.2.8. Секция replication
- 2.2.14.2.9. Секция storage
- 2.2.14.2.10. Секция kafka
- 2.2.14.2.11. Секция metrics
- 2.2.14.2.12. Секция log
- 2.2.14.2.13. Секция backup
- 2.2.15. Настройка BLOB-адаптера
- 2.2.16. Настройка Сервиса формирования документов
- 2.2.17. Настройка REST-адаптера
- 2.2.18. Настройка Counter-provider - Сервиса генерации уникального номера
- 2.2.19. Настройка утилиты Backup manager
- 2.2.20. Настройка Arenadata Cluster Manager (ADCM)
- 2.2.21. Настройка Arenadata Streaming (ADS)
- 2.2.22. Настройка сервиса журналирования
- 2.2.23. Установка компонента сбора данных запросов и ответов Витрины данных
- 2.2.24. Настройка Агента СМЭВ4
- 2.3. Настройка сервиса мониторинга
- 3. Запуск и остановка Программы
- 3.1. Prostore
- 3.2. СМЭВ QL Сервер
- 3.3. СМЭВ3-адаптер
- 3.4. CSV-Uploader
- 3.5. СМЭВ4-адаптер - Модуль исполнения запросов
- 3.6. СМЭВ4-адаптер – Модуль MPPR
- 3.7. СМЭВ4-адаптер-Модуль MPPW
- 3.8. СМЭВ4-адаптер – Модуль импорта данных табличных параметров
- 3.9. СМЭВ4-адаптер – Модуль группировки данных табличных параметров
- 3.10. СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
- 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
- 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
- 3.13. СМЭВ4-адаптер-Модуль подписки
- 3.14. BLOB-адаптер
- 3.15. Сервис формирования документов
- 3.16. Утилита Backup manager
- 3.17. ETL
- 3.18. REST-адаптер
- 3.19. Counter-provider - Сервис генерации уникального номера
- 3.20. Установка коннектора Kafka-Postgres
- 3.21. Arenadata Cluster Manager (ADCM)
- 3.22. Arenadata Streaming (ADS)
- 4. Бекапирование Витрины данных НСУД
- 4.1. Состав резервной копии Типового ПО Витрина данных
- 4.2. Описание и механизм работы утилиты Backup Manager
- 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
- 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
- 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
- 4.6. Поведение в случае ошибок при выполнении резервного копирования
- 5. Дополнительные возможности
- 5.1. Дополнительные возможности конфигурации Стандарт
- 5.2. Дополнительные возможности конфигурации Лайт
- 6. Сообщения администратору
- 7. Метрики в модулях Типового ПО Витрины данных
- 8. Приложение 1. Эксплуатация CSV-Uploader
- 8.1. Инструкция по эксплуатации CSV-Uploader
- 8.1.1. Общие правила формата загружаемых CSV-файлов
- 8.1.2. Загрузка структуры Витрины
- 8.1.3. Выгрузка шаблона CSV
- 8.1.4. Загрузка CSV-файла
- 8.1.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
- 8.1.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
- 8.1.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
- 8.1.8. Настройки CSV-uploader
- 8.1.9. Автоматический запуск загрузки CSV-файлов по расписанию
- 8.1.10. Настройка Журнала операций
- 8.1.11. Просмотр Журнала операций
- 8.1.12. Интерфейс Форматно-логического контроля
- 8.1. Инструкция по эксплуатации CSV-Uploader
- 9. Приложение 2. Пример XML-файла со структурой витрины
- 10. Термины и определения