Руководство по установке

Содержание

• 1. Общие сведения о программе
  • 1.1. Обозначение и наименование программы
  • 1.2. Назначение программы
  • 1.3. Возможности программы
  • 1.4. Операционная система
  • 1.5. Рекомендуемые технические и программные средства
  • 1.6. Компоненты программы
• 2. Подготовка к установке
  • 2.1. Предварительные действия
    • 2.1.1. Установка операционной системы
    • 2.1.2. Создание пользователя datamart
    • 2.1.3. Настройка межсетевого экрана
    • 2.1.4. Отключение SELinux (только для CentOS)
    • 2.1.5. Выбор часового пояса
    • 2.1.6. Установка сервиса синхронизации времени
    • 2.1.7. Настройка имен хостов (FQDN) на серверах
    • 2.1.8. Установка Java SE Development Kit 17.0.7
    • 2.1.9. Подключение к серверу через SSH-клиент PuTTY
    • 2.1.10. Создание SSH-ключей
    • 2.1.11. Копирование SSH-ключей на сервер
    • 2.1.12. Копирование архива программы
    • 2.1.13. Распаковка архива
    • 2.1.14. Установка Docker
    • 2.1.15. Установка библиотеки python-docker-py
    • 2.1.16. Настройка логирования в Docker
    • 2.1.17. Перезапуск Docker
    • 2.1.18. Добавление пользователя в группу docker
    • 2.1.19. Настройка Ansible
• 3. Требования к серверам конфигурации Стандарт
  • 3.1. Требования к серверу Prostore
  • 3.2. Требования к серверу Arenadata Cluster Manager (ADCM)
  • 3.3. Требования к кластеру серверов Arenadata Streaming (ADS)
  • 3.4. Требования к серверу «СМЭВ3-адаптер»
  • 3.5. Требования к сервису «Агент СМЭВ4»
  • 3.6. Требования к серверу «ETL»
    • 3.6.1. Требования к серверу «REST-адаптер»
• 4. Установка программы
  • 4.1. Установка ПО конфигурации Стандарт
    • 4.1.1. Порядок установки
    • 4.1.2. Установка ПО ProStore
    • 4.1.3. Установка СМЭВ QL Сервера
    • 4.1.4. Установка СМЭВ3-адаптера
    • 4.1.5. Установка СМЭВ4-адаптера - Модуля исполнения запросов
    • 4.1.6. Установка СМЭВ4-адаптера – Модуля MPPR
    • 4.1.7. Установка СМЭВ4-адаптера - Модуля MPPW
    • 4.1.8. Установка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
    • 4.1.9. Установка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
    • 4.1.10. Установка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
    • 4.1.11. Установка модуля группировки чанков репликации
    • 4.1.12. Установка DATA-uploder – Модуля исполнения асинхронных заданий
    • 4.1.13. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
    • 4.1.14. Установка СМЭВ4-адаптера – Модуля подписки
    • 4.1.15. Установка BLOB-адаптера
    • 4.1.16. Установка Сервиса формирования документов
    • 4.1.17. Загрузка и удаление данных через ETL
    • 4.1.18. Установка утилиты Back Manager
    • 4.1.19. Установка Apache Airflow
    • 4.1.20. Установка Apache Spark
    • 4.1.21. Установка Apache Hadoop
    • 4.1.22. Установка Tarantool (Vinyl)
    • 4.1.23. Установка CSV-Uploader
    • 4.1.24. Установка REST-адаптера
    • 4.1.25. Установка Counter-provider
    • 4.1.26. Установка коннектора Kafka-Postgres
    • 4.1.27. Установка Arenadata Cluster Manager (ADCM)
    • 4.1.28. Установка Arenadata Streaming (ADS)
    • 4.1.29. Установка компонента сбора данных запросов и ответов Витрины данных
  • 4.2. Установка ПО конфигурации лайт
    • 4.2.1. Настройка конфигурационного файла
    • 4.2.2. Установка программы
  • 4.3. Установка системы мониторинга
    • 4.3.1. Установка Prometheus на Bare metal
    • 4.3.2. Установка Grafana на Bare metal
    • 4.3.3. Установка Prometheus и Grafana в Docker
• 5. Проверка программы
  • 5.1. Проверка ПО конфигурации Стандарт
    • 5.1.1. Проверка Arenadata Cluster Manager (ADCM)
    • 5.1.2. Проверка Arenadata Streaming (ADS)
    • 5.1.3. Проверка ProStore
    • 5.1.4. Проверка СМЭВ QL Сервера
    • 5.1.5. Проверка СМЭВ3-адаптера
    • 5.1.6. Проверка СМЭВ4-адаптера - Модуля исполнения запросов
    • 5.1.7. Проверка СМЭВ4-адаптера – Модуля MPPR
    • 5.1.8. Проверка СМЭВ4-адаптера - Модуля MPPW
    • 5.1.9. Проверка СМЭВ4-адаптера – Модуля импорта данных табличных параметров
    • 5.1.10. Проверка СМЭВ4-адаптера – Модуля группировки данных табличных параметров
    • 5.1.11. Проверка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
    • 5.1.12. Проверка модуля группировки чанков репликации
    • 5.1.13. Проверка DATA-uploder – Модуля исполнения асинхронных заданий
    • 5.1.14. Проверка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
    • 5.1.15. Проверка СМЭВ4-адаптера – Модуля подписки
    • 5.1.16. Проверка BLOB-адаптера
    • 5.1.17. Проверка Сервиса формирования документов
    • 5.1.18. Проверка ETL
    • 5.1.19. Проверка Backup manager
    • 5.1.20. Проверка REST-адаптер
    • 5.1.21. Проверка Counter-provider - Сервиса генерации уникального номера
  • 5.2. Проверка ПО конфигурации Лайт
• 6. Обновление программы
  • 6.1. Обновление ПО конфигурации Стандарт
  • 6.2. Обновление ПО конфигурации Лайт
    • 6.2.1. Обновление с версии 1.0.0 до версии 1.0.1
    • 6.2.2. Обновление с версии 1.0.1 до версии выше
• 7. Приложение 1. Настройка firewall (Iptables)
• 8. Приложение 2. Просмотр выполнения загрузки данных в программу
  • 8.1. Настройка подключения к базе данных
    • 8.1.1. Установка программы DBeaver
    • 8.1.2. Установка и настройка JDBC-драйвера
    • 8.1.3. Проверка загрузки данных в БД
    • 8.1.4. Создание тестовой БД
    • 8.1.5. Загрузка данных
• 10. Термины и определения

Руководство администратора

Содержание

• 1. Общие сведения о программе
  • 1.1. Назначение программы
  • 1.2. Возможности программы
  • 1.3. Технические и программные средства
• 2. Настройка программы
  • 2.1. Настройка технических средств
  • 2.2. Настройка программных средств
    • 2.2.1. Настройка ProStore
    • 2.2.2. Настройка СМЭВ QL Сервера
    • 2.2.3. Настройка СМЭВ3-адаптера
    • 2.2.4. Настройка CSV-Uploader
    • 2.2.5. Настройка СМЭВ4-адаптера - Модуль исполнения запросов
    • 2.2.6. Настройка СМЭВ4-адаптера – Модуль MPPR
    • 2.2.7. Настройка СМЭВ4-адаптера - Модуль MPPW
    • 2.2.8. Настройка СМЭВ4-адаптера – Модуль импорта данных табличных параметров
    • 2.2.9. Настройка СМЭВ4-адаптера – Модуль группировки данных табличных параметров
    • 2.2.10. Настройка СМЭВ4-адаптера – Модуль дефрагментации чанков табличных параметров
    • 2.2.11. Настройка Модуля группировки чанков
    • 2.2.12. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
    • 2.2.13. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 2.2.14. Настройка СМЭВ4-адаптера – Модуль подписок
    • 2.2.15. Настройка BLOB-адаптера
    • 2.2.16. Настройка Сервиса формирования документов
    • 2.2.17. Настройка REST-адаптера
    • 2.2.18. Настройка Counter-provider - Сервиса генерации уникального номера
    • 2.2.19. Настройка утилиты Backup manager
    • 2.2.20. Настройка Arenadata Cluster Manager (ADCM)
    • 2.2.21. Настройка Arenadata Streaming (ADS)
    • 2.2.22. Настройка сервиса журналирования
    • 2.2.23. Установка компонента сбора данных запросов и ответов Витрины данных
    • 2.2.24. Настройка Агента СМЭВ4
  • 2.3. Настройка сервиса мониторинга
    • 2.3.1. Предоставление источника данных
    • 2.3.2. Предоставление информационной панели
• 3. Запуск и остановка Программы
  • 3.1. Prostore
    • 3.1.1. Запуск
  • 3.2. СМЭВ QL Сервер
    • 3.2.1. Быстрый старт
  • 3.3. СМЭВ3-адаптер
    • 3.3.1. Запуск модуля
    • 3.3.2. Остановка модуля
  • 3.4. CSV-Uploader
    • 3.4.1. Запуск CSV-uploader
    • 3.4.2. Остановка модуля
  • 3.5. СМЭВ4-адаптер - Модуль исполнения запросов
    • 3.5.1. Запуск модуля
    • 3.5.2. Остановка модуля
  • 3.6. СМЭВ4-адаптер – Модуль MPPR
    • 3.6.1. Запуск модуля
    • 3.6.2. Остановка модуля
  • 3.7. СМЭВ4-адаптер-Модуль MPPW
    • 3.7.1. Запуск модуля
    • 3.7.2. Остановка модуля
  • 3.8. СМЭВ4-адаптер – Модуль импорта данных табличных параметров
    • 3.8.1. Запуск модуля
    • 3.8.2. Остановка модуля
  • 3.9. СМЭВ4-адаптер – Модуль группировки данных табличных параметров
    • 3.9.1. Запуск модуля
    • 3.9.2. Остановка модуля
  • 3.10. СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
    • 3.10.1. Запуск модуля
    • 3.10.2. Остановка модуля
  • 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
    • 3.11.1. Запуск модуля
    • 3.11.2. Остановка модуля
  • 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 3.12.1. Запуск модуля
    • 3.12.2. Остановка модуля
    • 3.12.3. Добавление поставщика данных
  • 3.13. СМЭВ4-адаптер-Модуль подписки
    • 3.13.1. Запуск модуля
    • 3.13.2. Остановка модуля
  • 3.14. BLOB-адаптер
    • 3.14.1. Запуск модуля
    • 3.14.2. Остановка модуля
  • 3.15. Сервис формирования документов
    • 3.15.1. Запуск модуля
    • 3.15.2. Остановка модуля
  • 3.16. Утилита Backup manager
    • 3.16.1. Запуск утилиты
  • 3.17. ETL
    • 3.17.1. Apache Airflow
    • 3.17.2. Apache Spark
    • 3.17.3. Apache Hadoop
    • 3.17.4. Tarantool (Vynil)
  • 3.18. REST-адаптер
  • 3.19. Counter-provider - Сервис генерации уникального номера
    • 3.19.1. Запуск модуля
    • 3.19.2. Остановка модуля
  • 3.20. Установка коннектора Kafka-Postgres
  • 3.21. Arenadata Cluster Manager (ADCM)
    • 3.21.1. Запуск
    • 3.21.2. Остановка
  • 3.22. Arenadata Streaming (ADS)
    • 3.22.1. Kafka
    • 3.22.2. Zookeeper
    • 3.22.3. Запуск и остановка сервисов ADS через консоль
    • 3.22.4. Запуск и остановка сервисов ADS через ADCM
• 4. Бекапирование Витрины данных НСУД
  • 4.1. Состав резервной копии Типового ПО Витрина данных
  • 4.2. Описание и механизм работы утилиты Backup Manager
    • 4.2.1. Описание утилиты Backup Manager
    • 4.2.2. Механизм работы утилиты Backup manager
    • 4.2.3. Создание резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
    • 4.2.4. Восстановление из резервной копии Типового ПО Витрина данных с использованием утилиты Backup Manager
  • 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
    • 4.3.1. Работа модулей для обеспечения резервного копирования
  • 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
    • 4.4.1. Приостановка модулей, требующих консистентности с Prostore
    • 4.4.2. Восстановление модулей, требующих консистентности с Prostore
  • 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
    • 4.5.1. Механизм резервного копирования модулей слоя адаптеров
    • 4.5.2. Механизм восстановления из резервной копии модулей слоя адаптеров
  • 4.6. Поведение в случае ошибок при выполнении резервного копирования
    • 4.6.1. Ошибки резервного копирования и восстановления из резервной копии
    • 4.6.2. Поведение в случае остановки утилиты Backup Manager в процессе снятия/восстановления из резервной копии
    • 4.6.3. Ограничения
• 5. Дополнительные возможности
  • 5.1. Дополнительные возможности конфигурации Стандарт
    • 5.1.1. Установки опциональных приложений
    • 5.1.2. Материлиазованные представления
    • 5.1.3. Маршрутизация запросов к материализованным представлениям
    • 5.1.4. Логирование
    • 5.1.5. Обновление
    • 5.1.6. Миграция из Bare metal варианта установки в Kubernetes
  • 5.2. Дополнительные возможности конфигурации Лайт
    • 5.2.1. Логирование
    • 5.2.2. Проверка версии компонентов
• 6. Сообщения администратору
  • 6.1. Сообщения в ходе установки и настройки программы
  • 6.2. Сообщения при эксплуатации программы
• 7. Метрики в модулях Типового ПО Витрины данных
• 8. Приложение 1. Описание спецификации
  • 8.1. Спецификация Модуля исполнения запросов
    • 8.1.1. Запрос данных из Витрины
    • 8.1.2. query.rq
    • 8.1.3. query.rs
    • 8.1.4. query.err
    • 8.1.5. query.estimation.rs
    • 8.1.6. Отмена запроса данных
    • 8.1.7. cancel.rq
    • 8.1.8. cancel.rs
    • 8.1.9. cancel.err
    • 8.1.10. Запрос оценки выполнения запроса на Витрине
    • 8.1.11. query.rq
    • 8.1.12. query.estimation.rs
    • 8.1.13. Запрос статистики
    • 8.1.14. statistics.rq
    • 8.1.15. statistics.rs
    • 8.1.16. statistics.err
    • 8.1.17. Запрос данных по регламентированным запросам
    • 8.1.18. procedure.query.rq
    • 8.1.19. procedure.query.rs
    • 8.1.20. procedure.query.err
    • 8.1.21. Запрос метаданных
    • 8.1.22. metadata.rq
    • 8.1.23. metadata.rs
    • 8.1.24. metadata.err
  • 8.2. Спецификация модуля «BLOB-адаптер»
    • 8.2.1. Запрос на считывание BLOB
    • 8.2.2. blob.rq
    • 8.2.3. blob.rs
    • 8.2.4. blob.err
  • 8.3. Спецификация модуля «Сервис Формирования документов»
    • 8.3.1. Запрос формирования документов
    • 8.3.2. report.rq
    • 8.3.3. report.rs
    • 8.3.4. report.err
• 9. Приложение 2. Поддержка функций SQL
  • 9.1. Поддержка функции LISTAGG
    • 9.1.1. LISTAGG
• 10. Приложение 3. Пример XML-файла со структурой витрины
• 11. Приложение 4. Эксплуатация CSV-Uploader
  • 11.1. Инструкция по эксплуатации CSV-Uploader
    • 11.1.1. Общие правила формата загружаемых CSV-файлов
    • 11.1.2. Загрузка структуры Витрины
    • 11.1.3. Выгрузка шаблона CSV
    • 11.1.4. Загрузка CSV-файла
    • 11.1.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
    • 11.1.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
    • 11.1.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
    • 11.1.8. Настройки CSV-uploader
    • 11.1.9. Автоматический запуск загрузки CSV-файлов по расписанию
    • 11.1.10. Настройка Журнала операций
    • 11.1.11. Просмотр Журнала операций
    • 11.1.12. Интерфейс Форматно-логического контроля
• 10. Термины и определения