Описание применения

Описание применения

• 1. НАЗНАЧЕНИЕ ПРОГРАММЫ
  • 1.1. Назначение программы
  • 1.2. Возможности программы
  • 1.3. Основные характеристики программы
  • 1.4. Перечень эксплуатационной документации
• 2. УСЛОВИЯ ПРИМЕНЕНИЯ
  • 2.1. Ограничения, накладываемые на область применения программы
  • 2.2. Требования к техническим средствам
    • 2.2.1. Рекомендации по расчету необходимых технических средств
    • 2.2.2. Серверное оборудование
    • 2.2.3. Телекоммуникационное оборудование и каналы связи
  • 2.3. Требования к обеспечению безопасности
• 3. ОПИСАНИЕ ЗАДАЧИ
  • 3.1. Определение задачи
  • 3.2. Методы решения задачи
    • 3.2.1. Описание логической модели данных
      • 3.2.1.1. Задача «Создание логической модели данных «ЕИП НСУД – Поставщик данных»
      • 3.2.1.2. Задача «Создание логической модели данных «Внешняя ИС – Поставщик данных»
      • 3.2.1.3. Задача «Создание логической модели данных «ЕИП НСУД – Потребитель данных»
      • 3.2.1.4. Задача и методы решения
    • 3.2.2. Загрузка и хранение данных
    • 3.2.3. Извлечение данных из внешних систем
      • 3.2.3.1. Задача «Извлечение и преобразование данных из внешних ИС»
      • 3.2.3.2. Задача и методы решения
    • 3.2.4. Поддержка языка SQL
      • 3.2.4.1. Задача «SQL-запрос через ПОДД»
      • 3.2.4.2. Задача «SQL-запрос через СМЭВ 3»
      • 3.2.4.3. Задача «Прямой SQL-запрос от Внешней ИС»
      • 3.2.4.4. Задача и методы решения
    • 3.2.5. Поддержка протокола коммуникаций Агента ПОДД
      • 3.2.5.1. Задача «Поддержка протокола коммуникации ПОДД»
      • 3.2.5.2. Задача и методы решения
    • 3.2.6. Подключение к СМЭВ 3 как информационной системе участника взаимодействия
      • 3.2.6.1. Задача «Подключение к СМЭВ 3»
      • 3.2.6.2. Задача и методы решения
    • 3.2.7. Обработка запросов с использованием стандарта JDBC
      • 3.2.7.1. Задача «Обработка запросов с использованием стандарта JDBC»
      • 3.2.7.2. Задача и методы решения
    • 3.2.8. Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3
      • 3.2.8.1. Задача «Подключение Внешней ИС через Сервер конечных точек (REST-адаптер)»
      • 3.2.8.2. Задача и методы решения
    • 3.2.9. Восстановление данных в непротиворечивое состояние после сбоев
    • 3.2.10. Журналирование событий функциональных блоков
    • 3.2.11. Мониторинг информации о работоспособности экземпляра Программы
• 4. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
  • 4.1. Входные данные
  • 4.2. Выходные данные

Руководство программиста

Руководство программиста

• 1. Аннотация
• 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Условия, необходимые для выполнения программы
  • 2.4. Требования к программному обеспечению
  • 2.5. Требования к персоналу
  • 2.6. Перечень эксплуатационной документации
• 3. ХАРАКТЕРИСТИКА ПРОГРАММЫ
  • 3.1. Основные характеристики программы
    • 3.1.1. Режим работы программы
      • 3.1.1.1. Штатный режим
      • 3.1.1.2. Сервисный режим
      • 3.1.1.3. Аварийный режим
      • 3.1.1.4. Остановка
• 4. ОБРАЩЕНИЕ К ПРОГРАММЕ
  • 4.1. СМЭВ3-адаптер
    • 4.1.1. Способы передачи управления
    • 4.1.2. Способы передачи параметров данных
  • 4.2. ПОДД-адаптер
    • 4.2.1. Способы передачи управления
    • 4.2.2. Способы передачи параметров данных
  • 4.3. REST-адаптер
    • 4.3.1. Способы передачи управления
    • 4.3.2. Способы передачи параметров данных
  • 4.4. Сервис извлечения данных
    • 4.4.1. Способы передачи управления
    • 4.4.2. Способы передачи параметров данных
  • 4.5. JDBC-драйвер
    • 4.5.1. Способы передачи управления
    • 4.5.2. Способы передачи параметров данных
• 5. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
  • 5.1. СМЭВ3-адаптер
    • 5.1.1. Pebble-шаблон
      • 5.1.1.1. Информация о дельтах
  • 5.2. ПОДД-адаптер
  • 5.3. REST-адаптер
    • 5.3.1. Описание REST API (OpenAPI)
    • 5.3.2. Pebble-шаблон конечной точки
      • 5.3.2.1. Параметры строки запроса
      • 5.3.2.2. Изменение кода ответа
      • 5.3.2.3. xPath выражение
      • 5.3.2.4. SQL запрос к витрине
      • 5.3.2.5. Присвоение значения переменной
  • 5.4. Сервис извлечения данных
    • 5.4.1. JDBC-extractor
    • 5.4.2. CSV-extractor
    • 5.4.3. XML-extractor
    • 5.4.4. JDBC-CSV-transformer
    • 5.4.5. XML-transformer
    • 5.4.6. Kafka loader
      • 5.4.6.1. Схема описания структуры выгружаемых данных
  • 5.5. JDBC-драйвер
    • 5.5.1. Типы данных
      • 5.5.1.1. Формат AVRO
    • 5.5.2. Массивно-параллельная запись
      • 5.5.2.1. Назначение
      • 5.5.2.2. Ограничения и допущения
      • 5.5.2.3. Входные данные
      • 5.5.2.4. Выходные данные (SUCCESS)
      • 5.5.2.5. Выходные данные (FAIL)
      • 5.5.2.6. Последовательность
      • 5.5.2.7. Данные в топике Kafka
    • 5.5.3. Массивно-параллельное чтение
      • 5.5.3.1. Назначение
      • 5.5.3.2. Ограничения и допущения
      • 5.5.3.3. Входные данные
      • 5.5.3.4. Выходные данные
      • 5.5.3.5. Последовательность
      • 5.5.3.6. Данные в топике Kafka
    • 5.5.4. Чтение с минимальной задержкой
      • 5.5.4.1. Назначение
      • 5.5.4.2. Входные данные
      • 5.5.4.3. Выходные данные
      • 5.5.4.4. Последовательность
    • 5.5.5. SQL+
      • 5.5.5.1. CREATE DATABASE
      • 5.5.5.2. DROP DATABASE
      • 5.5.5.3. CREATE TABLE
      • 5.5.5.4. DROP TABLE
      • 5.5.5.5. CREATE VIEW
      • 5.5.5.6. ALTER VIEW
      • 5.5.5.7. DROP VIEW
      • 5.5.5.8. TRUNCATE HISTORY
      • 5.5.5.9. BEGIN DELTA
      • 5.5.5.10. ROLLBACK DELTA
      • 5.5.5.11. GET_DELTA_HOT
      • 5.5.5.12. GET_DELTA_OK
      • 5.5.5.13. GET_DELTA_BY_DATETIME
      • 5.5.5.14. GET_DELTA_BY_NUM
      • 5.5.5.15. USE
      • 5.5.5.16. SELECT
      • 5.5.5.17. CREATE DOWNLOAD EXTERNAL TABLE
      • 5.5.5.18. DROP DOWNLOAD EXTERNAL TABLE
      • 5.5.5.19. CREATE UPLOAD EXTERNAL TABLE
      • 5.5.5.20. DROP UPLOAD EXTERNAL TABLE
      • 5.5.5.21. UPLOAD
      • 5.5.5.22. DOWNLOAD
      • 5.5.5.23. CHECK_DATABASE
      • 5.5.5.24. CHECK_TABLE
      • 5.5.5.25. CHECK_DATA
      • 5.5.5.26. CONFIG_STORAGE_ADD
• 6. СООБЩЕНИЯ
  • 6.1. SQL+
• 7. САМОСТОЯТЕЛЬНАЯ СБОРКА ПРИЛОЖЕНИЯ
  • 7.1. Адаптер СМЭВ 3
  • 7.2. Адаптер ПОДД
  • 7.3. Сервер конечных точек API
  • 7.4. Сервис извлечения данных

Руководство системного программиста

Руководство системного программиста

• 1. АННОТАЦИЯ
• 2. Общие сведения о программе
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Обеспечивающие технические и программные средства
    • 2.3.1. Минимальный состав технических средств
    • 2.3.2. Минимальный состав программных средств
  • 2.4. Перечень эксплуатационной документации
• 3. Структура программы
  • 3.1. Структура программы
  • 3.2. Составные части программы
    • 3.2.1. Состав компонентов в дистрибутиве
    • 3.2.2. Схема развертывания
  • 3.3. Связи между составными частями
    • 3.3.1. Общая архитектура решения
    • 3.3.2. Архитектура ProStore
      • 3.3.2.1. Схема компонентов ProStore
      • 3.3.2.2. Связи ProStore с другими программами
    • 3.3.3. Cвязи между составными частями
    • 3.3.4. Связи с другими программами
• 4. Настройка программы
  • 4.1. Настройка на состав технических средств
    • 4.1.1. Общие требования
    • 4.1.2. Общие требования для развертывания ProStore
    • 4.1.3. Требования к серверу ProStore
    • 4.1.4. Требования к серверу «Менеджер кластера ADCM»
    • 4.1.5. Требования к кластеру серверов «ADQM»
    • 4.1.6. Требования к кластеру серверов «ADS»
    • 4.1.7. Требования к кластеру серверов «ADB»
    • 4.1.8. Требования к кластеру серверов «ADG»
    • 4.1.9. Требования к серверу «СМЭВ3 коннектор»
    • 4.1.10. Требования к серверу «Агент ПОДД»
    • 4.1.11. Требования к серверу «ETL»
    • 4.1.12. Требования к серверу конечных точек
  • 4.2. Настройка на состав программных средств
    • 4.2.1. Создание технологического пользователя
    • 4.2.2. Установка Менеджера кластера ADCM
    • 4.2.3. Установка ADQM
    • 4.2.4. Установка Диспетчера сообщений ADS
    • 4.2.5. Настройка Диспетчера сообщений ADS
    • 4.2.6. Установка ПО ADB
    • 4.2.7. Настройка ПО ADB
    • 4.2.8. Установка ПО ADG
    • 4.2.9. Установка ПО ADG
    • 4.2.10. Настройка ПО ADG
    • 4.2.11. Установка ПО ProStore
    • 4.2.12. Настройка ПО ProStore
    • 4.2.13. Установка СМЭВ3-адаптера
    • 4.2.14. Установка ПОДД-адаптера
    • 4.2.15. Процесс установки
      • 4.2.15.1. Настройка конфигурации
      • 4.2.15.2. Кластеризация модуля
    • 4.2.16. Настройка ПОДД-адаптера
      • 4.2.16.1. Конфигурация ПОДД-адаптера - Модуль исполнения запросов (application.yml)
        • 4.2.16.1.1. Пример файла application.yml
      • 4.2.16.2. Параметры конфигурации
        • 4.2.16.2.1. Секция http-server
        • 4.2.16.2.2. Секция environment
        • 4.2.16.2.3. Секция executor
        • 4.2.16.2.4. Секция send
        • 4.2.16.2.5. Секция query
        • 4.2.16.2.6. Секция zookeeper
        • 4.2.16.2.7. Секция prostore-rest-client
        • 4.2.16.2.8. Секция printable-forms-service
        • 4.2.16.2.9. Секция kafka
        • 4.2.16.2.10. Секция statistics
        • 4.2.16.2.11. Секция logging
        • 4.2.16.2.12. Секция metrics
    • 4.2.17. Установка ETL
    • 4.2.18. Установка REST-адаптера
    • 4.2.19. Настройка сервера конечных точек API
• 5. Запуск и остановка программы
  • 5.1. Менеджер кластера ADCM
  • 5.2. ADQM
    • 5.2.1. Запуск и остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.2. Запуск кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.3. Остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.4. Диспетчер сообщений ADS
    • 5.2.5. Запуск и остановка сервисов ПО ADS через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.1. Запуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.2. Остановка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.3. Перезапуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.4. Запуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.5. Остановка сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.6. Перезапуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.7. Запуск и остановка диспетчера сообщений ADS на уровне кластера
  • 5.3. ADB
    • 5.3.1. Запуск и остановка кластера ADB через текстовый пользовательский интерфейс программной консоли
    • 5.3.2. Запуск и остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.3.2.1. Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.3.2.2. Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
  • 5.4. ADG
    • 5.4.1. Запуск и остановка кластера ADG через текстовый пользовательский интерфейс программной консоли
    • 5.4.2. Запуск и остановка кластера ADG через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.4.2.1. Создание экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.4.2.2. Удаление экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
  • 5.5. Ядро витрины  ProStore
    • 5.5.1. Запуск ProStore
  • 5.6. СМЭВ3-адаптер
    • 5.6.1. Запуск СМЭВ3-адаптера
    • 5.6.2. Настройка СМЭВ3-адаптера
    • 5.6.3. Сервисная БД СМЭВ3-адаптер
  • 5.7. Запуск ПОДД-адаптер
    • 5.7.1. Запуск модуля
    • 5.7.2. Остановка модуля
  • 5.8. ETL
    • 5.8.1. Apache Airflow
    • 5.8.2. Apache Spark
    • 5.8.3. СУБД Tarantool
  • 5.9. REST-адаптер
• 6. Проверка программы
  • 6.1. Проверка менеджера кластера ADCM
  • 6.2. Проверка ПО ADQM
  • 6.3. Диспетчер сообщений ADS
    • 6.3.1. Проверка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
    • 6.3.2. Запуск сервиса Apache Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
  • 6.4. Проверка ПО ADB
  • 6.5. Проверка ПО ADG
  • 6.6. Проверка ядра витрины ProStore
  • 6.7. Проверка СМЭВ3-адаптера
    • 6.7.1. Проверка модуля ПОДД-адаптер - Модуль исполнения запросов
  • 6.8. Проверка ETL
    • 6.8.1. Apache Airflow
    • 6.8.2. Apache Spark
    • 6.8.3. Apache Hadoop
    • 6.8.4. СУБД Tarantool
  • 6.9. Проверка сервера конечных точек API
• 7. Резервное копирование Витрины данных
  • 7.1. Плановое резервное копирование информации
  • 7.2. Контроль результатов резервного копирования
  • 7.3. Внеплановое резервное копирование информационных ресурсов Системы
  • 7.4. Восстановление информации из резервных копий
• 8. Дополнительные возможности
  • 8.1. Установки опциональных приложений
  • 8.2. Логирование
  • 8.3. Обновление
    • 8.3.1. Менеджер кластера ADCM
    • 8.3.2. ADQM
    • 8.3.3. Диспетчер сообщений ADS
      • 8.3.3.1. Обновление бандла
      • 8.3.3.2. Обновление кластера
    • 8.3.4. ADB
      • 8.3.4.1. Обновление с изменением версии ADB
      • 8.3.4.2. Обновление PXF версии 3х
    • 8.3.5. ADG
  • 8.4. Управление размером кластеров СУБД
    • 8.4.1. Управление размером кластера ADB
      • 8.4.1.1. Расширение кластера
      • 8.4.1.2. Ранжирование таблиц для перераспределения
      • 8.4.1.3. Перераспределение таблиц с помощью gpexpand
      • 8.4.1.4. Мониторинг перераспределения таблиц
      • 8.4.1.5. Удаление временной схемы расширения
      • 8.4.1.6. Сжатие кластеров
    • 8.4.2. Управление размером кластера ADG
      • 8.4.2.1. Расширение кластера
      • 8.4.2.2. Балансировка данных
      • 8.4.2.3. Отключение наборов реплик
      • 8.4.2.4. Исключение экземпляров
    • 8.4.3. Управление размером кластера ADQM
      • 8.4.3.1. Предварительные действия
      • 8.4.3.2. Расширение
• 9. Сообщения системному программисту
  • 9.1. Сообщения в ходе выполнения настройки ПО ProStore
  • 9.2. Сообщения в ходе выполнения проверки ПО ProStore
• 10. Приложение 1
  • 10.1. Основные объекты ADCM
  • 10.2. Пример yml – файла настройки ProStore
  • 10.3. Пример application.yml файла для СМЭВ3-адаптер
  • 10.4. Пример application.yml файла для REST-адаптер
  • 10.5. Пример adg.yml для установки ADG
  • 10.6. Пример config.yml для установки ADG
  • 10.7. Пример cartridge.yml

Руководство оператора

Руководство оператора

• 1. АННОТАЦИЯ
• 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Требование к квалификации персонала
  • 2.4. Перечень эксплуатационной документации
• 3. УСЛОВИЯ ВЫПОЛНЕНИЯ ПРОГРАММЫ
  • 3.1. Минимальный состав аппаратных и программных средств
    • 3.1.1. Минимальный состав аппаратных средств
    • 3.1.2. Минимальный состав программных средств
• 4. ВЫПОЛНЕНИЕ ПРОГРАММЫ
  • 4.1. Подготовка к работе
    • 4.1.1. Настройка подключения к базам данных
      • 4.1.1.1. Установка программы DBeaver
      • 4.1.1.2. Установка DBeaver для ОС Linux
      • 4.1.1.3. Установка DBeaver для ОС Windows
      • 4.1.1.4. Установка и настройка JDBC-драйвера
      • 4.1.1.5. Установка и настройка JDBC-драйвера для ОС Windows
      • 4.1.1.6. Установка и настройка драйвера JDBC-драйвер для Linux
    • 4.1.2. Настройка подключения к серверу ETL
      • 4.1.2.1. Установка и настройка программы FileZilla
      • 4.1.2.2. Установка FileZilla для ОС Windows
      • 4.1.2.3. Установка FileZilla для ОС Linux
      • 4.1.2.4. Создание SSH-ключей
      • 4.1.2.5. Создание SSH-ключей для ОС Linux
      • 4.1.2.6. Создание SSH-ключей для ОС Windows
      • 4.1.2.7. Подключение к серверу через SSH-клиент PuTTY
      • 4.1.2.8. Подключение к серверу с помощью программы FileZilla
      • 4.1.2.9. Проверка подключения к серверу ETL в программе FileZilla
  • 4.2. Выполнение запросов к базам данных
  • 4.3. Работа с файлами
    • 4.3.1. Загрузка csv-файлов на сервер
    • 4.3.2. Скачивание файлов с сервера
    • 4.3.3. Работа в Airflow
      • 4.3.3.1. Авторизация в Airflow
      • 4.3.3.2. Загрузка DAG-файла
      • 4.3.3.3. Перезапуск процесса
    • 4.3.4. Мониторинг статуса выполнения процесса
    • 4.3.5. Мониторинг и статистика работоспособности
      • 4.3.5.1. Описание возможностей
      • 4.3.5.2. Детализация событий в лог-файле
      • 4.3.5.3. Скачивание лог-файла с сервера
      • 4.3.5.4. Просмотр информации в лог-файле
      • 4.3.5.5. Поиск информации в лог-файле
      • 4.3.5.6. Проверка работоспособности кластера ETL
    • 4.3.6. Контроль результатов резервного копирования
    • 4.3.7. Завершение работы с программой
• 5. Сообщения оператору
  • 5.1. Действия оператора в случае аварии и сбоев
  • 5.2. Классификатор ошибок