Описание применения

Описание применения

• 1. Общие сведения
  • 1.1. Обозначение и наименование программы
  • 1.2. Назначение программы
  • 1.3. Возможности программы
  • 1.4. Основные характеристики программы
  • 1.5. Перечень эксплуатационной документации
• 2. УСЛОВИЯ ПРИМЕНЕНИЯ
  • 2.1. Ограничения, накладываемые на область применения программы
  • 2.2. Требования к техническим средствам
    • 2.2.1. Рекомендации по расчету необходимых технических средств
    • 2.2.2. Серверное оборудование
    • 2.2.3. Телекоммуникационное оборудование и каналы связи
  • 2.3. Требования к обеспечению безопасности
• 3. ОПИСАНИЕ ЗАДАЧИ
  • 3.1. Определение задачи
  • 3.2. Методы решения задачи
    • 3.2.1. Описание логической модели данных
      • 3.2.1.1. Задача «Создание логической модели данных «ЕИП НСУД – Поставщик данных»
      • 3.2.1.2. Задача «Создание логической модели данных «Внешняя ИС – Поставщик данных»
      • 3.2.1.3. Задача «Создание логической модели данных «ЕИП НСУД – Потребитель данных»
      • 3.2.1.4. Задача и методы решения
    • 3.2.2. Загрузка и хранение данных
    • 3.2.3. Извлечение данных из внешних систем
      • 3.2.3.1. Задача «Извлечение и преобразование данных из внешних ИС»
      • 3.2.3.2. Задача и методы решения
    • 3.2.4. Поддержка языка SQL
      • 3.2.4.1. Задача «SQL-запрос через ПОДД»
      • 3.2.4.2. Задача «SQL-запрос через СМЭВ 3»
      • 3.2.4.3. Задача «Прямой SQL-запрос от Внешней ИС»
      • 3.2.4.4. Задача и методы решения
    • 3.2.5. Поддержка протокола коммуникаций Агента ПОДД
      • 3.2.5.1. Задача «Поддержка протокола коммуникации ПОДД»
      • 3.2.5.2. Задача и методы решения
    • 3.2.6. Подключение к СМЭВ3 как информационной системе участника взаимодействия
      • 3.2.6.1. Задача «Подключение к СМЭВ 3»
      • 3.2.6.2. Задача и методы решения
    • 3.2.7. Обработка запросов с использованием стандарта JDBC
      • 3.2.7.1. Задача «Обработка запросов с использованием стандарта JDBC»
      • 3.2.7.2. Задача и методы решения
    • 3.2.8. Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3
      • 3.2.8.1. Задача «Подключение Внешней ИС через Сервер конечных точек (REST-адаптер)»
      • 3.2.8.2. Задача и методы решения
    • 3.2.9. Восстановление данных в непротиворечивое состояние после сбоев
    • 3.2.10. Журналирование событий функциональных блоков
    • 3.2.11. Мониторинг информации о работоспособности экземпляра Программы
    • 3.2.12. Работа с BLOB-объектами
    • 3.2.13. Формирование, подписание и передачи через ПОДД сформированных документов
    • 3.2.14. Предоставление оценки объема запрашиваемых ПОДД данных
    • 3.2.15. Управление взаимодействием со СМЭВ3
    • 3.2.16. Запись событий в журнал и конфигурирование количества соединений к ProStore для СМЭВ3
    • 3.2.17. Использование табличных параметров в запросах через ПОДД и выделение функций в отдельные модули
    • 3.2.18. Пакетная загрузка больших объемов данных при первичном наполнении витрины
      • 3.2.18.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования SQL-запроса и отправки его в ADB на обновление данных (UPDATE) из физической таблицы staging в таблицу actual
      • 3.2.18.2. Описание процесса создания обогащенного SQL-запроса UPDATE на обновление данных из физической таблицы staging в таблицу actual
      • 3.2.18.3. Описание процесса отправки обогащенного SQL-запроса UPDATE в ADB через модуль плагина ADB
        • 3.2.18.3.1. Описание технического решения по переносу «горячих» записей витрины в «актуальные» записи витрины путём формирования и отправки SQL-запроса в ADB на вставку данных (INSERT) из физической таблицы staging в таблицу actual
      • 3.2.18.4. Описание процесса создания обогащенного SQL-запроса INSERT на вставку данных из физической таблицы staging в таблицу actual
      • 3.2.18.5. Описание процесса отправки обогащенного SQL-запроса INSERT в ADB через модуль плагина ADB
        • 3.2.18.5.1. Описание технического решения по переносу «горячих» данных в ADB вне зависимости от используемого коннектора из Брокера сообщений в ADB
      • 3.2.18.6. Описание алгоритма переноса «горячих» записей витрины в «актуальные» записи витрины вне зависимости от используемого коннектора
    • 3.2.19. Исполнение запросов с табличными параметрами через неверсионируемые таблицы
      • 3.2.19.1. Описание технического решения по записи адаптером ПОДД временных данных из табличных параметров запроса в неверсионируемые таблицы
      • 3.2.19.2. Реализация модуля группировки данных ТП
      • 3.2.19.3. Реализация модуля импорта ТП
      • 3.2.19.4. Реализация модуля MPPW
      • 3.2.19.5. Реализация модуля обработки запросов (Адаптер ПОДД)
      • 3.2.19.6. Реализация модуля MPPR
        • 3.2.19.6.1. Описание технического решения по удалению адаптером ПОДД временных данных из табличных параметров из неверсионируемых таблиц после их использования в целевом запросе
    • 3.2.20. Модуль загрузки данных в Витрину из внешних источников
      • 3.2.20.1. Описание формата CSV для сервиса загрузки данных
        • 3.2.20.1.1. Описание технического решения по реализации асинхронной загрузки данных из источников по REST
      • 3.2.20.2. Архитектура технического решения по реализации асинхронной загрузки данных из источников по REST
        • 3.2.20.2.1. Описание технического решения по реализации получения статуса асинхронного задания по REST-интерфейсу
        • 3.2.20.2.2. Описание технического решения временного хранилища данных
        • 3.2.20.2.3. Описание технического решения обработки очереди файлов при помощи модуля исполнения асинхронных заданий
      • 3.2.20.3. Описание технического решения работы активного экземпляра модуля исполнения асинхронных заданий
      • 3.2.20.4. Описание технического решения цикла обработки файлов
        • 3.2.20.4.1. Особенности и ограничения
    • 3.2.21. Кластеризация модулей витрин данных
      • 3.2.21.1. Описание технического решения по доработке 8 модулей слоя сервисов адаптеров
      • 3.2.21.2. Реализация доработки 8 модулей слоя сервисов адаптеров
        • 3.2.21.2.1. Описание технического решения по доработке 2 модулей сервиса исполнения запросов ядра Prostore
      • 3.2.21.3. Описание технического решения по поддержке работы кластеризованного сервиса исполнения запросов из двух и более узлов с экземплярами сервиса исполнения запросов
      • 3.2.21.4. Реализация режима асинхронного взаимодействия узла кластеризованного сервиса исполнения запросов с общими компонентами
      • 3.2.21.5. Описание технического решения по добавлению в конфигурацию сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
      • 3.2.21.6. Описание технического решения по удалению из конфигурации сервиса исполнения запросов узла с экземпляром сервиса исполнения запросов
        • 3.2.21.6.1. Описание технического решения по контейнеризации доработанных 10 модулей Типового ПО витрины данных
        • 3.2.21.6.2. Особенности и ограничения
    • 3.2.22. Генерация номера отчета в сервисе печатных форм
      • 3.2.22.1. Схема взаимодействия технического решения
      • 3.2.22.2. Описание технического решения по реализации функции расширения peeble-шаблона
      • 3.2.22.3. Описание технического решения по реализации функции долговременного хранения неограниченного списка счетчиков
      • 3.2.22.4. Описание технического решения по реализации сервиса получения номера печатных форм
      • 3.2.22.5. Описание технического решения по инициализации произвольного счетчика
      • 3.2.22.6. Описание технического решения по обнулению произвольного счетчика
        • 3.2.22.6.1. Описание технического решения по реализации атомарного изменения счетчика при параллельном использовании этой функции
      • 3.2.22.7. Операция инкремента счетчика
      • 3.2.22.8. Повторение попытки инкремента счетчика
        • 3.2.22.8.1. Описание технического решения по реализации передачи дополнительной информации по параметрам печатных форм из ПОДД в Витрину
        • 3.2.22.8.2. Описание технического решения по обеспечению конкурентной записи (инкремент счетчика) в многопоточном режиме
    • 3.2.23. Реализация применения комплексных ключей в модуле CSV-Uploader в Типовом ПО Витрина данных
      • 3.2.23.1. Описание технического решения по реализации поддержки парсинга комплексных первичных ключей в модуле CSV-Uploader
      • 3.2.23.2. Описание технического решения по реализации поддержка передачи модулем CSV-uploader в ядро Типового ПО Витрины комплексных первичных ключей и комплексных ключей шардирования
    • 3.2.24. Технические решения по сбору статистики и протоколированию обработанных запросов
      • 3.2.24.1. Описание технического решения по фиксации запросов и ответов в модулях витрины данных
        • 3.2.24.1.1. Архитектура технического решения
        • 3.2.24.1.2. Реализация фиксации запросов и ответов в модулях витрины данных
      • 3.2.24.2. Описание технического решения по обработке протоколируемых запросов и ответов
      • 3.2.24.3. Описание технического решения по хранению протоколируемых запросов и ответов, с возможностью извлекать данные по уникальному идентификатору
      • 3.2.24.4. Описание технического решения по поддержке протокола ПОДД, обеспечивающего передачу идентифицирующих атрибутов запросов
      • 3.2.24.5. Описание технического решения по фиксации, передачи, хранению и очистки идентифицирующих атрибутов запросов
      • 3.2.24.6. Особенности и ограничения
    • 3.2.25. Технические решения по реализации обеспечения совместимости Типового ПО Витрина данных под управлением операционных систем Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 3.2.25.1. Описание тестирования процесса развертывания витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 3.2.25.2. Описание регрессионного тестирования функционирования витрины данных без подключения к ПОДД на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 3.2.25.3. Описание подготовки отчетов о регрессионном тестировании витрины данных на серверах с предустановленными операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 3.2.25.4. Описание выполнения необходимых доработок Типового ПО Витрина данных по итогам регрессионного тестирования для обеспечения совместимости с операционными системами Astra Linux, РЕД ОС и АЛЬТ Сервер 8 СП
      • 3.2.25.5. Описание подготовки скриптов и проведения нагрузочного тестирования
      • 3.2.25.6. Описание подготовки отчета о результатах нагрузочного тестирования
    • 3.2.26. Выполнение запросов с системными параметрами
      • 3.2.26.1. Общее описание
      • 3.2.26.2. Обработка системных параметров
      • 3.2.26.3. Примеры преобразования запросов
• 4. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
  • 4.1. Входные данные
  • 4.2. Выходные данные

Руководство программиста

Руководство программиста

• 1. Аннотация
• 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Условия, необходимые для выполнения программы
  • 2.4. Требования к программному обеспечению
  • 2.5. Требования к персоналу
  • 2.6. Перечень эксплуатационной документации
• 3. ХАРАКТЕРИСТИКА ПРОГРАММЫ
  • 3.1. Основные характеристики программы
  • 3.2. Режим работы программы
    • 3.2.1. Штатный режим
    • 3.2.2. Сервисный режим
    • 3.2.3. Аварийный режим
    • 3.2.4. Остановка
• 4. ОБРАЩЕНИЕ К ПРОГРАММЕ
  • 4.1. СМЭВ3-адаптер
    • 4.1.1. Способы передачи управления
    • 4.1.2. Способы передачи параметров данных
  • 4.2. ПОДД-адаптер
    • 4.2.1. Способы передачи управления
    • 4.2.2. Способы передачи параметров данных
  • 4.3. REST-адаптер
    • 4.3.1. Способы передачи управления
    • 4.3.2. Способы передачи параметров данных
  • 4.4. Сервис извлечения данных
    • 4.4.1. Способы передачи управления
    • 4.4.2. Способы передачи параметров данных
  • 4.5. JDBC-драйвер
    • 4.5.1. Способы передачи управления
    • 4.5.2. Способы передачи параметров данных
• 5. ВХОДНЫЕ И ВЫХОДНЫЕ ДАННЫЕ
  • 5.1. СМЭВ3-адаптер
    • 5.1.1. Pebble-шаблон
      • 5.1.1.1. Информация о дельтах
  • 5.2. ПОДД-адаптер
  • 5.3. REST-адаптер
    • 5.3.1. Описание REST API (OpenAPI)
    • 5.3.2. Pebble-шаблон конечной точки
      • 5.3.2.1. Параметры строки запроса
      • 5.3.2.2. Изменение кода ответа
      • 5.3.2.3. xPath выражение
      • 5.3.2.4. SQL запрос к витрине
      • 5.3.2.5. Присвоение значения переменной
  • 5.4. Сервис извлечения данных
    • 5.4.1. JDBC-extractor
    • 5.4.2. CSV-extractor
    • 5.4.3. XML-extractor
    • 5.4.4. JDBC-CSV-transformer
    • 5.4.5. XML-transformer
    • 5.4.6. Kafka loader
      • 5.4.6.1. Схема описания структуры выгружаемых данных
  • 5.5. JDBC-драйвер
    • 5.5.1. Типы данных
      • 5.5.1.1. Формат AVRO
    • 5.5.2. Массивно-параллельная запись
      • 5.5.2.1. Назначение
      • 5.5.2.2. Ограничения и допущения
      • 5.5.2.3. Входные данные
      • 5.5.2.4. Выходные данные (SUCCESS)
      • 5.5.2.5. Выходные данные (FAIL)
      • 5.5.2.6. Последовательность
      • 5.5.2.7. Данные в топике Kafka
    • 5.5.3. Массивно-параллельное чтение
      • 5.5.3.1. Назначение
      • 5.5.3.2. Ограничения и допущения
      • 5.5.3.3. Входные данные
      • 5.5.3.4. Выходные данные
      • 5.5.3.5. Последовательность
      • 5.5.3.6. Данные в топике Kafka
    • 5.5.4. Чтение с минимальной задержкой
      • 5.5.4.1. Назначение
      • 5.5.4.2. Входные данные
      • 5.5.4.3. Выходные данные
      • 5.5.4.4. Последовательность
    • 5.5.5. SQL+
      • 5.5.5.1. CREATE DATABASE
      • 5.5.5.2. DROP DATABASE
      • 5.5.5.3. CREATE TABLE
      • 5.5.5.4. DROP TABLE
      • 5.5.5.5. CREATE VIEW
      • 5.5.5.6. ALTER VIEW
      • 5.5.5.7. DROP VIEW
      • 5.5.5.8. TRUNCATE HISTORY
      • 5.5.5.9. BEGIN DELTA
      • 5.5.5.10. ROLLBACK DELTA
      • 5.5.5.11. GET_DELTA_HOT
      • 5.5.5.12. GET_DELTA_OK
      • 5.5.5.13. GET_DELTA_BY_DATETIME
      • 5.5.5.14. GET_DELTA_BY_NUM
      • 5.5.5.15. USE
      • 5.5.5.16. SELECT
      • 5.5.5.17. CREATE DOWNLOAD EXTERNAL TABLE
      • 5.5.5.18. DROP DOWNLOAD EXTERNAL TABLE
      • 5.5.5.19. CREATE UPLOAD EXTERNAL TABLE
      • 5.5.5.20. DROP UPLOAD EXTERNAL TABLE
      • 5.5.5.21. UPLOAD
      • 5.5.5.22. DOWNLOAD
      • 5.5.5.23. CHECK_DATABASE
      • 5.5.5.24. CHECK_TABLE
      • 5.5.5.25. CHECK_DATA
      • 5.5.5.26. CONFIG_STORAGE_ADD
• 6. СООБЩЕНИЯ
  • 6.1. SQL+
• 7. САМОСТОЯТЕЛЬНАЯ СБОРКА ПРИЛОЖЕНИЯ
  • 7.1. Адаптер СМЭВ 3
  • 7.2. Адаптер ПОДД
  • 7.3. Сервер конечных точек API
  • 7.4. Сервис извлечения данных

Руководство системного программиста

Руководство системного программиста

• 1. АННОТАЦИЯ
• 2. Общие сведения о программе
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Обеспечивающие технические и программные средства
    • 2.3.1. Минимальный состав технических средств
    • 2.3.2. Минимальный состав программных средств
  • 2.4. Перечень эксплуатационной документации
• 3. Структура программы
  • 3.1. Структура программы
  • 3.2. Составные части программы
    • 3.2.1. Состав компонентов в дистрибутиве
    • 3.2.2. Схема развертывания
  • 3.3. Связи между составными частями
    • 3.3.1. Общая архитектура решения
    • 3.3.2. Архитектура ProStore
      • 3.3.2.1. Схема компонентов ProStore
      • 3.3.2.2. Связи ProStore с другими программами
    • 3.3.3. Cвязи между составными частями
    • 3.3.4. Связи с другими программами
• 4. Настройка программы
  • 4.1. Настройка на состав технических средств
    • 4.1.1. Общие требования
    • 4.1.2. Общие требования для развертывания ProStore
    • 4.1.3. Требования к серверу ProStore
    • 4.1.4. Требования к серверу «Менеджер кластера ADCM»
    • 4.1.5. Требования к кластеру серверов «ADQM»
    • 4.1.6. Требования к кластеру серверов «ADS»
    • 4.1.7. Требования к кластеру серверов «ADB»
    • 4.1.8. Требования к кластеру серверов «ADG»
    • 4.1.9. Требования к серверу «СМЭВ3 коннектор»
    • 4.1.10. Требования к серверу «Агент ПОДД»
    • 4.1.11. Требования к серверу «ETL»
    • 4.1.12. Требования к серверу конечных точек
  • 4.2. Настройка на состав программных средств
    • 4.2.1. Создание технологического пользователя
    • 4.2.2. Установка Менеджера кластера ADCM
    • 4.2.3. Установка ADQM
    • 4.2.4. Установка Диспетчера сообщений ADS
    • 4.2.5. Настройка Диспетчера сообщений ADS
    • 4.2.6. Установка ПО ADB
    • 4.2.7. Настройка ПО ADB
    • 4.2.8. Установка ПО ADG
    • 4.2.9. Установка ПО ADG
    • 4.2.10. Настройка ПО ADG
    • 4.2.11. Установка ПО ProStore
    • 4.2.12. Настройка ПО ProStore
    • 4.2.13. Установка СМЭВ3-адаптера
    • 4.2.14. Установка ПОДД-адаптера
      • 4.2.14.1. Процесс установки
        • 4.2.14.1.1. Настройка конфигурации
        • 4.2.14.1.2. Кластеризация модуля
    • 4.2.15. Настройка ПОДД-адаптера
      • 4.2.15.1. Конфигурация СМЭВ4-адаптера - Модуль исполнения запросов (application.yml)
        • 4.2.15.1.1. Пример файла application.yml
      • 4.2.15.2. Параметры конфигурации
        • 4.2.15.2.1. Секция http-server
        • 4.2.15.2.2. Секция environment
        • 4.2.15.2.3. Секция executor
        • 4.2.15.2.4. Секция send
        • 4.2.15.2.5. Секция query
        • 4.2.15.2.6. Секция zookeeper
        • 4.2.15.2.7. Секция prostore-rest-client
        • 4.2.15.2.8. Секция printable-forms-service
        • 4.2.15.2.9. Секция kafka
        • 4.2.15.2.10. Секция statistics
        • 4.2.15.2.11. Секция logging
        • 4.2.15.2.12. Секция metrics
    • 4.2.16. Установка ETL
    • 4.2.17. Установка REST-адаптера
    • 4.2.18. Настройка сервера конечных точек API
• 5. Запуск и остановка программы
  • 5.1. Менеджер кластера ADCM
  • 5.2. ADQM
    • 5.2.1. Запуск и остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.2. Запуск кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.3. Остановка кластера ADQM через графический пользовательский интерфейс Менеджера кластера ADCM
    • 5.2.4. Диспетчер сообщений ADS
    • 5.2.5. Запуск и остановка сервисов ПО ADS через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.1. Запуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.2. Остановка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.3. Перезапуск сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.4. Запуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.5. Остановка сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.6. Перезапуск сервиса Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.2.5.7. Запуск и остановка диспетчера сообщений ADS на уровне кластера
  • 5.3. ADB
    • 5.3.1. Запуск и остановка кластера ADB через текстовый пользовательский интерфейс программной консоли
    • 5.3.2. Запуск и остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.3.2.1. Запуск кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.3.2.2. Остановка кластера ADB через графический пользовательский интерфейс Менеджера кластера ADCM
  • 5.4. ADG
    • 5.4.1. Запуск и остановка кластера ADG через текстовый пользовательский интерфейс программной консоли
    • 5.4.2. Запуск и остановка кластера ADG через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.4.2.1. Создание экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
      • 5.4.2.2. Удаление экземпляра ADG через графический пользовательский интерфейс Менеджера кластера ADCM
  • 5.5. Ядро витрины  ProStore
    • 5.5.1. Запуск ProStore
  • 5.6. СМЭВ3-адаптер
    • 5.6.1. Запуск СМЭВ3-адаптера
    • 5.6.2. Настройка СМЭВ3-адаптера
    • 5.6.3. Сервисная БД СМЭВ3-адаптер
  • 5.7. Запуск ПОДД-адаптер
    • 5.7.1. Запуск модуля
    • 5.7.2. Остановка модуля
  • 5.8. ETL
    • 5.8.1. Apache Airflow
    • 5.8.2. Apache Spark
    • 5.8.3. СУБД Tarantool
  • 5.9. REST-адаптер
• 6. Проверка программы
  • 6.1. Проверка менеджера кластера ADCM
  • 6.2. Проверка ПО ADQM
  • 6.3. Диспетчер сообщений ADS
    • 6.3.1. Проверка сервиса Zookeeper через графический пользовательский интерфейс Менеджера кластера ADCM
    • 6.3.2. Запуск сервиса Apache Kafka через графический пользовательский интерфейс Менеджера кластера ADCM
  • 6.4. Проверка ПО ADB
  • 6.5. Проверка ПО ADG
  • 6.6. Проверка ядра витрины ProStore
  • 6.7. Проверка СМЭВ3-адаптера
  • 6.8. Проверка ETL
    • 6.8.1. Apache Airflow
    • 6.8.2. Apache Spark
    • 6.8.3. Apache Hadoop
    • 6.8.4. СУБД Tarantool
  • 6.9. Проверка сервера конечных точек API
• 7. Резервное копирование Витрины данных
  • 7.1. Плановое резервное копирование информации
  • 7.2. Контроль результатов резервного копирования
  • 7.3. Внеплановое резервное копирование информационных ресурсов Системы
  • 7.4. Восстановление информации из резервных копий
• 8. Дополнительные возможности
  • 8.1. Установки опциональных приложений
  • 8.2. Логирование
  • 8.3. Обновление
    • 8.3.1. Менеджер кластера ADCM
    • 8.3.2. ADQM
    • 8.3.3. Диспетчер сообщений ADS
      • 8.3.3.1. Обновление бандла
      • 8.3.3.2. Обновление кластера
    • 8.3.4. ADB
      • 8.3.4.1. Обновление с изменением версии ADB
      • 8.3.4.2. Обновление PXF версии 3х
    • 8.3.5. ADG
  • 8.4. Управление размером кластеров СУБД
    • 8.4.1. Управление размером кластера ADB
      • 8.4.1.1. Расширение кластера
      • 8.4.1.2. Ранжирование таблиц для перераспределения
      • 8.4.1.3. Перераспределение таблиц с помощью gpexpand
      • 8.4.1.4. Мониторинг перераспределения таблиц
      • 8.4.1.5. Удаление временной схемы расширения
      • 8.4.1.6. Сжатие кластеров
    • 8.4.2. Управление размером кластера ADG
      • 8.4.2.1. Расширение кластера
      • 8.4.2.2. Балансировка данных
      • 8.4.2.3. Отключение наборов реплик
      • 8.4.2.4. Исключение экземпляров
    • 8.4.3. Управление размером кластера ADQM
      • 8.4.3.1. Предварительные действия
      • 8.4.3.2. Расширение
• 9. Сообщения системному программисту
  • 9.1. Сообщения в ходе выполнения настройки ПО ProStore
  • 9.2. Сообщения в ходе выполнения проверки ПО ProStore
• 10. Приложение 1
  • 10.1. Основные объекты ADCM
  • 10.2. Пример yml – файла настройки ProStore
  • 10.3. Пример application.yml файла для СМЭВ3-адаптер
  • 10.4. Пример application.yml файла для REST-адаптер
  • 10.5. Пример adg.yml для установки ADG
  • 10.6. Пример config.yml для установки ADG
  • 10.7. Пример cartridge.yml

Руководство оператора

Руководство оператора

• 1. АННОТАЦИЯ
• 2. НАЗНАЧЕНИЕ ПРОГРАММЫ
  • 2.1. Назначение программы
  • 2.2. Возможности программы
  • 2.3. Требование к квалификации персонала
  • 2.4. Перечень эксплуатационной документации
• 3. УСЛОВИЯ ВЫПОЛНЕНИЯ ПРОГРАММЫ
  • 3.1. Минимальный состав аппаратных и программных средств
    • 3.1.1. Минимальный состав аппаратных средств
    • 3.1.2. Минимальный состав программных средств
• 4. ВЫПОЛНЕНИЕ ПРОГРАММЫ
  • 4.1. Подготовка к работе
    • 4.1.1. Настройка подключения к базам данных
      • 4.1.1.1. Установка программы DBeaver
      • 4.1.1.2. Установка DBeaver для ОС Linux
      • 4.1.1.3. Установка DBeaver для ОС Windows
      • 4.1.1.4. Установка и настройка JDBC-драйвера
      • 4.1.1.5. Установка и настройка JDBC-драйвера для ОС Windows
      • 4.1.1.6. Установка и настройка драйвера JDBC-драйвер для Linux
    • 4.1.2. Настройка подключения к серверу ETL
      • 4.1.2.1. Установка и настройка программы FileZilla
      • 4.1.2.2. Установка FileZilla для ОС Windows
      • 4.1.2.3. Установка FileZilla для ОС Linux
      • 4.1.2.4. Создание SSH-ключей
      • 4.1.2.5. Создание SSH-ключей для ОС Linux
      • 4.1.2.6. Создание SSH-ключей для ОС Windows
      • 4.1.2.7. Подключение к серверу через SSH-клиент PuTTY
      • 4.1.2.8. Подключение к серверу с помощью программы FileZilla
      • 4.1.2.9. Проверка подключения к серверу ETL в программе FileZilla
  • 4.2. Выполнение запросов к базам данных
  • 4.3. Работа с файлами
    • 4.3.1. Загрузка csv-файлов на сервер
    • 4.3.2. Скачивание файлов с сервера
    • 4.3.3. Работа в Airflow
      • 4.3.3.1. Авторизация в Airflow
      • 4.3.3.2. Загрузка DAG-файла
      • 4.3.3.3. Перезапуск процесса
    • 4.3.4. Мониторинг статуса выполнения процесса
    • 4.3.5. Мониторинг и статистика работоспособности
      • 4.3.5.1. Описание возможностей
      • 4.3.5.2. Детализация событий в лог-файле
      • 4.3.5.3. Скачивание лог-файла с сервера
      • 4.3.5.4. Просмотр информации в лог-файле
      • 4.3.5.5. Поиск информации в лог-файле
      • 4.3.5.6. Проверка работоспособности кластера ETL
    • 4.3.6. Контроль результатов резервного копирования
    • 4.3.7. Завершение работы с программой
• 5. Сообщения оператору
  • 5.1. Действия оператора в случае аварии и сбоев
  • 5.2. Классификатор ошибок