Техническое описание программы
Содержание
- 1. Общие сведения
- 2. Структура Витрины данных
- 2.1. Составные части Витрины данных
- 2.2. Состав компонентов в дистрибутиве
- 2.3. Cвязи между компонентами
- 2.4. Модули Витрины данных
- 2.4.1. CSV-Uploader
- 2.4.2. DATA-Uploader - Модуль исполнения асинхронных заданий
- 2.4.3. REST-Uploader - Модуль асинхронной загрузки данных из сторонних источников
- 2.4.4. BLOB-адаптер
- 2.4.4.1. Общее описание
- 2.4.4.2. Общая схема взаимодействия через BLOB-адаптер
- 2.4.4.3. Взаимодействие через СМЭВ-адаптер
- 2.4.4.4. Взаимодействие через СМЭВ3-адаптер
- 2.4.4.5. Требования к серверу BLOB-адаптера
- 2.4.4.6. Требования к Хранилищу BLOB-объектов
- 2.4.4.7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
- 2.4.5. Сервис формирования документов
- 2.4.6. СМЭВ QL Сервер
- 2.4.7. СМЭВ3-адаптер
- 2.4.8. Сервис генерации уникального номера (Counter-Provider)
- 2.4.9. ETL - Модуль загрузки/ удаления данных
- 2.5. Связи с другими программами
- 2.6. Карта портов
- 3. Архитектура Витрины данных
- 4. Входные и выходные данные
- 5. Вызов и загрузка
- 1. Приложение 1. Пример XML-файла со структурой витрины
- 6. Термины и определения
Руководство по установке
Содержание
- 1. Общие сведения о программе
- 2. Подготовка к установке
- 2.1. Предварительные действия
- 2.1.1. Установка операционной системы
- 2.1.2. Создание пользователя datamart
- 2.1.3. Настройка межсетевого экрана
- 2.1.4. Отключение SELinux (только для CentOS)
- 2.1.5. Выбор часового пояса
- 2.1.6. Установка сервиса синхронизации времени
- 2.1.7. Настройка имен хостов (FQDN) на серверах
- 2.1.8. Установка Java SE Development Kit 17.0.7
- 2.1.9. Подключение к серверу через SSH-клиент PuTTY
- 2.1.10. Создание SSH-ключей
- 2.1.11. Копирование SSH-ключей на сервер
- 2.1.12. Копирование архива программы
- 2.1.13. Распаковка архива
- 2.1.14. Установка Docker
- 2.1.15. Установка библиотеки python-docker-py
- 2.1.16. Настройка логирования в Docker
- 2.1.17. Перезапуск Docker
- 2.1.18. Добавление пользователя в группу docker
- 2.1.19. Настройка Ansible
- 2.1. Предварительные действия
- 3. Требования к серверам конфигурации Стандарт
- 4. Установка программы
- 4.1. Установка ПО конфигурации Стандарт
- 4.1.1. Порядок установки
- 4.1.2. Установка ПО Prostore
- 4.1.3. Установка СМЭВ QL Сервера
- 4.1.4. Установка СМЭВ3-адаптера
- 4.1.5. Установка DATA-uploder – Модуля исполнения асинхронных заданий
- 4.1.6. Установка REST-uploader – Модуля асинхронной загрузки данных из сторонних источников
- 4.1.7. Установка BLOB-адаптера
- 4.1.8. Установка Сервиса формирования документов
- 4.1.9. Загрузка и удаление данных через ETL
- 4.1.9.1. Общее описание
- 4.1.9.2. Особенности реализации
- 4.1.9.3. Загрузка / удаление данных
- 4.1.9.4. Проверка статусной информации по загрузке
- 4.1.9.5. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
- 4.1.9.6. Работа с вложениями через S3
- 4.1.9.7. Маппинг данных
- 4.1.9.8. Валидация данных
- 4.1.10. Установка Apache Airflow
- 4.1.11. Установка Apache Spark
- 4.1.12. Установка Apache Hadoop
- 4.1.13. Установка Tarantool (Vinyl)
- 4.1.14. Установка CSV-Uploader
- 4.1.15. Установка Counter-provider
- 4.1.16. Установка Arenadata Cluster Manager (ADCM)
- 4.1.17. Установка компонента сбора данных запросов и ответов Витрины данных
- 4.2. Установка ПО конфигурации лайт
- 4.3. Установка системы мониторинга
- 4.4. Подключение к Агенту СМЭВ4
- 4.1. Установка ПО конфигурации Стандарт
- 5. Проверка программы
- 5.1. Проверка ПО конфигурации Стандарт
- 5.1.1. Проверка Arenadata Cluster Manager (ADCM)
- 5.1.2. Проверка ProStore
- 5.1.3. Проверка СМЭВ QL Сервера
- 5.1.4. Проверка СМЭВ3-адаптера
- 5.1.5. Проверка DATA-Uploder – Модуля исполнения асинхронных заданий
- 5.1.6. Проверка REST-Uploader – Модуля асинхронной загрузки данных из сторонних источников
- 5.1.7. Проверка BLOB-адаптера
- 5.1.8. Проверка Сервиса формирования документов
- 5.1.9. Проверка ETL
- 5.1.10. Проверка Counter-provider - Сервиса генерации уникального номера
- 5.2. Проверка ПО конфигурации Лайт
- 5.1. Проверка ПО конфигурации Стандарт
- 6. Обновление программы
- 7. Приложение 1. Настройка firewall (Iptables)
- 8. Приложение 2. Просмотр выполнения загрузки данных в программу
- 6. Термины и определения
Руководство администратора
Содержание
- 1. Общие сведения о программе
- 2. Настройка программы
- 2.1. Настройка технических средств
- 2.2. Настройка программных средств
- 2.2.1. Настройка ProStore
- 2.2.2. Настройка СМЭВ QL Сервера
- 2.2.2.1. Конфигурирование сервера
- 2.2.2.1.1. Конфигурация файла application.yml
- 2.2.2.1.1.1. Секция storage
- 2.2.2.1.1.2. Секция access
- 2.2.2.1.1.3. Секция request
- 2.2.2.1.1.4. Секция delta
- 2.2.2.1.1.5. Секция state
- 2.2.2.1.1.6. Секция index_recommendations
- 2.2.2.1.1.7. Секция standalone-tables
- 2.2.2.1.1.8. Секция proxy-tables
- 2.2.2.1.1.9. Секция push
- 2.2.2.1.1.10. Секция agent
- 2.2.2.1.1.11. Секция signature
- 2.2.2.1.2. Конфигурация файла credentials.yml
- 2.2.2.1.3. Общий сценарий выполнения
- 2.2.2.1.1. Конфигурация файла application.yml
- 2.2.2.1. Конфигурирование сервера
- 2.2.3. Настройка СМЭВ3-адаптера
- 2.2.3.1. Конфигурация СМЭВ3-адаптер (application.yml)
- 2.2.3.2. Параметры конфигурации
- 2.2.3.2.1. Секция vertx
- 2.2.3.2.2. Секция spring
- 2.2.3.2.3. Секция iua
- 2.2.3.2.4. Секция smev
- 2.2.3.2.5. Секция receiver
- 2.2.3.2.6. Секция persistence-mode
- 2.2.3.2.7. Секция prostore-rest-client
- 2.2.3.2.8. Секция environment
- 2.2.3.2.9. Секция zookeeper
- 2.2.3.2.10. Секция migration
- 2.2.3.2.11. Секция paramstorage
- 2.2.3.2.12. Секция deltastorage
- 2.2.3.2.13. Секция sign
- 2.2.3.2.14. Секция blob
- 2.2.3.2.15. Секция rest
- 2.2.3.2.16. Секция scheduler
- 2.2.3.2.17. Секция pool
- 2.2.3.2.18. Секция logging
- 2.2.3.2.19. Секция http-server
- 2.2.3.2.20. Секция backup
- 2.2.3.2.21. Секция spf
- 2.2.3.2.22. Секция component-info
- 2.2.4. Настройка CSV-Uploader
- 2.2.5. Настройка DATA-Uploader – Модуль исполнения асинхронных заданий
- 2.2.5.1. Конфигурация модуля DATA-Uploader (application.yml)
- 2.2.5.2. Параметры конфигурации
- 2.2.5.2.1. Секция http-server
- 2.2.5.2.2. Секция persistence-mode
- 2.2.5.2.3. Секция prostore-rest-client
- 2.2.5.2.4. Секция redis
- 2.2.5.2.5. Секция upload
- 2.2.5.2.6. Секция data-storage
- 2.2.5.2.7. Секция environment
- 2.2.5.2.8. Секция zookeeper
- 2.2.5.2.9. Секция csv-parser
- 2.2.5.2.10. Секция active
- 2.2.5.2.11. Секция delta
- 2.2.5.2.12. Секция response
- 2.2.5.2.13. Секция component-info
- 2.2.5.2.14. Секция metrics
- 2.2.6. Настройка REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
- 2.2.6.1. Конфигурация модуля REST-Uploader (application.yml)
- 2.2.6.2. Параметры конфигурации
- 2.2.6.2.1. Секция http-server
- 2.2.6.2.2. Секция executor
- 2.2.6.2.3. Секция file-size
- 2.2.6.2.4. Секция environment
- 2.2.6.2.5. Секция data-storage
- 2.2.6.2.6. Секция conditions
- 2.2.6.2.7. Секция zookeeper
- 2.2.6.2.8. Секция persistence-mode
- 2.2.6.2.9. Секция prostore-rest-client
- 2.2.6.2.10. Секция response
- 2.2.6.2.11. Секция control
- 2.2.6.2.12. Секция redis
- 2.2.6.2.13. Секция auth
- 2.2.6.2.14. Секция metrics
- 2.2.6.2.15. Секция csv-parser
- 2.2.6.2.16. Секция backup
- 2.2.6.2.17. Секция component-info
- 2.2.6.3. Проверка форматно-логического контроля
- 2.2.6.4. Статусная модель
- 2.2.6.5. Спецификация модуля асинхронной загрузки данных из сторонних источников
- 2.2.7. Настройка BLOB-адаптера
- 2.2.8. Настройка Сервиса формирования документов
- 2.2.9. Настройка Counter-provider - Сервиса генерации уникального номера
- 2.2.9.1. Конфигурация модуля Counter-Provider (application.yml)
- 2.2.9.2. Пример файла application.yml
- 2.2.9.3. Параметры конфигурации
- 2.2.9.3.1. Секция environment
- 2.2.9.3.2. Секция http-server
- 2.2.9.3.3. Секция counter
- 2.2.9.3.4. Секция zookeeper
- 2.2.9.3.5. Секция persistence-mode
- 2.2.9.3.6. Секция prostore-rest-client
- 2.2.9.3.7. Секция migration
- 2.2.9.3.8. Секция backup
- 2.2.9.3.9. Секция component-info
- 2.2.9.3.10. Секция metrics
- 2.2.10. Настройка Arenadata Cluster Manager (ADCM)
- 2.2.11. Настройка сервиса журналирования
- 2.2.12. Установка компонента сбора данных запросов и ответов Витрины данных
- 2.2.13. Настройка Агента СМЭВ4
- 2.3. Настройка сервиса мониторинга
- 3. Запуск и остановка Программы
- 3.1. Prostore
- 3.2. СМЭВ QL Сервер
- 3.3. СМЭВ3-адаптер
- 3.4. CSV-Uploader
- 3.5. DATA-uploader – Модуль исполнения асинхронных заданий
- 3.6. REST-Uploader – Модуль асинхронной загрузки данных из сторонних источников
- 3.7. BLOB-адаптер
- 3.8. Сервис формирования документов
- 3.9. ETL
- 3.10. Counter-provider - Сервис генерации уникального номера
- 3.11. Arenadata Cluster Manager (ADCM)
- 4. Дополнительные возможности
- 5. Сообщения администратору
- 6. Метрики в модулях Типового ПО Витрины данных
- 7. Приложение 1. Эксплуатация CSV-Uploader
- 7.1. Инструкция по эксплуатации CSV-Uploader
- 7.1.1. Общие правила формата загружаемых CSV-файлов
- 7.1.2. Загрузка структуры Витрины
- 7.1.3. Выгрузка шаблона CSV
- 7.1.4. Загрузка CSV-файла
- 7.1.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
- 7.1.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
- 7.1.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
- 7.1.8. Настройки CSV-uploader
- 7.1.9. Автоматический запуск загрузки CSV-файлов по расписанию
- 7.1.10. Настройка Журнала операций
- 7.1.11. Просмотр Журнала операций
- 7.1.12. Интерфейс Форматно-логического контроля
- 7.1. Инструкция по эксплуатации CSV-Uploader
- 8. Приложение 2. Пример XML-файла со структурой витрины
- 6. Термины и определения