Витрина данных НСУД

Release Notes

• Обновления Типового ПО Витрина данных

Обозначение и наименование программы

Полное наименование: Типовое тиражируемое программное обеспечение «Витрина данных НСУД».

Условное обозначение: ПО «Витрина данных НСУД».

Назначение программы

Национальная система управления данными (далее – НСУД) представляет собой систему, состоящую из взаимосвязанных элементов информационно-технологического, организационного, методологического, кадрового и нормативно-правового характера и обеспечивающую достижение целей и выполнение задач, обозначенных в Концепции Национальной системы управления данными, утвержденной распоряжением Правительства Российской Федерации от 3 июня 2019 года № 1189-р.

НСУД предназначена для управления информацией, содержащейся в информационных системах органов и организаций государственного сектора, а также в информационных ресурсах, созданных в целях реализации полномочий органов и организаций государственного сектора (далее – государственные данные) и для осуществления информационного обмена между Поставщиками и Получателями данных, присоединившимися к НСУД (далее – Участники НСУД).

Управление процессами информационного обмена между Участниками НСУД осуществляется средствами федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными» (далее – ФГИС «ЕИП НСУД»).

Для передачи данных между Участниками НСУД используется среда взаимодействия НСУД, состоящая из Системы межведомственного электронного взаимодействия 3.0 (далее – СМЭВ) и (или) подсистемы обеспечения доступа к данным СМЭВ (далее – ПОДД СМЭВ) (СМЭВ 4.0), обеспечивающих транспорт и процессинг данных, а также агентов ПОДД СМЭВ, устанавливаемых на стороне Участников НСУД.

Для формирования и (или) для получения данных с использованием среды взаимодействия НСУД необходим комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры участника НСУД, описываемое в данном документе «Витрина данных НСУД», но возможно и применение «Витрина данных НСУД». Данный документ описывает применение именно ПО среды взаимодействия НСУД.

Программа «Витрина данных НСУД» является частью НСУД и предназначена для загрузки публикуемых данных в отдельную БД на стороне Поставщика данных. Программа представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.

Документация Витрины данных

• Руководство по установке
  • 1. Общие сведения о программе
    • 1.1. Обозначение и наименование программы
    • 1.2. Назначение программы
    • 1.3. Возможности программы
    • 1.4. Операционная система
    • 1.5. Рекомендуемые технические и программные средства
    • 1.6. Компоненты программы
  • 2. Подготовка к установке
    • 2.1. Предварительные действия
  • 3. Требования к серверам конфигурации Стандарт
    • 3.1. Требования к серверу Prostore
    • 3.2. Требования к серверу Arenadata Cluster Manager (ADCM)
    • 3.3. Требования к кластеру серверов Arenadata Streaming (ADS)
    • 3.4. Требования к серверу «СМЭВ3-адаптер»
    • 3.5. Требования к сервису «Агент СМЭВ4»
    • 3.6. Требования к серверу «ETL»
  • 4. Установка программы
    • 4.1. Установка ПО конфигурации Стандарт
    • 4.2. Установка ПО конфигурации лайт
    • 4.3. Установка системы мониторинга
  • 5. Проверка программы
    • 5.1. Проверка ПО конфигурации Стандарт
    • 5.2. Проверка ПО конфигурации Лайт
  • 6. Обновление программы
    • 6.1. Обновление ПО конфигурации Стандарт
    • 6.2. Обновление ПО конфигурации Лайт
  • 7. Приложение 1. Настройка firewall (Iptables)
  • 8. Приложение 2. Просмотр выполнения загрузки данных в программу
    • 8.1. Настройка подключения к базе данных
  • 10. Термины и определения
• Руководство администратора
  • 1. Общие сведения о программе
    • 1.1. Назначение программы
    • 1.2. Возможности программы
    • 1.3. Технические и программные средства
  • 2. Настройка программы
    • 2.1. Настройка технических средств
    • 2.2. Настройка программных средств
    • 2.3. Настройка сервиса мониторинга
  • 3. Запуск и остановка Программы
    • 3.1. Prostore
    • 3.2. СМЭВ QL Сервер
    • 3.3. СМЭВ3-адаптер
    • 3.4. CSV-Uploader
    • 3.5. СМЭВ4-адаптер - Модуль исполнения запросов
    • 3.6. СМЭВ4-адаптер – Модуль MPPR
    • 3.7. СМЭВ4-адаптер-Модуль MPPW
    • 3.8. СМЭВ4-адаптер – Модуль импорта данных табличных параметров
    • 3.9. СМЭВ4-адаптер – Модуль группировки данных табличных параметров
    • 3.10. СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
    • 3.11. DATA-uploader – Модуль исполнения асинхронных заданий
    • 3.12. REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
    • 3.13. СМЭВ4-адаптер-Модуль подписки
    • 3.14. BLOB-адаптер
    • 3.15. Сервис формирования документов
    • 3.16. Утилита Backup manager
    • 3.17. ETL
    • 3.18. REST-адаптер
    • 3.19. Counter-provider - Сервис генерации уникального номера
    • 3.20. Установка коннектора Kafka-Postgres
    • 3.21. Arenadata Cluster Manager (ADCM)
    • 3.22. Arenadata Streaming (ADS)
  • 4. Бекапирование Витрины данных НСУД
    • 4.1. Состав резервной копии Типового ПО Витрина данных
    • 4.2. Описание и механизм работы утилиты Backup Manager
    • 4.3. Реализация бекапирования в слое адаптеров Типового ПО Витрина данных
    • 4.4. Механизм приостановки модулей, требующих консистентности с Prostore
    • 4.5. Механизм резервного копирования и восстановления из резервной копии в модулях слоя адаптеров
    • 4.6. Поведение в случае ошибок при выполнении резервного копирования
  • 5. Дополнительные возможности
    • 5.1. Дополнительные возможности конфигурации Стандарт
    • 5.2. Дополнительные возможности конфигурации Лайт
  • 6. Сообщения администратору
    • 6.1. Сообщения в ходе установки и настройки программы
    • 6.2. Сообщения при эксплуатации программы
  • 7. Метрики в модулях Типового ПО Витрины данных
  • 8. Приложение 1. Описание спецификации
    • 8.1. Спецификация Модуля исполнения запросов
    • 8.2. Спецификация модуля «BLOB-адаптер»
    • 8.3. Спецификация модуля «Сервис Формирования документов»
  • 9. Приложение 2. Поддержка функций SQL
    • 9.1. Поддержка функции LISTAGG
  • 10. Приложение 3. Пример XML-файла со структурой витрины
  • 11. Приложение 4. Эксплуатация CSV-Uploader
    • 11.1. Инструкция по эксплуатации CSV-Uploader
  • 10. Термины и определения

Модули витрин

• BLOB-адаптер
  • 1. Общее описание
  • 2. Общая схема взаимодействия через BLOB-адаптер
  • 3. Взаимодействие через СМЭВ-адаптер
    • 3.1. Схема взаимодействия через СМЭВ-адаптер
    • 3.2. Процесс обработки запроса на получение BLOB-объекта (СМЭВ4-адаптер)
  • 4. Взаимодействие через СМЭВ3-адаптер
    • 4.1. Схема взаимодействия через СМЭВ3-адаптер
    • 4.2. Процесс обработки запроса на получение BLOB-объекта (через СМЭВ3-адаптер)
  • 5. Требования к серверу BLOB-адаптера
  • 6. Требования к Хранилищу BLOB-объектов
  • 7. Требования к предоставляемому интерфейсу Хранилища BLOB-объектов (API-интерфейс)
  • 8. Конфигурация BLOB-адаптера (application.yml)
    • 8.1. Пример файла application.yml
  • 9. Параметры конфигурации
    • 9.1. Секция http-server
    • 9.2. Секция executor
    • 9.3. Секция vertx
    • 9.4. Секция kafka
    • 9.5. Секция blob
    • 9.6. Секция logging
    • 9.7. Секция metrics
  • 10. Установка модуля
    • 10.1. Настройка конфигурации
    • 10.2. Добавление папки для загрузки файлов модуля
    • 10.3. Загрузка файлов на сервер
  • 11. Запуск модуля
  • 12. Остановка модуля
  • 13. Проверка модуля
  • 14. Спецификация модуля «BLOB-адаптер»
    • 14.1. Запрос на считывание BLOB
    • 14.2. blob.rq
    • 14.3. blob.rs
    • 14.4. blob.err
• Сервис Формирования документов
  • 1. Общее описание
    • 1.1. Процесс обработки запроса через модуль «Сервис Формирования документов»
    • 1.2. Компоненты
    • 1.3. Общая архитектура решения
    • 1.4. Назначение параметров QueryRequest.parameters[]
    • 1.5. Примеры шаблонов
      • 1.5.1. Шаблон extract_data.peb
      • 1.5.2. Шаблон generate_xml.peb
      • 1.5.3. Шаблон generate_pdf.peb
    • 1.6. REST запрос к сервису
      • 1.6.1. Запрос
      • 1.6.2. Ответ
  • 2. Конфигурация Сервиса Формирования документов (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция executor
    • 3.3. Секция prostore-rest-client
    • 3.4. Секция metrics
    • 3.5. Секция counter-service
    • 3.6. Секция sign-service
    • 3.7. Секция notarius
    • 3.8. Секция printable-forms
  • 4. Примеры pebble-шаблонов для Сервиса Формирования документов
    • 4.1. Возможность вызова REST-сервисов из шаблона Сервиса Формирования документов
    • 4.2. Pebble-шаблон для обработки поступившего запроса и формирования json-файла
    • 4.3. Pebble-шаблон для формирования xml-документа
    • 4.4. Pebble-шаблон для формирования pdf-документа
  • 5. Установки модуля
    • 5.1. Установка модуля
    • 5.2. Настройка конфигурации
    • 5.3. Добавление папки для загрузки файлов модуля
    • 5.4. Загрузка файлов на сервер
    • 5.5. Кластеризация модуля
  • 6. Запуск модуля
  • 7. Остановка модуля
  • 8. Проверка модуля
• СМЭВ QL сервер
  • 1. Назначение СМЭВ QL сервера
    • 1.1. О системе
    • 1.2. Цели СМЭВ QL сервера
    • 1.3. Задачи СМЭВ QL сервера
    • 1.4. Место СМЭВ QL сервера в ИТ-ландшафте
    • 1.5. Язык и синтаксис
      • 1.5.1. Моделирование
      • 1.5.2. Запросы и ответы
    • 1.6. Типизация
      • 1.6.1. Типы данных в модели и приведение типов
    • 1.7. Моделирование данных
    • 1.8. Метрики
  • 2. Быстрый старт
    • 2.1. Создание и конфигурация
    • 2.2. Запуск и управление
    • 2.3. Работа с сервером
      • 2.3.1. Генераторы
    • 2.4. Сборка проекта
  • 3. Основные понятия СМЭВ QL
    • 3.1. Ресурс
    • 3.2. Машина состояний
    • 3.3. Базовая модель данных
    • 3.4. Модель данных
    • 3.5. Распределённый запрос
  • 4. Функции СМЭВ QL Сервера
    • 4.1. Администрирование и конфигурирование
      • 4.1.1. Создание СМЭВ QL Сервера
      • 4.1.2. Конфигурирование СМЭВ-QL сервер
      • 4.1.3. Запуск, остановка, перезапуск приложения СМЭВ QL сервер
      • 4.1.4. OpenAPI СМЭВ-QL
        • 4.1.4.1. Общее описание
        • 4.1.4.2. Описание спецификации
        • 4.1.4.3. Обновление OpenAPI на основании изменений модели данных
      • 4.1.5. Регистрация OpenAPI СМЭВ QL в СМЭВ4
    • 4.2. Работа с моделями
      • 4.2.1. Создание базовой модели
        • 4.2.1.1. Общее описание
        • 4.2.1.2. Общий сценарий выполнения
        • 4.2.1.3. Описание базовой модели
      • 4.2.2. Генерация модели данных
        • 4.2.2.1. Общее описание
        • 4.2.2.2. Сценарий выполнения
        • 4.2.2.3. Описание модели данных
        • 4.2.2.4. Пример блока fields
        • 4.2.2.5. Пример блока resources
        • 4.2.2.6. Пример блока connections
        • 4.2.2.7. Пример блока conditions
        • 4.2.2.8. Пример блока extract
        • 4.2.2.9. Пример блока conditions
        • 4.2.2.10. Пример блока fetch
      • 4.2.3. Автоматическое создание модели данных на основе схемы БД
        • 4.2.3.1. Общее описание
        • 4.2.3.2. Сценарий выполнения
      • 4.2.4. Создание новой версии модели данных
        • 4.2.4.1. Общее описание
        • 4.2.4.2. Сценарий выполнения
      • 4.2.5. Проверка валидности модели данных
        • 4.2.5.1. Общее описание
        • 4.2.5.2. Сценарий выполнения
      • 4.2.6. Маппинг типов данных СМЭВ QL - Prostore
    • 4.3. Работа с источниками данных
      • 4.3.1. Создание модели источников
        • 4.3.1.1. Общее описание
        • 4.3.1.2. Общий сценарий выполнения
        • 4.3.1.3. Структура source.yaml
      • 4.3.2. Создание новой версии модели источников
        • 4.3.2.1. Общее описание
        • 4.3.2.2. Сценарий выполнения
      • 4.3.3. Проверка доступности источников
        • 4.3.3.1. Общее описание
        • 4.3.3.2. Сценарий выполнения
    • 4.4. Работа с картами машин состояний
      • 4.4.1. Создание карты машины-состояний
        • 4.4.1.1. Общее описание
        • 4.4.1.2. Структура карты машины состояний
        • 4.4.1.3. Сценарий выполнения
      • 4.4.2. Создание новой версии карты машины-состояний
        • 4.4.2.1. Общее описание
        • 4.4.2.2. Сценарий выполнения
    • 4.5. Обработка запроса к витрине
      • 4.5.1. Запрос получения данных из витрины (POST/data)
        • 4.5.1.1. Общее описание
      • 4.5.2. Запрос изменения данных витрины через события машины состояний (POST/states/{model}/{event})
      • 4.5.3. Обработка запроса получения данных витрины
        • 4.5.3.1. Общее описание
        • 4.5.3.2. Проверка запроса и доступов
        • 4.5.3.3. Формирование плана исполнения запроса
        • 4.5.3.4. Исполнение плана запроса
        • 4.5.3.5. Передача ответа потребителю
        • 4.5.3.6. Пример блока response
        • 4.5.3.7. Пример блока async
        • 4.5.3.8. Пример блока credentials
      • 4.5.4. Асинхронное получение данных клиентом
        • 4.5.4.1. Общее описание
        • 4.5.4.2. Передача асинхронных данных от источника в СМЭВ QL
        • 4.5.4.3. Запрос асинхронных данных потребителем
      • 4.5.5. Обработка запроса изменения данных витрины через машину состояний
        • 4.5.5.1. Общее описание
        • 4.5.5.2. Основной сценарий выполнения
        • 4.5.5.3. Альтернативное направление для событий с типом init
        • 4.5.5.4. Альтернативное направление для событий с блоком confirm
        • 4.5.5.5. Альтернативное направление при переходе в состояние delete
        • 4.5.5.6. Альтернативное направление для событий с блоком hooks
    • 4.6. Уведомления при изменении данных витрины (push-сервис)
      • 4.6.1. Регистрация получателя уведомлений
        • 4.6.1.1. Общее описание
        • 4.6.1.2. Описание запроса POST/push/consumer/create
      • 4.6.2. Удаление получателя уведомлений
        • 4.6.2.1. Общее описание
        • 4.6.2.2. Сценарий выполнения
        • 4.6.2.3. Описание запроса
      • 4.6.3. Запрос списка получателей уведомлений
        • 4.6.3.1. Общее описание
        • 4.6.3.2. Сценарий выполнения
      • 4.6.4. Запрос данных об отслеживаемых ресурсах
        • 4.6.4.1. Общее описание
        • 4.6.4.2. Сценарий выполнения
      • 4.6.5. Передача уведомления при вызове события машины-состояний
        • 4.6.5.1. Общее описание
        • 4.6.5.2. Сценарий выполнения
        • 4.6.5.3. Описание формата уведомления
      • 4.6.6. Регистрация метода для получения уведомлений на стороне клиента
      • 4.6.7. Передача уведомления на основе сообщения топика Prostore
        • 4.6.7.1. Общее описание
        • 4.6.7.2. Сценарий выполнения
  • 5. Компонентная модель СМЭВ QL сервера
    • 5.1. Общее представление
    • 5.2. Схема
    • 5.3. Описание компонентов
  • 6. Конфигурирование сервера
    • 6.1. Конфигурация файла application.yml
      • 6.1.1. Секция storage
      • 6.1.2. Секция access
      • 6.1.3. Секция request
      • 6.1.4. Секция delta
      • 6.1.5. Секция state
      • 6.1.6. Секция index_recommendations
      • 6.1.7. Секция standalone-tables
      • 6.1.8. Секция proxy-tables
      • 6.1.9. Секция push
      • 6.1.10. Секция agent
      • 6.1.11. Секция signature
    • 6.2. Конфигурация файла credentials.yml
    • 6.3. Общий сценарий выполнения
  • 7. Стейт-машина СМЭВ QL
    • 7.1. Конфигурирование Стейт-машины
    • 7.2. Удаление записи через Стейт-машину
    • 7.3. Передача данных без изменения статуса (статичный ивент)
    • 7.4. Обновление объектов через Стейт-машину
    • 7.5. Обогащение payload запроса дополнительными атрибутами
    • 7.6. Методы API Стейт-машины
    • 7.7. Спецификация интерфейса Стейт-машины
      • 7.7.1. Выполнение операций обновления данных в витрине
      • 7.7.2. Обновление объектов через Стейт-машину
  • 8. Запросы
    • 8.1. Блок Credentials
    • 8.2. Блок Query
      • 8.2.1. Условия фильтрации Conditions
      • 8.2.2. Сортировка и пагинация
    • 8.3. Эксплуатационные запросы
    • 8.4. Обработка запросов
      • 8.4.1. Логирование мета-данных
      • 8.4.2. Построение плана
  • 9. Ответы
  • 10. Описание эндпоинтов
    • 10.1. GET /ping
    • 10.2. GET /states
    • 10.3. GET /states/{model}
    • 10.4. POST /states/{model}/{event}
    • 10.5. GET /model
    • 10.6. GET /model/{model}
    • 10.7. GET /model/{model}/{version}
    • 10.8. GET /sources
    • 10.9. POST /data
      • 10.9.1. Правила задания условий
      • 10.9.2. Варианты определения условий фильтрации
      • 10.9.3. Подробное описание блока fetch
    • 10.10. GET /server/indexes/required
  • 11. Ошибки
    • 11.1. Базовые ошибки СМЭВ Ql
• СМЭВ3-адаптер
  • 1. Общее описание
  • 2. Схема взаимодействия
  • 3. Конфигурация СМЭВ3-адаптер (application.yml)
    • 3.1. Пример файла application.yml
  • 4. Параметры конфигурации
    • 4.1. Секция vertx
    • 4.2. Секция spring
    • 4.3. Секция smev
    • 4.4. Секция receiver
    • 4.5. Секция prostore-rest-client
    • 4.6. Секция environment
    • 4.7. Секция zookeeper
    • 4.8. Секция migration
    • 4.9. Секция paramstorage
    • 4.10. Секция deltastorage
    • 4.11. Секция sign
    • 4.12. Секция blob
    • 4.13. Секция rest
    • 4.14. Секция scheduler
    • 4.15. Секция pool
    • 4.16. Секция logging
    • 4.17. Секция backup
    • 4.18. Секция spf
  • 5. Установка модуля
    • 5.1. Установка КриптоПро
  • 6. Процесс установки
    • 6.1. Настройка конфигурации
    • 6.2. Добавление папки для загрузки файлов модуля
    • 6.3. Загрузка файлов на сервер
    • 6.4. Кластеризация модуля
  • 7. Запуск модуля
  • 8. Остановка модуля
  • 9. Проверка модуля
  • 10. Шаблоны
    • 10.1. Пример шаблона XML
    • 10.2. Пример шаблона JSON
• CSV-uploader
  • 1. Общее описание
    • 1.1. Общая схема взаимодействия через CSV-uploader
  • 2. Конфигурация CSV-uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция kafkaUrl
    • 3.2. Секция http-server
    • 3.3. Секция send
    • 3.4. Секция file-size
    • 3.5. Секция logging.level
    • 3.6. Секция environment
    • 3.7. Секция zookeeper
    • 3.8. Секция migration
    • 3.9. Секция prostore-rest-client
    • 3.10. Секция prostore
    • 3.11. Секция validation
    • 3.12. Секция upload
    • 3.13. Секция kafka
    • 3.14. Секция csv-parser
    • 3.15. Секция metrics
    • 3.16. Секция backup
    • 3.17. Секция jet-connector
  • 4. Процесс установки CSV-uploader
    • 4.1. Настройка конфигурации
    • 4.2. Загрузка JAR-файла на сервер
  • 5. Запуск CSV-uploader
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Инструкция по эксплуатации CSV-Uploader
    • 8.1. Общие правила формата загружаемых CSV-файлов
    • 8.2. Загрузка структуры Витрины
    • 8.3. Выгрузка шаблона CSV
    • 8.4. Загрузка CSV-файла
    • 8.5. Загрузка CSV-файла с предварительным форматно-логическим контролем
    • 8.6. Обязательная загрузка данных с предварительным форматно-логическим контролем
    • 8.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader
    • 8.8. Настройки CSV-uploader
    • 8.9. Автоматический запуск загрузки CSV-файлов по расписанию
    • 8.10. Настройка Журнала операций
    • 8.11. Просмотр Журнала операций
    • 8.12. Интерфейс Форматно-логического контроля
• СМЭВ4-адаптер - Модуль исполнения запросов
  • 1. Общее описание
    • 1.1. Общая схема взаимодействия через СМЭВ4-адаптер- Модуль исполнения запросов
    • 1.2. Процесс обработки запроса через СМЭВ4-адаптер- Модуль исполнения запросов
  • 2. Конфигурация СМЭВ4-адаптера - Модуль исполнения запросов (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция environment
    • 3.3. Секция executor
    • 3.4. Секция send
    • 3.5. Секция query
    • 3.6. Секция zookeeper
    • 3.7. Секция prostore-rest-client
    • 3.8. Секция printable-forms-service
    • 3.9. Секция kafka
    • 3.10. Секция statistics
    • 3.11. Секция logging
    • 3.12. Секция metrics
  • 4. Процесс установки
    • 4.1. Настройка конфигурации
    • 4.2. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Спецификация Модуля исполнения запросов
    • 8.1. Запрос данных из Витрины
    • 8.2. query.rq
    • 8.3. query.rs
    • 8.4. query.err
    • 8.5. query.estimation.rs
    • 8.6. Отмена запроса данных
    • 8.7. cancel.rq
    • 8.8. cancel.rs
    • 8.9. cancel.err
    • 8.10. Запрос оценки выполнения запроса на Витрине
    • 8.11. query.rq
    • 8.12. query.estimation.rs
    • 8.13. Запрос статистики
    • 8.14. statistics.rq
    • 8.15. statistics.rs
    • 8.16. statistics.err
    • 8.17. Запрос данных по регламентированным запросам
    • 8.18. procedure.query.rq
    • 8.19. procedure.query.rs
    • 8.20. procedure.query.err
    • 8.21. Запрос метаданных
    • 8.22. metadata.rq
    • 8.23. metadata.rs
    • 8.24. metadata.err
• СМЭВ4-адаптер – Модуль MPPR
  • 1. Общее описание
    • 1.1. Общая схема взаимодействия
    • 1.2. Процесс обработки запроса через Модуль MPPR
  • 2. Конфигурация СМЭВ4-адаптера - Модуль MPPR (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция environment
    • 3.3. Секция executor
    • 3.4. Секция send
    • 3.5. Секция prostore-rest-client
    • 3.6. Секция prostore
    • 3.7. Секция kafka
    • 3.8. Секция metrics
    • 3.9. Секция logging
  • 4. Процесс установки
    • 4.1. Настройка конфигурации
    • 4.2. Загрузка JAR-файла на сервер
    • 4.3. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• СМЭВ4-адаптер-Модуль MPPW
  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль MPPW (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция tp
    • 3.2. Секция upload
    • 3.3. Секция http-server
    • 3.4. Секция environment
    • 3.5. Секция executor
    • 3.6. Секция scheduler
    • 3.7. Секция replication
    • 3.8. Секция delta
    • 3.9. Секция send
    • 3.10. Секция zookeeper
    • 3.11. Секция prostore-rest-client
    • 3.12. Секция prostore
    • 3.13. Секция kafka
    • 3.14. Секция metrics
    • 3.15. Секция jet-connector
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
    • 4.4. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• СМЭВ4-адаптер – Модуль импорта данных табличных параметров
  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль импорта данных табличных параметров (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция environment
    • 3.3. Секция zookeeper
    • 3.4. Секция prostore-rest-client
    • 3.5. Секция prostore
    • 3.6. Секция kafka
    • 3.7. Секция query
    • 3.8. Секция mppw
    • 3.9. Секция delete
    • 3.10. Секция delta
    • 3.11. Секция metrics
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
    • 4.4. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• СМЭВ4-адаптер – Модуль группировки данных табличных параметров
  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ4-адаптер – Модуль группировки данных табличных параметров (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция kafka
    • 3.3. Секция group
    • 3.4. Секция query
    • 3.5. Секция delta
    • 3.6. Секция environment
    • 3.7. Секция zookeeper
    • 3.8. Секция metrics
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
    • 4.4. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• СМЭВ4-адаптер – Модуль дефрагментации чанков табличных параметров
  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ-адаптер - Модуль дефрагментации чанков табличных параметров (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция application
    • 3.2. Секция environment
    • 3.3. Секция kafka
    • 3.4. Секция logging
    • 3.5. Секция metrics
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• СМЭВ4-адаптер-Модуль подписок
  • 1. Общее описание
  • 2. Конфигурация модуля СМЭВ4-адаптер - Модуль подписок (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция environment
    • 3.2. Секция http-server
    • 3.3. Секция executor
    • 3.4. Секция zookeeper
    • 3.5. Секция migration
    • 3.6. Секция prostore-rest-client
    • 3.7. Секция subscription
    • 3.8. Секция replication
    • 3.9. Секция storage
    • 3.10. Секция kafka
    • 3.11. Секция metrics
    • 3.12. Секция log
    • 3.13. Секция backup
  • 4. Установка модуля
    • 4.1. Настройка конфигурации
    • 4.2. Добавление папки для загрузки файлов модуля
    • 4.3. Загрузка файлов на сервер
    • 4.4. Кластеризация модуля
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Спецификация СМЭВ4-адаптера - Модуль подписок
    • 8.1. Уведомление о новых данных по подписке
      • 8.1.1. delta.notification
    • 8.2. Запрос первоначальной выгрузки
      • 8.2.1. delta.rq
      • 8.2.2. delta.rs
      • 8.2.3. delta.err
    • 8.3. Создание структур для репликации/подписки на уведомления
      • 8.3.1. replication.in.rq
      • 8.3.2. replication.in.rs
      • 8.3.3. replication.in.err
    • 8.4. Управление структурой таблиц витрины
      • 8.4.1. metadata.rq
      • 8.4.2. metadata.rs
      • 8.4.3. metadata.err
      • 8.4.4. metadata.newdata.rq
      • 8.4.5. metadata.newdata.rs
      • 8.4.6. metadata.newdata.err
    • 8.5. Запрос на регистрацию репликации
      • 8.5.1. replication.rq
      • 8.5.2. replication.rs
      • 8.5.3. replication.err
    • 8.6. Запрос на отмену репликации
      • 8.6.1. replication.cancel.rq
      • 8.6.2. replication.cancel.rs
    • 8.7. Прием данных репликаций
      • 8.7.1. delta.in.rq
      • 8.7.2. delta.in.rs
      • 8.7.3. delta.in.err
• Модуль группировки чанков репликации
  • 1. Общее описание
    • 1.1. Интерфейсы модуля
    • 1.2. Процесс обработки запроса через Модуль MPPR
  • 2. Конфигурация Модуля группировки чанков репликации (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция storage
    • 3.3. Секция kafka
    • 3.4. Секция environment
    • 3.5. Секция zookeeper
    • 3.6. Секция logging
    • 3.7. Секция metrics
  • 4. Процесс установки
    • 4.1. Настройка конфигурации
    • 4.2. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• DATA-Uploader - Модуль исполнения асинхронных заданий
  • 1. Общее описание
  • 2. Конфигурация модуля DATA-Uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция persistence-mode
    • 3.3. Секция prostore-rest-client
    • 3.4. Секция redis
    • 3.5. Секция upload
    • 3.6. Секция data-storage
    • 3.7. Секция environment
    • 3.8. Секция zookeeper
    • 3.9. Секция csv-parser
      • 3.9.1. Дополнительное описание параметров
    • 3.10. Секция active
    • 3.11. Секция delta
    • 3.12. Секция response
    • 3.13. Секция kafka
    • 3.14. Секция metrics
  • 4. Процесс установки
    • 4.1. Настройка конфигурации
    • 4.2. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
• REST-uploader – Модуль асинхронной загрузки данных из сторонних источников
  • 1. Общее описание
  • 2. Конфигурация модуля REST-Uploader (application.yml)
    • 2.1. Пример файла application.yml
  • 3. Параметры конфигурации
    • 3.1. Секция http-server
    • 3.2. Секция executor
    • 3.3. Секция file-size
    • 3.4. Секция environment
    • 3.5. Секция data-storage
    • 3.6. Секция conditions
      • 3.6.1. Режимы настройки mode
    • 3.7. Секция zookeeper
    • 3.8. Секция persistence-mode
    • 3.9. Секция prostore-rest-client
    • 3.10. Секция response
    • 3.11. Секция control
    • 3.12. Секция redis
    • 3.13. Секция auth
    • 3.14. Секция metrics
    • 3.15. Секция csv-parser
      • 3.15.1. Дополнительное описание параметров
    • 3.16. Секция backup
    • 3.17. Секция component-info
  • 4. Процесс установки
    • 4.1. Настройка конфигурации
    • 4.2. Загрузка JAR-файла на сервер
  • 5. Запуск модуля
  • 6. Остановка модуля
  • 7. Проверка модуля
  • 8. Спецификация модуля асинхронной загрузки данных из сторонних источников
  • 9. Проверка форматно-логического контроля
    • 9.1. Синхронная проверка ФЛК
    • 9.2. Асинхронная проверка
      • 9.2.1. Проверка уникальности по одному или по сочетанию полей
      • 9.2.2. Проверка соответствия заданному значению
      • 9.2.3. Поведение в случае таймаута валидации
  • 10. Статусная модель
• Counter-Provider – Сервис генерации уникального номера
  • 1. Общее описание
  • 2. Конфигурация модуля Counter-Provider (application.yml)
  • 3. Пример файла application.yml
  • 4. Параметры конфигурации
    • 4.1. Секция environment
    • 4.2. Секция http-server
    • 4.3. Секция counter
    • 4.4. Секция zookeeper
    • 4.5. Секция persistence-mode
    • 4.6. Секция prostore-rest-client
    • 4.7. Секция migration
    • 4.8. Секция backup
    • 4.9. Секция metrics
  • 5. Процесс установки
    • 5.1. Настройка конфигурации
    • 5.2. Загрузка JAR-файла на сервер
  • 6. Запуск модуля
  • 7. Остановка модуля
  • 8. Проверка модуля
• ETL - Модуль загрузки/удаления данных
  • 1. Общие положения
  • 2. Основные требования к исходным файлам
  • 3. Особенности реализации ETL
  • 4. Получение токена Рroxy API
  • 5. Загрузка/ удаление данных
    • 5.1. Начало операции загрузки / удаления согласованных данных (Endpoint – newDelta)
    • 5.2. Загрузка / удаление согласованных данных (Endpoint – partOfDelta)
    • 5.3. Загрузка / удаление несогласованных данных (Endpoint – data)
    • 5.4. Описание возвращаемых кодов
  • 6. Проверка статусной информации по загрузке / удалению данных (Endpoint – status)
  • 7. Работа с вложениями через S3
    • 7.1. Загрузка данных в хранилище (Endpoint – uploadAttachment)
    • 7.2. Удаление данных из хранилища (Endpoint – deleteAttachment)
    • 7.3. Описание возвращаемых кодов
  • 8. Маппинг данных (Endpoint – generateMapping)
  • 9. Валидация данных
• Backup manager
  • 1. Общее описание
  • 2. Конфигурация утилиты Backup manager (application.yml)
  • 3. Пример файла application.yml
  • 4. Параметры конфигурации
    • 4.1. Секция logging
    • 4.2. Секция spring
    • 4.3. Секция config
    • 4.4. Секция backup
  • 5. Установка модуля
    • 5.1. Настройка конфигурации
    • 5.2. Добавление папки для загрузки файлов модуля
    • 5.3. Загрузка файлов на сервер
  • 6. Запуск утилиты
  • 7. Проверка модуля

Описание топиков

• Описание топиков
  • blob.err
  • blob.rq
  • blob.rs
  • cancel.err
  • cancel.rq
  • cancel.rs
  • delta.err
  • delta.in.err
  • delta.in.rq
  • delta.in.rs
  • delta.notification
  • delta.rq
  • delta.rs
  • procedure.query.rq
  • procedure.query.rs
  • procedure.query.err
  • query.err
  • query.estimation.rs
  • query.rq
  • query.rs
  • query.tp
  • replication.cancel.rq
  • replication.cancel.rs
  • replication.err
  • replication.in.err
  • replication.in.rq
  • replication.in.rs
  • replication.rq
  • replication.rs
  • statistics.err
  • statistics.rq
  • statistics.rs

Лицензии и библиотеки

• Сторонние лицензии и библиотеки
  • Лицензия Arenadata
  • Лицензия Kafka
  • Лицензия PostgreSQL
  • Лицензия Zookeeper
  • Data Mart
    • ОТКРЫТАЯ ГОСУДАРСТВЕННАЯ ЛИЦЕНЗИЯ
  • The 3-Clause BSD License
  • MIT License
  • COMMON DEVELOPMENT AND DISTRIBUTION LICENSE (CDDL) Version 1.0
  • Apache License, Version 2.0
  • The 2-Clause BSD License
  • Eclipse Public License - v 2.0
  • GNU LESSER GENERAL PUBLIC LICENSE, Version 2.1
  • Eclipse Public License - v 1.0

Сторонние инструкции

• Инструкция по работе с BitBucket
  • Установить SSH-ключи
  • Скачать репозиторий на локальный компьютер
  • Как переключится на develop-ветку?
  • Как получить изменения других авторов?
  • Как загрузить изменения на сервер документации
    • Проверить изменения в локальном репозитории
    • Добавить новые файлы в репозиторий
    • Отправить изменения в главный репозиторий
    • Проверить изменения на сайте
• Синтаксис разметки reStructuredText
  • Базовые концепции
  • Заголовки
  • Выделение текста
  • Нумерованные списки
  • Маркированные списки
  • Вложенные списки
  • Изображения
    • Вставка изображения
    • Вставка изображения в тексте
    • Вставка ссылки на изображение
  • PlantUML
  • Ссылки и сноски
    • Внешние ссылки
    • Перекресные ссылки
    • Ссылки на файлы (текстовые и для загрузки)
    • Cноски
  • Таблицы
    • Работа с таблицами
    • Вставка ссылки на таблицу
  • Блоки примечаний
  • Вставка в текст исходного кода (листинг)
  • Подключение файлов
  • Комментарии
  • Важные особенности
    • Имена файлов в Sphinx

Indices and tables

• Алфавитный указатель

• Поиск