1. Общие сведения

1.1. Обозначение и наименование Компонента

Полное наименование: «Компонент «Витрина данных» Единой системы межведомственного электронного взаимодействия».

Условное обозначение: Компонент «Витрина данных».

1.2. Назначение Компонента

Национальная система управления данными (далее – НСУД) представляет собой систему, состоящую из взаимосвязанных элементов информационно-технологического, организационного, методологического, кадрового и нормативно-правового характера и обеспечивающую достижение целей и выполнение задач, обозначенных в Концепции Национальной системы управления данными, утвержденной распоряжением Правительства Российской Федерации от 3 июня 2019 года № 1189-р.

НСУД предназначена для управления информацией, содержащейся в информационных системах органов и организаций государственного сектора, а также в информационных ресурсах, созданных в целях реализации полномочий органов и организаций государственного сектора (далее – государственные данные), и для осуществления информационного обмена между Поставщиками и Получателями данных, присоединившимися к НСУД (далее – Участники НСУД).

Управление процессами информационного обмена между Участниками НСУД осуществляется средствами федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными» (далее – ФГИС «ЕИП НСУД»).

Для передачи данных между Участниками НСУД используется среда взаимодействия НСУД, состоящая из Системы межведомственного электронного взаимодействия 3.0 (далее – СМЭВ) и (или) подсистемы обеспечения доступа к данным СМЭВ (далее – СМЭВ4), обеспечивающих транспорт и процессинг данных, а также агентов СМЭВ4, устанавливаемых на стороне Участников НСУД.

Для формирования и (или) получения данных с использованием среды взаимодействия НСУД необходим комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры участника НСУД. Настоящий документ описывает применение Компонента «Витрина данных».

Компонент «Витрина данных» является частью НСУД и предназначен для загрузки публикуемых данных в отдельную БД на стороне Поставщика данных. Компонент представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.

1.3. Возможности Компонента

Внимание

Начиная с версии ПО 2.0.0 не работают подписки.

Ниже приведены возможности Компонента для конфигураций Компонента:

  • Стандарт;

  • Лайт.

Компонент обеспечивает выполнение следующих задач:

  • описание логической модели данных;

  • настройка Компонента и структуры таблиц в ее БД для хранения публикуемых данных;

  • загрузка и хранение публикуемых данных в БД Компонента;

  • извлечение данных из внешних систем (внешних ИС по отношению к Витрине данных НСУД);

  • выполнение запросов в соответствии с протоколом СМЭВ4 через механизмы СМЭВ4:

    • поддержка протокола коммуникации Агента СМЭВ4;

    • генерация формируемых документов на основании публикуемых данных.

  • обмен в соответствии с протоколом СМЭВ3:

    • подключение к СМЭВ3 как информационной системы участника взаимодействия;

    • обработку запросов на предоставление публикуемых данных (видов сведений), в т.ч. BLOB-объектов;

    • инициативная рассылка оповещений об обновлении публикуемых данных.

  • публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3;

  • предоставление публикуемых данных информационным системам с использованием интерфейса REST-запросов;

  • восстановление данных в непротиворечивое состояние после сбоев;

  • поддержка языка SQL;

  • журналирование событий функциональных блоков;

  • мониторинг информации о работоспособности экземпляра Компонента.

Компонент обеспечивает выполнение следующих задач:

  • автоматическая настройка взаимосвязей между модулями Компонента;

  • автоматический запуск всех необходимых модулей Компонента после установки;

  • автоматическая настройка витрины и структуры ее таблиц на основании содержимого XML-файла, загружаемого через пользовательский web-интерфейс;

  • выгрузка шаблона через графический интерфейс (для упрощения процесса подготовки загружаемых данных);

  • загрузка данных в витрину данных:

  • через графический интерфейс;

  • REST API;

  • файловый обмен.

  • настройка параметров работы витрины через графический интерфейс;

  • выполнение запросов на предоставление данных в соответствии с протоколом СМЭВ4 через механизмы СМЭВ4.

1.4. Показатели назначения Компонента

Наименования и значения параметров, характеризующих показатели назначения Компонента, приведены в Таблица 1.1.

Таблица 1.1 Показатели назначения

№

Показатель

Значение

1

Хранение данных, доступных для запроса, включая исторические

Не менее 10 ТБ или 1 млрд. записей

2

Загрузка данных в Компонент «Витрина данных»

Не менее 3 ТБ / час или 300 млн. записей / час

3

Выборка данных из Компонента «Витрина данных» в рамках одного критерия поиска

Не менее 3 ТБ / час или 300 млн. записей / час

4

Время от отправки одной записи в витрину до появления данных в результатах запросов

Не более 5 сек для 95% записей

5

Поиск одной записи по предопределённому критерию поиска (предполагается предварительная индексация)

Не более 0,1 сек в 95% запросов при не менее 3 млн. запросов / час

6

Поиск одной записи по произвольному критерию (предполагается сканирование всего объёма записей)

Не более 5 сек в 95% запросов при не менее 50 тыс. запросов / час

Требования к техническим средствам, при которых достигаются указанные показатели назначения описаны в Таблица 1.4 и Таблица 1.5 Руководства по установке Компонента «Витрина данных» в разделе Рекомендуемые технические и программные средства.

Количественные значения показателей надежности для Компонента «Витрина данных» представлены в таблице Таблица 1.2.

Таблица 1.2 Значения показателей надежности

№

Показатель

Значение

1

Безотказность

10000 часов

2

Коэффициент готовности

0,9995

3

Доступность

99,95%

4

Допустимая потеря данных

1 час

Тестирование Компонента на соответствие показателям назначения и надежности проводилось на тестовом стенде с указанными требованиями к техническим средствам в Таблица 1.4 и Таблица 1.5.

1.5. Требования к каналам связи

Требования к каналам связи сервера, на котором будет установлена Компонента:

  • пропускная способность 100 Гбит/сек с протоколами TCP/IP и UDP;

  • отсутствие ПО, блокирующего или замедляющего трафик.

Требования к каналам связи, используемым для взаимодействия с клиентскими сетями Ведомства:

  • пропускная способность 10 Гбит/сек с протоколами TCP/IP и UDP.

Необходимо учитывать процент свободных ресурсов оборудования и пиковые нагрузки.

1.6. Режим работы Компонента

Компонент предназначена для круглосуточного функционирования, 24 часа в сутки, 7 дней в неделю, с перерывами на плановое техническое обслуживание, восстановление работоспособности.

Компонент поддерживает функционирование в следующих режимах:

  • штатный;

  • сервисный;

  • аварийный;

  • остановка.

1.6.1. Штатный режим

Штатный режим является основным режимом функционирования Компонента. В этом режиме функционирования обеспечивается круглосуточная работа Компонента без потери функциональности и работоспособности ее программно-технических средств.

1.6.2. Сервисный режим

Режим функционирования, при котором Компонент выполняет часть основных функций, но параллельно с этим проводятся работы по техническому обслуживанию, накладывающие ограничения на функциональность Компонента. В сервисном режиме функционирования обеспечивается возможность круглосуточного функционирования Компонента.

1.6.3. Аварийный режим

Режим функционирования, при котором в Компоненте доступны только базовые функциональные возможности, необходимые для восстановления работоспособности.

1.6.4. Остановка

Режим работы, когда Компонент не выполняет ни одну из своих функций.

1.7. Используемые языки программирования

Таблица 1.3 Языки программирования

Название

Версия

Описание

Kotlin

2.1.20

Язык программирования

Java SE

17

Язык программирования

SQL

SQL:2016

Язык программирования, применяемый для создания модификации и управления данными в реляционной базе данных

HTML

5

Язык разметки

CSS

3

Язык разметки. Описание внешнего вида документов

Python

3.0

Язык программирования

JavaScript

ES2017 (ES8)

Язык программирования

1.8. Требования к персоналу

1.8.1. Требования к системному администратору

Системный администратор обеспечивает штатную работу Компонента. Выполняет установку, настройку и мониторинг работоспособности программного и аппаратного обеспечения.

В основные обязанности системного администратора входит:

  • установка и настройка Компонента;

  • установка обновлений;

  • резервное копирование;

  • настройка логирования;

  • настройка системы мониторинга Компонента, аппаратного обеспечения и др.

Необходимые навыки для работы:

  • знание TCP/IP;

  • знание Docker (развертывание, установка библиотек, администрирование);

  • знание Ansible;

  • умение работать с веб-серверами (Apache);

  • знание SSH;

  • резервное копирование;

  • логирование;

  • обновление Компонента;

  • понимание модели баз данных;

  • опыт работы по управлению и администрированию баз данных;

  • навык проводить диагностику и анализ проблемных мест;

  • умение распознать следствие/причины некорректной работы ПО или техники;

  • умение анализировать сетевой трафик.

1.8.2. Требования к программисту

Программист решает задачи связанные непосредственно с сопровождением и доработкой Компонента под требования пользователей. Определяет схемы и алгоритмы обработки данных Компонента.

Программист должен обладать знаниями следующих языков программирования:

  • Java;

  • Кotlin;

  • Javascript.

Программист должен уметь использовать в своей работе следующее программное обеспечение и технологии:

  • Docker;

  • Vertx;

  • Spring (Spring-boot);

  • Web (http, настройка SSH).

В перечень задач, выполняемых программистом, входят:

  • поддержание работоспособности Компонента;

  • доработка Компонента под требованиям пользователей системы.