1. Общие сведения

1.1. Наименование и обозначение Компонента

Полное наименование: «Компонент «Витрина данных» Единой системы межведомственного электронного взаимодействия».

Условное обозначение: Компонент «Витрина данных».

1.2. Назначение Компонента

Национальная система управления данными (далее – НСУД) представляет собой систему, состоящую из взаимосвязанных элементов информационно-технологического, организационного, методологического, кадрового и нормативно-правового характера и обеспечивающую достижение целей и выполнение задач, обозначенных в Концепции Национальной системы управления данными, утвержденной распоряжением Правительства Российской Федерации от 3 июня 2019 года № 1189-р.

НСУД предназначена для управления информацией, содержащейся в информационных системах органов и организаций государственного сектора, а также в информационных ресурсах, созданных в целях реализации полномочий органов и организаций государственного сектора (далее – государственные данные), и для осуществления информационного обмена между Поставщиками и Получателями данных, присоединившимися к НСУД (далее – Участники НСУД).

Управление процессами информационного обмена между Участниками НСУД осуществляется средствами федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными» (далее – ФГИС «ЕИП НСУД»).

Для передачи данных между Участниками НСУД используется среда взаимодействия НСУД, состоящая из Системы межведомственного электронного взаимодействия 3.0 (далее – СМЭВ) и (или) подсистемы обеспечения доступа к данным СМЭВ (далее – СМЭВ4), обеспечивающих транспорт и процессинг данных, а также агентов СМЭВ4, устанавливаемых на стороне Участников НСУД.

Для формирования и (или) получения данных с использованием среды взаимодействия НСУД необходим комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры участника НСУД. Настоящий документ описывает применение Компонента «Витрина данных».

Компонент «Витрина данных» является частью НСУД и предназначен для загрузки публикуемых данных в отдельную БД на стороне Поставщика данных. Компонент представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.

1.3. Возможности Компонента

Ниже приведены возможности Компонента для конфигураций Компонента:

  • Стандарт;

  • Лайт.

Компонент обеспечивает выполнение следующих задач:

  • описание логической модели данных;

  • настройка Компонента и структуры таблиц в ее БД для хранения публикуемых данных;

  • загрузка и хранение публикуемых данных в БД Компонента;

  • персистентность данных модулей Компонента;

  • извлечение данных из внешних систем (внешних ИС по отношению к Витрине данных);

  • выполнение запросов в соответствии с протоколом СМЭВ4 через механизмы СМЭВ4:

    • поддержка протокола коммуникации Агента СМЭВ4;

    • генерация формируемых документов на основании публикуемых данных.

  • обмен в соответствии с протоколом СМЭВ3:

    • подключение к СМЭВ3 как информационной системы участника взаимодействия;

    • обработку запросов на предоставление публикуемых данных (видов сведений), в т.ч. BLOB-объектов;

    • инициативная рассылка оповещений об обновлении публикуемых данных.

  • публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3;

  • предоставление публикуемых данных информационным системам с использованием интерфейса REST-запросов;

  • восстановление данных в непротиворечивое состояние после сбоев;

  • поддержка языка SQL;

  • журналирование событий функциональных блоков;

  • мониторинг информации о работоспособности экземпляра Компонента.

Компонент обеспечивает выполнение следующих задач:

  • автоматическая настройка взаимосвязей между модулями Компонента;

  • автоматический запуск всех необходимых модулей Компонента после установки;

  • автоматическая настройка витрины и структуры ее таблиц на основании содержимого XML-файла, загружаемого через пользовательский веб-интерфейс;

  • выгрузка шаблона через графический интерфейс (для упрощения процесса подготовки загружаемых данных);

  • загрузка данных на витрину данных:

  • через графический интерфейс;

  • REST API;

  • файловый обмен.

  • настройка параметров работы витрины через графический интерфейс;

  • выполнение запросов на предоставление данных в соответствии с протоколом СМЭВ4 через механизмы СМЭВ4.

1.4. Показатели назначения Компонента

Наименования и значения параметров, характеризующих показатели назначения Компонента, приведены в Таблица 1.1.

Таблица 1.1 Показатели назначения

№

Показатель

Значение

1

Хранение данных, доступных для запроса, включая исторические

Не менее 10 ТБ или 1 млрд. записей

2

Загрузка данных в Компонент «Витрина данных»

Не менее 3 ТБ / час или 300 млн. записей / час

3

Выборка данных из Компонента «Витрина данных» в рамках одного критерия поиска

Не менее 3 ТБ / час или 300 млн. записей / час

4

Время от отправки одной записи в витрину до появления данных в результатах запросов

Не более 5 сек для 95% записей

5

Поиск одной записи по предопределённому критерию поиска (предполагается предварительная индексация)

Не более 0,1 сек в 95% запросов при не менее 3 млн. запросов / час

6

Поиск одной записи по произвольному критерию (предполагается сканирование всего объёма записей)

Не более 5 сек в 95% запросов при не менее 50 тыс. запросов / час

Требования к техническим средствам, при которых достигаются указанные показатели назначения описаны в Таблица 1.8 и Таблица 1.9 Руководства по установке Компонента «Витрина данных» в разделе Рекомендуемые технические и программные средства.

Количественные значения показателей надежности для Компонента «Витрина данных» представлены в таблице Таблица 1.2.

Таблица 1.2 Значения показателей надежности

№

Показатель

Значение

1

Безотказность

10000 часов

2

Коэффициент готовности

0,9995

3

Доступность

99,95%

4

Допустимая потеря данных

1 час

Тестирование Компонента на соответствие показателям назначения и надежности проводилось на тестовом стенде с указанными требованиями к техническим средствам в Таблица 1.8 и Таблица 1.9.

1.5. Требования к каналам связи

Требования к каналам связи сервера, на котором будет установлена Компонента:

  • пропускная способность 100 Гбит/сек с протоколами TCP/IP и UDP;

  • отсутствие ПО, блокирующего или замедляющего трафик.

Требования к каналам связи, используемым для взаимодействия с клиентскими сетями Ведомства:

  • пропускная способность 10 Гбит/сек с протоколами TCP/IP и UDP.

Необходимо учитывать процент свободных ресурсов оборудования и пиковые нагрузки.

1.6. Требования к операционным системам

Операционная система устанавливается на сервер, где будет развернута программа.

Компонент может функционировать под одной из следующих операционных систем:

  • РЕД ОС версии 7.2 (далее - РЕД ОС);

  • АЛЬТ Сервер 8 СП (далее - АЛЬТ ОС);

  • Astra Linux 1.7 (уровень защищенности «Воронеж»).

1.7. Требования к техническим и программным средствам

В разделе приведены рекомендации по аппаратному и программному обеспечению, а также необходимая конфигурация сети для оптимального баланса между производительностью и стабильностью работы всех модулей программы.

Примечание

Установите программу с приведенными ниже рекомендациями на тестовом стенде для того чтобы определить оптимальную конфигурацию для ваших сценариев работы. Рекомендация основана на использовании программы в режиме стандартной рабочей нагрузки на тестовом стенде (Раздел 8).

Рекомендованные требования к серверному оборудованию конфигурации «Стандарт» приведены в Таблица 1.8.

Таблица 1.3 Требования к серверному оборудованию конфигурации Стандарт

Сервер

Назначение

CPU

RAM, ГБ

HDD

Количество

Prostore

Сервис исполнения запросов

4

16

20

1

BLOB- адаптер

Получение доступа из Витрины данных

4

16

50

2

Сервис формирования документов

Обеспечение возможности формирования документов, в формате XML и PDF, на основе предварительно подготовленных pebble-шаблонов,

с возможностью добавления к сформированным документам электронной подписи

2

8

50

2

СМЭВ QL Сервер

Язык запросов данных Системы межведомственного электронного взаимодействия

4

8

50

1

СМЭВ3-адаптер

Информационное взаимодействие через единый электронный сервис единой системы межведомственного электронного взаимодействия

4

8

50

1

Стандартный загрузчик

Управление данными (загрузка и / или удаление) в Витрине данных

4

8

50

1

CSV-Uploader

Загрузка CSV-файлов на Витрину данных

4

8

50

1

Data-Uploader

Обеспечение обработки очереди файлов

4

8

50

1

REST-Uploader

Асинхронная загрузка данных из сторонних источников

4

8

50

1

Counter-provider

Генерация уникального номера файлов в сервисе формирования документов

2

4

50

1

DTM-Uploader

Модуль загрузки/ удаления данных

4

8

50

1

Check-адаптер

Контроль качества данных, размещённых в Компоненте «Витрина данных»

4

8

20

1

Мониторинг и администрирование

(установка опциональна)

Grafana

32

32

1000

3

Prometheus

Graylog

МongoDB

Elasticsearch (master)

Elasticsearch (data)

Filebeat

Node Exporter

Рекомендованные требования к серверному оборудованию Лайт приведены в Таблица 1.9.

Таблица 1.4 Требования к серверному оборудованию

Требования

Минимальные

Рекомендуемые

Процессор (CPU)

4 ядра

10 ядер

Оперативная память (RAM)

16 Гб

128 Гб

Жесткий диск (HDD)

100 Гб

500 Гб

Рекомендованные требования к программному обеспечению конфигурации Стандарт приведены в Таблица 1.10.

Таблица 1.5 Минимальный состав программных средств конфигурации Стандарт

Название

Описание

Версия

Операционная система (выбор опционален)

РЕД ОС

АЛЬТ Сервер 8 СП

Astra Linux 1.7 (уровень защищенности «Воронеж»)

7.2

8

1.7

Docker

Программное обеспечение для автоматизации развертывания и управления приложениями

20.10.2

Java SE 17

Среда разработки для создания приложений с использованием языка программирования Java

17.0.7

Рекомендованные требования к программному обеспечению конфигурации Лайт приведены в Таблица 1.11.

Таблица 1.6 Минимальный состав программных средств конфигурации лайт

Название

Описание

Версия

Операционная система (выбор опционален)

РЕД ОС

АЛЬТ Сервер 8 СП

Astra Linux 1.7 (уровень защищенности «Воронеж»)

7.2

8

1.7

Docker

Программное обеспечение для автоматизации развертывания и управления приложениями

20.10.2

1.8. Режим работы Компонента

Компонент предназначена для круглосуточного функционирования, 24 часа в сутки, 7 дней в неделю, с перерывами на плановое техническое обслуживание, восстановление работоспособности.

Компонент поддерживает функционирование в следующих режимах:

  • штатный;

  • сервисный;

  • остановка.

1.8.1. Штатный режим

Штатный режим является основным режимом функционирования Компонента. В этом режиме функционирования обеспечивается круглосуточная работа Компонента без потери функциональности и работоспособности ее программно-технических средств.

1.8.2. Сервисный режим

Режим функционирования, при котором Компонент выполняет часть основных функций, но параллельно с этим проводятся работы по техническому обслуживанию, накладывающие ограничения на функциональность Компонента. В сервисном режиме функционирования обеспечивается возможность круглосуточного функционирования Компонента.

1.8.3. Остановка

Режим работы, когда Компонент не выполняет ни одну из своих функций.

1.9. Используемые языки программирования

Таблица 1.7 Языки программирования

Название

Версия

Описание

Kotlin

2.1.20

Язык программирования

Java SE

17

Язык программирования

SQL

SQL:2016

Язык программирования, применяемый для создания модификации и управления данными в реляционной базе данных

HTML

5

Язык разметки

CSS

3

Язык разметки. Описание внешнего вида документов

Python

3.0

Язык программирования

JavaScript

ES2017 (ES8)

Язык программирования

1.10. Требования к персоналу

1.10.1. Требования к системному администратору

Системный администратор обеспечивает штатную работу Компонента. Выполняет установку, настройку и мониторинг работоспособности программного и аппаратного обеспечения.

В основные обязанности системного администратора входит:

  • установка и настройка Компонента;

  • установка обновлений;

  • резервное копирование;

  • настройка логирования;

  • настройка системы мониторинга Компонента, аппаратного обеспечения и др.

Необходимые навыки для работы:

  • администрирование ОС Linux;

  • знание TCP/IP;

  • знание Docker (развертывание, установка библиотек, администрирование);

  • знание Ansible;

  • умение работать с веб-серверами (Apache);

  • знание SSH;

  • резервное копирование;

  • логирование;

  • обновление Компонента;

  • понимание модели баз данных;

  • опыт работы по управлению и администрированию баз данных;

  • навык проводить диагностику и анализ проблемных мест;

  • умение распознать следствие/причины некорректной работы ПО или техники;

  • умение анализировать сетевой трафик.