2. НАЗНАЧЕНИЕ ПРОГРАММЫ

2.1. Назначение программы

Национальная система управления данными (далее — НСУД) представляет собой систему, состоящую из взаимосвязанных элементов информационно-технологического, организационного, методологического, кадрового и нормативно-правового характера и обеспечивающая достижение целей и выполнение задач, обозначенных в Концепции Национальной системы управления данными, утвержденной распоряжением Правительства Российской Федерации от 3 июня 2019 года № 1189-р.

НСУД предназначена для управления информацией, содержащейся в информационных ресурсах органов и организаций государственного сектора, а также в информационных ресурсах, созданных в целях реализации полномочий органов и организаций государственного сектора (далее — государственные данные) и для осуществления информационного обмена между Поставщиками и Получателями данных, присоединившимися к НСУД (далее — Участники НСУД).

Управление процессами информационного обмена между Участниками НСУД осуществляется средствами федеральной государственной информационной системы «Единая информационная платформа Национальной системы управления данными» (далее — ФГИС «ЕИП НСУД»).

Для передачи данных между Участниками НСУД используется среда взаимодействия НСУД, состоящая из Системы межведомственного электронного взаимодействия (далее —СМЭВ ) 3.0 или подсистемы обеспечения доступа к данным (далее — ПОДД) СМЭВ (СМЭВ 4.0), обеспечивающих транспорт и процессинг данных, а также агентов ПОДД СМЭВ, устанавливаемых на стороне Участников НСУД.

Для формирования и (или) для получения данных с использованием среды взаимодействия НСУД необходим комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры участника НСУД (далее — Витрина данных НСУД). Данный документ описывает применение именно ПО среды взаимодействия НСУД.

Таким образом, программа «Витрина данных НСУД» является частью НСУД и предназначена для загрузки публикуемых данных в отдельную БД на стороне поставщика данных, а также для формирования отдельной БД в соответствии с результатами выполнения запросов на предоставление или репликации данных со стороны получателя данных. Программа представляет собой типовое программное обеспечение, устанавливаемое на стороне поставщиков/потребителей данных.

2.2. Возможности программы

Программа «Витрина данных НСУД» обеспечивает выполнение следующих функций:

  • Описание логической модели данных

  • Загрузка и хранение данных

  • Извлечение данных из внешних систем (внешних ИС по отношению к Витрине данных НСУД)

  • Поддержка языка SQL

  • Поддержка протокола коммуникации агента ПОДД.

  • Подключение к СМЭВ3 как информационной системы участника взаимодействия..

  • Обработка запросов с использованием стандарта JDBC.

  • Публикация конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3.

  • Восстановление данных в непротиворечивое состояние после сбоев.

  • Журналирование событий функциональных блоков.

  • Мониторинг информации о работоспособности экземпляра Программы.

Основной цикл работы «Витрина данных НСУД» приведен на Рисунок - 2.15

Основной цикл работы Витрины данных НСУД

Рисунок - 2.13 Основной цикл работы Витрины данных НСУД

  1. После развертывания ПО Витрины системным программистом она не содержит никакой логической модели данных.

  2. Первым делом после развертывания Витрины надо создать в ней логическую модель данных (для хранения данных в качестве Поставщика данных). При работе с ПОДД структура таблиц настраивается в ЕИП НСУД и передаются в Витрину через ПОДД. При работе со СМЭВ 3 логическую модель надо создавать самостоятельно через JDBC-драйвер с использованием DDL.

  3. После того, как логическая модель данных в Витрине настроена можно:

  • загружать данные в Витрину (средствами сервиса загрузки данных (ETL) или самостоятельно через JDBC-драйвер с использованием EDDL/EDML);

  • посылать запросы для получения данных из Витрины (через ПОДД, СМЭВ3, REST или JDBC-драйвер);

  • подписываться (в качестве Потребителя данных) на репликацию данных из другой Витрины (ПОДД пришлет метаданные для создания логических таблиц для хранения реплики и первоначальный снапшот текущих данных из Витрины Поставщика);

  • обрабатывать (в качестве Поставщика данных) подписки других Витрин на репликацию данных этой Витрины (передавать им метаданные для создания логической структуры для хранения реплики и снапшот текущих данных);

  • при загрузке данных в Витрину, если есть подписчики на репликацию данных, им отправляется дельта с обновленными данными;

  • если эта Витрина подписана на репликацию данных из другой Витрины, то при изменении данных в Витрине-Поставщике ПОДД доставит дельту с обновленными данными.

2.3. Условия, необходимые для выполнения программы

Требования к серверному оборудованию, телекоммуникационному оборудованию и каналам связи, аппаратным и программно-аппаратным средствам защиты информации, периферийному и специализированному оборудованию, размещению комплекса технических средств на объектах автоматизации и методы защиты комплекса технических средств приведены в документе «Описание применения».

2.4. Требования к программному обеспечению

Требования к программному обеспечению приведены в документе «Руководство системного программиста».

2.5. Требования к персоналу

Для работы с Программой сотрудник (программист) должен обладать компетенциями, перечисленными в таблице (см. Таблица 2.14) в том объеме, который требуется для выполнения поставленных перед ним производственных задач.

Таблица 2.14 Требования к персоналу

№

Компетенция

Уровень

1

Знакомство со СМЭВ 3

В объеме, изложенном в инструкциях, технологических стандартах, методических рекомендаций, регламентах и руководствах, приведенных на сайте https://smev3.gosuslugi.ru/portal/

2

Знакомство с ПОДД СМЭВ

В объеме, изложенном в документе «Методические рекомендации по работе с подсистемой обеспечения доступа к данным федеральной государственной информационной системы «Единая система межведомственного электронного взаимодействия»» (версия 1.0.0.0).

3

Pebble-шаблон

Знание синтаксиса, понимание назначения pebble-шаблонов.

4

XML

Знание синтаксиса XML, XSD, xPath .

5

SQL

Знание синтаксиса (основных DDL и DML команд), понимание основных принципов реляционной БД.

6

REST

Знание основ архитектурного стиля взаимодействия.

7

Open API

Знание синтаксиса формализованной спецификации (ранее известна как swagger).

8

HTTP

Знание основ протокола (состаные части сообщения, коды ответа).

9

yaml

Знание синтаксиса.

10

AVRO

Знание основ, понимание назначения схемы и блока данных.

11

Kafka

Знание основ использования брокера сообщений.

12

CSV

Знание формата.

13

Spark, Airflow

Знакомство с фреймворком и платформой управления процессами, умение создавать и запускать исполнение DAG.

2.6. Перечень эксплуатационной документации

Перед началом работы с программой «Витрина данных НСУД» обслуживающему персоналу рекомендуется ознакомиться с указанными эксплуатационными документами в последовательности, приведенной далее.

В состав комплекта эксплуатационных документов на программное обеспечение «Витрина данных НСУД» входят следующие документы:

«Описание применения».

Документ раскрывает основные вопросы по назначению «Витрины данных НСУД» и описанию применения программы. Перечислены возможности программы, задачи, которые она решает и методы их решения.

«Руководство оператора».

Документ предназначен для операторов и раскрывает основные вопросы связанные с эксплуатацией программы. Указан минимальный состав программных и технических средств для рабочего места оператора. В документе описаны требования к квалификации оператора, процесс подготовки к работе, основные операции и сообщения, которые получает оператор в процессе взаимодействия с программой.

«Руководство программиста».

Документ предназначен для программистов и описывает как возможности подключения к программным интерфейсам «Витрины данных НСУД», так и пошаговую процедуру сборки ПО из исходного кода.

Примечание

Примечание: дополнительные материалы, выходящие за рамки «Руководства программиста» и эксплуатационной документации на ПО «Витрина данных НСУД» можно найти в документе «Соглашения о разработке и тестировании ПО «Витрина Данных НСУД»».

«Руководство системного программиста».

Документ детально описывает вопросы по установке, настройке и проверке работоспособности программы. Указана структура программы, ее составные части, связь между составными частями и другими программами.

Требования к серверному оборудованию, телекоммуникационному оборудованию и каналам связи, аппаратным и программно-аппаратным средствам защиты информации, периферийному и специализированному оборудованию, размещению комплекса технических средств на объектах автоматизации и методы защиты комплекса технических средств приведены в документе «Описание применения».