6. Термины и определения

ADCM: Arenadata Cluster Manager (ADCM) - Универсальный оркестратор гибридного ландшафта. Он позволяет быстро устанавливать, настраивать все data-сервисы компании и управлять ими. Наиболее ярко преимущества ADCM раскрываются при работе с гетерогенной инфраструктурой, при которой появляется возможность размещать data-сервисы на различных типах инфраструктур: в облаке, on-premise или в качестве PaaS-сервисов.
ADS: Arenadata Streaming (ADS) - Масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени на базе Apache Kafka и Apache Nifi.
Airflow: открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.
Apache: Организация-фонд, способствующая развитию проектов программного обеспечения Apache.
Apache Airflow: Платформа для программного создания, планирования и мониторинга рабочих процессов.
Apache Avro: Линейно-ориентированный (строчный) формат передачи наборов данных, используемый в качестве платформы сериализации, разрабатываемый в рамках фонда Apache.
Apache Hadoop: Свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов.
Apache Kafka: Распределённый программный брокер сообщений, проект с открытым исходным кодом, разрабатываемый в рамках фонда Apache.
Apache Spark: Фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных.
API: Application programming interface (англ.) - Программный интерфейс приложения, описание сервисов взаимодействия компьютерной программы с другими программами.
BLOB-адаптер: Информационно-технологический компонент Витрины, обеспечивающий чтение бинарных файлов из Хранилища BLOB-объектов ведомства.
ClickHouse: Колоночная аналитическая СУБД с открытым кодом, которая позволяет выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатывается компанией Яндекс.
Counter-Provider: Сервис генерации уникального номера.
CSV: Comma-Separated Values (англ.) - текстовый формат, предназначенный для представления табличных данных.
CSV-extractor: Cпециализированное программное обеспечение, которое извлекает данные из csv-файлов в собственную БД-хранилища сервиса Tarantool.
CSV-Uploader: Программный модуль Витрины данных, который предназначен для загрузки csv-файлов в Витрину данных.
DAG: Файл, содержащий блок данных.
DATA-uploader: Модуль исполнения асинхронных заданий.
DBeaver: Клиентское приложение для управления базами данных (БД), которое использует программный интерфейс JDBC для взаимодействия с реляционными БД через драйвер JDBC.
DDL: Data definition language (англ.) - семейство компьютерных языков, используемых в компьютерных программах для описания структуры баз данных.
DNS: Domain Name System «система доменных имён» - компьютерная распределённая система для получения информации о доменах. Чаще всего используется для получения IP-адреса по имени хоста (компьютера или устройства), получения информации о маршрутизации почты и/или обслуживающих узлах для протоколов в домене.
Docker: Программное обеспечение для автоматизации развёртывания и управления приложениями в средах с поддержкой контейнеризации, контейнеризатор приложений.
Docker Compose: Платформа контейнеризации, предназначена для конфигурирования многоконтейнерных приложений. В Docker Compose можно управлять несколькими контейнерами Docker.
Endpoint: Шлюз (в переводе с англ. — конечная точка), который соединяет серверные процессы приложения с внешним интерфейсом. Простыми словами, это адрес, на который отправляются сообщения (работает с API).
ETL: Extract, transform, load (англ.) - решение, используемое при выгрузке данных из различных источников ведомств и дальнейшего хранения их в Витрине ProStore для чтения, использования и взаимодействия с другими ведомствами.
FileZilla: FTP-клиент.
Grafana: Веб-приложение для аналитики и интерактивной визуализации показателей мониторинга с открытым исходным кодом.
Greenplum: Массово-параллельная СУБД для хранилищ данных на основе PostgreSQL.
HikariCP: Hikari Connection Pool.
HTTP: HyperText Transfer Protocol (англ.) - протокол прикладного уровня передачи данных, в настоящий момент используется для передачи произвольных данных.
IAM: Сервисы управления идентификацией и контролем доступа (Identity&AccessManagement).
JDBC: Java DataBase connectivity (англ.) - платформенно-независимый промышленный стандарт взаимодействия Java-приложений с различными СУБД.
JDBC-драйвер: Библиотека классов, реализующая стандарт JDBC и подключения к источнику данных с использованием специализированного протокола, поддерживаемого источником данных.
JDBC-extractor: Специализированное программное обеспечение, которое извлекает данные из jdbc-источника (ведомства) в собственную БД-хранилища сервиса (Tarantool).
JSON: JavaScript Object Notation - Общий формат для представления значений и объектов в соответствии со стандартом RFC 4627.
Kafka-loader: Специализированное программное обеспечение, которое загружает данные, извлеченные и приведенные в соответствие логической структуре данных Витрины, собственно в Витрину.
Loki: Приложение для агрегирования log-файлов, используется совместно с Prometheus.
MD5: 128-битный алгоритм хеширования. Предназначен для создания «отпечатков» или дайджестов сообщения произвольной длины и последующей проверки их подлинности.
MPP: Массово-параллельная архитектура (англ. massive parallel processing, MPP, также «массивно-параллельная архитектура»).
NTP: Network Time Protocol — сетевой протокол для синхронизации внутренних часов компьютера с использованием сетей с переменной латентностью.
OpenAPI: The OpenAPI Specification (англ.) – Формализованная спецификация и экосистема множества инструментов, предоставляющая интерфейс между front-end системами, кодом библиотек низкого уровня и коммерческими решениями в виде API.
ProStore: Интеграционная система, обеспечивающая единый интерфейс к хранилищу разнородных данных. Определяет структуры данных, запись и чтение данных Витрины. Позволяет работать со входящими в состав хранилища СУБД одинаковым образом, используя единый синтаксис запросов SQL и единую логическую схему данных.
Prostore: Ядро интеграционной системы ProStore, сервис исполнения запросов.
Prometheus: Программное приложение, используемое для мониторинга событий и оповещения, которое записывает метрики в реальном времени в базу данных временных рядов, построенную с использованием модели HTTP-запроса, с гибкими запросами и оповещениями в режиме реального времени.
Proxy API: Проксирование запросов через Datamart Studio к инсталляциям приложений Витрин данных.
PSQL: Терминальный клиент для работы с PostgreSQL.
PuTTY: Cвободно распространяемый клиент для различных протоколов удалённого доступа, включая SSH, Telnet, rlogin.
PXF: Фреймворк, позволяющий ADB (Greenplum) параллельно обмениваться данными со сторонними системами.
REST: Representational state transfer (англ.) – архитектурный стиль взаимодействия компонентов распределенного приложения в сети.
REST-адаптер: Сервис, реализующий публикацию конечных точек API для обработки запросов с использованием спецификации OpenAPI версии 3. Используется для сохранения обратной совместимости получения данных из ведомства по REST.
REST API: Набор правил, по которым различные программы могут взаимодействовать между собой и обмениваться данными с помощью протокола HTTP.
REST-Uploader: Модуль асинхронной загрузки данных из сторонних источников.
SOAP: (от англ. Simple Object Access Protocol — простой протокол доступа к объектам) — протокол обмена структурированными сообщениями в распределённой вычислительной среде.
SQL: Structured query language (англ.) – язык структурированных запросов. Декларативный язык программирования, применяемый для создания, модификации и управления данными в реляционной базе данных.
SQL-запрос: Запрос к Витрине данных Поставщика. Произвольный или регламентированный запрос к данным, сформулированный на языке SQL.
SSH: Secure Shell (англ.) – «безопасная оболочка». Сетевой протокол прикладного уровня, позволяющий производить удалённое управление операционной системой и туннелирование TCP-соединений.
Tarantool: Платформа in-memory вычислений с гибкой схемой данных для создания высоконагруженных приложений. Включает в себя базу данных и сервер приложений на Lua.
UDP: Протокол передачи данных. С UDP компьютерные приложения могут посылать сообщения другим хостам по IP-сети без необходимости предварительного сообщения для установки специальных каналов передачи или путей данных.
URI: Унифицированный идентификатор ресурса. URI — последовательность символов, идентифицирующая абстрактный или физический ресурс.
UUID: Cтандарт идентификации, используемый в создании программного обеспечения, стандартизированный Open Software Foundation как часть DCE — среды распределённых вычислений. Основное назначение UUID — это позволить распределённым системам уникально идентифицировать информацию без центра координации.
Vert.x: Библиотека для разработки асинхронных приложений, основанная на событиях.
VipNet: программное обеспечение (далее - ПО) для защиты сетевого трафика на рабочих местах пользователей.
XML: eXtensibe Markup Language (англ.) – универсальный текстовый формат для хранения и передачи структурированных данных.
XML-extractor: Cпециализированное программное обеспечение, для копирования данных из xml-файлов в собственную БД-хранилища сервиса (Tarantool).
ZooKeeper: Сервер с открытым исходным кодом для высоконадежной распределенной координации облачных приложений.
Агент СМЭВ4 (Агент): Типовое программное обеспечение, устанавливаемое в контуре ИС УВ и обеспечивающее сопряжение Витрин данных и ИС УВ с Ядром СМЭВ4.
База данных: Совокупность данных, хранимых в соответствии со схемой данных, манипулирование которыми выполняют в соответствии с правилами средств моделирования данных.
(Большой) Двоичный объект (BLOB / БЛОБ): Тип данных, значение которого представляет собой массив байт, размер которого существенно превышает размер базовых скалярных типов (int, float, double, date)
Брокер сообщений: Архитектурный паттерн в распределённых системах; приложение, которое преобразует сообщение по одному протоколу от приложения-источника в сообщение протокола приложения-приёмника, тем самым выступая между ними посредником.
Витрина данных: Комплекс программных и технических средств в составе информационно-телекоммуникационной инфраструктуры Участника взаимодействия, обеспечивающий хранение и предоставление данных другим Участникам взаимодействия с использованием СМЭВ4.
Вид сведения СМЭВ (ВС): Комплекс документальных и программных компонентов, зарегистрированный в СМЭВ 3.х, обеспечивающий взаимодействие ИС ведомств в определённом формате и по определённым правилам.
ГОСТ: Нормативно-правовой документ, в соответствии требованиями которого производится стандартизация производственных процессов.
Дельта: Логически целостная совокупность изменений информации об объектах. Каждой дельте поставлено в соответствие целое число из монотонно возрастающей последовательности целых чисел начиная с 0, отражающее ее место в общей последовательности дельт и дата-время ее исполнения.
ЕИП: Единая информационная платформа.
ИС: Информационная система.
ИС УВ: Информационная система Участника взаимодействия.
КриптоПро: Разработанная одноименной компанией линейка криптографических утилит (вспомогательных программ) — так называемых криптопровайдеров. Они используются в других программах для генерации электронной подписи (ЭП), работы с сертификатами, организации структуры PKI и т.д.
ЛК УВ: Личный кабинет участника взаимодействия. Система, предназначенная для управления информационными системами и мониторинга информационных обменов в СМЭВ 3 и СМЭВ 4 участниками взаимодействия.
Логическая модель данных: Схема базы данных, выраженная в понятиях бизнес-требований.
Мнемоника Витрины: Уникальное строковое значение, определяющее модель данных Витрины.
Модель данных Витрины: Описание структуры Витрины (общая информация, перечень сущностей, атрибутный состав), загруженное в Ядро СМЭВ4.
Набор данных: Совокупность систематизированных данных (датасетов), представляющих собой базовый элемент для работы с данными.
НСУД: Национальная система управления данными.
ОГРН: Основной государственный регистрационный номер, присваивается юридическим лицам сразу же после регистрации в ФНС РФ.
Параметр запроса: Символическое имя, входящее в текст SQL-запроса и не содержащееся в Модели данных Витрины, в терминах которой сформулирован SQL-запрос.
ПО: Программное обеспечение.
СМЭВ4-адаптер: Программно-технический продукт, обеспечивающий взаимодействие витрины и СМЭВ4.
СМЭВ4-адаптер - Модуль исполнения запросов: Логический модуль СМЭВ4-адаптера, предназначен для исполнения запросов СМЭВ4 (через протокол коммуникации Агент СМЭВ4).
СМЭВ4-адаптер - Модуль MPPR: Логический модуль СМЭВ4-адаптера, предназначен для чтения данных в многопоточном режиме (massively parallel processing, MPP).
СМЭВ4-адаптер - Модуль MPPW: Логический модуль СМЭВ4-адаптера выполняет загрузку данных в многопоточном режиме.
Подписка (потребителя): Предоставление права Потребителю данных СМЭВ4 на информационный обмен с использованием Регламентированного запроса типа «Рассылка».
Поставщик данных: Участник взаимодействия, являющийся источником данных для других участников и использующий СМЭВ4 для передачи данных.
Потребитель данных: Участник взаимодействия, получающий данные от Поставщиков данных для дальнейшей их обработки и использующий для передачи запросов и получения данных СМЭВ4.
Распределенный запрос: Регламентированный запрос, инициированный Потребителем, SQL-выражение которого содержит наборы данных из двух или более Витрин данных.
Регламентированный SQL-запрос (РЗ): SQL-запрос, выраженный в терминах Модели данных, загруженной в СМЭВ4, и зарегистрированный в Ядре СМЭВ4 под символической мнемоникой, используемой ИС Потребителя СМЭВ4 для выполнения регламентированного запроса. Может иметь параметры, значения которых задаются Потребителем данных СМЭВ4 при выполнении регламентированного запроса.
Реплика: СУБД, хранящая реплицируемые наборы данных, полученные от Поставщика данных.
Сервис Формирования документов: Модуль витрины, предназначенный для работы с формируемыми документами.
СМЭВ: Система межведомственного электронного взаимодействия.
СМЭВ 3: Единая система межведомственного электронного взаимодействия, функционирующая в соответствии с Методическими рекомендациям по работе со СМЭВ версии 3.x.
СМЭВ3-адаптер: Информационно-технологический компонент СМЭВ, устанавливается на стороне Участника взаимодействия. CМЭВ3-адаптер обеспечивает информационное взаимодействие через единый электронный сервис единой системы межведомственного электронного взаимодействия (СМЭВ).
СМЭВ4: единый сервис доступа к данным СМЭВ, предназначенный для автоматизации процесса передачи данных и уведомлений об изменении данных между организациями или органами власти, ответственными за формирование и ведение информационных ресурсов, зарегистрированных в НСУД.
Сообщение: Сведения в виде законченного блока данных, передаваемые при функционировании информационной системы.
СУБД: Система управления базами данных.
Табличный параметр (запроса): Параметр, значение которого представляет собой двумерный массив с именованными колонками и неупорядоченными строками. Формальный табличный параметр может использоваться в инструкциях FROM, JOIN как источник данных.
Токен: Ключ безопасности (Цифровой сертификат).
Участник взаимодействия: Орган или организация, участвующий в информационном обмене через СМЭВ.
ФЛК: Форматно-логический контроль загружаемых в Витрину данных.
Хранилище BLOB-объектов: Место для хранения BLOB-объектов (бинарных данных). Располагается на стороне ведомства и не является частью Витрины данных. Взаимодействие с Хранилищем BLOB-объектов осуществляется через BLOB-адаптер.
Хранилище S3 (объектное хранилище S3): Хранилище бинарных объектов, позволяющее хранить файлы любого типа и объема. Доступ к хранилищу предоставляется через API.
Чанк: Фрагмент результирующих данных оптимального для передачи по сети размера.