3. Использование СМЭВ4
3.1. SQL-синтаксис
Регламентированные SQL-запросы, регистрируемые в СМЭВ4, должны соответствовать следующему синтаксису.
№ |
Описание |
Пример запроса |
Минимальная версия ПО |
|
|---|---|---|---|---|
Агент СМЭВ4 |
Витрина данных |
|||
1 |
Числовые типы данных |
|||
1.1 |
Типы данных INTEGER и SMALLINT |
|
3.0.0 |
1.12.0 |
1.2 |
Типы данных REAL, DOUBLE PRECISION и FLOAT |
|
||
1.3 |
Типы данных DECIMAL и NUMERIC |
|
||
1.4 |
Арифметические операторы |
|
||
1.5 |
Числовые сравнения |
|
||
1.6 |
Неявные преобразования между числовыми типами данных |
|
||
2 |
Символьные типы данных |
|||
2.1 |
Тип данных CHARACTER Длина по умолчанию 30 |
|
3.0.0 |
1.12.0 |
2.2 |
Тип данных CHARACTER VARYING Длина по умолчанию 30 |
|
||
2.3 |
Символьные строки |
|
||
2.4 |
Функция CHARACTER_LENGTH убирает завершающие пробелы из значений CHARACTER перед подсчётом символов |
|
||
2.5 |
Функция OCTET_LENGTH |
|
||
2.6 |
Функция SUBSTRING |
|
||
2.7 |
Конкатенация символьных строк |
|
||
2.8 |
Функции UPPER и LOWER |
|
||
2.9 |
Функция TRIM |
|
||
2.10 |
Неявные преобразования между типами символьных строк |
|
||
2.11 |
Функция POSITION |
|
||
2.12 |
Сравнения символов |
|
||
2.13 |
Функция LISTAGG для объединения значений из нескольких строк в одну строку |
|
3.18.0 |
1.12.0 |
3 |
Идентификаторы |
|||
3.1 |
Идентификаторы с разделителями |
|
3.0.0 |
1.12.0 |
3.2 |
Идентификаторы в нижнем регистре |
|
||
3.3 |
Завершающее подчёркивание |
|
||
4 |
Базовое определение запросов |
|||
4.1 |
SELECT DISTINCT |
|
3.0.0 |
1.12.0 |
4.2 |
Предложение GROUP BY |
|
||
4.3 |
GROUP BY может содержать колонки не из <списка выборки> |
|
||
4.4 |
Элементы списка выборки могут переименовываться |
|
||
4.5 |
Предложение HAVING |
|
||
4.6 |
Корреляционные имена в предложении FROM |
|
||
4.7 |
Переименование колонок в предложении FROM |
|
||
5 |
Базовые предикаты и условия поиска |
|||
5.1 |
Предикат сравнения |
|
3.0.0 |
1.12.0 |
5.2 |
Предикат BETWEEN |
|
||
5.3 |
Предикат IN со списком значений |
|
||
5.4 |
Предикат LIKE |
|
||
5.5 |
Предложение ESCAPE в предикате LIKE |
|
||
5.6 |
Предикат NULL |
|
||
5.7 |
Предикаты количественного сравнения |
|
||
5.8 |
Предикат EXISTS |
|
||
5.9 |
Подзапросы в предикате сравнения |
|
||
5.10 |
Подзапросы в предикате IN |
|
||
5.11 |
Подзапросы в предикате количественного сравнения |
|
||
5.12 |
Коррелирующие подзапросы |
|
||
5.13 |
Условие поиска |
|
||
6 |
Простые выражения с запросами |
|||
6.1 |
Табличный оператор UNION DISTINCT |
|
3.0.0 |
1.12.0 |
6.2 |
Табличный оператор UNION ALL |
|
||
6.3 |
Табличный оператор EXCEPT DISTINCT |
|
||
6.4 |
Табличный оператор INTERSECT |
|
||
6.5 |
Колонки, объединяемые табличными операторами, могут иметь разные типы данных |
|
||
6.6 |
Табличные операторы в подзапросах |
|
||
6.7 |
C использованием обобщенных табличных выражений |
|
||
7 |
Функции множеств |
|||
7.1 |
AVG |
|
3.0.0 |
1.12.0 |
7.2 |
COUNT |
|
||
7.3 |
MAX |
|
||
7.4 |
MIN |
|
||
7.5 |
SUM |
|
||
7.6 |
Дополнение ALL |
|
||
7.7 |
Дополнение DISTINCT |
|
||
7.8 |
Оператор SELECT, возвращающий одну строку |
|
||
8 |
Базовая поддержка курсоров |
|||
8.1 |
Колонки ORDER BY, отсутствующие в списке выборки |
|
3.0.0 |
1.12.0 |
8.2 |
Выражения значений в предложении ORDER BY |
|
||
8.3 |
Поддержка NULL (NULL вместо значений) |
|
||
9 |
Базовое соединение таблиц |
|||
9.1 |
Внутреннее соединение (но не обязательно с ключевым словом INNER) |
|
3.0.0 |
1.12.0 |
9.2 |
Ключевое слово INNER |
|
||
9.3 |
LEFT OUTER JOIN |
|
||
9.4 |
RIGHT OUTER JOIN |
|
||
9.5 |
Внешние соединения могут быть вложенными |
|
||
9.6 |
Внутренняя таблица с левой или правой стороны внешнего соединения может также участвовать во внутреннем соединении |
|
||
9.7 |
Поддерживаются все операторы сравнения (а не только =) |
|
||
10 |
Базовая поддержка даты и времени |
|||
10.1 |
Тип данных DATE (включая поддержку строк DATE) |
|
3.0.0 |
1.12.0 |
10.2 |
Тип данных TIME (включая поддержку строк TIME) с точностью до секунд как минимум с 0 знаков после запятой |
|
||
10.3 |
Тип данных TIMESTAMP (включая поддержку строк TIMESTAMP) с точностью до секунд как минимум с 0 и 6 знаками после запятой |
|
||
10.4 |
Предикаты сравнения с типами данных DATE, TIME и TIMESTAMP |
|
||
10.5 |
Явное приведение (CAST) между типами даты/времени и типами символьных строк |
|
||
10.6 |
CURRENT_DATE |
|
||
10.7 |
LOCALTIME |
|
||
10.8 |
LOCALTIMESTAMP |
|
||
11 |
Расширенная поддержка даты и времени |
|||
11.1 |
Вычисление интервала (c указанием единиц времени: YEAR, MONTH, DAY, HOUR, MINUTE, SECOND) |
|
3.0.0 |
1.12.0 |
11.2 |
FOR SYSTEM_TIME AS OF TIMESTAMP (запрос данных, актуальных на указанную дату и время) Указание «TIMESTAMP» опционально |
|
||
11.3 |
FOR SYSTEM_TIME AS OF DELTA_NUM (запрос данных, актуальных на указанную дельту) |
|
3.18.0 |
1.12.0 |
11.4 |
FOR SYSTEM_TIME FINISHED IN (запрос данных, удаленных в диапазоне дельт) |
|
||
11.5 |
FOR SYSTEM_TIME FINISHED TS (запрос данных, удаленных в период времени) |
|
||
11.6 |
FOR SYSTEM_TIME STARTED IN (запрос данных, добавленных и/или измененных в диапазоне дельт) |
|
||
11.7 |
FOR SYSTEM_TIME STARTED TS (запрос данных, добавленных и/или измененных в период времени) |
|
||
11.8 |
FOR SYSTEM_TIME AS OF CN (запрос данных, актуальных на указанный номер операции записи) |
|
3.18.0 |
2.0.0 |
11.9 |
FOR SYSTEM_TIME STARTED CN (запрос данных, добавленных и/или измененных в диапазоне операций) |
|
||
11.10 |
FOR SYSTEM_TIME FINISHED CN (запрос данных, удаленных в диапазоне операций) |
|
||
11.11 |
FOR SYSTEM_TIME AS OF LATEST_UNCOMMITTED_DELTA (запрос актуальных данных, включая изменения открытой дельты) |
|
||
11.12 |
FOR SYSTEM_TIME RAW (запрос данных, содержащиеся в физических таблицах логической сущности) |
|
3.23.0 |
2.0.0 |
12 |
Функция CAST |
|
3.0.0 |
1.12.0 |
13 |
Выражение CASE |
|||
13.1 |
Простой оператор CASE |
|
3.0.0 |
1.12.0 |
13.2 |
Оператор CASE с условиями |
|
||
13.3 |
NULLIF |
|
||
13.4 |
COALESCE |
|
||
13.5 |
Длинные идентификаторы |
|
||
13.6 |
Спецсимволы Unicode в идентификаторах |
|
||
13.7 |
Спецсимволы Unicode в текстовых строках |
|
||
13.8 |
Национальные символы |
|
||
13.9 |
Скалярные значения подзапросов |
|
||
13.10 |
Расширенный предикат NULL |
|
||
14 |
Функции по управлению текстовым поиском |
|||
14.1 |
Функция TO_TSVECTOR подготовки текстовых значения, выбранных запросом |
|
3.16.0 |
1.16.0 |
14.2 |
Функция PLAINTO_TSQUERY подготовки неформатированного текста без сохранения порядка слов |
|
||
14.3 |
Функция TO_TSQUERY подготовки слов
разделенных операторами & (AND), |
|
||
14.4 |
Функция PHRASETO_TSQUERY подготовки неформатированного текста с сохранением порядка слов |
|
||
14.5 |
Функция WEBSEARCH_TO_TSQUERY подготовки неформатированного текста с сохранением порядка слов или без него. Поддерживает операторы OR и - (NOT) |
|
||
14.6 |
Оператор @@ сравнения текстового вектора с подготовленным или неподготовленным текстом |
|
||
3.2. Выполнение регламентированных SQL-запросов
3.2.1. Правила выполнения
Вызов Регламентированного SQL-запроса может быть выполнен с использованием:
REST-интерфейса в соответствии с Раздел 2.3.1.
JDBC-интерфейса в соответствии с Раздел 2.3.2.
Возможность указания надстроек при вызове регламентированного SQL-запроса ограничена. Поэтому рекомендуется сразу использовать методы упрощенного вызова:
через REST-интерфейс в соответствии c Раздел 2.3.1.1.1;
через JDBC-интерфейс:
CALL <мнемоника Витрины>.<версия Регламентированного SQL-запроса>.<мнемоника Регламентированного SQL-запроса>(<параметры>)
Методы чувствительны к регистру, необходимо использовать нижний регистр.
При необходимости использования методов с возможностью использования надстроек необходимо составить SQL выражение, указав мнемонику Регламентированного SQL-запроса вместо таблицы. Формат Регламентированного SQL-запроса имеет вид:
select * from <мнемоника Витрины>.<версия Регламентированного SQL-запроса>.<мнемоника Регламентированного SQL-запроса>(<параметры>) <надстройки (опционально)>
где:
<мнемоника Витрины> – для простых запросов (к одной Витрине) задается мнемоника соответствующей Витрины. Для распределенного запроса вместо мнемоники Витрины указывается префикс «podd»;
<версия Регламентированного SQL-запроса> – задается в формате «major.minor»;
<мнемоника Регламентированного SQL-запроса> – мнемоника вызываемого Регламентированного SQL-запроса;
<параметры> – указываются в скобках через запятую для Регламентированного SQL-запроса с параметрами, заданными в определении.
Если выполняемый запрос не требует указания параметров, то скобки должны быть указаны пустыми. Если параметры не указаны в исходном запросе, но их значения по умолчанию присутствуют в загруженном определении, то они будут подставлены автоматически.
<надстройки (опционально)> – дополнительные условия фильтрации и операций над получаемыми данными (например, order by, limit, where, перечисление полей вместо * и любые другие запросы отличные от select * from <мнемоника Витрины>. <версия Регламентированного SQL-запроса (опционально)>.<мнемоника Регламентированного SQL-запроса>(<параметры>))
Внимание
При наличии потребности использовать такие надстройки рекомендуется обратиться к поставщику данных для добавления их в SQL-выражение. Данный метод останется доступным только для выполнения произвольных SQL-запросов к собственным Витринам данных для тестирования.
Правила указания параметров:
Если параметры заданы в SQL-выражении Регламентированного SQL-запроса в виде «?», то при вызове они должны быть указаны в порядке, соответствующем определению Регламентированного SQL-запроса. Количество параметров при вызове должно соответствовать количеству параметров в определении Регламентированного SQL-запроса.
Для запроса, в SQL-выражении которого параметры заданы как именованные, доступны:
Вызов с использованием мнемоники именованного параметра.
Для этого необходимо задать значения всех именованных параметров, для которых не задано значение по умолчанию, в виде «<мнемоника параметра>=><значение параметра>» (Раздел 3.2.2). при вызове РЗ через /regulated-query также возможна передача параметров с мнемоникой:
params={"name": "param1","type": "STRING", "value": ""}Мнемоника именованного параметра при вызове запроса должна соответствовать мнемонике именованного параметра в определении Регламентированного SQL-запроса.
Использование именованных параметров позволяет при вызове задавать значения параметров в любом порядке и только один раз, независимо от количества мест, где этот параметр используется в определении Регламентированного SQL-запроса.
Вызов без использования мнемоники именованного параметра.
Для этого необходимо задать значения всех именованных параметров в порядке, соответствующем определению Регламентированного SQL-запроса.
Совместное использование именованных и неименованных параметров не допускается.
3.2.2. Примеры вызова и преобразования исходного запроса
Регламентированный SQL-запрос с параметрами без имени:
// Исходный запрос от Потребителя данных СМЭВ4:
select * from oktmo.1.0.oktmo_view(‘Московская область’,7)
// Определение Регламентированного SQL-запроса
select id, whenadd, name, regionname, settlementtypename FROM oktmo.1.0.oktmo where regionname = ? AND settlementtypeid = ?
// Пример преобразования исходного запроса в соответствии с загруженным определением Регламентированного SQL-запроса:
select id, whenadd, name, regionname, settlementtypename FROM oktmo.1.0.oktmo where regionname = ‘Московская область’ AND settlementtypeid = 7
Регламентированный SQL-запрос с именованными параметрами:
// Исходный запрос от Потребителя данных СМЭВ4 (вызов через мнемонику параметра)
select * from <мнемоника Витрины>.<версия Регламентированного SQL-запроса>.<мнемоника Регламентированного SQL-запроса>(param=>'000', lim=>20)
// Исходный запрос от Потребителя данных СМЭВ4
select * from <мнемоника Витрины>.<версия Регламентированного SQL-запроса>.<мнемоника Регламентированного SQL-запроса>('000',20)
// Определение Регламентированного SQL-запроса
SELECT name, code FROM datamart.1.0.regions WHERE code=:param and id in (select id from :param) limit :lim
// Пример преобразования исходного запроса в соответствии с загруженным определением Регламентированного SQL-запроса:
SELECT name, code FROM datamart.1.0.regions WHERE code='000' and id in (select id from '000') limit 20
Регламентированный SQL-запрос с параметром типа TIMESTAMP:
// Исходный запрос от Потребителя данных СМЭВ4
select * from fias.1.0.addrobj_view('001', '000', TIMESTAMP '1970-01-01 00:00:00')
// Исходный запрос от Потребителя данных СМЭВ4
CALL fias.1.0.addrobj_view('001', '000', TIMESTAMP '1970-01-01 00:00:00')
// Исходный запрос от Потребителя данных СМЭВ4 с отдельным блоком параметров
datamart: fias
mnemonic: addrobj_view
majorVersion: 1
minorVersion: 0
params:{ “type”: “STRING”, “value”:”001”},{ “type”: “STRING”, “value”:“002”},{ “type”: “TIMESTAMP”, “value”:“2007-12-03Т10:00:00.000Z”}
// Определение РЗ
SELECT oktmo, formalname, startdate, enddate FROM datamart.9.1.addrobj WHERE areacode=? and citycode=? and startdate<=?
Регламентированный SQL-запрос с параметром типа DATE:
// Исходный запрос от Потребителя данных СМЭВ4
select * from fias.1.0.addrobj_view('001', '000', '1970-01-01')
// Исходный запрос от Потребителя данных СМЭВ4
CALL fias.1.0.addrobj_view('001', '000', '1970-01-01')
// Исходный запрос от Потребителя данных СМЭВ4 с отдельным блоком параметров
datamart: fias
mnemonic: addrobj_view
majorVersion: 1
minorVersion: 0
params:{ “type”: “STRING”, “value”:”001”},{ “type”: “STRING”, “value”:“002”},{ “type”: “DATE”, “value”:“2007-12-03”}
// Определение РЗ
SELECT oktmo, formalname, startdate, enddate FROM datamart.9.1.addrobj WHERE areacode=? and citycode=? and startdate>=?
Регламентированный SQL-запрос без параметров:
// Исходный запрос от Потребителя данных СМЭВ4:
select * from egrul.1.1.legalentity_view()
// Пример преобразования исходного запроса в соответствии с загруженным определением Регламентированного SQL-запроса:
select ogrn, short_name, inn, kpp, region_code from egrul.2.legalentity
Распределенный Регламентированный SQL-запрос:
// Исходный запрос от Потребителя данных СМЭВ4:
select * from podd.1.1.r_query(‘Москва’, 18)
// Пример преобразования исходного запроса в соответствии с загруженным определением Регламентированного SQL-запроса:
select ao.oktmo, o.name, o.kod from fias.1.0.addrobj ao LEFT JOIN oktmo.1.0.oktmo o on ao.oktmo = o.kod2 WHERE ao.offname= ‘Москва’ AND o.regionid = 18
3.2.3. Выполнение запроса с системным параметром
Системные параметры не описываются в определении Регламентированного SQL-запроса и могут быть заданы Потребителем для Регламентированного SQL-запроса при выполнении запроса.
Таблица 3.3 содержит поддерживаемые в СМЭВ4 параметры.
№ |
Мнемоника |
Назначение |
Минимальная версия Агента СМЭВ4 на стороне Потребителя данных |
|---|---|---|---|
1 |
|
Системный параметр для получения актуальных на заданный момент данных. Позволяет указывать при вызове запроса момент времени, на который требуется получить актуальные данные из Витрины. |
3.0.0 |
2 |
|
Системный параметр для получения результата выполнения запроса с данными, добавленными за указанный диапазон времени. Позволяет указывать при вызове запроса диапазон номеров дельт, за который требуется получить измененные данные |
3.18.0 |
3 |
|
Системный параметр для получения результата выполнения запроса с данными, удаленными за указанный диапазон времени. Позволяет указывать при вызове запроса диапазон номеров дельт, за который требуется получить удаленные данные |
|
4 |
|
Системный параметр для получения данных на указанный номер операции |
|
5 |
|
Системный параметр для получения результата выполнения запроса с данными, добавленными за указанный диапазон номеров операций. |
|
6 |
|
Системный параметр для получения результата выполнения запроса с данными, удаленными за указанный диапазон номеров операций. |
|
7 |
|
Системный параметр для получения номера версии данных CN на заданный момент времени. Задаётся при вызове SQL-РЗ категории «Рассылка (для Компонента «Витрина данных» версии 2.x)» |
3.24.0 |
Вызов Регламентированного SQL-запроса с системным параметром осуществляется аналогично вызову Регламентированного SQL-запроса с заданием значения
для именованного параметра, в соответствии со следующими правилами (данные, подходящие под условия РЗ, которые были и добавлены, и удалены в
переданном диапазоне settings_for_system_time_started/ settings_for_system_time_finished, не попадают в результат запроса):
Параметр задается в запросе только один раз в виде именованного параметра с соответствующей мнемоникой.
Значение параметра
settings_for_system_timeдолжно соответствовать форматуYYYY-MM-DD hh:mm:ss.Значение параметров
settings_for_system_time_startedиsettings_for_system_time_finishedдолжно соответствовать формату:3.1. При передаче диапазона дельт - (
int1,int2). Значениеint1должно быть меньше, чемint2.3.2. При передаче диапазона timestamp – (
YYYY-MM-DD hh:mm:ss,YYYY-MM-DD hh:mm:ss)/. Значение1 в переданном диапазоне должно быть меньше значения2Задание параметра недоступно при вызове Регламентированного SQL-запроса без SQL-выражения.
Для Витрин, к которым обращается Регламентированный SQL-запрос с данным параметром, должна быть задана настройка поддержки обработки данного параметра в соответствии с Раздел 1.5.3.
В подзапросе в блоке FROM должна отсутствовать конструкция «FOR SYSTEM_TIME».
Пример вызова с параметром settings_for_system_time:
// вызываемый SQL-запрос (вариант 1)
select * from fias.1.0.addrobj_func(p1=>'000', p2=>'001', settings_for_system_time=>'YYYY-MM-DD hh:mm:ss')
// вызываемый SQL-запрос (вариант 2)
select * from fias.1.0.addrobj_func(settings_for_system_time=>?, p1=>?, p2=>?)
params: {"type": "TIMESTAMP", "value": "YYYY-MM-DD hh:mm:ss"},{"type": "STRING", "value": "001"},{"type": "STRING", "value": "002"}
// SQL-выражение Регламентированного SQL-запроса
SELECT <атрибуты> FROM <витрина>.<таблица> WHERE id=:p1 AND region=:p2
Пример вызова с параметрами settings_for_system_time_started и settings_for_system_time_finished:
// вызываемый SQL-запрос (вариант 1)
select * from fias.1.0.addrobj_func(p1=>'000', p2=>'001', settings_for_system_time_started=>'122,124')
select * from fias.1.0.addrobj_func(p1=>'000', p2=>'001', settings_for_system_time_finished=>'122,124')
// вызываемый SQL-запрос без настроек через JDBC-интерфейс
call fias.1.0.addrobj_func(p1=>'000', p2=>'001', settings_for_system_time_started=>'122,124')
// вызываемый SQL-запрос с параметрами, передаваемыми отдельным блоком
select * from fias.1.0.addrobj_func(settings_for_system_time_finished=>?, p1=>?, p2=>?)
params: {"type": "STRING", "value": "122,124"},{"type": "STRING", "value": "001"},{"type": "STRING", "value": "002"}
// SQL-выражение РЗ
SELECT <атрибуты> FROM <витрина>.<таблица> WHERE id=:p1 AND region=:p2
Пример вызова с параметром settings_get_cn:
curl --location 'http://10.81.7.90:29152/regulated-query' \
--header 'Accept-Version: 1' \
--header 'Content-Type: application/x-www-form-urlencoded; encoding=utf-8' \
--data-urlencode 'datamart=demo_view_repl' \
--data-urlencode 'mnemonic=sub_demo' \
--data-urlencode 'priority=NORMAL' \
--data-urlencode 'majorVersion=1' \
--data-urlencode 'minorVersion=0' \
--data-urlencode 'params={"name": "settings_get_cn","type": "LONG", "value": "1761032149726000"}'
// вызываемый SQL-запрос с параметром, передаваемым отдельным блоком
SELECT id, col1, col2, 0 as sys_op FROM fias.addr_obj FOR SYSTEM_TIME STARTED CN (:fias_addr_obj_cn1, :fias_addr_obj_cn2) as obj_add_alias
UNION ALL
SELECT id, null, null, 1 as sys_op FROM fias.addr_obj FOR SYSTEM_TIME FINISHED CN (:fias_addr_obj_cn1, :fias_addr_obj_cn2) as obj_del_alias
params: "name": "settings_get_cn","type": "LONG", "value": "1734072685055000"}
3.2.4. Выполнение запросов с использованием табличных параметров, передаваемых Потребителем данных для обогащения
Выполнение запроса, включающего табличный параметр, осуществляется аналогично выполнению любого запроса к Витрине Поставщика данных. Описание синтаксиса выполнения запроса приведено в Раздел 3.1.
Для выполнения запроса с табличным параметром необходимо:
Определить структуру таблицы, указанной в табличном параметре.
Указать запрос, содержащий табличный параметр.
Указать источник данных для табличного параметра.
Эти операции могут быть выполнены с использованием REST или JDBC-интерфейса.
Данная функциональность доступна при выполнении следующих условий:
на стороне Потребителя установлен Агент СМЭВ4 версии не ниже 3.0.0
на стороне Поставщика:
установлена Витрина версии 1.12.0-1.17.0 и Агент не ниже 3.0.0
установлена Витрина версии не ниже 2.0.0 и Агент не ниже 3.20.0
3.2.4.1. Запрос с использованием REST-интерфейса
При использовании REST-интерфейса данные собираются в CSV файл, который прикрепляется к запросу, содержащему информацию о структуре таблицы и SQL-выражение. Формат запроса приведен в Раздел 2.3.1.2.
В теле запроса передаются следующие параметры:
sql:SELECT el.inn, er.region_name FROM @inns el LEFT JOIN egrul.2.region_codes er ON SUBSTRING(el.inn,1,2) = er.region_code
priority:NORMAL
tableParams:{“name”: “inns”, “columns”:[{“name”: “id”, “type”: “INTEGER”},{“name”: “inn”, “type”: “STRING”}]}
inns:<l.csv>
где:
sql – текст для вызова Регламентированного SQL-запроса, содержащего табличные параметры;
tableParams – описание передаваемого файла с данными для табличного параметра, где:
name – табличный параметр;
columns – перечень названий столбцов и их типов, содержащихся в файле с данными для табличного параметра.
inns – файл с данными для табличного параметра, где:
inns – табличный параметр (выступает в качестве названия параметра запроса);
<1.csv> – файл в формате CSV (поддерживаемый формат), передаваемый в параметре запроса.
Пример CSV файла (разделитель – запятая):
1, 4345310593
2, 4311003795
3, 4345336320
3.2.4.2. Запрос с использованием JDBC-интерфейса
При использовании JDBC-интерфейса для описания передаваемой в качестве параметра таблицы и добавления данных расширяются функции драйвера JDBC. Для доступа к данным формируется итератор.
После передачи данных выполняется запрос, включающий табличный параметр в формате @имя_параметра.
Пример использования представлен в Раздел 2.3.2.1.
3.2.5. Получение двоичных объектов в результатах запроса
СМЭВ4 предоставляет возможность получения в качестве результата выполнения Регламентированных SQL-запросов:
скалярных параметров (значение которых представляет собой число, строку или дату);
двоичных объектов (соответствующих файлам, размещенным на Витринах Потребителей данных).
Для получения в качестве ответа двоичных объектов необходимо выполнение следующих условий:
Витрина Поставщика данных поддерживает тип данных «двоичный объект»;
в метаданных Витрины Поставщика данных, зарегистрированной в СМЭВ4, для соответствующих атрибутов должен быть установлен тип данных «двоичный объект» (описание типов данных СМЭВ4 приведено в Раздел 1.5.6).
Описание процесса выполнения такого SQL-запроса приведено далее.
ИС Потребителя передаёт SQL-запрос в Агент СМЭВ4.
Далее приём, обработка и передача запроса:
Агент Потребителя данных → Ядро СМЭВ4 → Агент Поставщика данных → Витрина Поставщика данных осуществляется аналогично обычному информационному обмену с использованием Регламентированных SQL-запросов (Раздел 1.4.1).
Витрина данных осуществляет обработку запроса и возвращает ответ.
В случае выполнения запроса, результат которого содержит атрибуты с типом данных «двоичный объект», в составе результата запроса атрибут может принимать одно из следующих возможных значений:
непосредственно сам двоичный объект;
уникальная ссылка на получение двоичного объекта с Витрины Поставщика данных (см. шаги Рисунок - 3.1).
Решение о том, какое значение будет передано, (объект или ссылка на него) принимается Витриной данных.
Далее ответ доставляется до ИС Потребителя аналогично обычному обмену (Раздел 1.4.1).
Пример возврата двоичного объекта и ссылки на двоичный объект приведен в Раздел 2.3.1.1.3.
Если в результате выполнения запроса передана ссылка, то для получения двоичного объекта ИС Потребителя направляет запрос на получение вложения по ссылке, которую получил в ответе.
Запрос двоичного объекта по ссылке считается отдельным обменом, идентификатор обмена (requestId) запроса по ссылке уникальный (в случае нескольких ссылок - уникальный для каждой из ссылок).
Описание запроса на получение двоичного объекта по ссылке:
через REST-интерфейс приведено в Раздел 2.3.1.3;
через JDBC-интерфейс приведено далее.
Примечание
Ссылки для получения двоичного объекта имеют время жизни, которое определяется таймаутом запроса на получение ссылок (см. пункт 1) плюс значением настройки времени жизни Ядра СМЭВ4 (10 минут).
Далее приём, обработка и передача запроса Агент Потребителя данных → Ядро СМЭВ4 → Агент Поставщика данных → Витрина Поставщика данных осуществляется аналогично обычному обмену (Раздел 1.4.1). Для передачи запроса двоичного объекта на Витрину Поставщика используется специальный топик
blob.rq.В случае если в теле запроса содержится ссылка на двоичный объект:
Адаптер PODD Витрины данных отправляет запрос в BLOB-адаптер на получение этого файла.
BLOB-адаптер считывает ссылку на двоичный объект и обращается в Хранилище BLOB-объектов на стороне Ведомства.
После получения двоичного объекта возвращает его в СМЭВ4.
Для передачи ответа на запрос двоичного объекта от Витрины Поставщика данных используются специальные топики
blob.rsиblob.err.СМЭВ4 передает ИС Потребителя данных двоичный объект (файл), организуя двоичный поток между Витриной Поставщика данных и ИС Потребителя данных.
В процессе передачи Агент Поставщика данных разбивает поток данных на сегменты (чанки) и подписывает каждый сегмент подписью Поставщика данных. Перед передачей данных Потребителю данных подпись проверяется Ядром СМЭВ4.
Пример программного кода для JDBC-драйвера, реализующего получение двоичного объекта:
package dev.nsud.jdbc
import org.junit.jupiter.api.Test
import java.sql.Connection
import java.sql.DriverManager
import org.junit.jupiter.api.Assertions
import java.sql.SQLException
class Features {
private getConnectionURI() {
val host = System.getProperty(“agent.host”, “localhost”)
val port = System.getProperty(“agent.port”, “8182”)
return “jdbc:podd://$host:$port”
}
@Test
fun `ожидается успешное соединение с базой данных`() {
Assertions.assertDoesNotThrow { DriverManager.getConnection(getConnectionURI()) }
}
@Test
fun `ожидается успешное получение бинарных данных `() {
Assertions.assertDoesNotThrow {
val expect = getExpectedBytes()
val con = DriverManager.getConnection(getConnectionURI())
val statement = con.createStatement()
statement.executeQuery(“select binaryColumn from datamart.table where id=1”)
val resultSet = statement.resultSet
Assertions.assertEquals(expect, resultSet.getBlob(0))
}
}
}
Рисунок - 3.1 Информационный обмен при выполнении запроса с использованием СМЭВ4
3.2.6. Получение печатной формы в результатах запроса
Запросы для получения печатной формы в результатах запроса не содержат SQL-выражения в определении Регламентированного SQL-запроса и являются процедурами, выполняемыми на стороне Витрины.
В запросе обязательно передается параметр с указанием типа или нескольких типов формируемых документов:
xml – формируется файл, содержащий отчет и присоединенную подпись;
pdf – формируется файл, содержащий отчет без подписи;
xml_detached_sig – формируется файл xml-отчета и файл с открепленной подписью;
pdf_sig - формируется файл pdf -отчета и файл с открепленной подписью.
Примечание
Перечень поддерживаемых типов документов зависит от настроек Сервиса Формирования документов типового ПО Витрина данных, выполненных Поставщиком.
Приём, обработка и передача запроса по пути Агент Потребителя данных → Ядро СМЭВ4 → Агент Поставщика данных осуществляется аналогично обычному информационному обмену с использованием Регламентированных SQL-запросов (Раздел 1.4.1).
Пример вызова запроса печатной формы:
select * from <мнемоника Витрины>.<версия SQL-РЗ>.<мнемоника SQL-РЗ>('pdf_sig, xml', '<значение опционального параметра>')
3.2.7. Выполнение запроса с текстовым поиском
Функция текстового поиска позволяет искать данные внутри текстовых полей таблиц по ключевым словам или фразам. Поиск выполняется на уровне Витрины данных.
Описание поддерживаемых функций и операторов приведено в Раздел 3.1. Подробное описание данного функционала приведено в Информационно-методическом справочнике ядра типового ПО витрин данных НСУД — Prostore.
Для Витрин c версией компонента query-execution (Prostore) ниже 7.1, к которым обращается Регламентированный SQL-запрос, должна быть задана настройка subQueryParamSupport=NOT_SUPPORTED в соответствии с Раздел 1.5.3.
Функция текстового поиска доступна для любых Регламентированных запросов типа «SQL-запрос».
Пример вызова с текстовым поиском:
// Исходный запрос от Потребителя данных СМЭВ4:
select * from demo_view_test.5.0.passenger(‘Иван’)
// Пример преобразования исходного запроса в соответствии с загруженным определением Регламентированного SQL-запроса:
select code, id, lastname, firstname, middlename, birthday from demo_view_test.5.0.passenger where (to_tsvector('russian', lastname) @@ plainto_tsquery('russian', 'Иван'))
3.3. Выполнение запросов к REST-сервису ИС Ответчика
Для выполнения запроса к REST-сервису ИС Ответчика необходимо:
Определить доступные REST-сервисы.
Добавить к запросу опциональные заголовки:
клиентский идентификатор, передаётся в опциональном заголовке ClientRequestID (тип string), см. Раздел 3.4 данного документа;
для передачи мнемоники Инициатора в REST-сервис ответчика в спецификации OpenAPI REST-сервиса Ответчика должен присутствовать обязательный заголовок X-PODD-CLIENT-SYSTEM-MNEMONIC;
пользовательский таймаут (предельное время ожидания выполнения запроса), передается в опциональном заголовке Request-Timeout. Значение указывается в секундах, максимальное значение 24 часа. В случае отсутствия параметра в запросе используется таймаут, заданный в конфигурации Агента СМЭВ4 (по умолчанию 20 секунд).
Составить URI запроса в соответствии со спецификацией OpenAPI зарегистрированного REST-сервиса ИС Ответчика, загруженной в СМЭВ4.
URI запроса формируется путём конкатенации мнемоники Агента Ответчика, префикса в URL (basePath) соответствующего REST-сервиса ИС Ответчика и path операции. Сформированный запрос должен совпадать с запросом из спецификации OpenAPI.
Формат запроса для обмена с использованием REST-сервиса ИС Ответчика имеет вид:
<HTTP-метод> <адрес>:<порт>/<systemMnemonic><basePath><path>
где:
HTTP-метод – метод из поддерживаемых REST-сервисом;
<адрес> – IP-адрес Агента Инициатора;
<порт> – порт для обращения Агента Инициатора к Ядру СМЭВ4 в соответствии с «Руководством администратора СМЭВ4»;
systemMnemonic – мнемоника Агента Ответчика, на стороне которого развернут REST-сервис;
basePath – префикс в URL соответствующего REST-сервиса ИС Ответчика;
path – путь операции, указанный в спецификации OpenAPI соответствующего REST-сервиса ИС Ответчика.
Пример URI запроса соответствует примеру спецификации OpenAPI, приведенному в Раздел 1.5.6 данного документа:
GET 10.81.4.30:29164/agent-oktmo/region-service/api/v1.0/letters/{mailId}/{date}/pdf
Выполнение запросов осуществляется через REST-интерфейс Агента СМЭВ4 (см. Раздел 2.3.3 данного документа).
3.4. Сквозная идентификация запросов
Для диагностики проблем, возникающих в ходе информационных обменов через СМЭВ4 в части отслеживания всей цепочки сообщений, возникающих в ходе информационного обмена, обеспечена сквозная идентификация запросов.
Данная функциональность доступна для Потребителей, на стороне которых установлен Агент СМЭВ4 версии не ниже 3.5.0.
Сквозная идентификация в СМЭВ4 основывается на идентификаторах, приведённых в Таблица 3.4.
На Рисунок - 3.2, Рисунок - 3.3 и Рисунок - 3.4 приведён порядок возникновения этих идентификаторов.
№ |
Вид |
Код |
Источник идентификатора |
|---|---|---|---|
1 |
Клиентский идентификатор (идентификатор клиента) |
clientRequestId |
Инициатор обмена |
2 |
Идентификатор обмена (идентификатор процесса) |
requestId |
СМЭВ4 при получении запроса на:
Витрина данных:
|
3 |
Идентификатор подзапроса СМЭВ4 – Витрина |
subRequestId |
СМЭВ4 |
4 |
Идентификатор подзапроса Адаптер – Prostore |
dataRequestId |
Адаптер Витрины |
Рисунок - 3.2 Сквозная идентификация запросов для информационного обмена с использованием регламентированных SQL-запросов
Рисунок - 3.3 Сквозная идентификация запросов для информационного обмена с использованием запросов к REST-сервису ИС Ответчика
Рисунок - 3.4 Сквозная идентификация запросов для информационного обмена с использованием Рассылок
Правила использования клиентского идентификатора
Клиентский идентификатор опционален.
Исключение из правила – УВ явно добавил обязательное поле ClientRequestID в спецификацию OpenAPI для информационного обмена с использованием Регламентированных REST-запросов. В данном случае валидация осуществляется в соответствии со спецификацией.
Клиентский идентификатор должен соответствовать стандарту UUID.
Ответственность за используемый формат несёт инициатор обмена. СМЭВ4 не осуществляет проверку по формату и версиям UUID.
Исключение из правила – УВ явно добавил поле ClientRequestID в спецификацию OpenAPI для информационного обмена с использованием Регламентированных REST-запросов. В данном случае, валидация осуществляется в соответствии со спецификацией.
Допустимо использовать один клиентский идентификатор для связывания нескольких запросов. СМЭВ4 не осуществляет проверку на уникальность.
Способ передачи клиентского идентификатора приведён в Раздел 2.3.
3.5. Лимитирование регламентированных запросов Потребителя к информационным ресурсам Поставщика
3.5.1. Лимиты
Для защиты Поставщиков от избыточных запросов Потребителей обеспечена возможность лимитирования запросов к Поставщику данных от конкретного Потребителя данных для информационных обменов с использованием регламентированных запросов.
Данная функциональность доступна для Поставщиков, на стороне которых установлен Агент СМЭВ4 версии не ниже 3.10.0.
Лимит может быть установлен на следующие информационные ресурсы Поставщика:
на конкретный Регламентированный SQL-запрос;
на все Регламентированные SQL-запросы к конкретной Витрине;
на конкретный Регламентированный REST-запрос (спецификацию OpenAPI ИС Поставщика);
общий на все Регламентированные SQL и REST-запросы от ИС Потребителя к ИС Поставщика.
Лимит может быть следующих типов:
на Количество запросов;
на Размер запросов;
на Размер ответов.
При создании лимита указывается его значение (количество или размер) и период (у которого два назначения – период контроля соблюдения значения и период блокировки).
3.5.2. Условия для добавления лимитов
В СМЭВ4 должны быть зарегистрированы ИС Поставщика и ИС Потребителя;
Если лимит задаётся на Витрину в СМЭВ4 должны быть выполнены условия:
зарегистрирована Витрина;
Витрина связана с ИС Поставщика;
Если лимит задаётся на конкретный Регламентированный SQL-запрос, в СМЭВ4 должны быть:
зарегистрирована Витрина;
Витрина связана с ИС Поставщика;
выданы права ИС Потребителя на Регламентированный SQL-запрос.
Если лимит задаётся на конкретную спецификацию OpenAPI в СМЭВ4 должны быть:
зарегистрирована спецификация OpenAPI;
выданы права ИС Инициатора на спецификацию OpenAPI.
При выставлении лимитов недопустимо совмещение:
общего на все Регламентированные SQL и REST-запросы ИС Потребителя к ИС Поставщика лимита и лимита на другие ресурсы;
лимита на Витрину и лимита на Регламентированный SQL-запрос к этой Витрине.
Лимит на конкретный Регламентированный SQL-запрос ограничивает запросы Потребителя по всем версиям этого запроса.
Лимит на все Регламентированные SQL-запросы к конкретной Витрине ограничивает запросы Потребителя по всем версиям модели этой Витрины.
При установке лимита на Витрину и ИС также могут учитываться произвольные SQL-запросы. Реализация исключения таких запросов из процесса лимитирования не предусмотрена, так как права доступа на выполнение произвольных SQL-запросов предоставляются автоматически и только владельцам Витрин на их собственные Витрины.
3.5.3. Блокировки
В случае превышения лимитов, заданных Поставщиком, СМЭВ4 блокирует Потребителю доступ к соответствующему информационному ресурсу. Например, если для ИС Потребителя указано два лимита к двум Регламентированным SQL-запросам и заблокирован доступ к одному из них, она может продолжить пользоваться другим доступным запросом. При получении запроса от заблокированного Потребителя СМЭВ4 возвращает ответ с соответствующей ошибкой. Блокировка снимается:
при истечении времени блокировки;
при удалении соответствующего лимита;
при редактировании соответствующего лимита (любых атрибутов, кроме наименования);
при получении запроса на принудительное снятие блокировки.
3.5.4. Управление лимитами и блокировками
Управление лимитами и блокировками доступно из ЛК УВ.
3.5.5. Алгоритм лимитирования
Лимитирование осуществляется в соответствии со следующим алгоритмом (Рисунок - 3.5):
СМЭВ4 формирует окна наблюдения от 1 января 1970 года 00:00:00.000 в соответствии с указанным значением периода лимита.
СМЭВ4 хранит в памяти значение счётчика предыдущего и текущего окна наблюдения. После разблокировки значения счётчиков обнуляются.
СМЭВ4 вычисляет счётчик, инкрементируя значение при каждом полученном запросе.
СМЭВ4 принимает решение о блокировке на основании имеющихся счётчиков:
Если значения предыдущего окна наблюдения нет, то берётся значение инкрементированного счётчика текущего окна.
Если полученное значение меньше значения лимита, то запрос будет обработан.
Если значение предыдущего окна наблюдения есть, то СМЭВ4 вычисляет коэффициенты наложения окна наблюдения на интервалы по формуле:
K = N + M * R
где:
- N - количество запросов в текущем интервале (с учетом полученного),
- M - количество запросов на предыдущем интервале,
- R - коэффициент наложения на предыдущий интервал (0...1).
Если полученное значение меньше значения лимита, то запрос будет обработан.
Пример:
Установлен лимит: 4 запроса в минуту
С 0 до 0:59 - пришло 5 запросов,
В 1:30 - пришёл ещё один запрос
результат вычисления:
- N = 1,
- M = 5,
- R = (90 - 60) / 60 = 0.5
K = 1 + 5 * 0.5 = 3.5 меньше предельного, запрос будет обработан.
Рисунок - 3.5 Алгоритм лимитирования запросов