8. Инструкция по эксплуатации CSV-Uploader

8.1. Общие правила формата загружаемых CSV-файлов

Общие правила формата загружаемых CSV-файлов приведены в Таблица 8.1.

Таблица 8.2 Общие правила формата загружаемых CSV-файлов
Параметр	Значение
Разделитель строк	Любой вариант из: CR/LF (0x0d0A), CR (0x0d), LF (0x0d)
Разделитель полей	По настройке csv-parser/separator (Параметры конфигурации)
Строка заголовка	Да (обязательно)
Порядок полей в строке	Определяется строкой заголовка
Ограничитель текстового поля	По настройке csv-parser/quote-char (Параметры конфигурации)
Символ маскировки в текстовом поле	По настройке csv-parser/escape-char (Параметры конфигурации)
Обнаружение значения null	До релиза 1.5.0 (включительно): по настройке csv-parser/field-as-null (Параметры конфигурации) Начиная с релиза 1.10.0: в текущей реализации парсера данная настройка не поддерживается
Кодирование символов	UTF-8
Десятичный разделитель	символ `.` (0x2e), может не указываться для целых значений
Формат даты	Любой из: `dd.MM.yyyy`, `yyyy-MM-dd`
Формат времени	Любой из: `HH:mm:ss`, `H:mm:ss`
Формат даты-времени	До релиза 1.5.0(включительно) любой из: `yyyy-MM-dd HH:mm:ss`, `dd.MM.yyyy HH:mm:ss` Начиная с релиза 1.10.0 любой из: `yyyy-MM-dd HH:mm:ss.000000`, `dd.MM.yyyy HH:mm:ss.000000`

8.2. Загрузка структуры Витрины

Примечание

XML-файл со структурой Витрины может быть загружен только один раз после установки Компонента «Витрина данных Лайт» и при наличии прямого подключения к Prostore (настройка prostore-rest-client.enabled: true).

Для передачи XML-файла со структурой Витрины выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Загрузка структуры.
В открывшемся окне Загрузка структуры Витрины нажмите кнопку Выберите файл, выберите XML-файла для загрузки и нажмите кнопку Загрузить (см. Рисунок - 8.43).

Рисунок - 8.58 Загрузка структуры Витрины

В случае успешного применения настроек отобразится информационное сообщение: Список таблиц загружен.

8.3. Выгрузка шаблона CSV

Примечание

Выгрузка шаблонов CSV-файлов возможна только при наличии прямого подключения к Prostore (настройка prostore-rest-client.enabled: true)

Для выгрузки шаблона CSV-файла со структурой Витрины выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Выгрузка шаблона CSV.
Выберите таблицу для выгрузки, например, demo_view_test.ticket, для выгрузки примера CSV-таблиц для СМЭВ4 (см. Рисунок - 8.44).
Нажмите кнопку Выгрузить. Файл будет загружен на локальный компьютер. Если требуется выгрузить все таблицы, нажмите кнопку Выгрузить все.

В случае успешной выгрузки на экране монитора отобразится информационное сообщение: «Список таблиц выгружен».

8.4. Загрузка CSV-файла

Для загрузки CSV-файла выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Загрузить.
В открывшемся окне Загрузка файла выберите:

а) Режим:

Вставка - параметр определяет, что данные будут добавлены.

Удаление - параметр определяет, что данные будут удалены.

б) Выполнять проверку форматно-логического контроля: переключатель отображается, если в настройках модуля CSV-uploader, включен ФЛК

(validation.enabled = true) и указан адрес модуля REST-Uploader (validation.rest-uploader-url), а также выбран режим «Вставка»:

Включено - перед загрузкой файлов на Витрину данных выполняется ФЛК при помощи модуля REST-Uploader;
Выключено - данные загружаются на Витрину данных без ФЛК.

Примечание

При включении настройки upload.mandatoryFlk: true переключатель «Выполнять проверку форматно-логического контроля» неактивен и всегда находится во включенном положении.

в) Таблицу, в ручном или автоматическом режиме

Для автоматического определения типа таблиц включите переключатель Автоматическое определение таблицы;

если автоматическое определение таблиц не требуется, выключите переключатель. В этом случае Витрину и таблицу можно выбрать в выпадающих списках или, при включенной опции metadata.free-input ввести в соответствующих полях.

Примечание

Автоматический режим определения таблицы доступен только при наличии прямого подключения к Prostore (настройка prostore-rest-client.enabled: true). При отсутствии прямого подключения к Prostore (настройка prostore-rest-client.enabled: false) Витрины и таблицы для выбора загружаются из файла конфигурации (раздел metadata).

Нажмите кнопку Выберите файл чтобы выбрать файл для загрузки.
Нажмите кнопку Загрузить.
Убедитесь, что файл с таблицами был загружен.

В случае успешной загрузки отобразится информационное сообщение: «Операция успешно выполнена: [идентификатор запроса]».

8.5. Обязательная загрузка данных с предварительным форматно-логическим контролем

При включении настройки VALIDATION_MANDATOR: true, переключатель Выполнять проверку форматно-логического контроля неактивен и находится во включенном положении.

В данном режиме загрузка данных в ручном режиме с использованием CSV-Uploader невозможна, для всех загружаемых данных будут проводиться проверки форматно-логического контроля в модуле REST-Uploader см. Рисунок - 8.48.

Рисунок - 8.63 Обязательная загрузка данных с предварительным форматно-логическим контролем

8.6. Загрузка данных без подключения к Prostore

При отсутствии прямого подключения к Prostore выбор витрин и таблиц выполняется в интерфейсе загрузчика в виде выпадающих списков (см. Рисунок - 8.49).

При этом, для выбора таблиц сначала нужно выбрать Datamart (в случае, если ручной ввод названия таблицы отключен).

Рисунок - 8.64 Выбор датамарта/таблицы из предопределенного списка

Рисунок - 8.65 Отображение выбора датамарта/таблицы из предопределенного списка

При включении ручного ввода названия таблицы под полем выбора таблиц отображается текстовое поле ввода (см. Рисунок - 8.51).

Рисунок - 8.66 Отображение текстового поля ввода

8.7. Аутентификация

8.7.1. Использование jwt-токена при включенной аутентификации в модуле REST-Uploader

При использовании ФЛК перед загрузкой данных на Витрину данных может потребоваться дополнительная аутентификации в модуле REST-Uploader. В этом случае необходимо использование jwt-токена. Для этого необходимо выставить следующую настройку в модуле CSV-Uploader:

auth.mode: JWT.

При такой конфигурации, при открытии загрузчика CSV-Uploader отображается модальное окно ввода токена пользователя, а на странице загрузки данных на Витрину данных отображается поле Изменить JWT. (см. Рисунок - 8.52).

Значение внесенного JWT-токена используется как барьерный токен при обращении к REST-Uploader.

Внесенное значение токена сохраняется в сессии пользователя и автоматически подставляется при включении переключателя выполнения ФЛК проверок. Для того чтобы изменить JWT-токен для аутентификации, необходимо нажать кнопку Изменить JWT (см. Рисунок - 8.53).

Рисунок - 8.68 Отображение кнопки **Изменить JWT**

8.7.2. Аутентификация через Datamart studio

При загрузке данных CSV-Uploader в удаленную Витрину необходимо пройти аутентификацию через ПО Datamart studio.

Для включения аутентификации через Datamart studio необходимо выставить следующую настройку в модуле CSV-Uploader:

auth.mode: STUDIO;
auth.studio.ui-prompt:
- true - запрос логина и пароля на странице «Загрузка», (отдельно для каждого datamart);
- false - используются логины и пароли, из конфигурационного файла (блок auth.studio.datamarts).

8.8. Настройки CSV-uploader

Для CSV-uploader можно настроить следующие параметры:

автоматический запуск загрузки CSV-файлов по расписанию;
настройка журнала загрузок по расписанию.

8.8.1. Автоматический запуск загрузки CSV-файлов по расписанию

Для настройки автоматического запуска загрузки CSV-файлов по расписанию, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Настройки.
В открывшемся окне Настройки в поле Запуск по расписанию, укажите время в Cron формате (например, 0 15 10? * * - загрузка файлов будет происходить каждый день в 10.15) и путь к каталогу с CSV-файлами (см. Рисунок - 8.54) .
Установите маркер в поле Включить, для активации автоматического запуска загрузки.
Нажмите кнопку Применить настройки.

Рисунок - 8.69 Автоматический запуск загрузки CSV-файлов по расписанию

В случае успешного применения настроек отобразится информационное сообщение: «Конфигурация успешно получена».

8.8.2. Настройка журнала загрузок по расписанию

Для настройки журнала загрузок по расписанию выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Настройки.
В открывшемся окне Настройки в поле Размер страницы, укажите количество записей на страницу, например, 20 (см. Рисунок - 8.55).
Нажмите кнопку Применить настройки.

Рисунок - 8.70 Настройка журнала загрузок по расписанию

В случае успешного применения настроек отобразится информационное сообщение: Конфигурация успешно получена.

8.9. Просмотр журнала загрузок по расписанию

В журнале загрузок по расписанию можно просмотреть действия выполненные в CSV-uploader:

Время - время, когда операция была выполнена.
Уровень - статус операции.
- ERROR - ошибка загрузки;
- INFO - описание операции
Сообщение - краткое информационное сообщение об операции.

Для просмотра журнала загрузок по расписанию, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Журнал загрузок по расписанию.
В открывшемся окне просмотрите операции, которые были выполнены в CSV-uploader (см. Рисунок - 8.56).
Нажмите кнопку Применить настройки.

Рисунок - 8.71 Просмотр журнала загрузок по расписанию

8.10. Интерфейс Форматно-логического контроля

На вкладке Журнал загрузок отображается:

список последних отправленных файлов, определяемых настройками модуля CSV-Uploader - значение по умолчанию 20:
- время записи;
- пользователь;
- идентификаторы файлов;
- статус загрузки файла;
кнопка запроса отчета об ошибках для файла (кнопка отображается активной только в случае финальных статусов):
- статус 3, Успешно обработан;;
- статус 4, Ошибка обработки запроса;
- статус 7, Ошибки ФЛК;
элементы пагинации списка requestId.

Рисунок - 8.72 Просмотр журнала загрузок

При нажатии на кнопку запроса отчета об ошибках для файла, модуль CSV-Uploader скачивает файл на ПК пользователя автоматически или при нажатии на название отчета с выводом сообщения о загрузке файла.