8. Инструкция по эксплуатации CSV-Uploader

8.1. Общие правила формата загружаемых CSV-файлов

Общие правила формата загружаемых CSV-файлов приведены в tab_csv_rules.

Таблица 8.1 Общие правила формата загружаемых CSV-файлов
Параметр	Значение
Разделитель строк	Любой вариант из: CR/LF (0x0D0A), CR (0x0D), LF (0x0A)
Разделитель полей	по настройке csv-parser/separator (Параметры конфигурации)
Строка заголовка	да (обязательно)
Порядок полей в строке	определяется строкой заголовка
Ограничитель текстового поля	по настройке csv-parser/quote-char (Параметры конфигурации)
Символ маскировки в текстовом поле	по настройке csv-parser/escape-char (Параметры конфигурации)
Обнаружение значения null	До релиза 1.5.0 (включительно): по настройке csv-parser/field-as-null (Параметры конфигурации) начиная с релиза 1.10.0: в текущей реализации парсера данная настройка не поддерживается
Кодирование символов	UTF-8
Десятичный разделитель	символ `.` (0x2E), может не указываться для целых значений
Формат даты	любой из: `dd.MM.yyyy`, `yyyy-MM-dd`
Формат времени	любой из: `HH:mm:ss`, `H:mm:ss`
Формат даты-времени	до релиза 1.5.0(включительно) любой из: `yyyy-MM-dd HH:mm:ss`, `dd.MM.yyyy HH:mm:ss` начиная с релиза 1.10.0 любой из: `yyyy-MM-dd HH:mm:ss.000000`, `dd.MM.yyyy HH:mm:ss.000000`

8.2. Загрузка структуры Витрины

Внимание

XML-файл со структурой Витрины может быть загружен только один раз после установки Компонент «Витрина данных Лайт».

Для передачи xml-файла со структурой Витрины, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Загрузка структуры.
В открывшемся окне Загрузка структуры Витрины нажмите кнопку Выберите файл, выберите XML-файла для загрузки и нажмите кнопку Загрузить. (см. img_csv-uploader)

Рисунок - 8.43 Загрузка структуры Витрины

В случае успешного применения настроек отобразится информационное сообщение: Список таблиц загружен.

8.3. Выгрузка шаблона CSV

Для выгрузки существующего CSV-файла со структурой Витрины, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Выгрузка шаблона CSV.
Выберите таблицу для выгрузки, например, demo_view_podd.all_types_table, для выгрузки примера CSV-таблиц
для СМЭВ4 (см. img_csv_uploader_table).

Нажмите кнопку Выгрузить. Файл будет загружен на локальный компьютер. Если требуется выгрузить все таблицы, нажмите кнопку Выгрузить все.

В случае успешной выгрузки на экране монитора отобразится информационное сообщение: Список таблиц выгружен.

8.4. Загрузка CSV-файла

Для загрузки CSV-файла, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Загрузчик CSV.
В открывшемся окне Загрузка файла выберите Режим загрузки:

Вставка - параметр определяет, что данные будут добавлены.
Удаление - параметр определяет, что данные будут удалены.

В случае, если в настройках модуля CSV-uploader включен ФЛК и прописан адрес модуля REST-Uploader, на странице отображается переключатель с текстом «Выполнять проверку форматно-логического контроля».

Для автоматического определения типа таблиц включите переключатель Автоматическое определение таблицы, если автоматическое определение таблиц не требуется, выключите переключатель и выберите таблицу, в которую требуется внести изменения, например, demo_view_podd.all_types_table (см. img_csv_uploader_load).

Нажмите кнопку Выберите файл чтобы выбрать файл для загрузки.
Нажмите кнопку Загрузить.
Убедитесь, что файл с таблицами был загружен.

При включенной настройке определения таблиц после выбора и загрузки файла:

модулем CSV-Uploader определяется таблица загрузки:
- в случае, если активен переключатель «Автоматическое определение таблицы» по метаданным csv файла;
- в случае если выбрана конкретная таблица, в соответствии с выбором пользователя;
модуль CSV-Uploader обогащает url запроса на загрузку именем датамарта и таблицы;
модуль CSV-Uploader выполняет запрос /v2/datamarts/{datamart_name}/tables/{table_name}/upload к модулю REST-Uploader;
модуль CSV-Uploader отображает текст ответа на странице загрузки в формате:
- время ответа;
- код ответа;
- body ответа:
в случае успешного ответа, модуль CSV-Uploader сохраняет requestId файла в топик flk_logs в внутренней Kafka.

8.5. Загрузка CSV-файла с предварительным форматно-логическим контролем

В случае, если в настройках модуля CSV-Uploader включена настройка VALIDATION_ENABLE: true и прописан адрес модуля REST-Uploader (REST_UPLOADER_URL) при активном режиме «Вставка» на странице отображается переключатель с текстом «Выполнять проверку форматно-логического контроля» , по умолчанию значение вкл (true) см. img_csv_uploader_csv_1.

Рисунок - 8.46 Переключатель выполнения ФЛК

При включенном переключателе «Выполнять проверку форматно-логического контроля» после выбора файла и нажатия кнопки Загрузить:

модулем CSV-Uploader определяется таблица загрузки:
- в случае, если включен переключатель «автоопределение таблицы» по метаданным CSV файла;
- в случае если выбрана конкретная таблица, в соответствии с выбором пользователя;
- модуль CSV-Uploader обогащает URL запроса на загрузку именем датамарта и таблицы;
- модуль CSV-Uploader выполняет запрос /v2/datamarts/{datamart_name}/tables/{table_name}/upload к модулю REST-Uploader;
- модуль CSV-Uploader отображает текст синхронного ответа на странице загрузки в формате:
  - время ответа;
  - код ответа;
  - body ответа.

При выключенном переключателе «Выполнять проверку форматно-логического контроля» загрузка выполняется стандартным способом через модуль CSV-Uploader.

8.6. Обязательная загрузка данных с предварительным форматно-логическим контролем

При включении настройки VALIDATION_MANDATOR: true, переключатель «Выполнять проверку форматно-логического контроля» неактивен и находится во включенном положении.

В данном режиме загрузка данных в ручном режиме с использованием CSV-Uploader невозможна, для всех загружаемых данных будут проводиться проверки форматно-логического контроля в модуле REST-Uploader см. img_csv_uploader_csv_2.

Рисунок - 8.47 Обязательная загрузка данных с предварительным форматно-логическим контролем

8.7. Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader

Для использования jwt-токена при загрузке данных с предварительным ФЛК в случае, если в REST-Uploader включена аутентификация, необходимо включить следующие настройки в модуле CSV-Uploader:

VALIDATION_ENABLE:true;
JWT_AUTH:true.

В случае, если обе настройки имеют значение true, при открытии загрузчика CSV-uploader отображается модальное окно ввода токена пользователя, а на странице загрузки данных в витрину отображается поле «Изменить JWT» (см. img_csv_uploader_csv_3).

Значение внесенного JWT-токена используется как барьерный токен при обращении к REST-Uploader.

Внесенное значение токена сохраняется в сессии пользователя и автоматически подставляется при включении переключателя выполнения ФЛК проверок. Для того, чтобы изменить JWT-токен для аутентификации, необходимо нажать кнопку Изменить JWT (см. img_csv_uploader_csv_4).

Рисунок - 8.49 Отображение кнопки **Изменить JWT**

8.8. Настройки CSV-uploader

Для CSV-uploader можно настроить следующие параметры:

автоматический запуск загрузки CSV-файлов по расписанию;
количество отображаемых записей для Журнала операций.

8.9. Автоматический запуск загрузки CSV-файлов по расписанию

Для настройки автоматического запуска загрузки CSV-файлов по расписанию, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Настройки.
В открывшемся окне Настройки в поле Запуск по расписанию, укажите время в Cron формате (например, 0 15 10? * * - загрузка файлов будет происходить каждый день в 10.15) и путь к каталогу с CSV-файлами (см. img_csv_uploader_start_load) .

Рисунок - 8.50 Автоматический запуск загрузки CSV-файлов по расписанию

Установите маркер в поле Включить, для активации автоматического запуска загрузки.
Нажмите кнопку Применить настройки.

В случае успешного применения настроек отобразится информационное сообщение: Конфигурация успешно получена.

8.10. Настройка Журнала операций

Для настройки Журнала операций, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Настройки.
В открывшемся окне Настройки в поле Размер страницы, укажите количество записей на страницу, например, 20 (см. img_csv_uploader_operation_log).

Рисунок - 8.51 Настройка *Журнала операций*

Нажмите кнопку Применить настройки.

В случае успешного применения настроек отобразится информационное сообщение: Конфигурация успешно получена.

8.11. Просмотр Журнала операций

В Журнале операций можно просмотреть действия выполненные в CSV-uploader:

Время - время, когда операция была выполнена.
Уровень - статус операции.
- ERROR - ошибка загрузки;
- INFO - описание операции.
Сообщение - краткое информационное сообщение об операции.

Для просмотра Журнала операций, выполните следующие действия:

Откройте программный интерфейс CSV-uploader.
Выберите вкладку Журнал операций.
В открывшемся окне просмотрите операции, которые были выполнены в CSV-uploader (см. img_csv_uploader_log).

Рисунок - 8.52 Просмотр *Журнала операций*

Нажмите кнопку Применить настройки.

8.12. Интерфейс Форматно-логического контроля

На вкладке Форматно-логический контроль (см. flk) отображается:

список последних отправленных файлов, определяемых настройками модуля CSV-Uploader - значение по умолчанию 20:
- список requestId;
- время записи в кафку;
- статус загрузки файла;
управляющий элемент для запроса отчета об ошибках для файла (кнопка отображается активной только в случае финальных статусов):
- статус 3;
- статус 4;
- статус 7;
элементы пагинации списка requestId.

При нажатии на кнопку запроса отчета об ошибках для файла, модуль CSV-Uploader:

вызывает метод /v2/requests/{request_id}/report/;
получает CSV файл с именем report_requestId.csv;
в зависимости от ответа:
- если response 200 ok: скачивает файл на ПК пользователя автоматически или при нажатии на название отчета с выводом сообщения о загрузке файла;
- если response 400 - выводит сообщение Нет данных.