.. _csv_uploader_userguide: Инструкция по эксплуатации CSV-uploader ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Загрузка структуры Витрины ############################## .. attention:: XML-файл со структурой Витрины может быть загружен только один раз после установки |Product Lite|. Для передачи xml-файла со структурой Витрины, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Загрузка структуры**. 3. В открывшемся окне *Загрузка структуры Витрины* нажмите кнопку **Выберите файл**, выберите XML-файла для загрузки и нажмите кнопку **Загрузить**. (см. :numref:`img_csv-uploader`) .. _img_csv-uploader: .. figure:: /_static/img/modules/csv_uploader/1.jpg :align: center :alt: Загрузка структуры Витрины Загрузка структуры Витрины В случае успешного применения настроек отобразится информационное сообщение: *Список таблиц загружен*. Выгрузка шаблона CSV ######################### Для выгрузки существующего CSV-файла со структурой Витрины, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Выгрузка шаблона CSV**. 3. Выберите таблицу для выгрузки, например, **demo_view_podd.all_types_table**, для выгрузки примера CSV-таблиц 4. для **ПОДД** (см. :numref:`img_csv_uploader_table`). .. _img_csv_uploader_table: .. figure:: /_static/img/modules/csv_uploader/2.png :align: center :alt: Выгрузка шаблона CSV Выгрузка шаблона CSV 4. Нажмите кнопку **Выгрузить**. Файл будет загружен на локальный компьютер. Если требуется выгрузить все таблицы, нажмите кнопку **Выгрузить все**. В случае успешной выгрузки на экране монитора отобразится информационное сообщение: Список таблиц выгружен. Загрузка CSV-файла ##################### Для загрузки CSV-файла, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Загрузчик CSV**. 3. В открывшемся окне *Загрузка файла* выберите **Режим** загрузки: - **Вставка** - параметр определяет, что данные будут добавлены. - **Удаление** - параметр определяет, что данные будут удалены. В случае, если в настройках модуля **CSV-uploader** включен ФЛК и прописан адрес модуля **REST-Uploader**, на странице отображается переключатель с текстом "Выполнять проверку форматно-логического контроля". 1. Для автоматического определения типа таблиц включите переключатель **Автоматическое определение таблицы**, если автоматическое определение таблиц не требуется, выключите переключатель и выберите таблицу, в которую требуется внести изменения, например, **demo_view_podd.all_types_table** (см. :numref:`img_csv_uploader_load`). .. _img_csv_uploader_load: .. figure:: /_static/img/modules/csv_uploader/1.png :align: center :alt: Загрузка CSV-файла Загрузка CSV-файла 2. Нажмите кнопку **Выберите файл** чтобы выбрать файл для загрузки. 3. Нажмите кнопку **Загрузить**. 4. Убедитесь, что файл с таблицами был загружен. При включенной настройке определения таблиц после выбора и загрузки файла: - модулем CSV-Uploader определяется таблица загрузки: - в случае, если активен переключатель "Автоматическое определение таблицы" по метаданным csv файла; - в случае если выбрана конкретная таблица, в соответствии с выбором пользователя; - модуль CSV-Uploader обогащает url запроса на загрузку именем датамарта и таблицы; - модуль CSV-Uploader выполняет запрос /v2/datamarts/{datamart_name}/tables/{table_name}/upload к модулю REST-Uploader; - модуль CSV-Uploader отображает текст ответа на странице загрузки в формате: - время ответа; - код ответа; - body ответа: - в случае успешного ответа, модуль CSV-Uploader сохраняет requestId файла в топик flk_logs в внутренней Kafka. Загрузка CSV-файла с предварительным форматно-логическим контролем ###################################################################### В случае, если в настройках модуля CSV-Uploader включена настройка ``VALIDATION_ENABLE: true`` и прописан адрес модуля REST-Uploader (``REST_UPLOADER_URL``) при активном режиме «Вставка» на странице отображается переключатель с текстом "Выполнять проверку форматно-логического контроля" , по умолчанию значение ``вкл`` (``true``) см. :numref:`img_csv_uploader_csv_1`. .. _img_csv_uploader_csv_1: .. figure:: /_static/img/modules/csv_uploader/csv_1.png :align: center :alt: Переключатель выполнения ФЛК Переключатель выполнения ФЛК 1. При включенном переключателе «Выполнять проверку форматно-логического контроля» после выбора файла и нажатия кнопки **Загрузить**: - модулем CSV-Uploader определяется таблица загрузки: - в случае, если включен переключатель "автоопределение таблицы" по метаданным CSV файла; - в случае если выбрана конкретная таблица, в соответствии с выбором пользователя; - модуль CSV-Uploader обогащает URL запроса на загрузку именем датамарта и таблицы; - модуль CSV-Uploader выполняет запрос ``/v2/datamarts/{datamart_name}/tables/{table_name}/upload`` к модулю REST-Uploader; - модуль CSV-Uploader отображает текст синхронного ответа на странице загрузки в формате: - время ответа; - код ответа; - body ответа. 2. При выключенном переключателе «Выполнять проверку форматно-логического контроля» загрузка выполняется стандартным способом через модуль CSV-Uploader. Обязательная загрузка данных с предварительным форматно-логическим контролем ############################################################################### При включении настройки ``VALIDATION_MANDATOR: true``, переключатель «Выполнять проверку форматно-логического контроля» неактивен и находится во включенном положении. В данном режиме загрузка данных в ручном режиме с использованием CSV-Uploader невозможна, для всех загружаемых данных будут проводиться проверки форматно-логического контроля в модуле REST-Uploader см. :numref:`img_csv_uploader_csv_2`. .. _img_csv_uploader_csv_2: .. figure:: /_static/img/modules/csv_uploader/csv_2.png :align: center :alt: Обязательная загрузка данных с предварительным форматно-логическим контролем Обязательная загрузка данных с предварительным форматно-логическим контролем Аутентификация с использованием jwt-токена при включенной аутентификации в модуле REST-Uploader ################################################################################################ Для использования jwt-токена при загрузке данных с предварительным ФЛК в случае, если в REST-Uploader включена аутентификация, необходимо включить следующие настройки в модуле CSV-Uploader: - ``VALIDATION_ENABLE:true``; - ``JWT_AUTH:true``. В случае, если обе настройки имеют значение true, при открытии загрузчика CSV-uploader отображается модальное окно ввода токена пользователя, а на странице загрузки данных в витрину отображается поле "Изменить JWT" (см. :numref:`img_csv_uploader_csv_3`). .. _img_csv_uploader_csv_3: .. figure:: /_static/img/modules/csv_uploader/csv_3.png :align: center :alt: Модальное окно ввода токена Модальное окно ввода токена Значение внесенного JWT-токена используется как барьерный токен при обращении к REST-Uploader. Внесенное значение токена сохраняется в сессии пользователя и автоматически подставляется при включении переключателя выполнения ФЛК проверок. Для того, чтобы изменить JWT-токен для аутентификации, необходимо нажать кнопку **Изменить JWT** (см. :numref:`img_csv_uploader_csv_4`). .. _img_csv_uploader_csv_4: .. figure:: /_static/img/modules/csv_uploader/csv_4.png :align: center :alt: Отображение кнопки **Изменить JWT** Отображение кнопки **Изменить JWT** Настройки CSV-uploader ########################## Для CSV-uploader можно настроить следующие параметры: - автоматический запуск загрузки CSV-файлов по расписанию; - количество отображаемых записей для *Журнала операций*. Автоматический запуск загрузки CSV-файлов по расписанию ########################################################## Для настройки автоматического запуска загрузки CSV-файлов по расписанию, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Настройки**. 3. В открывшемся окне **Настройки** в поле **Запуск по расписанию**, укажите время в ``Cron`` формате (например, ``0 15 10? * *`` - загрузка файлов будет происходить каждый день в 10.15) и путь к каталогу с CSV-файлами (см. :numref:`img_csv_uploader_start_load`) . .. _img_csv_uploader_start_load: .. figure:: /_static/img/modules/csv_uploader/5.png :align: center :alt: Автоматический запуск загрузки CSV-файлов по расписанию Автоматический запуск загрузки CSV-файлов по расписанию 1. Установите маркер в поле **Включить**, для активации автоматического запуска загрузки. 2. Нажмите кнопку **Применить настройки**. В случае успешного применения настроек отобразится информационное сообщение: *Конфигурация успешно получена*. Настройка *Журнала операций* ################################## Для настройки *Журнала операций*, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Настройки**. 3. В открывшемся окне **Настройки** в поле **Размер страницы**, укажите количество записей на страницу, например, ``20`` (см. :numref:`img_csv_uploader_operation_log`). .. _img_csv_uploader_operation_log: .. figure:: /_static/img/modules/csv_uploader/6.png :align: center :alt: Настройка *Журнала операций* Настройка *Журнала операций* 1. Нажмите кнопку **Применить настройки**. В случае успешного применения настроек отобразится информационное сообщение: *Конфигурация успешно получена*. Просмотр *Журнала операций* ############################### В *Журнале операций* можно просмотреть действия выполненные в **CSV-uploader**: - Время - время, когда операция была выполнена. - Уровень - статус операции. - ``ERROR`` - ошибка загрузки; - ``INFO`` - описание операции. - Сообщение - краткое информационное сообщение об операции. Для просмотра *Журнала операций*, выполните следующие действия: 1. Откройте программный интерфейс **CSV-uploader**. 2. Выберите вкладку **Журнал операций**. 3. В открывшемся окне просмотрите операции, которые были выполнены в **CSV-uploader** (см. :numref:`img_csv_uploader_log`). .. _img_csv_uploader_log: .. figure:: /_static/img/modules/csv_uploader/7.png :align: center :alt: Просмотр *Журнала операций* Просмотр *Журнала операций* 4. Нажмите кнопку **Применить настройки**. Интерфейс Форматно-логического контроля ############################################ На вкладке **Форматно-логический контроль** (см. :numref:`flk`) отображается: - список последних отправленных файлов, определяемых настройками модуля CSV-Uploader - значение по умолчанию 20: - список requestId; - время записи в кафку; - статус загрузки файла; - управляющий элемент для запроса отчета об ошибках для файла (кнопка отображается активной только в случае финальных статусов): - статус 3; - статус 4; - статус 7; - элементы пагинации списка requestId. .. _img_csv_uploader_flk: .. figure:: /_static/img/modules/csv_uploader/flk.jpg :align: center :alt: Форматно-логический контроль Форматно-логический контроль При нажатии на кнопку запроса отчета об ошибках для файла, модуль CSV-Uploader: - вызывает метод ``/v2/requests/{request_id}/report/``; - получает CSV файл с именем ``report_requestId.csv``; - в зависимости от ответа: - если **response 200 ok**: скачивает файл на ПК пользователя автоматически или при нажатии на название отчета с выводом сообщения о загрузке файла; - если **response 400** - выводит сообщение ``Нет данных``.