.. _csv_uploader_doc:

Общее описание
^^^^^^^^^^^^^^

.. attention:: С версии 2.6.0 по умолчанию для хранения персистентных данных используется Prostore версии 7.6 и выше с хотя бы одним ADP 
               (для обеспечения высокой доступности персистентных данных модуля необходимо использование больше одного датасорса ADP). 
               При отсутствии подключения к Prostore возможно переключение на preferences в конфигурации модуля.

CSV-Uploader - программный модуль Витрины данных, который предназначен для загрузки CSV-файлов в Витрину данных. 

CSV-Uploader предназначен для следующих задач:

- формирование структуры витрины;
- выгрузка шаблона CSV-файла для загрузки данных;
- загрузка данных в виде CSV-файлов в витрину:

  - с ручным или автоматическим выбором таблицы;
  - опциональным ФЛК данных перед загрузкой;

- автоматическая загрузка данных в витрину по расписанию;
- автоматическая загрузка данных в витрину по веб-интерфейсу;
- просмотр журнала загрузки.

В :numref:`tab_csv-uploader_functions` приведен перечень операций, выполняемых стандартным загрузчиком с данными Витрины.

.. _tab_csv-uploader_functions:

.. table:: Функции стандартного загрузчика

    +--------------+---------------------------------------+-----------------------------------------------------------------------------------+
    | **Операция** | **Описание операций**                 | **Поддерживаемые режимы для типов таблиц**                                        |
    |              |                                       +---------------------+-------------------+-------------------+---------------------+
    |              |                                       | Логическая          | proxy             | standalone        | spapshot            |
    +==============+=======================================+=====================+===================+===================+=====================+
    | upsert       | Загрузка или обновление данных для    | stream              | stream            | stream            | stream              |
    |              | переданного набора первичных ключей   |                     |                   |                   |                     |
    | без sys_op   |                                       |                     |                   |                   |                     |
    +--------------+---------------------------------------+---------------------+-------------------+-------------------+---------------------+
    | delete       | Удаление данных по переданному        | stream              | не поддерживается | не поддерживается | stream              |
    |              | набору первичных ключей               |                     |                   |                   |                     |
    | без sys_op   |                                       |                     |                   |                   |                     |
    +--------------+---------------------------------------+---------------------+-------------------+-------------------+---------------------+

.. note:: Для управления прикладными данными в снапшот-таблицах требуется обновление модуля до версии 2.6.0 и выше.
          При загрузке структуры витрины данных из XML возможно создание только логических таблиц, без переопределения настроек и опций по умолчанию. 
          В случае необходимости переопределения настроек по умолчанию для логической таблицы или создания standalone (writable- / readable-), proxy и snapshot-таблиц, 
          таблицы создаются "вручную". Все изменения данных снапшот-таблиц выполняются в операциях записи, но вне механизма дельт. Т.е. при открытой дельте данные не изолируются 
          (запишутся/удалятся сразу, не дожидаясь закрытия дельты) и не откатываются при выполнении rollback delta.

.. attention:: Загружаемые файлы обязательно должны быть в кодировке UTF-8.

Взаимодействие компонентов
##############################################

Схема взаимодействия при загрузке в локальную Витрину данных

.. _schema_csv_uploader:

.. figure:: /_static/img/modules/csv_uploader/csv_uploader_component_diagram.png
         :align: center
         :alt: Схема взаимодействия при загрузке в локальную Витрину данных

         Схема взаимодействия при загрузке в локальную Витрину данных

Схема взаимодействия при загрузке в удаленную Витрину данных


.. _schema_csv_uploader_remote:

.. figure:: /_static/img/modules/csv_uploader/csv_uploader_component_diagram_remote.png
         :align: center
         :alt: Схема взаимодействия при загрузке в удаленную Витрину данных

         Схема взаимодействия при загрузке в удаленную Витрину данных


.. note:: При переключении между загрузчиками рекомендуется удалять локальную БД CSV-Uploader для исключения недостижимых идентификаторов.