1. Общее описание
Внимание
С версии 2.6.0 по умолчанию для хранения персистентных данных используется Prostore версии 7.6 и выше с хотя бы одним ADP (для обеспечения высокой доступности персистентных данных модуля необходимо использование больше одного датасорса ADP). При отсутствии подключения к Prostore возможно переключение на preferences в конфигурации модуля.
CSV-Uploader - программный модуль Витрины данных, который предназначен для загрузки CSV-файлов в Витрину данных.
CSV-Uploader предназначен для следующих задач:
формирование структуры витрины;
выгрузка шаблона CSV-файла для загрузки данных;
загрузка данных в виде CSV-файлов в витрину:
с ручным или автоматическим выбором таблицы;
опциональным ФЛК данных перед загрузкой;
автоматическая загрузка данных в витрину по расписанию;
автоматическая загрузка данных в витрину по веб-интерфейсу;
просмотр журнала загрузки.
В Таблица 2.43 приведен перечень операций, выполняемых стандартным загрузчиком с данными Витрины.
Операция |
Описание операций |
Поддерживаемые режимы для типов таблиц |
|||
|---|---|---|---|---|---|
Логическая |
proxy |
standalone |
spapshot |
||
upsert без sys_op |
Загрузка или обновление данных для переданного набора первичных ключей |
stream |
stream |
stream |
stream |
delete без sys_op |
Удаление данных по переданному набору первичных ключей |
stream |
не поддерживается |
не поддерживается |
stream |
Примечание
Для управления прикладными данными в снапшот-таблицах требуется обновление модуля до версии 2.6.0 и выше. При загрузке структуры витрины данных из XML возможно создание только логических таблиц, без переопределения настроек и опций по умолчанию. В случае необходимости переопределения настроек по умолчанию для логической таблицы или создания standalone (writable- / readable-), proxy и snapshot-таблиц, таблицы создаются «вручную». Все изменения данных снапшот-таблиц выполняются в операциях записи, но вне механизма дельт. Т.е. при открытой дельте данные не изолируются (запишутся/удалятся сразу, не дожидаясь закрытия дельты) и не откатываются при выполнении rollback delta.
Внимание
Загружаемые файлы обязательно должны быть в кодировке UTF-8.
1.1. Взаимодействие компонентов
Схема взаимодействия при загрузке в локальную Витрину данных
Рисунок - 1.6 Схема взаимодействия при загрузке в локальную Витрину данных
Схема взаимодействия при загрузке в удаленную Витрину данных
Рисунок - 1.7 Схема взаимодействия при загрузке в удаленную Витрину данных
Примечание
При переключении между загрузчиками рекомендуется удалять локальную БД CSV-Uploader для исключения недостижимых идентификаторов.