Retention-правила

Содержание раздела
  1. Поддерживаемые сущности
  2. Стратегии обработки данных
    1. Остужение данных
    2. Удаление данных и метаинформации
  3. Порядок исполнения правил

Retention-правила позволяют оптимизировать использование хранилища, сохраняя нужную глубину истории данных.

Retention-правило определяет, как долго хранятся исторические записи логической сущности в датасорсе и метаинформация в tslog-журнале, а также как они обрабатываются после истечения этого срока.

Система периодически проверяет и исполняет настроенные retention-правила. Если правила не настроены, система хранит всю историю данных бессрочно.

Подробнее о настройке retention-правил см. в разделе Управление retention-правилами.

Поддерживаемые сущности

Retention-правила доступны для сущностей:

Правило, настроенное для партиционированной таблицы, не действует для ее партиций. Так как партиционированные таблицы не хранят данные, настраивать retention-правила для них стоит, только если нужна периодическая подрезка их tslog-журналов (например, при частых вставках в таблицы).

Стратегии обработки данных

Возможные стратегии обработки данных по retention-правилу:

Остужение данных

Остужение данных — перемещение исторических записей из датасорса сущности в датасорс, выбранный для хранения холодных данных. Эта стратегия оптимизирует хранение редко запрашиваемых старых данных, сохраняя их доступность.

Остужение данных возможно:

  • внутри одного ADB- или ADP-датасорса;
  • между разными ADB-датасорсами;
  • между разными ADP-датасорсами.

Схема остужения данных

Удаление данных и метаинформации

Удаление данных — окончательное удаление исторических записей сущности (для снапшот-таблиц — информации об удаленных записях) из датасорса и связанной метаинформации из tslog-журнала. Эта стратегия освобождает дисковое пространство от старых данных, которые больше не нужны.

Метаинформация удаляется за тот же срок, что и данные, и только при условиях:

  • все датасорсы сущности имеют retention-правила, настроенные на удаление данных;
  • соответствующие данные уже удалены из всех датасорсов сущности.

Метаинформацию из tslog-журнала также можно удалить запросом TRUNCATE TSLOG.

Порядок исполнения правил

Лидер кластера периодически проверяет необходимость исполнения retention-правил окружения. Проверки выполняются с интервалом DATA_COOLING_RUN_PERIOD_MS (по умолчанию — через 10 минут).

Retention-правило исполняется при условиях:

  • в сущности есть исторические записи, хранящиеся дольше заданного срока;
  • все датасорсы сущности включены.

Максимальное количество сущностей, обрабатываемых одновременно, равно DATA_COOLING_CONCURRENT (по умолчанию — 2).