1. Общее описание

Модуль ПОДД-адаптер - Модуль дефрагментации чанков табличных параметров преобразует пакеты с данными табличных параметров, поступающие от Агента ПОДД в брокер сообщений Kafka, к формату, позволяющему обрабатывать их в многопоточном режиме.

Модуль дефрагментации чанков табличных параметров выполняет следующие функции:

• считывает все чанки из общего топика query.tp.bin;

• группирует их по сочетанию {requestId, subRequestId, tableParamId, streamNum};

• накапливает чанки на локальном жестком диске;

• при получении всех чанков одного стрима:

  • собирает из чанков одного стрима единый AVRO-объект;

  • десериализует единый AVRO-объект;

  • разделяет полученные строки на подмножества строк;

  • каждое подмножество строк сериализует в отдельный avro-объект;

  • полученные avro-объекты записывает в топик query.TP