Kafka Смещение после периода хранения

Question

У меня есть тема с кафкой с 1 перегородкой. если в нем было 100 сообщений, смещение было бы от 0,99.

В соответствии с политикой сохранения kafka все сообщения будут уничтожены после указанного периода.

, и я отправляю 100 новых сообщений по этой теме, после того как все они были уничтожены (после периода хранения). Теперь, откуда начнется новое смещение сообщения? это от 100 или от 0 ??

Я пытаюсь понять, будут ли новые смещения 100-199 или 0-99?

Answer 1

Kafka оценивает политику хранения журналов, удаляя сегменты журналов, которые удовлетворяют предикату, и он никогда не удалит активный сегмент журнала, что означает, что базовое смещение активного сегмента журнала будет всегда сохранено.

Что касается вашего примера, если первая партия из 100 сообщений находится в одном сегменте журнала, Kafka создаст новый сегмент журнала с базовым смещением 100 и удалит старый сегмент после суммы периода хранения журнала времени прошло. Таким образом, новое сообщение начинает смещаться на 100.