Что делает «offsets.topic.compression.codec» в кафке на самом деле?

Question

Совсем недавно мы начали получать MessageSizeTooLargeException в метаданных, поэтому мы включили offsets.topic.compression.codec = 1, чтобы включить сжатие gzip, но общие байты в скорости/сообщениях по курсу брокерам не изменились. Я что-то упускаю? Есть ли другое свойство, которое нужно изменить?

Как работает этот кодек?

Нужно ли нам добавлять недвижимость и к потребителям и производителям? Я только что включил это в брокер.

Answer 1

offsets.topic.compression.codec предназначен только для внутренней темы смещения (а именно __consumer_offsets). Это бесполезно для тех тем пользовательского уровня.

См. Kafka: Sending a 15MB message о том, как избежать MessageTooLargeException/RecordTooLargeException.