Сервер Kafka содержит сообщения, но потребитель не может их получить (производитель использовал compression.type = snappy)

Question

Я новичок в Kafka. При использовании kafka 0.9.0 я могу установить кодек, установив compression.type свой собственный производитель kafka.

Предположим, я использую snappy компрессию в моем производителя, потребляя сообщения от Кафки с помощью некоторых Кафка-потребитель, я должен сделать что-то расшифровывает данные из мгновенным или это некоторые встроенные функции Кафки потребителя?

В офисе doc я не смог найти какое-либо свойство, относящееся к кодированию в потребительской корзине (оно относится только к производителю).

Может кто-нибудь это ясно?

Answer 1

As mentioned in their wiki Page,there is no need for any decompression logic on the Consumer side:

Пожалуйста, посмотрите на их странице вики ниже:

https://cwiki.apache.org/confluence/display/KAFKA/Compression

Данные, полученные потребителем на тему может содержать как сжимаются, а также несжатых сообщений. consumer итератор transparentlydecompresses compressed данные и возвращает только uncompressed message.