2016-10-13 6 views
1

Я получаю следующее сообщение об ошибкеКафка Производитель RecordTooLargeException

org.apache.kafka.common.errors.RecordTooLargeException: Послание 196773 байт при сериализовать, который больше, чем общий буфер памяти вы настроили с buffer.memory конфигурации»

Но buffer.memory в моей конфигурации производителя является 10485760

Не знаете, почему? Спасибо

+0

вам нужно настроить несколько свойств, когда ваш размер сообщения больше чем 1 МБ, 1 МБ по умолчанию, пожалуйста, проверьте этот Http: // StackOverflow. ком/вопросы/21020347/Кафка отправки-а-15MB-сообщение – Shankar

ответ

0

Я понимаю, что ваш buffer.memory в конфигурации производителя больше, чем размер сообщения, которое вы создаете. Но есть несколько конфигураций, которые вам нужно поддерживать, чтобы создать сообщение размером более 1 МБ.

message.max.bytes - это самый большой размер сообщения, которое может быть получено брокером от производителя. max.message.bytes - это самый большой размер сообщения, которое брокер позволит добавить к теме.

Пожалуйста, перейдите по ссылке ниже для более подробной информации: How can I send large messages with Kafka (over 15MB)?