Плагин отлично с теми низким объемом работы, но и для большого объема его возникли проблемы ошибка дает:Возникли проблемы с отправкой темы высокой громкости в Google облако PubSub используя fluentd плагина
unexpected error error="The value for message_count is too large. You passed 1001 in the request, but the maximum value is 1000.
Я изменил конфиг установить следующий Params: buffer_chunk_limit 2k flush_interval 1
Даже если предел буфера чанк 2k, я все еще вижу буферизованные файлы, имеющие гораздо большие размеры, так как если предел кусок не имеющий никакого влияния.
теперь я получаю следующие ошибки по темам больших объемах:
2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8"
2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace
2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit.
2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.``
2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit
2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.``
В выходной экспедитором документа, я не вижу каких-либо ссылок на пределе ломоть парам. И я не уверен, как я могу обеспечить, чтобы меньшие куски были настроены на pubsub.
Я искал способ увеличить этот предел для pubsub, но ничего не могу найти в документах pubsub, говорящих о пределе 1000, который показывает ошибка fluentd при публикации журналов в pubsub.
Любая помощь приветствуется.