Сохранность и надежность Fluentd

Question

Так как fluentd не использует redis, но, предположительно, имеет лучшую встроенную надежность, как это решает проблему спуска экземпляра, прежде чем у него появится возможность отправить журналы в эластичный поиск? Является ли это чем-то недостаточно значимым, чтобы беспокоиться, например, вы могли бы установить пропаривание журналов на высокой частоте, поэтому, если вы когда-нибудь потеряете экземпляр, только несколько строк не будут перенесены?

Answer 1

Fluentd использует механизм буферизации, как только он получает набор событий, которые они хранят либо в памяти, либо в файловой системе, последняя - это то, что используется для надежности. События хранятся в кусках, а затем через определенный промежуток времени они очищают куски до места назначения. Если чанк не удался, он повторит попытку позже.

Вы можете прочитать больше о буферизации в официальной документации:

http://docs.fluentd.org/articles/buffer-plugin-overview