Необходимость сервера redis в централизованной настройке

Question

Я просмотрел документацию на сервере Logstash, чтобы узнать, что нам нужен сервер redis, который будет выступать в роли брокера. Вот ссылка:

http://logstash.net/docs/1.1.12/tutorials/getting-started-centralized 

Но что мне не ясно, почему мы используем Redis вообще в качестве брокера?

Мы могли бы просто просто отправить журналы на поиск эластичного материала из самого логсташа, что избавило бы нас от необходимости брокера redis. Тогда зачем нам искать грузоотправителя и индексатора?

Нужно четкое объяснение.

Спасибо.

Answer 1

Я считаю, что вы можете найти ответ здесь:

https://groups.google.com/forum/#!topic/logstash-users/VakCOAzZI8k

Redis в основном выступает в качестве временного хранилища ключей значения для необработанной информации грузоотправителя, который затем анализируется с помощью индексатора. Затем информация о журнале в конечном счете хранится в elasticsearch, а не в redis.

По-видимому, идея состоит в том, чтобы разгрузить индексирование на сервер, предназначенный для таких задач, поскольку индексирование является интенсивным. Редис, называемый брокером, кажется уместным, я думаю.

Answer 2

При использовании Logstash с Redis вы можете настроить Redis только для хранения всех записей журнала в памяти, которые хотели бы иметь в очереди на память (например, memcache).

Ваш матер попадает в точку, где количество отправленных журналов не будет обрабатываться Logstash, и оно может свести вашу систему на постоянной основе (наблюдается в нашей среде).

Если вы чувствуете, что Redis является накладными расходами для вашего диска, вы можете настроить его для хранения всех журналов в памяти до тех пор, пока они не будут обработаны logstash.