Дросселирование с помощью Logstash и масштабирование

Question

Я уже использую стек ELK для обработки журнала. Теперь я планирую использовать Logstash для дросселирования входящих данных. Но, не уверен, как увеличить Logstash + дросселирование, если нагрузка увеличивается.

Обычно для масштабирования Logstash я планировал запустить несколько одновременных экземпляров Logstash, чтобы разделить нагрузку. Но если будет дросселирование, то какая дроссельная информация будет передаваться между различными экземплярами Logstash? Или любой другой, совершенно другой подход?

Answer 1

Основываясь на ваших дополнительных комментариях, похоже, что фильтр metrics {} будет работать. Он позволяет подсчитать количество событий, которые происходят через логсташ за определенный период, и вы можете настроить разные типы «счетчиков» на основе разных вещей, которые вы хотели бы подсчитать.

Как только вы их подсчитаете с помощью этого фильтра, вы можете получить строку {}, которая будет предупреждать вас (например, электронная почта, hipchat, irc, pagerduty).