Защита Кафки от наводнения

Question

Я использую Kafka в производстве. Многие службы отправляют и читают сообщения.

Все работает нормально, но у меня была ошибка в одном сервисе. По странной причине этот человек посылает миллионы сообщений в секунду Кафке.

Из-за этой ошибки мой Кафка падает.

Это не ошибка Кафки, но как я могу защитить ее от потенциального наводнения?

Answer 1

Вам нужно какое-то дросселирование на службе, чтобы не наводнить Кафку. Один из вариантов - использовать Apigee.

Answer 2

Действительно, с помощью Apigee вы можете подавить ответ. Это можно сделать двумя способами;

1. С «Spike Arest», который сглаживает запросы с течением времени, например, если вы определяете количество запросов в секунду, его сглаженные более миллисекунды, и когда количество reuqests определяется в минуту она становится более гладкой в секунду.
2. Qouta определяет максимальное количество запросов в минуту, день и т. Д. После этого запросы отклоняются.
3. Apigee также предоставляет политику «параллельной ставки», которая делает именно это; отслеживает количество одновременных вызовов и отклоняет в случае отправки большего количества сообщений. (HTTP 503).

Вы могли бы: http://apigee.com/docs/api-services/content/comparing-quota-spike-arrest-and-concurrent-rate-limit-policies

Кроме того, в случае, если вы хотите сохранить его на заказ, проверить Волос, или Apigee 127, который является большим открытым исходным кодом, созданный Apigee, а также.

надеюсь, что это поможет.

Фактически, на последней ноте; Я бы решил первопричину; почему вы получаете 1 миллион запросов? Или это ожидаемый бевахиор?

Answer 3

Переход на Kafka 0.9 и включить Quotas.