Я использую Confluent/Apache Kafka 0.10 с уплотненной темой как механизм синхронизации распределенного кеша. Когда приложение запускается, он генерирует идентификатор группы конкретных экземпляров. Поскольку экземпляры добавляются и удаляются для горизонтальной масштабируемости, очевидно, мы получаем большое количество идентификаторов групп, которые никогда не должны использоваться снова.Удалить неиспользованную группу потребителей kafka
Я уверен, что это идеальная утилита для KStreams и KTables, но я стараюсь сделать это сам по интеллектуальным соображениям, а также что KStreams и KTables определяются как альфа-качество в 0,10.
Есть ли API API Kafka, который я могу использовать, который может удалить существующую группу потребителей, зная, что он никогда не должен использоваться снова?
Поскольку Zookeeper не поддерживает смещения потребителей в версии 0.10, я бы подумал, что сама кафка должна будет это сделать.
Это не смещения, о которых я беспокоюсь. Это, возможно, большое количество групп потребителей, появившихся в инструментах мониторинга. Если мое приложение создает группу потребителей, и мое приложение знает, чтобы удалить группу потребителей. Тогда я подумал бы, что для этого может быть ави-вызов. Может быть, запрос функции? –
AFAIK, инструмент мониторинга, считывает офсетный журнал для сбора информации, которую он показывает. Таким образом, я бы предположил, что удаление смещений - это то же самое, что и удаление группы потребителей. –
Хорошо, спасибо. Посмотрим, что произойдет. Если мои администраторы kafka не вернутся, чтобы убить меня из-за всех групп потребителей, я вернусь и отметю это, как ответили :-) –