Потребность в потребительской корзине Kafka, полученная в пакете

Question

Я искал у потребителя партии Kafka, и я не нашел ценной информации.

использования:

Производитель будет производить данные очень часто и на потребительском сайте мы будем использовать данные и от потребителя & мы будем размещать данные в Facebook и Google, которые имеют пределы данных, которые могут быть размещены.

Сообщите мне, если можно приостановить использование потребителем данных за определенное время, пока другие API-интерфейсы не будут потреблять данные от потребителя.

Примечание: Этого можно достичь путем шторма легко, но я не ищу это решение. Мы также можем настроить размер байта в kafka, но это не будет служить цели.

Answer 1

Существует несколько способов вы можете сделать это:

Вариант № 1: используйте одну потребительского поток, который обрабатывает все потребление данных и руки от сообщений в очередь блокировки потребленной пулом рабочего потока. При дозировании вы можете легко масштабировать рабочие процессы и потребителей. Но в этом случае управление фиксацией смещения будет немного сложнее.

Вариант № 2: Просто вызовите методы KafkaConsumer.pause() и KafkaConsumer.resume(), чтобы приостановить и возобновить выборку из определенных разделов для реализации вашей собственной логики.