Как масштабировать один узел Kafka для кластера с несколькими узлами?

Question

Я собираюсь установить Kafka для обмена сообщениями с компанией. План состоит в том, чтобы сначала установить кафку на одну огромную машину и, если необходимо, пополнить ее до 4-5 машин (кластер).

У меня мало опыта в kafka. Хотите спросить, можно ли масштабировать, просто изменив параметр в конфигурации брокера и установите zookeeper на недавно подключенном компьютере.

Или как можно грубо сделать это самым простым способом? Более конкретно Cloudera Kafka в CDH.

Благодаря

Answer 1

Для масштабирования Кафку вам придется добавить несколько разделов, чтобы темы, если это необходимо для использования kafka-topics.sh. И чем переназначить разделы вашим новым брокерам, используя kafka-reassign-partitions.sh.

Утилита переназначения автоматически копирует и отправляет ваши данные. Вы можете сделать это для целой темы или для выборочного набора разделов.

Полная документация: here. Просто взгляните на раздел 6.