kafka MirrorMaker: нет брокерских перегородок, потребляемых потребительской резьбой kafka-mirror

Question

Это касается инструмента Kafka MirrorMaker.

Я сконфигурировал kafka на двух машинах.

1. источник:

2. назначения: В. М. [убунту у источника только]

   Кафки на обоих источника и назначения имеют ту же версию Кафки [kafka_2.11-0.9.0.0]

В источнике и в пункте назначения используются соответствующие серверы zookeeper и kafka.

с инструментом MirrorMaker Я хотел реплицировать/сделать зеркало тем из источника в пункт назначения.

Ниже команды, которые я использовал:

./bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config ./config/mirror_consumer.properties --producer.config ./config/mirror_producer.properties --whitelist='.*' &>mirror-log.log 

файлы конфигурации содержит

a. mirror_consumer.properties 

    #host:port of kafka source zookeeper to be mirrored 
    zookeeper.connect=source-ip:3181 
    zookeeper.connection.timeout.ms=1000000 
    consumer.timeout.ms=-1 
    security.protocol=PLAINTEXT 
    group.id=kafka-mirror 

    where, 

     source-ip is ip address of source machine. 
     my zookeeper at source is running at port 3181. 

b. mirror_producer.properties 

    # mirror broker (local) at the destination 
    bootstrap.servers=localhost:9092 
    producer.type=async 

    where, 

     localhost, resolves to destination i.e. ubuntu vm 
     and kafka is runnning on default port i.e. 9092 

Изначально я создал несколько тем с именем сказать source1 и source2. Из исходной машины с соответствующими производителями из командной строки я отправил некоторые сообщения в созданные темы.

после выполнения команды MirrorMaker от назначения,

я мог видеть, что потребитель в пункте назначения пытается поглотить темы. К сожалению, потребитель в пункте назначения не может прочитать разделы от брокера по каждой теме.

пожалуйста, посмотрите на запись журнала в ниже образец:

[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521159741-6c2475c3-0 for topic source1 (kafka.consumer.RangeAssignor) 
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521295337-c3742307-0 for topic source1 (kafka.consumer.RangeAssignor) 
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462517840512-a134d048-0 for topic source2 (kafka.consumer.RangeAssignor) 
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519206297-63bc9c58-0 for topic source2 (kafka.consumer.RangeAssignor) 
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519513695-bee7950e-0 for topic source2 (kafka.consumer.RangeAssignor) 

Пожалуйста, дайте мне знать, если вы видите что-то, что не хватает/должны быть исправлены.

Было бы очень полезно.

Заранее спасибо.

Answer 1

Мы получаем эту проблему, когда существует несоответствие между количеством разделов в теме и количеством потребителей в группе потребителей, подающих одну и ту же тему.