Как проверить выход из Kafka?

Question

Я пытаюсь интегрировать Flume и Kafka, где Flume берет файл данных и толкает в Kafka, а затем в Spark.

Я видел этот конфигурационный файл из блога и назван flafka.conf:

tier1.sources = source1 
tier1.channels = channel1 
tier1.sinks = sink1 

tier1.sources.source1.type = exec 
tier1.sources.source1.command = /Users/name1/test.txt 
tier1.sources.source1.channels = channel1 

tier1.channels.channel1.type = memory 
tier1.channels.channel1.capacity = 10000 
tier1.channels.channel1.transactionCapacity = 1000 

tier1.sinks.sink1.type   = org.apache.flume.sink.kafka.KafkaSink 
tier1.sinks.sink1.topic = sink1 
tier1.sinks.sink1.brokerList = kafkagames-1:9092,kafkagames-2:9092 
tier1.sinks.sink1.channel = channel1 
tier1.sinks.sink1.batchSize = 20 

Тогда я запустил эту команду:

bin/flume-ng agent --conf conf --conf-file flafka.conf --name a1 -Dflume.root.logger=INFO,console 

Как проверить, могу ли я видеть содержимое test.txt в Kafka. Пожалуйста посоветуй. Благодаря!!!

Answer 1

Вы можете попробовать kafka console consumer, чтобы проверить, написано ли что-либо на тему кафки. Таким образом, вы выталкиваете файл из лотка и ждите в консольном магазине, чтобы увидеть его в теме кафки.

Kafka console описание потребителя можно найти здесь: https://cwiki.apache.org/confluence/display/KAFKA/System+Tools