Flum Multiplexing не работает

Question

Я настроил свой flume агент, как показано ниже. Так или иначе, ломовой агент работает неправильно. Он постоянно висит без ошибок. Есть ли проблемы с приведенной ниже конфигурацией.

FYI: У меня есть файл с именем "страна" с жестко заданным заголовком в состоянии

#Define sources, sink and channels 
foo.sources = s1 
foo.channels = chn-az chn-oth 
foo.sinks = sink-az sink-oth 
# 
### # # Define a source on agent and connect to channel memory-channel. 
foo.sources.s1.type = exec 
foo.sources.s1.command = cat /home/hadoop/flume/country.txt 
foo.sources.s1.batchSize = 1 
foo.sources.s1.channels = chn-ca chn-oth 

#selector configuration 
foo.sources.s1.selector.type = multiplexing 
foo.sources.s1.selector.header = state 
foo.sources.s1.selector.mapping.AZ = chn-az 
foo.sources.s1.selector.default = chn-oth 
# 
# 
### Define a memory channel on agent called memory-channel. 
foo.channels.chn-az.type = memory 
foo.channels.chn-oth.type = memory 
# 
# 
##Define sinks that outputs to hdfs. 
foo.sinks.sink-az.channel = chn-az 
foo.sinks.sink-az.type = hdfs 
foo.sinks.sink-az.hdfs.path = hdfs://master:9099/user/hadoop/flume 
foo.sinks.sink-az.hdfs.filePrefix = statefilter 
foo.sinks.sink-az.hdfs.fileType = DataStream 
foo.sinks.sink-az.hdfs.writeFormat = Text 
foo.sinks.sink-az.batchSize = 1 
foo.sinks.sink-az.rollInterval = 0 
# 
foo.sinks.sink-oth.channel = chn-oth 
foo.sinks.sink-oth.type = hdfs 
foo.sinks.sink-oth.hdfs.path = hdfs://master:9099/user/hadoop/flume 
foo.sinks.sink-oth.hdfs.filePrefix = statefilter 
foo.sinks.sink-oth.hdfs.fileType = DataStream 
foo.sinks.sink-oth.batchSize = 1 
foo.sinks.sink-oth.rollInterval = 0 

Спасибо, Vinoth

Answer 1

Что касается списка каналов, сконфигурированный на источник:

foo.sources.s1.channels = chn-ca chn-oth 

Думаю, chn-ca должно быть chn-az.

Тем не менее, я думаю, что такая конфигурация никогда не будет работать, поскольку заголовок состояния, используемый селектором, не создается никаким компонентом Flume. Вы должны ввести для этого перехватчик, как правило, Regex Extractor Interceptor.