Загрузка данных с использованием Flume - тег конечной группы протокола не соответствует ожидаемому тегу

Question

Нужна помощь в разрешении проблемы в Flume при загрузке данных Twitter в HDFS.

Я использую Hadoop 2,6 & Flume 1.7 версии.

Я настроил все в соответствии с инструкциями. (https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-data-using-flume/)

Однако во время выполнения команды я получаю следующее исключение.

Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag. 
at com.google.protobuf.InvalidProtocolBufferException.invalidEndTag(InvalidProtocolBufferException.java:94) 

16/12/19 11:48:28 INFO hdfs.BucketWriter: Creating hdfs://localhost:50070/user/flume/tweet/FlumeData.1482128276941.tmp 
16/12/19 11:48:28 WARN hdfs.HDFSEventSink: HDFS IO error 
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "master/127.0.1.1"; destination host is: "localhost":50070; 

Answer 1

Решено сейчас. Порт HDFS должен быть настроен в flume.conf. Вместо этого я настроил порт пользовательского интерфейса Namenode, который вызывал проблемы.