Я хотел бы, чтобы flume агент сидел вне кластера hadoop и хотел бы знать, можно ли использовать лоток для отправки сообщений в кластер hadoop с помощью WebHDFS.Можно ли использовать WebHDFS с Flume?
Если нет, существуют ли альтернативы использованию WebHDFS? Использование многоуровневого слоя дымовой трубы по-прежнему потребует от меня наличия агентов потока, работающих внутри кластера хаопов.
Легочные агенты могут работать на своих собственных машинах, не находясь внутри кластера хаопов, если вы укажете «hdfs» как их тип.
У меня есть агент подачи дыма, записывающий события avro в раковину hdfs, не находясь в кластере hadoop или используя WebHDFS.
Вот его настройка:
agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder
Ищу соответствующий ответ на тот же вопрос soaptree, но не понял его еще. Поделитесь, когда я это сделаю. Если вы изучили это на данный момент, будьте добры, чтобы ответить на свою собственную загадку. – nitinr708
Большое спасибо за этот soaptree. Я попытался установить его, но этот пример бог. – nitinr708