Как настроить свиньи для доступа к данным через WebHDFS?

Question

Я новичок в hadoop, поэтому, пожалуйста, простите меня, если этот вопрос является ошибкой. Я пытаюсь настроить свиньи на использование webhdfs для получения данных. Я не знаю, как это сделать, я попробовал: -

Configuration configuration = new Configuration(); 
conf.set("fs.defaultFS","webhdfs://<uri>:50070"); 
properties.putAll(ConfigurationUtil.toProperties(conf)); 

Затем я прошел это свойство объекта (свойства) к свойствам объекта в главном файле свиньи. Однако это не работает. Любой доступ к hdfs просто отключается без ответа. Может ли кто-нибудь сказать мне, как это делается?

Answer 1

После долгих проб и ошибок, я думаю, я мог бы решить проблему. проблема была не в переданных конфигурациях (я мог бы просто сохранить core-site.xml в моем пути к классам, кстати, с свойством fs.defaultFS, как указано выше). Проблема заключалась в файл сценария поросенок, который я пытался бежать было что-то вроде: -

REGISTER 'hdfs://<uri>:9000/filename.jar' 

Когда он должен был

REGISTER 'webhdfs://<uri>:50070/filename.jar' 

Не уверен, что если бы это было довольно очевидно, и я впустую свое время. Простите за это.