2016-01-11 1 views
0

У меня есть версия Hadoop 2.6.3 и pig-0.6.0 У меня есть все демоны, работающие в кластере с одним узлом. После обстрела команды свиньи. Свинья только подключение к файлу: /// не HDFS могли бы вы сказать мне, как сделать это, чтобы соединить HDFS ниже журнал INFO, что я мог видетьapache pig не подключается к hdfs

2016-01-10 20:58:30,431 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// 
2016-01-10 20:58:30,650 [main] INFO org.apache.hadoop.metrics.jvm.JvmMetrics - Initializing JVM Metrics with processName=JobTracker, sessionId= 

, когда я попал в команду в GRUNT

grunt> ls hdfs://localhost:54310/ 
2016-01-10 21:05:41,059 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal error. Wrong FS: hdfs://localhost:54310/, expected: file:/// 
Details at logfile: /home/hguna/pig_1452488310172.log 

у меня нет ключа не имеет, почему он ожидает файл: ///

ERROR 2999: Unexpected internal error. Wrong FS: hdfs://localhost:54310/, expected: file:/// 

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:54310/, expected: file:/// 
     at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:305) 
     at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:47) 
     at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:357) 
     at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245) 
     at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:643) 
     at org.apache.pig.backend.hadoop.datastorage.HDataStorage.isContainer(HDataStorage.java:203) 
     at org.apache.pig.backend.hadoop.datastorage.HDataStorage.asElement(HDataStorage.java:131) 
     at org.apache.pig.tools.grunt.GruntParser.processLS(GruntParser.java:576) 
     at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:304) 
     at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:168) 
     at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:144) 
     at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:75) 
     at org.apache.pig.Main.main(Main.java:352) 

правильно ли я настроить Hadoop? или некоторые, где я ошибаюсь, пожалуйста, дайте мне знать, есть ли какой-либо файл, который мне нужно поделиться. Я сделал достаточно исследований, но не смог исправить это. Я знаю, что новичок в Hadoop и свинья , пожалуйста, помогите мне. Благодаря

+0

Примечание: В моем файле ~/.bashrc можно заметить, что я не включил PIG_CLASSPATH =/usr/lib/hadoop/conf. Это может быть проблемой. – Matt

+0

Какова ваша файловая система по умолчанию? –

ответ

1

Chek конфигурация в Hadoop-site.xml, ядро-site.xml и mapred-site.xml

Используйте PIG_CLASSPATH указать аддитивные записи CLASSPATH. Для, например, добавлять файлы конфигурации Hadoop (Hadoop-site.xml, ядро-site.xml) на пути к классам

export PIG_CLASSPATH=<path_to_hadoop_conf_dir> 

вы должны переопределить записи по умолчанию путь к классам, установив PIG_USER_CLASSPATH_FIRST

export PIG_USER_CLASSPATH_FIRST=true 

После этого вы можете способный запустить оболочку grunt