Неизвестный протокол к трекеру работы

Question

Я пытаюсь запустить задание преобразования Haddoop в DataStax 3.1 и получить эту ошибку. Любые идеи о том, в чем причина?

Вызванный: org.apache.hadoop.ipc.RemoteException: java.io.IOException: неизвестно протокольного работы трекера: org.apache.hadoop.hdfs.protocol.ClientProtocol на org.apache.hadoop.mapred. JobTracker.getProtocolVersion (JobTracker.java:347) на sun.reflect.NativeMethodAccessorImpl.invoke0 (Native Method) на sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAcc

Answer 1

Цитирование Hadoop источник документации:

org.apache.hadoop.hdfs.protocol.ClientProtocol используется кодом пользователя через org.apache.hadoop.hdfs.DistributedFileSystem класс для связи с NameNode.

DSE не поставляется с NameNodes и DataNodes - они являются частью Apache Hadoop HDFS, а в DSE они были заменены файловой системой Cassandra.

В stacktrace указано, что вы используете протокол HDFS для подключения к узлу JobTracker, который предполагает, что вы неправильно выполняете свои задания.

С DSE вы должны представить свои работы M/R, вызывая:

dse hadoop jar <your M/R jar file> <your M/R main class> [args] 

А для доступа к Кассандре Файловая система:

dse hadoop fs <file system command> [args] 

Вы можете найти более подробную информацию в DSE Hadoop Documentation.