1
Так я пытался настроить свою работу для представления пряжи, но вместо этого он работает локально:MapReduce 2 работы выполняется локально вместо того, чтобы быть представлены на пряжу
config.set("yarn.resourcemanager.address", "ADDRESS:8032");
config.set("mapreduce.framework.name", "yarn");
config.set("fs.default.name", "hdfs://ADDRESS:8020");
Если я установить mapred.job.tracker он не работает:
Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcServerException): Unknown rpc kind in rpc headerRPC_WRITABLE
потому что его не MR1.
Итак, почему приложение не представлено нити?
Что такое команда, которую вы используете, чтобы представить работу? – franklinsijo
У вас есть кластер с одним узлом или несколькими узлами. –
@franklinsijo: im работает обычное задание mapreduce, например: Job job = new Job (config, «job»); ..... job.waitForCompletion (true) И работа начинает работать в моем местном затмении вместо того, чтобы быть представленной в пряжу. – Sorin