2017-02-14 6 views
1

Так я пытался настроить свою работу для представления пряжи, но вместо этого он работает локально:MapReduce 2 работы выполняется локально вместо того, чтобы быть представлены на пряжу

config.set("yarn.resourcemanager.address", "ADDRESS:8032"); 
config.set("mapreduce.framework.name", "yarn"); 
config.set("fs.default.name", "hdfs://ADDRESS:8020"); 

Если я установить mapred.job.tracker он не работает:

Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcServerException): Unknown rpc kind in rpc headerRPC_WRITABLE 

потому что его не MR1.

Итак, почему приложение не представлено нити?

+0

Что такое команда, которую вы используете, чтобы представить работу? – franklinsijo

+0

У вас есть кластер с одним узлом или несколькими узлами. –

+0

@franklinsijo: im работает обычное задание mapreduce, например: Job job = new Job (config, «job»); ..... job.waitForCompletion (true) И работа начинает работать в моем местном затмении вместо того, чтобы быть представленной в пряжу. – Sorin

ответ

1

решаемые его, делая это:

config.set("yarn.resourcemanager.address", "ADDRESS:8032"); 
config.set("yarn.resourcemanager.scheduler.address", "ADDRESS:8030"); 
config.set("yarn.resourcemanager.resource-tracker.address", "ADDRESS:8031"); 
config.set("yarn.resourcemanager.admin.address", "ADDRESS:8033"); 

вместо:

config.set("yarn.resourcemanager.address", "ADDRESS:8032");