Ошибка синтаксиса на topology.py при попытке выполнить команду SCALA в искру через Cloudera VM

Question

Everytime я пытаюсь выполнить следующую команду Scala

val dataRDD = sc.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/data/data.txt") 
    dataRDD.collect().foreach(println) 
    //or 
    dataRDD.count() 

Я получаю следующее исключение -

exitCodeException exitCode=1: File "/etc/hadoop/conf.cloudera.yarn/topology.py", line 43 print default_rack^ 
SyntaxError: Missing parentheses in call to 'print' 

-I Я запускаю Spark 1.6.0 на Cloudera VM. Кто-нибудь еще сталкивался с такой проблемой? В чем причина? Я понимаю, что это связано с файлом «topology.py», который пытается печатать без «(», который требуется на python 3. Но почему этот скрипт вызывается, когда я не запускаю python/pyspark. Это только происходит через Cloudera VM, когда я выхожу за пределы vm с некоторыми другими данными примера, команды работают!

Answer 1

Я знаю, что может быть слишком поздно, но я отправляю ответ любым способом, если любой другой пользователь сталкивается с той же проблемой.

Выше известная проблема, и обходной путь заключается в следующем:

Обход:. Добавьте роль ПРЯЖА шлюза для каждого хоста, который уже не имеет по крайней мере одну ПРЯЖА роль (любого типа) ПРЯЖА г ateway необходимо добавить на узел/хост, где вы столкнулись с этой проблемой.