0
У меня есть существующий кластер Hadoop с версией хауопа версии Hadoop 2.6.0-cdh5.4.2. У меня есть существующий Spark (версия 1.5.1), запущенный на этом кластере. Тем не менее, я хочу использовать Spark 2.0/Spark 2.1 с некоторыми модификациями кода.Как построить искру для работы на существующем Hadoop 2.6 Кластер с CDH
Update
Я узнал от cloudera forums, что в теории, я мог бы просто скачать Спарк-2,0 (+ Hadoop-2,6), изменил HADOOP_CONF_DIR на conf/spark-env.sh и сделать что-то вроде
./bin/spark-shell --master yarn
и в основном, у меня будет Spark-2.0, работающий на моем кластере. Однако он все еще не работает. У меня заканчиваются потенциальные решения, поэтому я пришел сюда.
Это кластер, управляемый CM? Если это так, теперь доступен новый пакет Spark 2.0 (бета). –