Запуск простого скрипта Spark на Mesos с Zookeeper

Question

Я хочу запустить простую программу искры, но некоторые ограничения ограничены. Мой Окружающая среда: CentOS: 6,6 Java: 1.7.0_51 Scala: 2.10.4 Spark: искровым 1.4.0-бен-hadoop2.6 Mesos: 0.22.1

Все установлены и узлы вверху. Теперь у меня есть один ведущий Mesos и подчиненный узел Mesos. Мои искровые свойства ниже:

spark.app.id   20150624-185838-2885789888-5050-1291-0005 
spark.app.name   Spark shell 
spark.driver.host 192.168.1.172 
spark.driver.memory 512m 
spark.driver.port 46428 
spark.executor.id driver 
spark.executor.memory 512m 
spark.executor.uri http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz 
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5 
spark.fileserver.uri http://192.168.1.172:51240 
spark.jars 
spark.master   mesos://zk://192.168.1.172:2181/mesos 
spark.mesos.coarse true 
spark.repl.class.uri http://192.168.1.172:51600 
spark.scheduler.mode FIFO 

Теперь, когда я начал искру, речь идет о быстрых (лестнице Скале>). После этого я получаю следующую ошибку: mesos task 1 теперь TASK_FAILED, значение slave-файла из списка mesos в черном списке из-за слишком большого количества сбоев, установленное на нем. Как решить эту проблему.

Answer 1

Не могли бы вы проверить ведомые журналы/задания задачи mesos для получения дополнительной информации о том, почему задача не выполнена. Вы могли бы взглянуть на: 5050.

Вероятно, несвязанный вопрос: Есть ли у вас на самом деле: зоопарк

spark.master mesos://zk://192.168.1.172:2181/mesos 

работает (как вы упомянули, вы только один мастер)?

Answer 2

С только 900 МБ и spark.driver.memory = 512m вы сможете запустить планировщик/REPL, но у вас недостаточно памяти для spark.executor.memory = 512m, поэтому любые задачи не удастся. Либо увеличивая объем памяти вашей виртуальной памяти, либо уменьшая требования к памяти драйвера/исполнителя, вы сможете обойти эти пределы памяти.