При запуске приложения с использованием spark-submit в Apache Spark дано сообщение WARN

Question

Я настроил автономный кластер Apache Spark на две Ubuntu 14.04 VM. Одна из виртуальных машин, то есть Master и другая, то есть Worker, оба связаны с паролем меньше ssh, описанным here.

После этого от Мастера, я начал мастер, а также работник с помощью следующей команды из искры домашней директории -

sbin/start-all.sh 

Затем я запускаю следующую команду Master, а также Woker виртуальных машин.

jps 

Он показывает в мастер VM-

6047 jps 
6048 Master 

И в рабочий

VM-

6046 jps 
6045 Worker 

Казалось, что Мастер и работник работает должным образом, а также в веб-интерфейсе, есть ошибка не была. Но когда я пытаюсь запустить приложение, используя следующие command-

spark-1.6.0/bin/spark-submit spark.py 

Это дает WARN сообщение в консоли

что-

TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 

Вот мой тест APPLICATION-

from pyspark import SparkConf, SparkContext 
from pyspark.sql import SQLContext 
conf =SparkConf().setMaster('spark://SparkMaster:7077').setAppName("My_App") 
sc = SparkContext(conf=conf) 
SQLCtx = SQLContext(sc) 
list_of_list = sc.textFile("ver1_sample.csv").map(lambda line: line.split(",")).collect() 
print("type_of_list_of_list===========",type(list_of_list), list_of_list) 

Поскольку я новичок в Apache Spark. Пожалуйста помоги.

Answer 1

Проблема может быть связана с доступностью ресурсов (памяти/ядер). По умолчанию искра принимает значение по умолчанию от spark-defaults.conf.

Попробуйте использовать

bin/spark-submit --executor-memory 1g