pyspark JOB завершается с ошибкой «Нет свободного места на устройстве»

Question

Я нахожусь в автономном кластере Master + 3WorkerNodes. При запуске задания (BIG) у меня возникает проблема «Нет места на устройстве».

Я пытался получать помощь Why does a job fail with "No space left on device", but df says otherwise? и установить переменную в искрового defaults.conf магистерскую

spark.local.dir   SOME/DIR/WHERE/YOU/HAVE/SPACE 

затем перезапустить кластер. Но заметил, что после изменения этого значения он все еще указывает на/tmp (использование памяти памяти во время работы df -h) для временного хранилища случайных настроек вместо указания на каталог, который я установил в defaults.conf (я вижу этот каталог в среда веб-интерфейса TAB).

ПОЧЕМУ/tmp все еще указано, любая IDEA? мне нужно установить что-нибудь-где-нибудь?

Также последовал Spark：java.io.IOException: No space left on device и получить: Мне нужно установить ниже собственности в spark-evn.sh

SPARK_JAVA_OPTS+=" -Dspark.local.dir=/mnt/spark,/mnt2/spark -Dhadoop.tmp.dir=/mnt/ephemeral-hdfs" 

export SPARK_JAVA_OPTS 

Что такое "/ шоссе/искра" и "/ MNT/эфемерные-HDFS" путь обозначает ?? И мне нужно установить его на spark -env.sh мастера или на каждый рабочий-узел.

Просьба помочь. Спасибо ...

Answer 1

Хорошо, получилось решение, я думаю, что установка «spark.local.dir» будет переопределяться по умолчанию saprk по i: e/tmp path.

Но установка двух переменных в каждом из «начальника» и «spark-env.sh» работала.

export SPARK_WORKER_DIR=dir_you_have_enough_Space 
export SPARK_LOCAL_DIRS=dir_you_have_enough_Space 

Надеюсь, это поможет кому-нибудь-когда-нибудь .. :)