Работа по очистке искры не работает

Question

Когда я делаю dse spark-submit <jarname>, он копирует банку в SPARK_WORKER_DIR (в моем случае/var/lib/spark-worker/worker-0). Я хочу, чтобы банка автоматически удалялась после успешного завершения/запуска искрового задания. Использование this, я изменил свой SPARK_WORKER_OPTS в spark-env.sh следующим образом:

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800" 

Но банки все еще не получают удалены. Я делаю что-то неправильно? Что мне делать?

Answer 1

Добавление этой строки в spark-env.sh и перезапуск службы DSE работает для меня:

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=3600 -Dspark.worker.cleanup.appDataTtl=172800 " 

я перезапустил службу DSE по

nodetool drain 
sudo service dse restart 

Это удаляет журнал 2 дня после того, как работа завершена.