Вы должны начать его с dse
команды
dse spark-jobserver start [any_spark_submit_options] //Start the job server
dse spark-jobserver stop //Stop the job server
https://docs.datastax.com/en/datastax_enterprise/4.8/datastax_enterprise/spark/sparkJobserverOverview.html
Если это не исправить, возможно, это означает, что ложный старт или неправильное завершение работы оставил файл spark-jobserver.pid
в ресурсе ресурса spark-jobserver. Удалите это, чтобы следующий код мог пройти.
if [ -f "$PIDFILE" ] && kill -0 $(cat "$PIDFILE"); then
echo 'Job server is already running'
exit 1
fi
Этот код проверяет, существует ли этот файл PID и пытается ли он получить информацию из процесса. Если процесс не существует, значит, файл pid существует с ошибкой и должен быть удален (или вам не хватает разрешения).
и какие команды находятся внутри этого '.sh' файла? он не отправляется на работу, которую вы хотите запустить, это связано с чем-то внутри файла sh! –