Могу ли я иметь мастера и работника на том же узле?

Question

У меня есть автономный кластер с тремя узлами и на главном узле у меня также есть рабочий. Когда я отправляю приложение в кластер, два других рабочих запускают RUNNING, но рабочий на главном узле остается со статусом LOADING и, в конце концов, другой рабочий запускается на одной из других машин.

Есть ли проблема с рабочим и мастером на том же узле? Если да, есть ли способ решить эту проблему, или у меня никогда не должно быть рабочего и мастера на одном узле?

P.S. Машины имеют по 8 ядер каждый, а рабочие настроены на использование 7 и не все оперативной памяти

Answer 1

Возможно иметь машину, в которой размещаются как Рабочие, так и Мастер.

Возможно ли, что вы неправильно сконфигурировали spark-env.sh на этой конкретной машине?

Answer 2

Да, вы можете, вот от Spark web doc:

В дополнении к запуску на Mesos или менеджерах кластера ПРЯЖИ, Спарк также предоставляет простой режим автономного Deploy. Вы можете запустить автономный кластер вручную, путем запуска мастера и рабочих вручную или использовать наши предоставленные сценарии запуска. Также можно запустить эти демоны на одной машине для тестирования.