Спарк работает бесконечно, например Pi

Question

Я просто настроить Спарк и выполнил команду

spark-shell --master yarn-client --driver-memory 512m --executor-memory 512m 

Однако, он просто продолжает бесконечно распечатывать сообщения, как

16/04/25 17:34:46 INFO Client: Application report for application_1460481694166_0125 (state: ACCEPTED) 

Я где-то читал, что я мог бы попытаться kill приложение. Но я не уверен, что

Когда я пытаюсь

yarn application -list 

Я вижу

  Application-Id  Application-Name  Application-Type   User   Queue     State    Final-State    Progress      Tracking-URL 
application_1460481694166_0118 org.apache.spark.examples.SparkPi      SPARK   root   default    ACCEPTED    UNDEFINED     0%         N/A 
application_1460481694166_0124   Spark shell     SPARK   root   default    ACCEPTED    UNDEFINED     0%         N/A 
application_1460481694166_0120   Spark shell     ... 
      Zeppelin     SPARK  zeppelin   default     RUNNING    UNDEFINED     10%    http://10.0.2.15:4040 
application_1460481694166_0117 org.apache.spark.examples.SparkPi      SPARK   root   default    ACCEPTED    UNDEFINED     0%         N/A 
application_1460481694166_Spark shell     

...

Я не уверен, почему Цеппелин показывает вверх, потому что я закрыл это в моем веб-браузере

Что мне нужно сделать сейчас?

Answer 1

Я предполагаю, что Zeppelin все еще работает, хотя вы закрыли браузер. Закрытие браузера - это не то же самое, что остановить процесс хостинга. Остановка процесса хостинга выполняется на вкладке CLI, которая запустила этот процесс. В качестве последнего канава вы можете прятать приложение - выполнять любой из запущенных процессов на любой вкладке.

yarn application -kill application_1460481694166_0118 

Это убьет (первое) искровое приложение.