Где [Этап X: ...] Строки ведения журнала, исходящие от запуска искры Apache?

Question

Я пытаюсь точно определить, что Logger отвечает за следующие виды линий в моем Apache Spark протоколирования:

[Stage 5:======>             (24 + 1)/200] 
[Stage 5:==========>            (38 + 1)/200] 
[Stage 5:==============>           (51 + 1)/200] 
[Stage 5:==================>          (66 + 1)/200] 
[Stage 5:======================>         (80 + 1)/200] 
[Stage 5:==========================>        (95 + 1)/200] 

До сих пор, я установил следующее в моем log4j2.xml, который выключен совсем немного, но не выше строк! =)

<AsyncLogger name="org.apache.spark" level="ERROR"/> 
    <AsyncLogger name="akka" level="ERROR"/> 
    <AsyncLogger name="org.spark-project" level="ERROR"/> 
    <AsyncLogger name="org.apache.hadoop" level="ERROR"/> 
    <AsyncLogger name="org.quartz" level="WARN"/> 
    <AsyncLogger name="Remoting" level="ERROR"/> 
    <AsyncLogger name="com.esotericsoftware" level="ERROR"/> 
    <AsyncLogger name="com.databricks" level="ERROR"/> 

Кто знает, как отключить выше таинственное протоколирования путем воздействия на конкретный регистратор, как я сделал выше для других?

Ответил ниже, но я хотел бы добавить немного для Java конкретной реализации ответа:

new JavaSparkContext(new SparkConf().set("spark.ui.showConsoleProgress", "false")) 

Answer 1

Попробуйте spark.ui.showConsoleProgress = false.

Пожалуйста, проверьте этот Спарк билет SPARK-4017