Журналы показа журналов работы Spark

Question

В автономном режиме я установил искровой сервер-источник (см. https://github.com/spark-jobserver/spark-jobserver/tree/jobserver-0.6.2-spark-1.6.1).

Я установил некоторые задания с помощью Scala, каждая работа использует один и тот же общий контекст, но я не понимаю, как сохранять журналы (или контекстные) моей работы.

В настоящее время я использую:

val logger = LoggerFactory.getLogger(getClass) 

без какого-либо успеха. Я не нашел никаких документов или примеров, возможно ли это?

Спасибо

Answer 1

Я нашел это полезным в попытке решить ту же проблему:

https://mapr.com/blog/how-log-apache-spark/

Вы должны настроить конфигурацию искры log4j.