сервер истории искры не показывает RDD, даже если он сохраняется

Question

Я запускаю искровую оболочку в искробезопасной версии 2.0.2. Вот моя программа,

var myrdd = sc.parallelize(Array.range(1, 10)) 
myrdd.setName("test") 
myrdd.cache 
myrdd.collect 

Но я до сих пор не в состоянии видеть любую информацию RDD на вкладке «хранения» в истории искры сервере.

Я посмотрел this, но это не помогает, поскольку у меня есть точно подобная программа, упомянутая там. Может ли кто-нибудь помочь?

Answer 1

В принципе, есть разница в сервере истории искры и искровом интерфейсе. Spark UI доступен только в том случае, когда контекст искры жив. Сервер истории искры доступен даже после завершения искровой программы. Сервер истории Spark загружает данные из файла журнала событий, который захватывает различные события во время жизненного цикла программы. Но журнал событий не фиксирует события, связанные с RDD (во избежание увеличения размера файла журнала событий), и, следовательно, даже если на сервере искровой истории есть вкладка «Хранение», она не отображает информацию RDD, поскольку данные, связанные с RDD, не являются хранится в журналах событий.