spark-mapwithstate Почему количество хранилищ остается 20?

Question

Я использую искровую карту, но пространство для хранения продолжает расти.

Вопрос 1.

MapPartitionsRDD Размер в памяти 9GB х 20 Вы можете уменьшить этот размер?

Вопрос 2.

And in InternalMapWithStateDStream, storagelevel is fixed to MEMORY_ONLY. 

Я хочу изменить упорствовать (StorageLevel.MEMORY_ONLY_SER) из-за его размера. Является ли это возможным?

Вопрос 3.

Private [streaming] object InternalMapWithStateDStream { 
    Private val DEFAULT_CHECKPOINT_DURATION_MULTIPLIER = 10 
} 

Я хочу, чтобы уменьшить это значение контрольной точки. Является ли это возможным?

Answer 1

MapPartitionsRDD Размер в памяти 9GB x 20 Можно ли уменьшить этот размер?

Это 9GB x 20, но как распределяется оно через ваш кластер? Вам нужно щелкнуть имя RDD, чтобы увидеть распределенное состояние. Если вы хотите уменьшить размер памяти, вам нужно подумать об эффективном способе представления ваших данных.

Я хочу изменить упорствовать (StorageLevel.MEMORY_ONLY_SER) из-за его размера. Является ли это возможным?

Нет, вы не можете переопределить настройки памяти в MapWithStateDStream.

Я хочу уменьшить это значение контрольной точки. Является ли это возможным?

Да, вы можете установить DStream сек контрольной точки интервала:

dStream.mapWithState(spec).checkpoint(Seconds(4))