reduce() vs. fold() в Apache Spark

Question

В чем разница между reduce и fold в отношении их технической реализации?

Я понимаю, что они отличаются своей сигнатурой, поскольку fold принимает дополнительный параметр (то есть начальное значение), который добавляется к каждому выходу раздела.

• Может ли кто-нибудь рассказать об использовании для этих двух действий?
• Что будет лучше, если рассматривать сценарий 0 для fold?

Заранее спасибо.

Answer 1

Там нет практической разницы, когда речь идет о производительности вообще:

• RDD.fold действие с помощью fold на перегородке Iterators который реализуется с помощью foldLeft.
• RDD.reduce использует reduceLeft на перегородке Iterators.

Оба метода сохранить изменяемый аккумулятор и технологические разделы последовательно, используя простые петли с foldLeft implemented like this:

foreach (x => result = op(result, x)) 

и reduceLeft like this:

for (x <- self) { 
    if (first) { 
    ... 
    } 
    else acc = op(acc, x) 
} 

Практическая разница между этими методами в Спарке только связанный с их поведение в пустых коллекциях и возможность использования изменяемого буфера (возможно, это связано с производительностью). Вы найдете некоторые дискуссии в Why is the fold action necessary in Spark?

Кроме того нет никакой разницы в общей модели обработки:

• Каждый раздел обрабатывается последовательно с использованием одного потока.
• Перегородки обрабатываются параллельно с использованием нескольких потоков исполнителей/исполнителей.
• Окончательное слияние выполняется последовательно, используя один поток на драйвере.