Связь между MapReduce и Divde и Conquer

Question

Является ли карта Уменьшить реальный разрыв и победить? Некоторые говорят просто «да», а другие говорят «нет», это конвейерная обработка.

Что вы думаете о следующем:

Они тесно взаимосвязаны, но один может быть частным случаем другого:

Карта Снижение включает свертка процесс, который не является обязательным в разделяй и властвуй We может сказать, что Map Reduce - это особый случай Divide и Conquer, который включает в себя этап сокращения. Другие проблемы с Divide и Conquer, которые не имеют ничего общего (например, двоичный поиск), это Map Reduce, который имеет фиктивный/тривиальный процесс сокращения.

Answer 1

Я не думаю, что это следует понимать таким образом. Да, Mar-Reduce - это больше о сегрегации и агрегации. Может быть записана программа сокращения карт, которая работает только с одним картографом, и она выводит непосредственно в hdfs, а не требует редуктора. Кроме того, количество преобразователей зависит от размера данных, а не от самих данных. По умолчанию он имеет 1 картограф на 64 МБ (приблизительный), но может быть установлен на гораздо больший объем, а затем удаляет любой вопрос о разделении данных.

Этот book очень красиво обсуждает историю Карты Уменьшает и предлагается для лучшего понимания.