2010-02-04 3 views
0

У меня массивный статический набор данных, и у меня есть функция, чтобы применить к нему.Эффективный MapReduce при работе с потоками для запросов к одному набору данных

f находится в форме reduce (map (f, dataset)), поэтому я бы использовал скелет MapReduce. Однако я не хочу разбрасывать данные по каждому запросу (и в идеале я хочу использовать индексирование для ускорения f). Есть реализация MapReduce, которая касается этого общего случая?

Я взглянул на IterativeMapReduce, и, возможно, он выполняет эту работу, но, похоже, обращается к немного другому случаю, а код пока недоступен.

ответ

0

Карта HadoopReduce (и все остальные карты с уменьшением скелета, вдохновленные Google) не разбрасывает данные все время.

 Смежные вопросы

  • Нет связанных вопросов^_^