Реализация третьей фазы называется слиянием после фазы уменьшения

Question

Мне нужно добавить третью фазу - слияние - которая объединяет выходы отдельных параллельных задач Уменьшить задачи. Это позволяет делать такие вещи, как объединения и строить декартовы продукты. Может кто-нибудь мне помочь как это сделать? Я проверил, что для поддержки его функции нет API Hadoop 0.21.

Answer 1

Hadoop - это карта MapReduce (не MapReduceMerge!), И это вряд ли изменится. Тем не менее, вы можете подать Джиру или задать по телефону http://getsatisfaction.com/cloudera/, чтобы получить официальный стенд на этом.

Если вам нужны соединения, вы должны попробовать Свинья (только у меня есть практический опыт, но есть и другие - Улей, ...). Свинья делает соединения довольно простыми.