Я запускаю задания mapreduce на псевдораспределенной настройке хаопа. Где я могу найти выходной файл mapper, striper и combiner? Есть ли способ проверить вывод каждой операции?где hasoop хранит выходные файлы mapper, parter и combiner?
Промежуточный вывод в MapReduce хранится в локальном хранилище временных файлов на узле, в котором выполнялась задача (а не в HDFS).
Вы можете найти в себе Hadoop conf, где локальные каталоги temp и вручную проверяют их узел за узлом.
В общем, могут быть лучшие способы делать то, что вы думаете, что хотите делать с помощью сообщений журнала или счетчиков. Другое, что вы можете сделать, это отключить редукторы, чтобы ваши Mappers записывали напрямую в HDFS, чтобы вы могли это проверить.