Как получить карту рабочих заданий/уменьшить количество входных/выходных данных

Question

Есть ли способ получить и распечатать количество сокращений выходных записей после запуска задания hadoop? Я итеративно запускаю map-reduce, и я хочу остановиться, когда мой предыдущий итоговый результат вывода совпадает с текущим количеством выходных данных карты.

Answer 1

В зависимости от вашей версии Hadoop имена могут быть разными. Но в целом вы можете получить доступ к своим счетчикам из объекта задания.

job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", 
      "REDUCE_OUTPUT_RECORDS").getValue(); 

Обратитесь к веб-сайту, чтобы узнать, какие счетчики определены в вашей работе, соответственно измените имена.