2012-04-26 3 views
2

Задача карты в hadoop работает с разделяемым файлом 64/128 МБ. Он начинает обработку с первой строки входного разделения до конца. Мне нужно узнать, как узнать, когда выполняется задача карты, обрабатывая ее разделение на вход. Другими словами, перед перемещением и сортировкой. Есть ли какой-либо метод в библиотеке hadoop, который может ответить на мой вопрос?В hadoop Map-Reduce, как узнать задачу окончания карты или конец файла.

ответ

5

cleanup метод Mapper класса позволяет выполнить код, когда картографа выполняется обработка входного раскола, просто заменить его таким же образом переопределить метод map.

Если это не то, что вам нужно, может быть, Counter может решить вашу проблему?