Как пропустить неудачные задачи карты в потоке hadoop

Question

Я запускаю работу по перенастройке транзакции hadoop, которая содержит 26895 задач карты. Тем не менее, одна задача, которая обрабатывает определенный вход, всегда терпит неудачу. Поэтому я установил mapreduce.map.failures.maxpercent=1 и хочу пропустить неудачные задачи, но работа все еще не удалась.

Kind % Complete Num Tasks Pending Running Complete Killed Failed/Killed Task Attempts 

map  100.00% 26895  0  0  26894  1  8/44 

reduce 100.00%  1  0  0  0   1  0/1 

Как это сделать, чтобы пропустить это?

Answer 1

Для этого есть конфигурация. Укажите mapred.map.failures.percent и mapred.max.reduce.failures.percent в файле mapred-site.xml, чтобы указать порог отказа. Оба установлены в 0.