Hadoop: Сплит размер метаданных превысил 10000000

Question

Когда я побежал на работу каскадный, я получаю сообщение об ошибке:

Split metadata size exceeded 10000000 

я пытаюсь увеличить лимит на одного задания уровня, передавая следующее CommandLine

xxx.jar -D mapreduce.job​.split.metainfo.maxsi‌​ze=30000000 

Я также попытался

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=30000000 

Но и не работает, я все еще получаю ту же ошибку, так что аргумент не т. Я использую hasoop 2.5. Кто-нибудь может указать, что я сделал неправильно?

Answer 1

Вы можете попробовать установить следующее свойство в conf/mapred-site.xml:

<!-- No limits if set to -1 --> 
<property> 
    <name>mapreduce.jobtracker.split.metainfo.maxsize</name> 
    <value>-1</value> 
</property> 

Не уверен, если следующее поможет (дать ему шанс)

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=-1 

Ссылка: https://archive.cloudera.com/cdh/3/hadoop/mapred-default.html

| Name          | Default Value | Description                                                     | 
|---------------------------------------------|---------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| 
| mapred.jobtracker.job.history.block.size | 3145728  | The block size of the job history file. Since the job recovery uses job,history, its important to dump job history to disk as soon as possible.,Note that this is an expert level parameter. The default value is set to,3 MB | 
| mapreduce.jobtracker.split.metainfo.maxsize | 10000000  | The maximum permissible size of the split metainfo file. The JobTracker,won't attempt to read split metainfo files bigger than the configured,value. No limits if set to -1.             |