Конфигурация интервала контрольной точки мусора cloudera

Question

Cloudera позволяет мне настроить fs.trash.interval.

Но это не позволяет мне настроить fs.trash.checkpoint.interval.

Итак, когда hdfs создает контрольную точку?

Аналогичный вопрос существует здесь без ответа: When does Hadoop Framework creates a checkpoint (expunge) to its "current" directory in trash?

Answer 1

документация Apache Hadoop включает в себя ссылки на левой панели навигации в различных * -default.xml файлов. Эти файлы содержат настройки по умолчанию для всех свойств конфигурации.

Если вы перейдете по ссылкам * -default.xml, веб-сайт отобразит их в таблицах с довольно печатной таблицей. Вот необработанная версия XML от core-site.xml, в которой обсуждаются свойства корзины.

<property> 
    <name>fs.trash.interval</name> 
    <value>0</value> 
    <description>Number of minutes after which the checkpoint 
    gets deleted. If zero, the trash feature is disabled. 
    This option may be configured both on the server and the 
    client. If trash is disabled server side then the client 
    side configuration is checked. If trash is enabled on the 
    server side then the value configured on the server is 
    used and the client configuration value is ignored. 
    </description> 
</property> 

<property> 
    <name>fs.trash.checkpoint.interval</name> 
    <value>0</value> 
    <description>Number of minutes between trash checkpoints. 
    Should be smaller or equal to fs.trash.interval. If zero, 
    the value is set to the value of fs.trash.interval. 
    Every time the checkpointer runs it creates a new checkpoint 
    out of current and removes checkpoints created more than 
    fs.trash.interval minutes ago. 
    </description> 
</property> 

Исходя из этого описания, если вы не изменили fs.trash.checkpoint.interval, то он использует такое же значение, как fs.trash.interval, и это, как часто он будет создавать мусор контрольно-пропускной пункт.

Свойство конфигурации fs.trash.checkpoint.interval было введено в строке выпуска Apache Hadoop 2.x. Более старые версии не поддерживают это свойство конфигурации, и вы можете думать о том, что поведение эквивалентно fs.trash.checkpoint.interval, равному fs.trash.interval.