Как изменить коэффициент репликации HDFS только для HIVE

Question

Наш текущий HDFS-кластер имеет коэффициент репликации 1. Но для повышения производительности и надежности (сбой узла) мы хотим увеличить коэффициент репликации Hive промежуточных файлов (hive.exec.scratchdir) 5. Можно ли это реализовать?

С уважением, Selva

Answer 1

Смотрите, если -setrep поможет вам.

setrep

Использование:

hadoop fs -setrep [-R] [-w] <numReplicas> <path> 

Изменяет replication factor файла. Если путь - это каталог, тогда команда рекурсивно изменяет replication factor всех файлов под деревом каталогов, укорененным в пути.

Опции:

The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time. 

The -R flag is accepted for backwards compatibility. It has no effect. 

Пример:

hadoop fs -setrep -w 3 /user/hadoop/dir1 

hadoop fs -setrep -R -w 100 /path/to/hive/warehouse 

Ссылка: -setrep