Node Labels в Hadoop

Question

Просто ищет понимание того, как метки узлов работают в отношении HDFS. Я понимаю обработку с использованием пряжи с ограниченным набором узлов, определенных под метками узлов. Как он управляется на уровне HDFS? Скажем, у меня 40 узлов и назначить 20 узлов для метки узла.

1. Будут ли данные переписываться с одного узла на другой для обработки?
2. Будут ли данные находиться только в тех узлах, где расположены метки узлов.

Попытка получить материалы по вышеуказанной теме.

Answer 1

Ну, метки узлов предназначены только для обработки YARN. Обработка данных может иметь или не иметь доступные данные. В этом случае данные будут передаваться из другого узла. На это повлияет время обработки. Основываясь на прецеденте, маркировка может быть или не быть полезной.