Разница между знанием стойки и узлом имени

Question

Я проходил через Hadoop, я сомневаюсь, есть ли разница между стойкостью стойки и названием Node. Будет ли стойкость и имя узла останется на одном поле

Answer 1

Как верно сказал Авирус, вопрос был довольно расплывчатым. Но просто процитируйте для вашего понимания,

Namenode: НазваниеNode является центральным элементом файловой системы HDFS. Он хранит дерево каталогов всех файлов в файловой системе и отслеживает, где по кластеру хранятся данные файла. Он не сохраняет данные этих файлов. Клиентские приложения обращаются к NameNode, когда захотят найти файл, или когда они хотят добавить/скопировать/переместить/удалить файл. NameNode отвечает на успешные запросы, возвращая список соответствующих серверов DataNode, где хранятся данные. Подробнее об этой концепции вы можете прочитать here.

Rack Awareness: Простыми словами, понимание стойки - это стратегия, в которой используется namenode, чтобы выбрать ближайший datanode на основе информации о стойке. Вы можете прочитать подробности here

Более того, я хотел бы предложить this blog

Brad Hedlund Изображение кредитов

Answer 2

От Apache HDFS Users Guide

HDFS является основное распределенное хранилище, используемое приложениями Hadoop.

HDFS кластер главным образом состоит из NameNode, который управляет метаданные файловой системы и DataNodes, которые хранят фактические данные

Обычно крупные Hadoop кластеры расположены в стойках и сетевого трафика между различными узлами с в той же стойке гораздо более желательно, чем сетевой трафик через стойки. Кроме того, NameNode пытается разместить реплики блока на нескольких стойках для повышения отказоустойчивости.

От RackAwareness урока:

компонента Hadoop являются стоечной известно. Например, размещение блоков HDFS будет использовать узнаваемость стойки для обеспечения отказоустойчивости путем размещения одной блок-реплики на другой стойке. Это обеспечивает доступность данных в случае сбоя сетевого коммутатора или раздела в кластере.

Давайте посмотрим, как выполнены Hadoop writes.

1. Если писатель находится на DataNode, то первая копия помещается на локальном компьютере, в противном случае случайный DataNode.

2. Вторая копия размещена на datanode, который находится на другой стойке.

3. 3-я реплика находится на datanode, который находится на другом узле стойки в качестве второй реплики.

Благодаря репликации блоков данных на три разных узлов через два различных КСД, Hadoop операции чтения обеспечивает высокую доступность блоков данных.

По меньшей мере одна реплика хранится на разных RAC. Если один RAC недоступен, все же Hadoop может извлечь блок данных из другого RAC.