2016-01-06 1 views
0

Я практикую кластер из хаоса через малину Pi, согласно этому учебнику (http://www.widriksson.com/raspberry-pi-hadoop-cluster/), он устанавливает node1 в его конфигурацию файла мастеров хаопа, что запутывает, поскольку он также использует узел для запуска демонов hadoop. Я хочу знать причину его конфигурации, а такжеИдеально ли для узла имен также быть вторичным именем узла?

P.S. - Просто ctrl + f мастера

+0

Это не идеальный вариант. С Hadoop 2.x, Active Namenode возьмет на себя роль Namenode, если Namenode не работает. Посмотрите на соответствующий вопрос SE: http://stackoverflow.com/questions/19970461/name-node-vs-secondary-name-node/34716750#34716750 –

ответ

1

Нет Это не идеальное. Вам решать, как настроить кластер. В этом учебнике автор решил использовать node1 как P-NN и S-NN одновременно. Имейте в виду, что RPi Hadoop Cluster подходит только для разработки и тестирования, а не для производственной среды.

За и против запуска первичного и вторичного NameNode NameNode на отдельную машине (на основе This article от Cloudera):

1.Scalability. Для создания моментального снимка системы требуется столько же памяти, сколько и сам NameNode. Поскольку память, доступная для , процесс NameNode является основным ограничением размера распределенной файловой системы , для крупномасштабного кластера потребуется большая или вся доступная память для NameNode.

2. Долговечность. Когда SecondaryNameNode создает контрольную точку, он делает это в отдельной копии метаданных файловой системы. Перемещение этого процесса на другую машину также создает копию файла метаданных на независимой машине, увеличивая ее долговечность.

+0

О, хорошо, спасибо за ответ. Но каков будет эффект этой конфигурации? Можете ли вы говорить о преимуществах и недостатках? –

+0

@DeanChristianArmada Я отредактировал свой ответ с плюсами и минусами. –

+0

Я думаю, что другая причина для разделения заключается в том, что узел 1, который «узел имени» терпит неудачу, тогда есть доступный дополнительный узел имен, который может указывать на –

 Смежные вопросы

  • Нет связанных вопросов^_^