1
Гарантирует ли Hadoop, что различные блоки из одного и того же файла будут храниться на разных компьютерах в кластере? Очевидно, что реплицированные блоки будут на разных машинах.Файловые блоки на HDFS
A
ответ
1
Нет. Если вы посмотрите на HDFS Architecture Guide, вы увидите (на диаграмме), что файл part-1 имеет коэффициент репликации 3 и состоит из трех блоков с метками 2, 4 и 5. Обратите внимание, как блоки 2 и 5 находятся на одном и том же Datanode в одном случае.
0
0
Наоборот, я думаю. Отменяя репликацию, каждый datanode хранит каждый блок данных в виде собственного файла в локальной файловой системе.
0
Хорошо Hadoop не гарантирует это. Поскольку это огромная потеря безопасности, если вы запрашиваете файл в задании, сбитый datanode приведет к сбою полной работы. Просто потому, что блок недоступен. Не могу представить себе вопрос о вашем вопросе, может быть, вы можете немного рассказать о своем намерении.
Спасибо Томас. Я действительно не думал о прецеденте. Просто общее удивление. – Meg