1
Я хотел бы как создать блок. Создает ли он 64 МБ блоков по умолчанию в файловой системе или создает на основе активности передачи файловСоздание блока HDFS
Предположим, у меня установлена настройка кластера 10 узлов. Я устанавливаю hadoop на всех узлах. как теперь блок создается. Как только я запускаю службы hdfs, блок создается в системах linux. Создал ли он физический 64-мегабайтный блок из 4-х блоков? (базовый размер блока).
или
Когда я переместить файл размером 128 МБ будет два блока создан. Происходит ли создание блока в двух узлах? Какой компонент фактически разбивает файл на блоки?
Я просто новичок Hadoop и, следовательно, задают эти вопросы, чтобы получить четкое представление
HDFS блоки отличаются от обычных блоков файловой системы. Они не основаны на активности передачи файлов, а блоки одинаковы независимо от того, сколько узлов в кластере. По умолчанию каждый блок имеет коэффициент репликации 3. Там будет * по крайней мере 2 * блоков, используемых для файла размером 128 МБ, потому что файл может охватывать несколько блоков, а блоки могут содержать частичные файлы. –
Спасибо. Вы говорите, что блоки HDFS создаются поверх файловой системы Linux (несколько 4k), как только мы устанавливаем и выполняем службы HDFS на всех узлах. Как только входной файл поступит, система разделит файл на 64 МБ (скажем) и поместит его в блок. – Karthi
Правильно, HDFS является логической файловой системой по всему кластеру, объединяя все физические файловые системы в кластере. Я считаю, что Mapreduce обрабатывает разделение файлов и записывает их на диск. –