Как клиент HDFS знает размер блока при записи?

Question

Клиент HDFS находится вне кластера HDFS. Когда клиент HDFS пишет файл, чтобы клиенты HDFS разбивали файлы на блоки, а затем записывали блок в datanode.

Вопрос в том, как клиент HDFS знает Blocksize? Размер блока настраивается в узле «Имя», и клиент HDFS не имеет представления о размере блока, а затем как он разделяет файл на блоки?

Answer 1

Некоторые подробности ниже (от Hadoop Definitive Guide 4-е издание)

«Клиент создает файл, вызвав создать() на DistributedFileSystem (шаг 1 в Рисунок 3-4). DistributedFileSystem делает вызов RPC для namenode для создания нового файла в пространстве имен файловой системы без каких-либо блоков, связанных с ним (шаг 2). Namenode выполняет различные проверки, чтобы убедиться, что файл еще не существует и что клиент имеет право разрешать создание файла. Если эти check pass, namenode записывает новый файл; в противном случае создание файла завершается с ошибкой, и клиент получает значение IOException. DistributedFileSystem возвращает FSDataOutputStream для клиента , чтобы начать запись данных. Как и в случае чтения, FSDataOutputStream обертывает DFSOutputStream, который обрабатывает связь с datanodes и namenode. Как клиент пишет данные (шаг 3), DFSOutputStream разбивает его на пакеты, которые он записывает во внутреннюю очередь, называемую очереди данных. "

Добавление больше информации в ответ на комментарий на этот пост:

Вот пример клиентская программа для копирования файла в HDFS (Source-Hadoop Definitive Guide)

public class FileCopyWithProgress { 
public static void main(String[] args) throws Exception { 
    String localSrc = args[0]; 
    String dst = args[1]; 

    InputStream in = new BufferedInputStream(new FileInputStream(localSrc)); 

    Configuration conf = new Configuration(); 
    FileSystem fs = FileSystem.get(URI.create(dst), conf); 
    OutputStream out = fs.create(new Path(dst), new Progressable() { 
     public void progress() { 
      System.out.print("."); 
     } 
    }); 

    IOUtils.copyBytes(in, out, 4096, true); 
} 

}

Если вы посмотрите на реализацию метода create() в классе FileSystem, он имеет getDefaultBlockSize() в качестве одного из своих аргументов, который inturn извлекает значения из конфигурации, которая является поворотом, обеспечивается наменоведением. Именно так клиент узнает размер блока, настроенный на кластере hadoop.

Надеется, что это помогает

Answer 2

Говоря простые слова, когда вы клиент URI развертывания, он будет размещать сервера URI в клиенте или загрузить и вручную заменить на клиенте. Поэтому всякий раз, когда клиент запрашивает информацию, он переходит в NameNode и извлекает требуемую информацию или помещает новую информацию в DataNodes.

P.S: Клиент = EdgeNode

Answer 3

HDFS разработан таким образом, где размером блока для конкретного файла является частью метаданных.

Давайте просто посмотрим, что это значит?

Клиент может указать NameNode, что он поместит данные в HDFS с определенным размером блока. Клиент имеет свой собственный hdfs-site.xml, который может содержать это значение, и может также указывать его по каждому запросу, используя параметр -Ddfs.blocksize.

Если конфигурация клиента не определяет этот параметр, то по умолчанию используется значение org.apache.hadoop.hdfs.DFSConfigKeys.DFS_BLOCK_SIZE_DEFAULT, которое равно 128 МБ.

NameNode может вызывать ошибку для клиента, если он задает размер блока, размер которого меньше, чем dfs.namenode.fs-limits.min-block-size (по умолчанию 1 МБ).

В этом нет ничего волшебного, NameNode ничего не знает о данных и позволяет клиенту решить оптимальное расщепление, а также определить коэффициент репликации для блоков файла.