hadoop2

0зной

1ответ

Hadoop: HDFS Cluster работает вне пространства, хотя пространство доступно

У нас есть 4 datanode HDFS-кластера ... на каждом узле данных около 98 гб имеется большое количество пространства ... но когда я смотрю на информацию о датаном .. это только используя около 10GB и беж

0зной

1ответ

Где находятся HDFS-каталоги, созданные в Hadoop?

Я бегу простой, получить-мой-ноги-мокрые, карта уменьшить работу в режиме псевдо-распределились так: bin/hadoop jar tm.jar TestMap input output Он работал отлично в первый раз, но на втором прогоне,

0зной

1ответ

Кто будет обновлять metdata в узле Name в Hadoop?

В случае, если HDFS пишет, как метаданные обновляются в узле имени. Когда клиент записывает данные в узлы данных. Либо узлы данных, либо клиент HDFS будут обновлять метаданные в узле имени.

0зной

1ответ

Как имя узла обновляет доступность Узлов данных для записи HDFS в Hadoop

У меня есть 10 узлов данных, коэффициент репликации равен 3, размер файла - 150, а размер блока - 64. Таким образом, файл будет разбиваться на три блока B1, B2, B3. Таким образом, клиент запрашивает и

1зной

1ответ

, кто создаст идентификаторы блоков для блоков в hadoop?

Я хотел знать, кто создаст идентификаторы блоков для блоков в hadoop либо клиенте HDFS, либо узле Name. Пожалуйста, дайте мне знать.

3зной

1ответ

Установка Искры в качестве механизма выполнения по умолчанию для улья

Hadoop 2.7.3, Spark 2.1.0 и Hive 2.1.1. Я пытаюсь установить искру как механизм выполнения по умолчанию для улья. Я загрузил все банки в $ SPARK_HOME/jars в hdfs папку и скопировал scala-библиотеку, и

1зной

1ответ

Hadoop FileSystem mkdirs() создает каталог с разрешением 755 при передаче 777

Объект fileSystem, используемый в нижеприведенном фрагменте, получен через org.apache.hadoop.fs.FileSystem.get(Configuration conf). FsPermission объект прошел ниже, был получен с помощью FsPermission.