hdfs

0зной

1ответ

Сохранение файлов на S3: локальный файл против HDFS

фон Простой возраст старая проблема загрузки файлов s3 с помощью Java с небольшим твист S3 не поддерживает потоковую передачу данных (AFAIK), поэтому данные должны группироваться в файлы определенного

0зной

1ответ

Генерация Avro схемы файла и сохранять в HDFS

Я использую Avro инструменты для создания файла схемы из Avro файла в HDFS и сбросить его в файловую систему Linux с помощью этой команды: hadoop jar /usr/bin/Avro/avro-tools-1.8.1.jar getschema /dw/h

0зной

1ответ

Проблема при получении данных Twitter в HDFS с использованием Flume

Я пытаюсь получить данные twitter в HDFS, но получаю проблемы. Вот мой flume.conf файл TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel TwitterAgent.sinks=HDFS TwitterAgent.sources.T

1зной

1ответ

hadoop fs -mkdir не создает нужные папки

Я пытаюсь выполнить простой пример Hadoop Mapreduce Wordcount. Я следую за этим guide для запуска программы. Одним из шагов является создание папок ввода и вывода в файловой системе hdfs. hadoop dfs -

0зной

1ответ

Hadoop Services не работает

Недавно установил виртуальную машину по ссылке ниже и пытался запустить команду sudo hdfs dfs -mkdir /user/vagrant в качестве пользователя HDFS. Однако Hadoop бросает на меня сообщение об ошибке ниже.

0зной

3ответ

Сохраните файл в HDFS с пары RDD

Ниже приведен скрипт python, который я использую для записи в HDFS. RDD - это пара RDD. Скрипт отлично работает, но он создает запись как кортеж в HDFS. Можно удалить кортеж и просто создать записи с

0зной

1ответ

Выполняет ли перенос данных на другие узлы автоматически, если роль datanode будет удалена в кластере hadoop?

У нас есть 5 узлов на нашем CDH-кластере, имеющих datanode и namenode на том же узле и еще 4 других datanode. Проблема заключается в том, что узел имен входит в безопасный режим, и это должно происход