webhdfs

1зной

1ответ

NodeJS pipeing from tar packing to webhdfs error

В настоящее время я создаю приложение узла, которое использует hasoop как долговременное хранилище данных, когда моя служба не работает. Из-за ожидаемого количества передач, которые, как ожидается, бу

1зной

1ответ

Можно ли использовать WebHDFS с Flume?

Я хотел бы, чтобы flume агент сидел вне кластера hadoop и хотел бы знать, можно ли использовать лоток для отправки сообщений в кластер hadoop с помощью WebHDFS. Если нет, существуют ли альтернативы ис

2зной

1ответ

Как перечислить содержимое каталога HDFS с помощью webhdfs?

Можно ли проверить содержимое каталога в HDFS с помощью webhdfs? Это будет работать как обычно hdfs dfs -ls, но вместо этого используется webhdfs. Как указать каталог webhdfs с использованием Python 2

0зной

1ответ

403 при создании файла при использовании Hadoop.WebHDFSClient, хотя удалось создать папки в HDFS

Этот код работает до тех пор, пока создание папки не сможет создать файл и броски 403. Я пропустил кое-что здесь для аутентификации. Я новичок в Hadoop и пытаюсь узнать hdInsight. private static void

0зной

1ответ

Имеет ли связь Hadoop для API REST WebHDFS зависимость от Kerberos SPNEGO?

Согласно documentataion для WebHDFS REST API https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Delegation_Token_Operations Он упоминается, когда безопасность включена

0зной

1ответ

Как настроить свиньи для доступа к данным через WebHDFS?

Я новичок в hadoop, поэтому, пожалуйста, простите меня, если этот вопрос является ошибкой. Я пытаюсь настроить свиньи на использование webhdfs для получения данных. Я не знаю, как это сделать, я попро

1зной

1ответ

RemoteException при создании файла с API-интерфейсом WebHDFS REST

Мне не удалось создать файл с помощью API Http-Hadoop REST. Следуя документам, я делаю это. curl -i -X PUT "http://hadoop-primarynamenode:50070/webhdfs/v1/tmp/test1234?op=CREATE&overwrite=false" Отв

7зной

2ответ

При использовании --negotiate with curl, требуется файл keytab?

documentation, описывающий, как для подключения к конечной точке, обеспеченным Kerberos показывает следующее: curl -i --negotiate -u : "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=..." Флага -u должен

0зной

1ответ

Загрузка локального файла на удаленный HDFS с Java API, но подключиться к локальному

меня это очень простой способ загрузки, чтобы загрузить файл в один-узле hdp2.5 кластер: Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("webhdfs://hdsfhost:50070", c