hdfs

5зной

2ответ

SparkSQL - Читать паркетный файл непосредственно

Я проникаю от Impala в SparkSQL, используя следующий код, чтобы прочитать таблицу: my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') Как вызвать SparkSQL выше, так что он мо

0зной

1ответ

Как я могу получить искру для доступа к локальной HDFS на окнах?

Я установил оба хаоса и искры локально на машине для окон. я могу получить доступ к HDFS файлов в Hadoop, например, hdfs dfs -tail hdfs:/out/part-r-00000 работает, как ожидалось. Однако, если я пыта

0зной

1ответ

«Невозможно создать путь от пустой строки» с Hadoop -Положите команду для CSV

Я пытаюсь тянуть в основной файл CSV в HDFS Я использую это: hadoop fs -put C:\Users\Desktop\Terrorism.csv /user/Mydata/terrorism.csv Сво дает мне следующее сообщение об ошибке: Can not create a Pat

0зной

1ответ

не удалось найти каталог таблицы улья, используя hdfs

Я ударил жесткий блок при использовании таблицы улья. при использовании таблицы улья. при использовании DESCRIBE FORMATTED tbl_name, я вижу местоположение: путь hdfs. при запуске запроса возвращаются

0зной

1ответ

Загрузка данных из HDFS -Spark Scala

Я автономное приложение с SBT, и я хочу загрузить мои данные из HDFS, я использовал эту команду: val loadfiles1 = sc.textFile("hdfs:///tmp/MySimpleProject/file1.dat") но ошибка это так жанры: [error

2зной

1ответ

Как сохранить mllib.recommendation.MatrixFactorizationModel в HDFS?

Я хочу сохранить свою модель обучения в HDFS, я попытался с помощью: model.saveAsTextFile("hdfs://sandbox.hortonworks.com:8020/tmp/Project/Model") и model.saveAsTextFile("hdfs:///sandbox.hortonworks