apache-spark-1.4

0зной

1ответ

Databricks - Как создать библиотеку с обновленными артефактами maven

Сначала мы создали библиотеку в databricks, используя артефакт maven. Мы видим, что все банки присутствуют в библиотеке, и обратите внимание, что этот артефакт maven является нашим. Мы обнаружили неск

1зной

1ответ

Spark 1.4 Mllib LDA topicDistributions() возвращает неправильное количество документов

У меня есть модель LDA, работающая на корпусе размером 12 054 документов со словарем размером 9,681 слов и 60 кластеров. Я пытаюсь получить распространение темы по документам, вызывая .topicDistributi

2зной

1ответ

Не удалось сохранить RDD [String] в виде текстового файла, используя saveAsTextFile

Когда я пытаюсь записать свое RDD в текстовый файл на HDFS, как показано ниже, я получаю сообщение об ошибке. val rdd = sc.textFile("/user/hadoop/dxld801/test.txt") val filtered = rdd.map({line=> lin

3зной

3ответ

Найти размер данных, хранящихся в rdd, из текстового файла в искры Apache

Я новичок в Apache Spark (версия 1.4.1). Я написал небольшой код для чтения текстового файла и сохранил его данные в Rdd. Есть ли способ, которым я могу получить размер данных в rdd. Это мой код: impo

6зной

1ответ

В Apache Спарк SQL, как закрыть соединение metastore от HiveContext

Моего проекта имеет модульные тесты для различных конфигураций HiveContext (иногда они находятся в одном файле, поскольку они сгруппированы по характеристикам.) После обновления Спарка 1.4 я сталкиваю