apache-spark-mllib

3зной

2ответ

Я пробовал стандартную искру HashingTF пример на DataBricks. import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer} val sentenceData = spark.createDataFrame(Seq( (0, "Hi I heard about Sp

1зной

2ответ

Можем ли мы обновить существующую модель в искровом мл?

В какой-то день мы используем искру мл, чтобы построить модель из существующих данных, позже мы получаем больше данных, поступающих каждый день. Есть ли способ, по которому мы можем только читать новы

0зной

1ответ

Не может подать заявку на искровой кластер в коде

Моего кода: SparkSession spark = SparkSession.builder().appName("plzzzz").master("local[*]").getOrCreate(); Dataset<Row> dataset = spark.read().format("libsvm").load("/home/ceny/tools/123.txt"); KMe

1зной

1ответ

Multilabel Классификация по NaiveBayes Классификатор в Спарк

У меня есть данные в формате blah sentence one --> label1, label2 blah sentence two --> label2, label4 blah sentence three --> label3 Как я могу использовать OneVsRestClassifier с NaiveBayesClassifier

0зной

2ответ

Значение _1 не является членом org.apache.spark.mllib.recommendation.Rating

У меня есть приложение с искрой MLlib-scala, я хочу разделить свои данные на 3 стороны: Обучение, тестирование, проверка. Мой код выглядит следующим образом: val training_RDD = Ratingfiles.filter(x =>

1зной

2ответ

scikit-learn и mllib разница в предсказаниях python

У меня проблема с моделью SVM, подготовленной для двоичной классификации с использованием Spark 2.0.0. Я придерживался той же логики, используя scikit-learn и MLlib, используя тот же самый набор данны

0зной

1ответ

Spark - объект «LDAModel» имеет атрибута «describeTopics»

я в настоящее время с помощью CDH Спарк 1.5.0, Python 2.6.6 Hadoop 2.6 Я пытаюсь построить модель LDA со ссылкой на эту ссылку Saprk1.5.0-Latent Dirichlet allocation (LDA) Цитирование от того, что нап

0зной

2ответ

Как получить идентификаторы/номера кластера (а не только кластерные центры) из Bisecting K-Means в Spark 2.0.2 (Scala)

Я изучаю алгоритм Bisecting K-MeS Spark MLlib (Scala). Версия Spark, которую я использую, - 2.0.2. Ознакомиться с примером кода Spark (примеры/src/main/scala/org/apache/spark/examples/ml/BisectingKMea