apache-spark-mllib

0зной

1ответ

У нас есть ситуация, когда мы должны запускать линейную регрессию на миллионах небольших наборов данных и хранить вес и перехват для каждого из этих наборов данных. Я написал ниже код scala для этого,

9зной

1ответ

Spark MLLib реализация TFIDF для LogisticRegression

Я пытаюсь использовать новый TFIDF algorithem, который предлагает искры 1.1.0. Я пишу свою работу для MLLib на Java, но я не могу понять, как получить работу TFIDF. По какой-то причине IDFModel приним

3зной

1ответ

Печать ClusterID и его элементов с использованием Spark KMeans algo.

У меня есть эта программа, которая печатает алгоритм MSSE алгоритма Kmeans на apache-spark. Создано 20 кластеров. Я пытаюсь напечатать идентификатор clusterID и элементы, которые были присвоены соотве

0зной

1ответ

Как добавить dependecy в искру при использовании sbt для компиляции?

Когда я смотрю, как введение в части MLLIB, я прочитал следующее предложение: «Чтобы использовать собственные библиотеки из netlib-java, пожалуйста, создайте Spark с -Pnetlib-lgpl или включите com.git

1зной

1ответ

Как я могу использовать частные функции [mllib] в моем коде?

Я начал работать с искрами, в частности с библиотекой mllib. некоторые функции ограничены по объему и частным заявлениям. Как я могу использовать эти функции в своем коде? Пример: KMeans.scala private

0зной

1ответ

Как запустить больше исполнителей в режиме Apache Spark Cluster

У меня 50 рабочих, я хотел бы выполнить свою работу на всех моих рабочих. В мастер: 8080, я могу видеть все рабочие там, В мастер: 4040/исполнители, я могу видеть 50 исполнителей, но когда я запускаю

3зной

1ответ

Apache Spark MLLib - Запуск KMeans с векторами IDF-TF - Явное пространство Java

Я пытаюсь запустить KMeans на MLLib из (большой) коллекции текстовых документов (векторы TF-IDF). Документы отправляются через анализатор Lucene English, а разреженные векторы создаются из функции Has

6зной

4ответ

MLlib to Breeze векторы/матрицы являются частными для области org.apache.spark.mllib?

Я где-то читал, что локальные векторы/матрицы MLlib в настоящее время завершают реализацию Breeze, но методы, преобразующие MLlib в векторы/матрицы Breeze, являются частными для области org.apache.spa