apache-spark-mllib

0зной

1ответ

Spark.ml DataFrame, содержащий SparseVector

У меня есть spark.ml DataFrame, который содержит много столбцов, каждый из этих столбцов содержит SparseVector в строке. Я хотел бы применить MultivariateStatisticalSummary.colStats к каждому колонку,

-1зной

1ответ

Преобразование Spark dataframe в Spark DenseMatrix для операций

Я смотрел по всему Интернету и не мог найти, как просто преобразовать блок данных в искру в матрицу, чтобы я мог выполнять на нем операции с матрицей. Как я могу просто достичь этого в Spark 2?

1зной

1ответ

. Правила доверия Spark MLlib больше 1.0

Я использовал Spark 2.0.2 для извлечения некоторых правил ассоциации из некоторых данных, в то время как когда я получаю результат, я обнаружил, что у меня есть некоторые странные правила, например сл

1зной

2ответ

Преобразование световых данных в формат org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg.Vector]

Я очень новичок в scala и spark 2.1. Я пытаюсь вычислить корреляцию между многими элементами в кадре данных, который выглядит следующим образом: item_1 | item_2 | item_3 | item_4 1 | 1 | 4 | 3

0зной

1ответ

Apache Spark как конкатенировать (несколько) индексаторов и кодеров в конвейер

Прежде чем я смогу использовать модель машинного обучения на моем текущем фрейме данных, я должен применить несколько шагов предварительной обработки. Это включает преобразование нескольких категориал

1зной

1ответ

Spark + Scala: NaiveBayes.train - exception is java.util.NoSuchElementException: next on empty iterator

Я пытаюсь провести анализ настроений с помощью твитов с Spark MLlib. После предварительной обработки данных и преобразования ее в соответствующий формат, я вызываю метод поезда NoviveBayes для получен

0зной

1ответ

PySpark Training Случайный лесной трубопровод

Я пытаюсь создать трубопровод, который берет мою DataFrame информацию о задержке полета и запускает на ней случайный лес. Я довольно новичок в MLLib и не могу понять, где я ошибаюсь в своем коде ниже.