apache-spark-mllib

1зной

1ответ

Ошибка Spark PCA OutOfMemory при небольшом числе столбцов и строк

Я пытаюсь выполнить Spark MLLib PCA (используя Scala) на RowMatrix с 2168 столбцами и большим количеством строк. Тем не менее, я заметил, что даже с всего лишь 2 строк в матрице (а 112Kb текстовый фай

14зной

1ответ

Спарк MLlib - предупреждение trainImplicit

Я продолжаю видеть эти предупреждения при использовании trainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB. И тог

1зной

1ответ

Как слить текстовые файлы, используя сопоставление и сокращение в Java Spark MLLib?

У меня действительно большой набор данных, хранящийся на Hadoop (кластер YARN), на котором я хочу обучить классификатор векторной машины поддержки. Функции извлекаются из каждой точки данных из набора

0зной

1ответ

фильтрация нулевых значений из RDD <Vector> искра

У меня есть набор данных из двух частей в виде JavaRDD. Я хочу удалить строки (вектор), содержащие нулевые значения. Я собирался использовать функцию фильтра, чтобы сделать это, но не могу понять, как

1зной

2ответ

Что означает результат Spark MLLib SVM?

Я не понимаю выход классификатора SVM из алгоритма Spark MLLib. Я хочу преобразовать оценку в вероятность, так что я получаю вероятность для точки данных, принадлежащей определенному классу (на которо