apache-spark

2зной

1ответ

Модель ovewrite не работает для регрессии Randomforest pyspark ml

from pyspark.ml.regression import RandomForestRegressionModel rf = RandomForestRegressor(labelCol="label",featuresCol="features", numTrees=5, maxDepth=10, seed=42) rf_model = rf.fit(train_df) rf_mo

9зной

1ответ

Расчет распределенной кросс-корреляционной матрицы

Как вычислить матрицу кросс-корреляции pearson большого (> 10TB) набора данных, возможно, распределенным образом? Будет оценено любое эффективное предложение распределенного алгоритма. обновление: Я п

-1зной

1ответ

Ошибка производительности Apache Spark

Мы думали об использовании Apache Spark для более быстрого сопоставления записей, но мы находим это крайне неэффективным, чем сопоставление SQL с использованием оператора select. Использование, JavaSp

0зной

2ответ

bash: export: `` JAVA_HOME =/Библиотека/Java/JavaVirtualMachines/jdk-9.jdk/Contents/Home "': недействительный идентификатор

Я пытался установить Apache Spark на своем Mac. После того, как я установил его, я получил эту ошибку каждый раз, когда запускаю java. bash: export: `“JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-9

-1зной

1ответ

Преобразование Spark dataframe в Spark DenseMatrix для операций

Я смотрел по всему Интернету и не мог найти, как просто преобразовать блок данных в искру в матрицу, чтобы я мог выполнять на нем операции с матрицей. Как я могу просто достичь этого в Spark 2?

2зной

1ответ

Примеры искры NoClassDefFoundError scopt/OptionParser

Я успешно сгенерировал исходный код искры 2.1. Однако, когда я запускаю некоторые из примеров (например, org.apache.spark.examples.mllib.BinaryClassification), я получаю следующую ошибку. Exception in

0зной

1ответ

Использование текстового типа данных в JavaRDD и возврат пустоты в FlatMap

Я пытаюсь перенести код hadoop в искру. У меня уже есть некоторые предопределенные функции, которые я должен иметь возможность использовать в искры, поскольку они представляют собой просто коды Java,