apache-spark-mllib

1зной

1ответ

RandomForest через Spark вызывает ошибку кучи пространства

HDP-2.5.0.0 с использованием Ambari 2.4.0.1, Spark 2.0.1. У меня есть код Scala, который считывает CSM-файл 108 МБ и использует RandomForest. я запускаю следующую команду: /usr/hdp/current/spark2-clie

2зной

1ответ

удалить пустые строки из искры РДУ

У меня есть РДД, который я tokenizing так, чтобы дать мне список лексем data = sqlContext.read.load('file.csv', format='com.databricks.spark.csv', header='true', inferSchema='true') data = data.rdd.m

2зной

1ответ

Преобразование Sparse вектор в плотном вектор в Pyspark

У меня есть разреженная вектор как этот >>> countVectors.rdd.map(lambda vector: vector[1]).collect() [SparseVector(13, {0: 1.0, 2: 1.0, 3: 1.0, 6: 1.0, 8: 1.0, 9: 1.0, 10: 1.0, 12: 1.0}), SparseVecto

10зной

1ответ

Как подготовить данные в формате LibSVM из DataFrame?

Я хочу сделать формат libsvm, поэтому я сделал dataframe в нужном формате, но я не знаю, как конвертировать в формат libsvm. Формат показан на рисунке. Я надеюсь, что желаемый тип libsvm - элемент пол