Как сохранить mllib.recommendation.MatrixFactorizationModel в HDFS?

Question

Я хочу сохранить свою модель обучения в HDFS, я попытался с помощью:

model.saveAsTextFile("hdfs://sandbox.hortonworks.com:8020/tmp/Project/Model") 

и

model.saveAsTextFile("hdfs:///sandbox.hortonworks.com:8020/tmp/Project/Model") 

Но это Dispaly ошибка заключается в следующем:

value saveAsTextFile is not a member of org.apache.spark.mllib.recommendation.MatrixFactorizationModel 

Могу ли я используйте saveAsnewAPIHadoopFile("hdfs://....")?

Можете ли вы рассказать, как сохранить модель в HDFS.

Answer 1

В the scaladoc of MatrixFactorizationModel я только мог найти способ:

save(sc: SparkContext, path: String): Unit 

Использование save вместо.

сохранить (СБН: SparkContext, путь: String): Unit

Сохранить эту модель на данном пути.

Это экономит:

• читаемый человеком (JSON) модель метаданных путь/метаданных/
• Паркет отформатированные данные в пути/данных/

---

Вы, кажется использовать ALS. Если да, рассмотрите возможность использования пакета org.apache.spark.ml.recommendation (не org.apache.spark.mllib.recommendation).