apache-spark-mllib

1зной

1ответ

Как добавить контрольные точки в случайную модель леса в среде PySpark?

Я использую RandomForest.trainClassifier. Поддерживаемые параметра: вход numClasses categoricalFeaturesInfo numTrees featureSubsetStrategy примеси maxDepth maxBins семян Но дополнительные параметры, к

1зной

1ответ

Как переучивать модели только для новых партий (без взятия предыдущего набора учебных материалов) в Spark Streaming?

Я пытаюсь написать свою первую рекомендательную модель (Spark 2.0.2), и мне хотелось бы узнать, возможно ли это, после первоначального поезда, когда модель разрабатывает все мои rdd, работайте с дельт

5зной

1ответ

Apache Spark ALS - как выполнять Live-рекомендации/сбрасывать анонимный пользователь

Я использую Apache Spark (Pyspark API для Python) ALS MLLIB для разработки службы, которая выполняет живые рекомендации для анонимных пользователей (пользователей, не участвующих в обучении set) на мо

0зной

1ответ

Как работает код mllib на искры?

Я новичок в распределенных вычислениях, и я пытаюсь запустить Kmeans на EC2 с использованием mllib kmeans Spark. Когда я читал через учебник я нашел следующий фрагмент кода на http://spark.apache.org/

1зной

1ответ

Pyspark: Использование dataframe в алгоритмах ml

Я понимаю, что для использования ml.clustering алгоритма Kmeans (фактически любого ml algos?) С dataframe, мне нужно, чтобы мой dataframe в определенной форме: (id, vector []) , или что-то типа того.

3зной

1ответ

Использование MLlib 2+ без искровых зависимостей

Поскольку MLlib использует Бриз под капотом, есть ли способ использования MLlib с базами данных Breeze, так что мне не нужна вся экосистема Spark, но все же можно использовать MLlib только локально?