Можем ли мы обновить существующую модель в искровом мл?

Question

В какой-то день мы используем искру мл, чтобы построить модель из существующих данных, позже мы получаем больше данных, поступающих каждый день. Есть ли способ, по которому мы можем только читать новые данные и обновлять существующую модель, не перечитывая все данные каждый раз?

Благодаря ...

Answer 1

Это зависит от модели, которую вы используете, но какое-то искра делает именно то, что want. Вы можете посмотреть StreamingKMeans, StreamingLinearRegressionWithSGD, StreamingLogisticRegressionWithSGD и более широко StreamingLinearAlgorithm.

Answer 2

Чтобы выполнить ответ Флорента, если вы не находитесь в потоковом контексте, некоторые модели Spark mllib поддерживают initialModel в качестве отправной точки для инкрементных обновлений. См., Например, KMeans, или GMM.