Почему сообщение о недоумении журнала модели LDA настолько медленное в Spark mllib?

Question

Я устанавливаю модель LDA в Spark mllib, используя OnlineLDAOptimizer. Требуется ~ 200 секунд, чтобы соответствовать 10 темам на 9M-документах (твиты).

val numTopics=10 
val lda = new LDA() 
    .setOptimizer(new OnlineLDAOptimizer().setMiniBatchFraction(math.min(1.0, mbf))) 
    .setK(numTopics) 
    .setMaxIterations(2) 
    .setDocConcentration(-1) // use default symmetric document-topic prior 
    .setTopicConcentration(-1) // use default symmetric topic-word prior 
val startTime = System.nanoTime() 
val ldaModel = lda.run(countVectors) 

/** 
* Print results 
*/ 
// Print training time 
println(s"Finished training LDA model. Summary:") 
println(s"Training time (sec)\t$elapsed") 
println(s"==========") 

numTopics: Int = 10 
lda: org.apache.spark.mllib.clustering.LDA = org.apache.spark.mllib.clustering.LDA@72678a91 
startTime: Long = 11889875112618 
ldaModel: org.apache.spark.mllib.clustering.LDAModel = org.apache.spark.mllib.clustering.LocalLDAModel@351e2b4c 
Finished training LDA model. Summary: 
Training time (sec) 202.640775542 

Однако, когда я прошу журнала растерянность этой модели (похоже, мне нужно, чтобы бросить его обратно LocalLDAModel первым), это занимает очень много времени, чтобы оценить. Зачем? (Я пытаюсь получить лог-недоумение, поэтому я могу оптимизировать k, количество тем).

ldaModel.asInstanceOf[LocalLDAModel].logPerplexity(countVectors) 
res95: Double = 7.006006572908673 
Took 1212 seconds. 

Answer 1

• В общем, расчет недоумения не простым делом: https://stats.stackexchange.com/questions/18167/how-to-calculate-perplexity-of-a-holdout-with-latent-dirichlet-allocation

• также устанавливают количество тем лишь глядя на недоумения не может быть правильный подход: https://www.quora.com/What-are-good-ways-of-evaluating-the-topics-generated-by-running-LDA-on-a-corpus

LDAM, изученные с помощью онлайн-оптимизатора, имеют тип LocalLDAModel в любом случае, поэтому нет c onversion. Я вычислил недоумение как на местном, так и на распределенном уровне: они занимают довольно много времени. Я имею в виду просмотр кода, у них есть вложенные вызовы карты на весь набор данных.

Призвание:

docBound += count * LDAUtils.logSumExp(Elogthetad + localElogbeta(idx, ::).t) 

для (9М * ненулевых элементов BOW) раз может занять некоторое время. Код исходит от: https://github.com/apache/spark/blob/v1.6.1/mllib/src/main/scala/org/apache/spark/mllib/clustering/LDAModel.scala линия 312

Обучение LDA выполняется быстро в вашем случае, потому что вы тренируетесь всего за 2 итерации с помощью вызовов обновления 9 м/мб.

КПП. по умолчанию для docConcentration является Vectors.dense (-1), а не только Int.

КПП. номер 2: Спасибо за этот вопрос, у меня были проблемы с моим алгоритмом, выполняющим его на кластере, просто потому, что у меня был этот глупый расчет в нем, и он не знает, что это вызывает столько проблем.