Я пытаюсь получить условное распределение видимых переменных для модели реплицированного Softmax (RSM) или, что эквивалентно, ограниченную машину Boltzmann (RBM) для подсчета слов, в соответствии с документом: «Replicated Softmax: модель ненаправленной темы» Салахутдинова и Хинтона.
RBM: Получение реплицируемой модели Softmax (RSM)
бумаги можно найти по адресу: http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=B04C8D67D381B8106FF6FA4203A86264?doi=10.1.1.164.71&rep=rep1&type=pdf
Тем не менее, несмотря на все усилия, я не смог получить, как условное, может оказаться, быть SoftMax distribtution:
Также , Я смущен, если - это трехмерная матрица и
- двумерная матрица или же она представляет собой 2D-матрицу и вектор соответственно. Я считаю, что это последнее. Надеясь, кто-то сможет продемонстрировать выводы.
Я ищу для реализации RSM, чтобы сделать моделирование темы в anano от python. Я знаю, что есть коды, но я предпочитаю понимать сам вывод, чтобы я мог расширять или оптимизировать коды без риска взлома модели.
p.s. извинения, это сообщение https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm, но я сделал это, так как не так много пользователей mathstackexchange.