Как реализовать лог-правдоподобие уровня предложения в тензорном потоке?

Question

Я хочу реализовать лог-правдоподобие уровня предложения, как описано в Collobert et al., p. 14.

Чтобы вычислить показатели перехода, я мог бы использовать CRF, но я не знаю, как его интегрировать в tensorflow. Я подумал об использовании tf.contrib.crf.CrfForwardRnnCell, чтобы вычислить показатели перехода, но этот класс возвращает пару из значений [batch_size, num_tags] матриц, содержащих новые альфа-значения, а не так, как я ожидал бы одного тендера [batch_size, num_tags, num_tags].

Есть ли у кого-нибудь пример использования CRF в тензорном потоке? Спасибо!

Answer 1

Хороший пример использования contrib.crf в TensorFlow приведен здесь: https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/crf

Стоит отметить, что цель SLL описана в Collobert в др. 2014 немного отличается от цели CRF в том, что SLL не имеет нормализации (см. Замечание 4 на стр. 16), но на практике это не имеет большого значения (я бы просто использовал CRF.)