Какая функция активации используется в nce_loss?

Question

Я застрял с функцией активации nce_loss в модели word2vec. Я хочу, чтобы выяснить, какие функции активации она использует среди все этих перечисленных here:

К ним относятся гладкие нелинейность (сигмовидный, гиперболический тангенс, ELU, Softplus, и softsign), непрерывная, но не всюду дифференцируемая функция (РЕЛ, relu6, crelu и relu_x) и случайная регуляризация (исключение).

Я искал его в this function и в другом месте, но не получил никаких идей. Я полагаю, что это серия relu *. Любые подсказки, пожалуйста?

Answer 1

Ничего подобного. Он использует CrossEntropy.