Torch- почему люди не используют активацию явно?

Question

Всякий раз, когда я видел нейронные сети, реализованные в Torch, nn, они только соединяют модули вместе. Например, есть секвенсорный модуль с LookupTable, Splittable, FasLSTM, Linear, LogSoftMax. Почему люди не используют функции активации между ними, например, tanh/Sigmoid/ReLu?

Answer 1

У вас есть пример? Как правило, ReLu или TanH используются между слоями.

Вы не использовали бы их между функциями манипулирования таблицами и такими, поскольку они не являются «реальными» уровнями нейронной сети с параметрами.