Насколько быстро используются методы Deep Learning (DNN, DBN, ...)?

Question

Методы глубокого обучения (глубокая нейронная сеть, сеть глубоких убеждений, глубокие сети стекирования ...) очень эффективны в некоторых областях. Они занимают очень много времени, чтобы тренироваться, но это единственная стоимость.

Я прочитал несколько статей о различных методах, и они сосредоточились только на точности и времени для их обучения. Как быстро они могут дать ответ на практике, после обучения?

Есть ли данные, доступные для тестирования глубоких сетей, возможно, с миллионами параметров?

Я бы подумал, что они довольно быстры, так как все весы фиксированы, но поскольку функции могут быть довольно сложными и число параметров достаточно велико, я не уверен, как они действительно выполняются на практике.

Answer 1

Скорость сильно зависит от размера сети. Предполагая, что ваша сеть плотная сеть Feed Forward, каждый слой сети представлен (обычно очень прямоугольной) матрицей. Для ввода входного сигнала через сеть требуется векторный вектор-матрица. Поэтому, если у вас есть сеть с 8 слоями, вам понадобится 8 матричных продуктов. Как долго каждый из этих элементов зависит от исходного размера набора данных и размера указанных слоев.