Как рассчитать количество параметров AlexNet?

Question

я не нашел расчет параметров (вес + смещает) из AlexNet, так что я пытался вычислить его, но я не уверен, если его правильно:

CONV1: (11 * 11) * 3 * 96 + 96 = 34944

conv2: (5 * 5) * 96 * 256 + 256 = 614656

conv3: (3 * 3) * 256 * 384 + 384 = 885120

conv4: (3 * 3) * 384 * 384 + 384 = 1327488

conv5: (3 * 3) * 384 * 256 + 256 = 884992

FC1: (6 * 6) * 256 * 4096 + 4096 = 37752832

FC2: 4096 * 4096 + 4096 = 16781312

FC3: 4096 * 1000 + 1000 = 4097000

это приводит к общей сумме 62378344 параметров. Правильно ли это вычисление?

Answer 1

Слайд 8 в этой презентации утверждает, что у него есть параметры 60M, поэтому я думаю, что вы, по крайней мере, в парке шаров. http://vision.stanford.edu/teaching/cs231b_spring1415/slides/alexnet_tugce_kyunghee.pdf

Answer 2

Согласно диаграмме в своей работе, некоторые слои используют группировку. Поэтому не все функции одного уровня взаимодействуют со следующим. Это означает, например, для conv2 вы должны иметь только (5 * 5) * 48 * 256 + 256 = 307,456 функций.

Я не уверен, что все новые реализации включают группировку. Это была оптимизация, которую они использовали, чтобы параллельная сеть работала параллельно на двух графических процессорах, но современные графические процессоры имеют больше ресурсов для обучения и комфортно подходят для сети без группировки.