Deepmind Deep Q Network (DQN) 3D Convolution

Question

Я читал бумагу природы Deepmind в сети DQN. Я почти получил все, кроме него. Я не знаю, почему никто не задавал этот вопрос раньше, но мне все равно немного странно.

Мой вопрос: Вход в DQN - это изображение 84 * 84 * 4. Первый слой свертки состоит из 32 фильтров 8 * 8 со стойкой 4. Я хочу точно знать, что является результатом этой фазы свертки? Я имею в виду, что вход 3D, но у нас есть 32 фильтра, которые все 2D. Как третье измерение (которое соответствует 4 последним кадрам в игре) принимает участие в свертке?

Любые идеи? Спасибо Amin

Answer 1

Вы можете представить третье измерение (представляющее последние четыре кадра) в качестве каналов в сети.

Аналогичный сценарий возникает, если вы комбинируете три канала RGB для создания представления оттенков серого. В этом случае вы выполняете каждую свертку (для каждого канала) отдельно и суммируете вклады для получения окончательной карты характеристик выхода.

Ребята DeepMind ссылаются на эту статью (What is the Best Multi-Stage Architecture for Object Recognition?), которая может дать лучшее объяснение.