Глубокая нейронная сеть в сочетании с qlearning

Question

Я использую совместные положения с камеры Kinect в качестве своего состояния, но я думаю, что это будет слишком большим (25 суставов х 30 в секунду), чтобы просто входить в SARSA или Qlearning.

Сейчас я использую программу Kinect Gesture Builder, которая использует контролируемое обучение, чтобы связать движение пользователя с конкретными жестами. Но для этого требуется контролируемая тренировка, от которой я бы хотел отойти. Я полагаю, что алгоритм может забрать определенные ассоциации между суставами, которые я хотел бы, когда я классифицирую данные самостоятельно (вверх, шаг влево, шаг справа, например).

Я думаю, что подача этих данных в глубокую нейронную сеть, а затем передать это в алгоритм обучения усилению, может дать мне лучший результат.

В последнее время появилась бумага. https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf

Я знаю, что у Accord.net есть и глубокие нейронные сети, и RL, но кто-нибудь их объединял? Какие-нибудь идеи?

Answer 1

Если я правильно понял ваш вопрос + комментарий, вам нужен агент, который выполняет дискретные действия с использованием визуального ввода (необработанные пиксели с камеры). Это похоже на то, что недавно сделали ребята DeepMind, расширив упомянутую вами бумагу. Посмотрите на this. Это более новая (и лучшая) версия игры Atari. Они также предоставляют официальную реализацию, которую вы можете скачать here. Существует даже an implementation in Neon, который работает очень хорошо.

И наконец, если вы хотите использовать непрерывные действия, возможно, вас заинтересует этот very recent paper.

Резюмируя: да, кто-то в сочетании DNN + RL, это работает, и если вы хотите использовать исходные данные камеры для обучения агента с RL, это, безусловно, один путь :)