Q learning vs Temporal Difference vs Модифицированное обучение на основе моделей

Question

Я в курсе «Интеллектуальные машины» в университете. Мы познакомились с тремя методами усиленного обучения, а также с теми, которым нам дали интуицию, когда их использовать, и я цитирую:

1. Q-Learning - Лучшее, когда MDP не может быть разрешен.
2. Временное различие Обучение - лучше всего, когда MDP известен или может быть изучен, но не может быть разрешен.
3. Model-Based - лучше всего, когда MDP невозможно узнать.

Я попросил пример, чтобы использовать TDL над QL и так далее, и лектор не смог его найти.

Так есть ли хорошие примеры, чтобы выбрать один метод над другим? Благодарю.

Answer 1

Временная разница является an approach to learning how to predict a quantity that depends on future values of a given signal. Его можно использовать для изучения как V-функции, так и Q-функции, тогда как Q-learning - это специфический TD-алгоритм, используемый для изучения Q-функции. Как указано в @StationaryTraveller, вам нужна Q-функция для выполнения действия (например, следуя политике эпсилон-жадность). Если у вас есть только V-функция, вы все равно можете получить Q-функцию, выполнив итерацию по всем возможным следующим состояниям и выбрав действие, которое приведет вас к состоянию с самым высоким значением V. Для примеров и более подробностей я рекомендую classic book from Sutton and Barto (this - это новая версия - в версии прогресса).

В безмодельный RL не научится функция перехода состояний (Типовой) и полагаться только на образцах. Однако вам может быть интересно также изучить его, например, потому что вы не можете собрать много образцов и хотите сгенерировать некоторые виртуальные. В этом случае мы говорим о модели RL. Модельная RL довольно распространена в робототехнике, где вы не можете выполнять много реальных симуляций или робот будет ломаться. This - хороший обзор со многими примерами (но он говорит только о алгоритмах поиска политик). Для получения еще одного примера см. this paper. Здесь авторы изучают - наряду с политикой - гауссовским процессом - аппроксимировать форвардную модель робота, чтобы имитировать траектории и уменьшить число реальных взаимодействий роботов.