разведка и эксплуатация в Q-обучении

Question

В алгоритме Q-обучения выбор действия зависит от текущего состояния и значений Q-матрицы. Я хочу знать, обновляются ли эти значения Q только на этапе исследования или они также меняются на этапе эксплуатации.

Answer 1

Если вы читали Q-обучения код алгоритма, например, из Sutton & Barto book:

кажется довольно ясно, что Q-значения всегда обновляются, независимо друг от друга, если выбранное действие является разведочное или нет.

Обратите внимание, что строка «Выбрать от сек с помощью политики, полученной из Q (например, эпсилон-жадный)» означает, что действие несколько раз будут разведочными.