Эффект различного значения epsilon для Q-обучения и SARSA

Question

Поскольку я начинаю в этом поле, у меня возникает сомнение в том, что между тем, как различное значение epsilon повлияет на SARSA и Qlearning с помощью алгоритма epsilon greedy для выбора действия.

Я понимаю, что когда epsilon равно 0, действия всегда выбираются на основе политики, полученной из Q. Поэтому Q-обучение сначала обновляет Q и выбирает следующее действие на основе обновленного Q. С другой стороны, SARSA выбирает следующее действие и после обновлений Q.

Как насчет того, когда ε равно 1? и ε увеличивается от 0 до 1?

Спасибо!

Answer 1

ε-жадная политика выбирает случайное действие с вероятностью ε или наиболее известное действие с вероятностью 1-ε. При ε = 1 он всегда будет выбирать случайное действие. Это значение делает компромисс между разведкой и эксплуатацией: вы хотите использовать имеющиеся у вас знания, но вы также хотите искать лучшие альтернативы.