Короче говоря, они имеют почти ничего общего.
NEAT is эволюционный метод. Это подход черного цвета к оптимизации функций. В этом случае - производительность нейронной сети (которую можно легко измерить), прим. к своей архитектуре (которую вы изменяете во время эволюции).
Укрепление обучения - это агенты, обучающие политики, чтобы вести себя хорошо в окружающей среде. Таким образом, они решают другую, более сложную задачу. В теории вы могли бы изучить NEAT с использованием RL, поскольку вы могли бы поставить проблему «с учетом нейронной сети как состояния, научиться ее модифицировать с течением времени, чтобы получить лучшую производительность». Важнейшим отличием будет - выход NEAT - это сеть, выход RL - политика , стратегия, алгоритм. Что-то, что можно использовать несколько раз, чтобы работать в какой-то среде, предпринимать действия и получать награды.
Оба подхода очень разные и, как вы говорите, обычно используются в разных контекстах. Но усиление обучения не обязательно решает более «сложные» проблемы (см., Например: https://arxiv.org/pdf/1703.03864.pdf) – Pablo