Точность нейронной сети Rapidminer

Question

Я использую модель NN для прогнозирования спроса, и мне любопытно, если кто-нибудь знает, какую точность разумно ожидать от самой модели. В отрасли, в которой я работаю, мы можем неплохо справиться с ошибкой прогнозирования (5-10%), а модель, которую я сейчас имею, составляет 86% точности. Я не эксперт в области моделирования NN, но моя интуиция говорит мне, что 14% -ная ошибка в проверке модели не обязательно соответствует 14% -ной ошибке прогнозирования в среднем. Если у кого-то есть опыт с ними, какая точность достижима/разумна?

Answer 1

Это полностью зависит от проблемы. Мы не знаем, какова ваша проблема, не говоря уже о качестве данных, количестве, знании того, как современные объекты NN Rapid Miner, построение валидации/тестирования и другие потенциальные проблемы.

my intuition is telling me that a 14% error in the model validation doesn't necessarily correspond to a 14% forecasting error on average.

Если прогнозируя вы имеете в виду реальную/развернутую ошибку: вообще, вы не должны ожидать, что ошибка проверки, чтобы быть ниже истинной ошибки. Валидация - это в лучшем случае точная оценка вашего истинного обобщения, а в худшем - чрезмерная оценка из-за некоторой общей предубежденности.