Предполагая, что вы работаете с данными временных рядов, так как вы вызвали «прогноз». Я думаю, что вы действительно ищете, это повторение вашей модели прогноза. Из «Введение в анализ финансовых данных с R» от Ruey S. Tsay вы можете взглянуть на его функцию backtest.R.
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
Backtesting позволяет увидеть, насколько хорошо ваши модели выполняют на прошлых данных и backtest.R Tsay обеспечивает RMSE и среднее-Absolute-ошибка, которая даст вам другую перспективу вне корреляции. Осторожно В зависимости от размера ваших данных и сложности вашей модели это может быть очень медленный тест.
Чтобы сравнить модели, вы обычно смотрите на RMSE, что по сути является стандартным отклонением ошибки вашей модели. Эти два являются прямо сопоставимыми и меньшими, чем лучше.
Еще одной альтернативой является подготовка, тестирование и тестирование валидации комплектов, прежде чем создавать свои модели. Если вы тренируете две модели на одних и тех же данных обучения/теста, вы можете сравнить их с вашим набором валидации (который никогда не видел ваши модели), чтобы получить более точное измерение показателей вашей модели.
Окончательная альтернатива, если у вас есть «стоимость», связанная с неточным прогнозом, примените эти затраты к вашим прогнозам и добавьте их. Если одна модель плохо работает на более дорогом сегменте данных, вы можете избежать ее использования.
В качестве побочной заметки ваша интерпретация значения p как меньше лучше оставляет немного [желательным] quite right.
P значения адресуют только один вопрос: насколько вероятны ваши данные, предполагая истинную нулевую гипотезу? Он не измеряет поддержку альтернативной гипотезы.