2016-01-17 3 views
0

Я использую R для проведения некоторых оценок для двух разных моделей прогнозирования. Основная идея оценки заключается в сравнении корреляции Пирсона и ее соответствующей p-ценности с использованием функции cor.(). На приведенном ниже графике показан конечный результат коэффициента корреляции и его p-значения.оценивать прогноз по значениям p-значения и корреляции pearson

enter image description here

мы предположение, что модель, которая имеет более низкий коэффициент корреляции с соответствующим нижним р-значение (менее 0,05) лучше (или, более высокий коэффициент корреляции, но с довольно высоким соответствующим значением р). Итак, в данном случае, в целом, мы бы сказали, что модель1 лучше, чем model2. , но вопрос здесь в том, есть ли какой-либо другой статистический метод для количественной оценки сравнения?

Большое спасибо !!!

ответ

1

Предполагая, что вы работаете с данными временных рядов, так как вы вызвали «прогноз». Я думаю, что вы действительно ищете, это повторение вашей модели прогноза. Из «Введение в анализ финансовых данных с R» от Ruey S. Tsay вы можете взглянуть на его функцию backtest.R.

backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE) 
# m1: is a time-series model object 
# orig: is the starting forecast origin 
# rt: the time series 
# xre: the independent variables 
# h: forecast horizon 
# fixed: parameter constriant 
# inc.mean: flag for constant term of the model. 

Backtesting позволяет увидеть, насколько хорошо ваши модели выполняют на прошлых данных и backtest.R Tsay обеспечивает RMSE и среднее-Absolute-ошибка, которая даст вам другую перспективу вне корреляции. Осторожно В зависимости от размера ваших данных и сложности вашей модели это может быть очень медленный тест.

Чтобы сравнить модели, вы обычно смотрите на RMSE, что по сути является стандартным отклонением ошибки вашей модели. Эти два являются прямо сопоставимыми и меньшими, чем лучше.

Еще одной альтернативой является подготовка, тестирование и тестирование валидации комплектов, прежде чем создавать свои модели. Если вы тренируете две модели на одних и тех же данных обучения/теста, вы можете сравнить их с вашим набором валидации (который никогда не видел ваши модели), чтобы получить более точное измерение показателей вашей модели.

Окончательная альтернатива, если у вас есть «стоимость», связанная с неточным прогнозом, примените эти затраты к вашим прогнозам и добавьте их. Если одна модель плохо работает на более дорогом сегменте данных, вы можете избежать ее использования.

В качестве побочной заметки ваша интерпретация значения p как меньше лучше оставляет немного [желательным] quite right.

P значения адресуют только один вопрос: насколько вероятны ваши данные, предполагая истинную нулевую гипотезу? Он не измеряет поддержку альтернативной гипотезы.