Полиномиальная регрессия 4-го и 5-го порядка не работает в Excel

Question

У меня возникла странная проблема с выполнением полиномиальной регрессии в Excel. Как и раньше, я пытаюсь получить правильные коэффициенты, используемые Excel, когда он создает полиномиальную линию тренда на графике. Я читал, как это сделать с помощью LINEST, и я смог получить ответы, соответствующие формуле линии тренда, когда выполнял регрессию 2-го и 3-го порядка ... но когда я пытаюсь 4 или 5, ответы дико отличаются от того, что Excel показывает мне формулу линии тренда.

Вот данные с графика и моя попытка на 5-ом порядке регресса: Click for Excel Workbook

Кто-нибудь есть какие-либо идеи о том, что может быть причиной мне неприятности?

Спасибо!

-Jon

Answer 1

Нулевые значения в выходе являются следствием (мульти-) коллинеарности. Из справки по функции MS:

«... Функция LINEST проверяет коллинеарность и удаляет любые избыточные столбцы X из модели регрессии, когда она идентифицирует их. Удаленные столбцы X могут быть распознаны в выводе LINEST как имеющие 0 коэффициентов в дополнение к 0 se values ​​.... "

Для более точных оценок применяют ЛИНЕЙН со среднецентровыми значениями х и после умножения на матрицу биномиальных коэффициентов. Так вместо:

=LINEST(B2:B31,A2:A31^{1,2,3,4,5}) 

попробуйте вместо этого:

=MMULT(LINEST(B2:B31,(A2:A31-AVERAGE(A2:A31))^{1,2,3,4,5}),IFERROR(COMBIN({5;4;3;2;1;0},{5,4,3,2,1,0})*(-AVERAGE(A2:A31))^({5;4;3;2;1;0}-{5,4,3,2,1,0}),0))

, которые согласуются со значениями линий тренда.

Также см: https://newtonexcelbach.wordpress.com/2011/02/04/fitting-high-order-polynomials/ (пост и комментарии)

Answer 2

Вы можете быть переобучения; на самом деле, я бы сказал, что вы, вероятно, используете, если используете полином 5-го порядка. Если полиномы выше, чем порядок 3 (даже выше, чем порядок 1 иногда!), Вы рискуете, что ваша «линия тренда» будет стрелять в космос в конечных точках. Когда вы преодолеваете определенный уровень сложности, вы подгоняете модель к случайным изменениям в точках данных, а не к основному механизму, который генерировал данные.

Одним из способов избежать проблемы является использование механизма регуляризации, такого как регрессия гребня. Книга Кристофера Бишопа Распознавание образов и машинное обучение имеет прекрасное обсуждение этой темы и дает хороший пример того, как упорядочить полиномиальную регрессию.

BTW, я бы не использовал Excel для статистического анализа. Вот статья о статистических возможностях Excel от Вычислительная статистика и анализ данных журнал (я впервые увидел ссылку на это в другой записи stackoverflow, но я не помню, откуда, извиняюсь за исходный плакат за то, что не дал соответствующего кредита): http://www.pages.drexel.edu/~bdm25/excel2007.pdf