Метод наименьших квадратов для нахождения оценок коэффициентов парной регрессии

В этом параграфе будут найдены оценки коэффициента наклона (3, и свободного члена Р0 с помощью метода наименьших квадратов (МНК).

Определение 3.4. RSS {residual sum of squares) — это сумма квадратов остатков регрессии, вычисляемая по формуле

Возведя левую и правую части последнего равенства в квадрат и просуммировав, получаем (учитывая определение 3.4):

Отметим, что RSS можно выразить через ро и р,. Проведем необходимые для этого вычисления. В первую очередь выразим остатки регрессии через р<,ир,:

Наша задача состоит в нахождении минимума этой функции по р0 и р,. Необходимым условием экстремума является равенство нулю частных производных по Р0 и р,:

Путем элементарных преобразований приходим к системе линейных уравнений относительно ро и р, (эта система уравнений называется нормальной):

Эту систему не представляет труда решить (например, выразив ро через р, из первого уравнения и подставив во второе) и получить явные формулы для решения (см. задачу 3.1).

Определение 3.5. Оценки параметров ро и р, парной регрессии Yt = = Р0 + р,Х, + е,, i = 1,..., п, вычисляемые по формулам

называются оценками метода наименьших квадратов (МНК-оценками; англ, least squares, или LS).

Формулу для р, можно переписать также в виде (см. задачу 3.2)

Однако необходимо еще удостовериться, что найденная стационарная точка является точкой минимума. Для этого вычислим матрицу Гессе для

RSS как функции от (30 и [3,:

Поскольку оба главных минора матрицы Гессе являются положительными, то соответствующая матрице Я квадратичная форма является положительно определенной, и, следовательно, найденная точка является точкой минимума.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >