Оценивание параметров множественной регрессии методом наименьших квадратов

Процедура метода наименьших квадратов для модели (4.2) заключается в определении вектора оценок неизвестных параметров

X

€»= ё' ,

А,

соответствующего минимальному значению суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, рассчитанных по уравнению регрессии (принцип Лежандра [18]). Другими словами, задача заключается в минимизации суммы квадратов остатков или остаточной суммы квадратов

где — вектор остатков.

С учетом ранее введенных обозначений можно записать:

Далее запишем необходимое условие экстремума для задачи (4.3):

Систему (4.4) можно преобразовать к виду

Соотношение (4.5) представляет собой систему нормальных уравнений модели множественной регрессии (4.2). Однозначное решение системы нормальных уравнений возможно только в том случае, если матрица Х'Х является невырожденной. Данное требование выполняется при условии, что матрица X имеет полный столбцовый ранг. С учетом этого замечания вектор оценок неизвестных параметров может быть найден следующим образом:

Выражение (4.6) получило название формулы Гаусса - Маркова. Нетрудно заметить, что оценка (4.6) является линейной по Y. Интерпретация параметров уравнения (4.2) проводится аналогично интерпретации параметров уравнения парной регрессии.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >