Следствия выполнения предпосылок Гаусса – Маркова

Теорема ГауссаМаркова гласит, что при выполнении предпосылок (2.2) – (2.5) оценка параметров множественной регрессии, полученная при применении метода наименьших квадратов, , является наиболее эффективной, т. е. обладает наименьшей дисперсией в классе линейных несмещенных оценок (Best Linear Unbiased EstimatorBLUE).

Докажем несмещенность МНК-оценок.

Найдем математическое ожидание оценок параметров множественной линейной регрессии. Используем формулу (2.9), разложив величину У на неслучайную и случайную составляющие:

Раскроем скобки внутри выражения под знаком математического ожидания. Математическое ожидание суммы переменных равно сумме математических ожиданий каждой переменной:

В первом слагаемом произведение матриц дает единичную матрицу/, во втором слагаемом выражение можно вынести за скобки как неслучайную величину, а математическое ожидание случайных остатков равно нулю (условие 1). Таким образом, имеем выражение

(2.15)

где I – единичная матрица.

Несмещенность МНК-оценок доказана. Отметим, что из выражения (2.15) следует, что

(2.16)

Так как оценки параметров уравнения множественной регрессии могут варьировать, можно оценить их дисперсию и ковариацию, обобщив полученные данные в ковариационной матрице оценок параметров уравнения регрессии:

(2.17)

Заметим, что в матрице (2.17) нумерация строк и столбцов начинается с нуля. Нулевые строка и столбец введены для учета свободного члена уравнения регрессии и соблюдения нумерации коэффициентов регрессии.

Ковариация двух оценок параметров и рассчитывается по формуле

(2.18)

Из формулы (2.18) следует, что ковариация оценки параметра с самой собой равна ее дисперсии:

В матричной форме ковариационную матрицу оценок параметров уравнения регрессии можно записать в виде

(2.19)

Преобразуем выражение (2.19) с учетом выражения (2.16):

В полученном выражении случайным является только произведение , математическое ожидание остальных множителей как детерминированных величин равно им самим. Таким образом, имеем выражение

(2.20)

В выражении (2.20) сомножители, стоящие до математического ожидания, можно представить в виде

где .

Математическое ожидание представляет собой ковариационную матрицу случайных остатков вида

или

(2.21)

В силу условия Гаусса – Маркова о равенстве математического ожидания случайных остатков нулю (условие 1), а также постоянстве дисперсии случайных остатков (условие 2), получаем выражения

Согласно условию Гаусса – Маркова о независимости случайных остатков (условие 3) элементы матрицы (2.21), не стоящие на главной диагонали, равны нулю, т.е. матрица является скалярной:

где – единичная матрица порядка п.

Вернувшись к рассмотрению ковариационной матрицы оценок параметров уравнения регрессии, получим выражение

(2.22)

На главной диагонали матрицы находятся дисперсии параметров уравнения множественной регрессии. Их величины используются для оценки значимости указанных параметров. Отметим, что в выражении (2.22) дисперсия случайных остатков неизвестна и должна быть оценена по имеющимся у исследователя данным. Можно показать, что несмещенная оценка дисперсии случайных остатков , которая обозначается как, равна

(2.23)

где п – количество наблюдений; т – количество параметров в уравнении регрессии без учета свободного члена.

Таким образом, ковариационная матрица оценок параметров уравнения множественной регрессии будет иметь вид

(2.24)

а дисперсия оценки параметра; ( при при ), являющаяся диагональным элементом матрицы , может быть оценена по формуле

(2.25)

где – элемент матрицы .

Можно показать, что оценки параметров уравнения множественной регрессии а и их дисперсии при выполнении условия о распределении остатков по нормальному закону (условие 5) являются независимыми.

 
< Пред   СОДЕРЖАНИЕ     След >