Теорема Гаусса - Маркова для случая множественной регрессии

Как и .для случая парной регрессии, сделав предположение о том, что ошибки е,, j=l,..., п, являются случайными величинами, мы можем показать, что МНК-оценки также являются случайными величинами.

Действительно,р = (Х7Х) ’ X7Y = (Х7Х) 1 • Х7(Хр + е), откуда

Поскольку матрица X является детерминированной, а вектор ? — случайным, то МНК-оценки также являются случайными.

Для того чтобы получить дополнительную информацию о свойствах этих оценок, сформулируем теорему Гаусса — Маркова.

Теорема 5.1 (Гаусса — Маркова для случая множественной регрессии). Если для модели У, = р0 + рД, + ... + рДй + е,, г = 1,..., п, выполнены следующие условия:

  • 1) модель правильно специфицирована;
  • 2) ранг матрицы X является максимальным;
  • 3) ?(в;) = 0, г = 1,..., п;
  • 4) var(?,) = a2, i = 1,..., п;
  • 5) cov(e,, е(.) = 0, i*j,

тогда МНК-оценки Р = (Х'Х) 1 X7Y являются BLUE (best linear unbiased estimators)лучшими линейными несмещенными оценками.

Как и в случае парной регрессии, поясним условия теоремы.

Первое условие о правильной спецификации модели обозначает, что, во-первых, все необходимые факторы в модель включены и нет «лишних» факторов (подробнее о том, как проверить, выполнено ли это условие, будет рассказано в гл. 9), во-вторых, выбрана правильная функциональная форма (подробнее о том, как это проверить, будет рассказано в гл. 8). Условне о максимальном ранге матрицы X означает, что ни один из ее столбцов не должен являться линейной комбинацией других (в противном случае МНК-оценки коэффициентов не определяются однозначно, X — вырожденная матрица). Свойства ошибок аналогичны случаю парной регрессии.

Расшифровка и смысл аббревиатуры BLUE аналогичны случаю парной регрессии.

? Доказательство. Линейность оценки (Змнк вытекает из детерминированности матрицы X и формулы (5.6).

Несмещенность оценки рмнк следует из формулы (5.10):

В силу линейности математического ожидания и условия 3 теоремы Гаусса — Маркова второе слагаемое равно нулю, что и означает несмещенность оценки МНК.

Доказательство наименьшей дисперсии МНК-оценок можно найти в различных источниках1. М

Утверждение 5.1[1] [2]. Если выполнены условия теоремы Гаусса — Маркова, то

является несмещенной оценкой дисперсии ошибок ае2.

Замечание 5.2. Оценки дисперсий МНК-оценок вычисляются по формуле

где через (А)^ обозначен элемент, находящийся на пересечении j-й строки и j-го столбца матрицы А.

В выдачах статистических пакетов ol обычно обозначают s.e.(J3,), где

Р; J'

s.e. — стандартные ошибки.

  • [1] Например, в работе [ 12, с. 71 ].
  • [2] Доказательство утверждения можно найти в работе [12, с. 65—66].
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >