Оценка параметров классической регрессионной модели методом наименьших квадратов

Для оценки вектора неизвестных параметров р применим метод наименьших квадратов. Так как произведение транспонированной матрицы е' на саму матрицу е

1 Знаком «'» обозначается операция транспонирования матриц.

то условие минимизации остаточной суммы квадратов запишется в виде:

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (ХЬ)'=Ь'Х после раскрытия скобок получим:

Произведение Y'Xb есть матрица размера (1хл)[лх(р+1)]х х[(/Н" 1 )х 1 ]=( 1x1), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. Y'Xb= (Y'Xb)' = b'X' Y Поэтому условие минимизации (4.3) примет вид:

На основании необходимого условия экстремума функции нескольких переменных 5(6о, Ьр), представляющей (4.3),

необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных

Для вектора частных производных доказаны следующие формулы (§ 13.10):

где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.

1

Поэтому, полагая с= X'Y, а матрицу Л = Х'Х (она является симметрической — см. (4.6)), найдем

откуда получаем систему нормальных уравнений в матричной форме для определения вектора b:

Найдем матрицы, входящие в это уравнение* 1 *. Матрица Х'Х представляет матрицу сумм первых степеней, квадратов и попарных произведений п наблюдений объясняющих переменных:

п наблюдений

Матрица X' Y есть вектор произведений объясняющих и зависимой переменных:

В частном случае из рассматриваемого матричного уравнения (4.5) с учетом (4.6) и (4.7) для одной объясняющей переменной (/?=!) нетрудно получить уже рассмотренную выше [1] [2]

систему нормальных уравнений (3.5). Действительно, в этом случае матричное уравнение (4.5) принимает вид:

откуда непосредственно следует система нормальных уравнений (3.5).

Для решения матричного уравнения (4.5) относительно вектора оценок параметров b необходимо ввести еще одну предпосылку 6 (см. с. 72) для множественного регрессионного анализа: матрица X'X является неособенной, т. е. ее определитель не равен нулю. Следовательно, ранг матрицы Х'Х равен ее порядку, т.е. r(X'X)=p+1. Из матричной алгебры известно (см. § 13.4), что г(Х'Х)=г(Х), значит, г(Х)=р+, т. е. ранг матрицы плана X равен числу ее столбцов. Это позволяет сформулировать предпосылку 6 множественного регрессионного анализа в следующем виде:

6. Векторы значений объясняющих переменных, или столбцы матрицы плана X, должны быть линейно независимыми, т. е. ранг матрицы X — максимальный (г (Х)=р+1).

Кроме того, полагают, что число имеющихся наблюдений (значений) каждой из объясняющих и зависимой переменных превосходит ранг матрицы X, т. е. n>r (X) или п>р+1, ибо в противном случае в принципе невозможно получение сколько-нибудь надежных статистических выводов.

Ниже, в § 4.3, рассматривается ковариационная матрица вектора возмущений Y, с > являющаяся многомерным аналогом дисперсии одной переменной. Поэтому в новых терминах[3] приведенные ранее (с. 72, 93 и здесь) предпосылки для множественного регрессионного анализа могут быть записаны следующим образом [4]:

  • 1. В модели (4.2) е — случайный вектор, X — неслучайная (детерминированная) матрица.
  • 2. М (s)=0„.
  • 3,4. ^*=М(ег')=о[4]Е„.
  • 5. 8 — нормально распределенный случайный вектор, т.с. е~Л',(0;а=?„).
  • 6. г(Х) = р+<п.

Как уже отмечено в § 4.1, модель (4.2), удовлетворяющая приведенным предпосылкам /~6, называется классической нормальной линейной моделью множественной регрессии; если же среди приведенных не выполняется лишь предпосылка 5 о нормальном законе распределения вектора возмущений s, то модель (4.2) называется просто классической линейной моделью множественной регрессии.

Решением уравнения (4.5) является вектор

где (Х'Х)~х — матрица, обратная матрице коэффициентов системы (4.5), X Y — матрица-столбец, или вектор, ее свободных членов.

Теорема Гаусса—Маркова, рассмотренная выше для парной регрессионной модели, оказывается верной и в общем виде для модели (4.2) множественной регрессии:

При выполнении предпосылок1 множественного регрессионного анализа оценка метода наименьших квадратов b = (X'X)~[X'Yявляется наиболее эффективной, т. е. обладает наименьшей дисперсией в классе линейных несмещенных оценок (Best Linear Unbiased Estimator, или BLUE)[6] [7].

Зная вектор />, выборочное уравнение множественной регрессии представим в виде:

где у — групповая (условная) средняя переменной Y при заданном векторе значений объясняющей переменной

Х0=( Х|0 х2о ... хро).

? Пример 4.1. Имеются следующие данные[8] (условные) о сменной добыче угля на одного рабочего Y (т), мощности пласта

Х (м) и уровне механизации работ Xi(%), характеризующие процесс добычи угля в 10 шахтах.

Таблица 4.1

/

*/1

ха

У,'

/

ха

3V

1

8

5

5

6

8

8

6

2

11

8

10

7

9

6

6

3

12

8

10

8

9

4

5

4

9

5

7

9

8

5

6

5

8

7

5

10

12

7

8

Предполагая, что между переменными Т, Х и Xi существует линейная корреляционная зависимость, найти ее аналитическое выражение (уравнение регрессии Y по Х и Лу.

Решение. Обозначим

(напоминаем, что в матрицу плана X вводится дополнительный столбец чисел, состоящий из единиц).

Для удобства вычислений составляем вспомогательную таблицу.

Таблица 4.2

/

*/1

ха

3V

4

y-2

ха

о

УГ

хц ха

JVX/l

У*а

У,

1

S

II

1

8

5

5

64

25

25

40

40

25

5,13

0,016

2

11

8

10

121

64

100

88

ПО

80

8,79

1.464

3

12

8

10

144

64

100

96

120

80

9.64

1,127

4

9

5

7

81

25

49

45

63

35

5,98

1,038

5

8

7

5

64

49

25

56

40

35

5,86

0,741

6

8

8

6

64

64

36

64

48

48

6,23

0,052

7

9

6

6

81

36

36

54

54

36

6,35

0,121

8

9

4

5

81

16

25

36

45

20

5.61

0,377

9

8

5

6

64

25

36

40

48

30

5,13

0,762

10

12

7

8

144

49

64

84

96

56

9,28

1,631

I

94

63

68

908

417

496

603

664

445

-

6,329

(см. суммы в итоговой строке табл. 4.2);

Матрицу А 1=(Х’Х) 1 определим по формуле А~1=т—гА,

А

где А — определитель матрицы X’X; А — матрица,

присоединенная к матрице X X. Получим

(рекомендуем читателю убедиться в этом самостоятельно).

Теперь в соответствии с (4.8) умножая эту матрицу на вектор

(^-13230Т (-3,5393'

получим Ь = —!— 3192 = 0,8539

3738

^ 312) { 0,3670)

С учетом (4.9) уравнение множественной регрессии имеет вид: у =—3,54+0,854х[+0,367^2- Оно показывает, что при увеличении только мощности пласта Х (при неизменном Xj) на 1 м добыча угля на одного рабочего Y увеличивается в среднем на 0,854 т, а при увеличении только уровня механизации работ Х2 (при неизменной Х) — в среднем на 0,367 т.

Добавление в регрессионную модель новой объясняющей переменной Xi изменило коэффициент регрессии Ь (К по Х) с 1,016 для парной регрессии (см. пример 3.1) до 0,854 — для множественной регрессии. В этом никакого противоречия нет, так как во втором случае коэффициент регрессии позволяет оценить прирост зависимой переменной Y при изменении на единицу объясняющей переменной Х в чистом виде, независимо от Х2- В случае парной регрессии Ь учитывает воздействие на Y не только переменной Х9 но и косвенно корреляционно связанной с ней переменной Х^. ?

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии bj и коэффициенты эластичности Ej (J = 1,2,..., р):

Стандартизованный коэффициент регрессии b' показывает, на сколько величин sy изменится в среднем зависимая переменная Y при увеличении только jобъясняющей переменной на sx , а

коэффициент эластичности Ej — на сколько процентов (от средней) изменится в среднем Y при увеличении только Xj на 1%.

? Пример 4.2.

По данным примера 4.1 сравнить раздельное влияние на сменную добычу угля двух факторов — мощности пласта и уровня механизации работ.

Решение. Для сравнения влияния каждой из объясняющих переменных по формуле (4.10) вычислим стандартизованные коэффициенты регрессии:

Ех = 0,8539 • ^ = 1,180; Е, = 0,3670 • ^ = 0,340.

  • 6,8 6,8
  • (Здесь мы опустили расчет необходимых характеристик переменных:

Таким образом, увеличение мощности пласта и уровня механизации работ только на одно sXl или на одно sX2 увеличивает в среднем сменную добычу угля на одного рабочего соответственно на 0,728sy или на 0,285^, а увеличение этих переменных на 1% (от своих средних значений) приводит в среднем к росту добычи угля соответственно на 1,18% и 0,34%. Итак, по обоим показателям на сменную добычу угля большее влияние оказывает фактор «мощность пласта» по сравнению с фактором «уровень механизации работ». ?

Преобразуем вектор оценок (4.8) с учетом (4.2):

или

т.е. оценки параметров (4.8), найденные по выборке, будут содержать случайные ошибки.

Так как математическое ожидание оценки b равно оцениваемому параметру р, т. е.

ибо в силу (3.23) Л/(е)=0, то, очевидно, что вектор b есть несмещенная оценка параметра р.

  • [1] п
  • [2] Здесь под знаком X подразумевается ?.
  • [3] 2 В случае одной объясняющей переменной отпадает необходимость в записипод символом д: второго индекса, указывающего номер переменной.
  • [4] При первом чтении этот материал может быть опущен. Е„ — единичная матрица /7-го порядка; 0„ — нулевой вектор размера п.
  • [5] При первом чтении этот материал может быть опущен. Е„ — единичная матрица /7-го порядка; 0„ — нулевой вектор размера п.
  • [6] Нс включая предпосылку 5 — требование нормальности закона распределениявектора возмущений е, которая в теореме Гаусса—Маркова не требуется.
  • [7] Доказательство теоремы приведено в § 4.4.
  • [8] В этом примере использованы данные примера 3.1 с добавлением результатовнаблюдений над новой объясняющей переменной Х2, при этом старую переменную X из примера 3.1 обозначаем теперь Х.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >