Применение метода максимального правдоподобия для оценки параметров множественной линейной регрессионной модели

Метод максимального правдоподобия с успехом может быть применен и для нахождения параметров линейной регрессионной модели. Продемонстрируем это на примере парной регрессии.

Пусть Yt = р() + pjXy + ??, г = 1,..., п, причем ошибки взаимно независимы и имеют нормальное распределение: 8, ~ N(0; a2), i = 1,..., п. Тогда г, = Y}-

-Ро-рд.

Поскольку 8-, i=l,..., Пу независимы и распределены нормально, то функция правдоподобия имеет вид

а логарифмическая функция правдоподобия —

Необходимым условием экстремума является равенство нулю частных производных по Р(), pj и а2:

Легко заметить, что первые два уравнения точно такие же, как и в системе нормальных уравнений для оценок МНК (см. формулу (3.6)), поэтому мы сразу можем выписать решения:

бок: а2

Из последнего уравнения несложно найти оценку для дисперсии оши- r ее

—(напомним, что RSS определено формулой (3.3)).

МП

п

Можно показать, что и в данном случае выполнены достаточные условия максимума (см. задание 6.3), поэтому найденные оценки являются ММП-оценками.

Замечание 6.1. Если оценки максимального правдоподобия коэффициентов р() и р, совпадают с МНК-оценками и, следовательно, являются несмещенными (см. параграф 4.1), то ММП-оценка дисперсии ошибок является смещенной (как отмечалось в подпараграфе 4.2.1, несмещенная оценка

дисперсии ошибок есть а2 = ——z).

п-2

ММП-оценки коэффициентов множественной регрессии можно получить аналогично, но, чтобы избежать громоздких формул, лучше использовать матричный аппарат, как это сделано в параграфе 5.1.

Для модели

где 6 ~ N(0,,, а%), 0„ — /г-мериый нулевой вектор, 1Я — и-мерная единичная матрица (напомним, что определение случайного вектора, имеющего совместное нормальное распределение, было дано в параграфе 2.2), функция правдоподобия имеет вид

или

а логарифмическая функция правдоподобия —

Учитывая правила дифференцирования по вектору (см. параграф 5.1), получаем

откуда

где е = Y - Хр.

Можно показать[1], что достаточные условия экстремума тоже выполнены, следовательно, полученные оценки являются ММП-оценками.

Как и для случая парной регрессии, МНК- и ММП-оценки коэффициентов множественной регрессии совпадают, а оценка дисперсии ошибок

Л, RSS Л, RSS

ст:,,. =-является смещенной (несмещенная оценка а- =---, см. па-

п п - k - 1

раграф 5.3). Однако на больших выборках это смещение невелико, посколь- 1 1

kv - и-:—- достаточно близки.

п п - k - 1

  • [1] См. работу [12, гл. 10.5].
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >