Метод наименьших квадратов

Для определения параметров линейной регрессии применяется метод наименьших квадратов (МНК), который разработали К. Гаусс и П. Лаплас. Согласно МНК параметры уравнения регрессии подбираются таким образом, чтобы сумма квадратов отклонений наблюдений от линии регрессии была минимальной, т. е. Q = (у, - у)2 —> min.

Необходимым условием минимума функции является равенство нулю частных производных по неизвестным параметрам а и Ь[1]. Для функции Q = ?(yj -у)2 = ХСУ; -а-Ьх,)2 находят частные производные по а и Ъ и приравнивают их к нулю:

Сокращают каждое уравнение на -2, раскрывают скобки и переносят члены с х в одну сторону, асу — в другую, получают стандартную форму линейных уравнений:

Разделив первое уравнение системы на п, получают у = a + bx, т. е. найденная прямая проходит через точку с координатами х, у. Решают эти уравнения относительно параметров а и Ь, например методом Крамера, используя следующие формулы:

В нашем примере по регрессии обхвата груди и живой массе у свиноматок украинской степной белой породы расчетные суммы следующие: Х* = 3582; ХУ = 2183; X*2 =864 656; Хху = 523 343; п = 15.

В связи с этим вычисляем:

А = 139 116 Ф 0, поэтому исходная матрица является неособенной и имеет единственное решение.

Далее находим определители Да и Дь, а также а и Ь:

Чтобы проверить правильность вычислений, нужно в систему уравнений

подставить значения а и Ь:

Из этого следует, что система решена правильно. Уравнение регрессии имеет вид

Для упрощения системы нормальных уравнений значения переменных могут быть выражены в отклонениях от средней. Обозначим эти отклонения x'i и y'i. При этом система нормальных уравнений будет иметь вид

так как и ^х- равны нулю. Из этого следует:

Из уравнения у = а + Ьх находим:

Для оценки уравнения регрессии этим способом определяем суммы квадратов и средних:

Находим а и Ь:

Уравнение регрессии имеет вид

Коэффициенты а и Ъ, вычисленные способом отклонения переменных от средней и с помощью определителей Крамера, полностью совпадают. Поэтому получены идентичные уравнения регрессии.

  • [1] Четыркин Е. М., Калихман И. Л. Вероятность и статистика. М. : Финансы и статистика, 1982. С. 226.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >