Ф3.3.1. Табличная регрессия: формулировки

Если количественный признак у задан без какой-либо дополнительной информации, то среднее значение этого признака, определяемое по формуле у-^У/1 Л»

/€/

представляет собой разумную суммаризацию имеющихся данных. Однако если становятся известными категории номинального признака х, то можно получить более детальную информацию: средние значения у в категориях. Обозначим через S_k множество объектов в категории к признака х. Среднее значение внутри этой

категории равно у_к = X Vi/^k I •

ieS_k

Эти средние можно считать решением уравнения табличной регрессии по методу наименьших квадратов. Подход восстановления данных применительно к этой ситуации можно сформулировать следующим образом. Найдем внутригрупповые центральные значения с_к так, чтобы минимизировать суммарную квадратичную ошибку L = Z,-_€/0,-², где = г/, - с_к — невязка уравнения

«декодирующего» каждое наблюденное значение у характеристическим числом с_к, представляющим категорию к (к =1,2,..., К).

Это уравнение лежит в основе табличной регрессии, называемой также кусочно-постоянной регрессией. Нетрудно показать, что оптимальная по критерию наименьших квадратов величина с_к в уравнении (3.11) равна среднему значению внутри категории у_к. Отсюда следует, что минимальное значение

к _

критерия L равно L_m = X X (.?/ ~Уk)²- Разделив и умножив внутреннюю сумму

k= ieSfc

на |S_k — число элементов в множестве 5_А„ можно увидеть, что L_m = Na²w, где g²w — внутригрупповая (within-group) дисперсия, определяемая формулой средневзвешенного среднего дисперсий у во всех rDvnnax:

где p_k = S_k/ N доля категории k, a G²k дисперсия y_k в S_k.

Для дальнейшего анализа рассмотрим тождество

и просуммируем его по всем i е S_k:

Суммируя эти уравнения но k и перенося последнее выражение из правой части уравнения в левую, получим

Справа в уравнении (3.13) стоит сумма квадратов невязок модели (3.11) L_m. Это позволяет интерпретировать уравнение (3.13) как декомпозицию квадратичного разброса переменной у эта величина (слева) разделяется на два слагаемых (справа), называемых объясненной и необъяснснной частями квадратичного разброса.

Объясненная часть суммирует вклады |S_k y_k²отдельных категорий /е. Величина вклада пропорциональна и частоте категории, и квадрату среднего: чем больше эти значения, тем выше вклад. Еще одна интерпретация декомпозиции (3.13) может быть сделана, если признак у центрирован, так что его среднее значение равно нулю. В этом случае, разделив уравнение (3.13) на N, получим

где ст² — дисперсия у, самая правая сумма — минимальное значение L_rn/Nm уравнения (3.12), а левая сумма — это взвешенная сумма квадратов расстояний между общим средним у - 0 и средними внутригрупповыми значениями y_k.

В статистике уравнение (3.14) хорошо известно как разложение дисперсии на внутригрупповую и межгрупповую составляющие. Оно лежит в основе широко используемого метода сравнения средних внутригрупповых значений, называемого дисперсионный анализ, по-английски ANOVA (ANalysis Of VAriance). В контексте модели табличной регрессии (3.11), имеющей смысл модели восстановления данных, разложение (3.13) представляется более подходящим.

Корреляционное отношение характеризует среднее уменьшение дисперсии признака у при прогнозировании его величины с помощью уравнения (3.11) или, иными словами, относительную долю объясненной части дисперсии. Корреляционное отношение обычно обозначается г|² и определяется следующей формулой:

Из определения следуют следующие свойства этой величины:

— г|² принимает значения в интервале от 0 до 1; г|² = 1, если и только если все внутригрупповые дисперсии равны нулю,

G²k = 0 (т.е. когда у постоянно внутри каждой группы S_k)

— г|² = 0, если и только если все о²к порядка а².

Вопрос 3.10. Рассмотрим два количественных признака х и у. Область значений х разделим на пять интервалов одинакового размера для задания категориальной переменной хс. Существует ли какая-либо связь между коэффициентом корреляции х и у и величиной корреляционного отношения хс и у?

Ответ. Прямой связи нет, можно привести случаи, когда коэффициент корреляции больше величины корреляционного отношения, и случаи, когда меньше.