Построение оптимальных (байесовских) процедур классификации

Пусть требуется классифицировать п ^-мерных наблюдений при наличии обучающих выборок типаi, где I = 1,2,..., р и– i-е наблюдение в 1-й выборке.

Каждаявыборка определяет значения анализируемых признаков на п/ объектах, где * = 1,2,.... щ. При этом априорно известно, что все п; наблюдений принадлежат /-му классу и

Классифицируемые п наблюдений в данной задаче интерпретируются как выборка из генеральной совокупности, описываемой смесыо р одномерных генеральных совокупностей с плотностью вероятности

где Я/ – априорная вероятность появления в выборке объектов /-го класса с плотностью или удельный вес объектов /-го класса в общей генеральной совокупности.

Введем понятие решающего правила дискриминантной функции 5(.г), которая может принимать только целые положительные значения 1, 2,..., р, соответствующие номеру класса объекта по результатам классификации.

Причем все наблюдения X, для которые ДФ принимает значение /, будем относить к /-му классу, т.е. 5, = {X: 8(х) = /}, / = 1,2 р.

Очевидно, что S(I) – это подобласти в пространстве возможных значений признака X.

Функция 8(л) строится таким образом, чтобы подобласти 5,, 52, ..., Sp были взаимно непересекающимися и охватывали все п наблюдений.

Таким образом, решающее правило 8(.v) может быть задано разбиением S = (5|, S2,.... Sp) всего ^-мерного пространства, включающего п наблюдений, на р непересекающихся областей.

Решающее правило 8(.v) называется оптимальным байесовским, если оно сопровождается минимальными потерями С(1/т) среди других процедур классификации.

Оптимальная процедура классификации определяется следующим образом:

(6.11)

Таким образом, наблюдение arv,v = l, 2,п, будет отнесено к классу / тогда, когда средние удельные потери от его отнесения именно к этому классу окажутся минимальными по сравнению с потерями от его отнесения к любому другому классу.

Решающее правило 5)опт) значительно упростится в случае, когда потери равны, т.е. C(l/m) = С0 = const.

В этом случае наблюдение xv, v = 1,2,.... п, будет отнесено к классу / тогда, когда

(6.12)

Чтобы теоретические оптимальные правила (6.11) и (6.12) можно было бы построить, необходимо иметь оценки априорных вероятностей и плотностей распределений .

Эти оценки в статистическом варианте решения задачи получаются на основе обучающих выборок.

Оценки априорных вероятностей имеют вид , где – объем суммарной выборки.

Величины К/ часто определяются априорно (из анализа содержательной части задачи).

Задачу оценивания функций //(.г), где /=1,2, .... р, разбивают на два случая:

  • • параметрический дискриминантный анализ;
  • • непараметрический дискриминантный анализ.

Параметрический дискриминантный анализ предполагает, что общий вид функций fi(x) известен и он одинаков для всех классов. Класс / отличается от класса т только значением параметра 0, т.е. //(ж) = /1 = 1,2 р.

Тогда в качестве оценок /;(х) неизвестных функций f/(x) используется функция /(X, 0;), где 0/ – статистическая оценка неизвестного параметра 0,, полученная по щ наблюдениям /-й обучающей выборки.

В непараметрическом дискриминантном анализе общий вид функции fl(x), I = 1,2 р, неизвестен. В этом случае приходится строить непараметрические оценки fi(x) для функции //(.г), например в виде гистограммы или ядерного типа.

 
< Пред   СОДЕРЖАНИЕ     След >