Меню
Главная
Авторизация/Регистрация
 
Главная arrow Математика, химия, физика arrow ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Посмотреть оригинал

Статистический подход к распознаванию

Рассматривается следующая задача распознавания образов. Дано множество X объектов, относительно которых производится распознавание. Без существенного ограничения общности будем считать, что оно представляется в виде объединения двух классов К1 и Кг- Классы К и Кг неизвестны, но дана обучающая выборка, которая представляет собой конечное подмножество множества X, и про каждый элемент этого подмножества сообщается, к какому классу он принадлежит. По обучающей выборке надо выработать решающее правило, которое по предъявлению ему объекта из X решает, к какому из классов его отнести.

Качество и надежность решающего правила

При статистическом подходе к распознаванию считается, что обучающая выборка формируется следующим образом. На множестве X задано распределение вероятностей Р(х), и объекты х появляются случайно и независимо в соответствии с этим распределением. Существует ‘'учитель", который относит объекты к одному из двух классов согласно условной вероятности P(i |х), которая говорит о вероятности того, что объект х будет отнесен к классу г 6 {1,2}. Ни распределение Р(х), ни правило классификации Р(г|х) нам не известны, но известно, что обе функции существуют, и, значит, существует совместное распределение вероятностей Р(х,г) = Р(х) • Р(г|х).

Классы Ki и Кг при статистическом подходе так же задаются функциями распределения вероятностей. А именно, считается, что существуют условные плотности распределения Р(х|г = 1) и Р(х|г = 2), задающие плотность распределения вероятностей объектов первого и второго классов соответственно. Также существуют величины Р и Р2, которые определяют вероятность появления объектов соответственно первого и второго классов. Существование этих функций и величин не предполагает, что мы их знаем.

Также считается, что определено множество Т решающих правил F(x,a). В этом множестве каждое правило определяется заданием параметра а (иногда удобно понимать параметр а как вектор). Все правила F(x,a) при фиксации параметра а могут принимать одно из двух значений: единица или двойка, говорящие к какому из двух классов отнесен объект х.

Для каждой функции F(x, а) может быть определено качество Р(а) как вероятность неправильных классификаций, т.е. вероятность того, что учитель и решающее правило классифицируют объект по разному. Формально качество Р(а) функции F(x, а) определяется так:

а) в случае, когда пространство X дискретно и состоит их точек xi,... ,хп,

где P(xj) — вероятность возникновения объекта хуу

б) в случае, когда в пространстве X существует плотность распределения Р(х),

в) в общем случае можно считать, что в пространстве X х {1,2} задана вероятностная мера Р(х,г), и тогда

Среди всех функций F(x, а) есть такая F(x, ao), которая минимизирует вероятность ошибок. Эту-то наилучшую в классе функцию (или близкую к ней, т.е. функцию с качеством, отличным от Р(ао) не более чем на малую величину е) и следует найти. Однако, поскольку совместное распределение вероятностей Р(х, г) неизвестно, поиск ведется с использованием обучающей последовательности

т.е. случайной и независимой выборки примеров фиксированной длины Z, где Xj — объект, ij — номер класса, которому принадлежит объект Xj, j = 1,2Понятно, что в общем случае нельзя найти алгоритм, который по конечной выборке безусловно гарантировал бы успех поиска. Успех можно гарантировать с некоторой вероятностью I — т].

Таким образом, задача заключается в том, чтобы для любой функции P(xyi) среди решающих правил F(x,a) найти по обучающей последовательности фиксированной длины I такую функцию F(x,cv*), о которой с надежностью, не меньшей 1 — 77, можно было бы утверждать, что ее качество отличается от качества лучшей функции F(x, с*о) на величину, не превышающую €.

Эта задача есть частный случай известной в математике задачи, называемой задачей минимизации среднего риска.

В качестве примера можно привести решающее правило пер- септрона. Если классы Ki и К2 0-отделимы, и

то решающее правило персептрона выглядит как

где a — весовой вектор и в данном случае параметр решающего правила. Качество же решающего правила определяется так:

Подведем итог. Способность к обучению характеризуется двумя понятиями:

  • а) качеством полученного решающего правила (вероятностью неправильных ответов; чем меньше эта вероятность, тем выше качество);
  • б) надежностью получения решающего правила с заданным качеством (вероятностью получения заданного качества; чем выше эта вероятность, тем выше надежность успешного обучения).

Задача сводится к созданию такого обучающего устройства, которое по обучающей последовательности строило бы решающее правило, качество которого с заданной надежностью было бы не ниже требуемого.

 
Посмотреть оригинал
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 

Популярные страницы