Меню
Главная
Авторизация/Регистрация
 
Главная arrow Информатика arrow ВВЕДЕНИЕ В АНАЛИЗ ДАННЫХ
Посмотреть оригинал

Байесовский подход к распознаванию

Бэйесовское решающее правило

Рассмотрим ситуацию, когда имеется только один целевой признак. В простейшем случае этот признак является бинарным, т.е. присваивающим объектам принадлежность одному из двух классов, «положительному (да)» и «отрицательному (нет)». Согласно подходу Бэйеса (1702—1761), вся значимая информация о мире должна быть представлена в виде вероятностных распределений, и поэтому любое наблюдение новых данных должно сказаться в изменении соответствующих распределений. Так возникает разница между априорными и апостериорными, до и после обновления данных, вероятностями. В частности, предположим, что вероятности классов «да» и «нет» равны Р(1) = р{ и Р(2) = р где рх и р2 положительны и в сумме дают единицу. Эго априорные вероятности двух состояний, «да» и «нет». Предположим, кроме того, что есть две функции плотности вероятности,/^^, х2, ...,хр) и f2(xXyx2y ..., х/;), определяющие распределение наблюдаемых точек объектов х = (хХу х ..., хр) в каждом из классов. Тогда для каждой точки х= (х х2,..., хр) можно вычислить значения плотности вероятности Р(х, 1) = Pf(x) и Р(х, 2) = P2/2W событий, состоящих в том, что реализовались х и соответствующий класс, 1 или 2. При этом суммарная величина f(x) =Pf(x) + + P2/2W выражает общую плотность распределения х. В том случае, когда наблюдаемый объект представлен точкой х = (хи х2, ..., хр), это приводит к изменению вероятности классов от априорных Р(1) = рх и Р(2) = /?2 к апостериорным вероятностям Р( 1 /х) и Р(2 /х) соответственно. Апостериорные вероятности могут быть вычислены с использованием известной теоремы Бэйеса из элементарной теории вероятностей. При этом апостериорные вероятности классов равны

где f(x) = pj(x) + P2/2W вероятность х на всем множестве.

По Бэйесу, решение о том, к какому классу принадлежит объект х, определяется тем, какое из двух значений, Р( 1 /х) или Р(2/х), больше. Объект относится к классу «да», если Р( 1 /х) > Р(2/х) или, что то же самое,

или к классу «нет», если верно обратное неравенство. Это правило называется решающим правилом Бэйеса. Другое представление Бэйесова правила использует разность В(х) = Р( 1 /х) - Р(2/х). Точка х относится к классу «да», если В(х) > О, и классу «нет», если В(х) < 0. Уравнение В(х) = 0 определяет так называемую разделяющую поверхность между двумя классами.

Доля ошибок при использовании правила Бэйеса составляет 1 - Р( /х)} когда принимается решение «да», и 1 - Р(2/х), когда решение — «нет». Это минимальный достижимый процент ошибок при известных распределениях /(х) и /2(дг) и априорных вероятностях рх и р2.

К сожалению, распределения f{(x) и /2(х), как правило, неизвестны. Поэтому вводят некоторые упрощающие предположения с тем, чтобы облегчить их оценку с помощью наблюдаемых данных. Наиболее популярны два постулата. Первый — что эти распределения Гауссовы (нормальные); второй — что они локально независимы.

Здесь рассматривается только предположение локальной независимости, так называемый наивный Байесовский подход. Сконцентрируемся на ситуации, когда выходной признак — номинальный, причем не обязательно бинарный. Иными словами, на обучающем множестве задано разбиение на некоторое количество «целевых» классов, а задача состоит в том, чтобы разработать решающее правило для их прогноза по входным признакам.

Локальная независимость распределения означает, что все признаки независимы в пределах каждого класса, так что распределение внутри класса k есть произведение одномерных распределений:

Это равенство значительно упрощает задачу оценки значений fb(x), поскольку обычно не вызывает труда произвести достаточно точную оценку одномерной функции fkv(xv) но обучающей выборке. Такая задача особенно упрощается, когда признаки х х2, ..., хр сами являются бинарными. Во многих ситуациях постулат независимости явно не соблюдается, например, когда речь идет о категоризации текстов или анализе протеиновых цепочек — составляющие текста или белка, выступающие в качестве признаков, обязательно взаимосвязаны согласно семантической и синтаксической структуре в первом случае и согласно биохимическим реакциям во втором случае. Тем не менее решающие правила, основанные на неверных предположениях и распределениях, на практике приводят к на удивление хорошим результатам (см., например, |15|). Байесовское решающее правило, использующее постулат локальной независимости (4.4), называют наивным Байесовским классификатором.

 
Посмотреть оригинал
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 

Популярные страницы