Меню
Главная
Авторизация/Регистрация
 
Главная arrow Информатика arrow ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Посмотреть оригинал

Логистическая регрессия

Линейные классификаторы

Алгоритм классификации на основе логистической регрессии (logistic regression) является одним из алгоритмов линейной классификации — алгоритмов, в основе которых лежит идея построения разделяющей гиперплоскости между объектами разных классов. В параграфе 4.1 мы рассмотрели задачу классификации спама - и в ней функцией, принимающей решение, была sign (рис. 5.2).

Если применять композицию данной функции к некоторой функции f(x)> задающей разделяющую классы гиперплоскость, т.е.

точки, лежащие левее этой плоскости, будут получать отрицательные значения функции sign, а те, что правее, — положительные. Получается естественный алгоритм линейной классификации. Все рассуждения далее мы будем проводить для бинарной классификации — мульти классовая классификация может быть сведена к обучению К алгоритмов бинарной классификации.

Функция sign(x)

Рис. 5.2. Функция sign(x)

Для алгоритма классификации можно построить следующий целевой функционал:

Подставив алгоритм линейной классификации, мы получим функционал эмпирического риска для этого метода машинного обучения:

Для линейного классификатора введем понятие отступа. Отступ (margin) — это расстояние от гиперплоскости до объекта классификации с учетом правильности классификации такой гиперплоскостью. Если классификация верна, то отступ положительный, если нет — отрицательный. Для бинарной классификации отступ можно определить следующим образом:

Теперь функционал эмпирического риска (5.1) можно преобразовать в терминах отступа:

Однако нотация Аверсона в функционале эмпирического риска не позволяет решить эту задачу математического программирования простыми аналитическими методами. В таком случае производится аппроксимация оригинального функционала. На рис. 5.3 приведены четыре функции, поведение которых схоже с оператором [х].

Аппроксимации оператора [х]

Рис. 5.3. Аппроксимации оператора [х]:

Интересно, что четыре функционала порождают четыре различных линейных классификатора с различными характеристиками:

1) квадратичная функция потерь ((1-х)2) — линейный дискриминант Фишера;

2) сигмодальная функция потерь — нейронные сети;

  • 3) логарифмическая функция потерь (log2 (1 + е~х)) — логистическая регрессия;
  • 4) экспоненциальная функция потерь (е~х) — алгоритм AdaBoost.

В этой главе мы остановимся на логистической регрессии. Алгоритм SVM, который также предлагает свою аппроксимацию оператора [х], будет описан в последующих главах.

 
Посмотреть оригинал
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 

Популярные страницы