Меню
Главная
Авторизация/Регистрация
 
Главная arrow Информатика arrow ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Посмотреть оригинал

Переход к нелинейной регрессии

Прежде чем перейти к следующему алгоритму машинного обучения, необходимо обсудить тему нелинейной регрессии (nonlinear regression)[1]. Часто на практике отсутствует линейная зависимость между вектором признаков и ответом. Предположим, что мы решаем задачу оценки положения объекта, движущегося с постоянным ускорением, в зависимости от времени движения. Известно, что в данном случае между положением и временем имеется квадратичная зависимость и в гаком случае невозможно подобрать коэффициенты весов линейной регрессии так, чтобы алгоритм давал правдоподобные ответы — квадратичная функция растет намного быстрей, чем линейная.

Конечно, предложенная задача решается совершенно другими методами, отличными от методов машинного обучения, однако она демонстрирует проблему, с которой может встретиться разработчик в процессе решения задач: что, если нужно применить машинное обучение для восстановления регрессии в условиях ограниченности ресурсов как для обучения, так и для использования алгоритма, но линейная регрессия, в первом приближении, совершенно не подходит как модель?

В таком случае можно попробовать применить один из методов создания признаков для объектов, который заключается в функциональном преобразовании уже существующих признаков.

Возьмем все ту же задачу с положением объекта. Очевидно, что следующее уравнение плохо описывает положение объекта в зависимости от времени:

Попробуем расширить пространство признаков следующим преобразованием:

В таком случае мы получим другую модель для нового пространства признаков:

Но ведь это именно то уравнение, коэффициенты которого и нужно подбирать. При этом с точки зрения набора признаков х2 > — это все та же линейная регрессия.

Данный метод очень важен в процессе перехода от простых линейных алгоритмов к нелинейным — сначала необходимо выбрать линейную модель, а затем дополнить пространство признаков измененными при помощи нелинейных преобразований исходными признаками.

  • [1] См.: Елисеева И. И. Эконометрика.
 
Посмотреть оригинал
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 
Популярные страницы