Обучение нечеткой нейронной сети TSK

Рассмотрим гибридный алгоритм обучения. Данный алгоритм служит для обучения нечеткой сети TSK. Нечеткие правила данной модели имеют вид, представленный формулой:

где R_k - метка к-го правила, х = (jc¹, ... х") - и-мерный вектор входных признаков, у - выходной признак, А[ - нечеткое множество предпосылки правила R_k,p₀,..., P_N - веса.

В гибридном алгоритме параметры, подлежащие адаптации, делятся на 2 группы. Первая из них состоит из линейных параметров p_kJ третьего слоя (весов), а вторая группа - из параметров нелинейной функции принадлежности первого слоя - это параметры р_ю. Уточнение параметров происходит в 2 этапа.

На первом этапе при фиксации отдельных значений параметров функции принадлежности (в первом цикле - это значения, которые получены путем инициализации), решая систему линейных уравнений, рассчитываются линейные параметры p_kj. При известных значениях функции принадлежности зависимость для выхода можно представить в виде линейной формы относительно параметра p_kj [7]:

При размерности обучающей выборки к = ,...,К

и замене выходного сигнала сети ожидаемым значением у'^[к) получим систему из К линейных уравнений вида

где co'_ik означает уровень активации (вес) условия к-т правила при предъявлении /-го входного вектора Х^(,). Это выражение можно записать в матричном виде:

Размерность матрицы А равняется К + )М . При этом количество строк К обычно бывает значительно больше количества столбцов (N + 1) М.

При наличии N входных переменных каждое правило R_k формирует (N + 1) переменную p_ki линейной зависимости у^к . При М правилах вывода имеем (N + 1) М линейных параметров сети.

Решение этой системы уравнений можно получить используя псевдоинверсию матрицы А:

где А* - псевдоинверсная матрица. Псевдоинверсия матрицы заключается в решении задачи минимизации:

где Е - единичная матрица.

На втором этапе после фиксации значения линейных параметров p_kj рассчитываются фактические выходные сигналы у*^к>, к = , для этого используется линейная зависимость:

После этого рассчитывается вектор ошибки s-y-y¹ и критерий

Сигналы ошибок направляются через сеть в обратном порядке согласно методу Back Propagation вплоть до первого слоя, где могут быть рассчитаны компоненты а, Ь. После вычисления вектора градиента делается шаг спуска градиентным методом.

После уточнения нелинейных параметров снова запускается процесс адаптации линейных параметров (первый этап) и нелинейных параметров (второй этап). Этот цикл продолжается до тех пор, пока не стабилизируются все параметры процесса.

При практической реализации гибридного метода обучения нечетких сетей доминирующим фактором их адаптации считается первый этап, на котором веса p_kJ подбираются с использованием псевдоинверсии за один шаг. Для уравновешивания его влияния второй этап много раз повторяется в каждом цикле.

Таким образом, из проведенного анализа видно, что с использованием алгоритма обратного распространения ошибки происходит оптимальное уточнение функций принадлежности, что дает возможность лучше подготовить нечеткую нейронную сеть для решения конкретных задач с меньшими затратами времени. С использованием метода оптимизации (метод наименьших квадратов) оцениваются коэффициенты заключений правил, так как они линейно связаны с выходом сети. Каждая итерация процедуры настройки выполняется в два этапа. На первом этапе на входы подается обучающая выборка, и по невязке между желаемым и действительным поведением сети итерационным методом наименьших квадратов находятся оптимальные параметры узлов четвертого слоя. На втором этапе остаточная невязка передается с выхода сети на входы, и методом обратного распространения ошибки модифицируются параметры узлов первого слоя. При этом найденные на первом этапе коэффициенты заключений правил не изменяются. Итерационная процедура настройки продолжается пока невязка превышает заранее установленное значение. Для настройки функций принадлежностей кроме метода обратного распространения ошибки могут использоваться и другие алгоритмы оптимизации