Возможности использования нейросетевых моделей для анализа данных и проблема выбора архитектуры сети.

Решение широкого круга практических задач, которые встречаются во многих областях деятельности (табл. 19.1), может быть сведено к построению корректного отображения входного сигнала X в выходной сигнал К, например:

  • • в задачах распознавания: X — изображение, вектор чисел, Y — номер класса, к которому принадлежит образ;
  • • в задачах управления: X — набор контролируемых параметров объекта, Y — соответствующее управляющее воздействие;
  • • в задачах прогнозирования: X — статистические данные, известные значения временного ряда, V — искомые значения временного ряда на прогнозный период1.

Возможности нейронных сетей генерировать правильный выходной сигнал (с достаточной точностью) как для примеров из обучающей выборки, так и для входных сигналов, не входящих в эту выборку, сформулированы в так называемой теореме о полноте, которая является следствием трудов таких ученых, как Вайт (White, 1990 г.), Хорник (Hornik, 1989 г.), Джонс (Jones, 1992 г.), Тибширани (Tibshirani, 1992 г.).

Таблица 19.1

Задачи, решаемые нейронными сетями, и области их применения2

Область

применения

Классификация

Кластеризация,

поиск

зависимостей

Оптимизация

Управление,

прогнозирование

Авиация

Обнаружение

неисправностей

Высокоэффективные системы автоматического пилотирования

Медицина

Диагностика заболеваний

Оптимизация методов лечения

Телекоммуникации

Распознавание

речи

Сжатие данных и изображения

Промышленность

Диагностика работы оборудования; анализ качества продукции

Планирование и менеджмент

Управление производством

Оборонная

промышленность

Распознавание

сигналов

Управление вооружениями

Финансовая

сфера

Распознавание

документов

Исследование кредитных операций; анализ страховых случаев, сегментация заемщиков

Анализ финансовой отчетности

Прогнозирование

экономических

показателей,

портфельный

риск-менеджмент

  • 1 Круглов В. В., Дли М. И., Годунов Р. Ю. Указ. соч.
  • 2 Ботвин Г. А., Забоев М. В., Завьялов О. В., Черныш В. В. Указ. соч.

Любая непрерывная функция на замкнутом ограниченном множестве может быть равномерно приближена функциями, вычисляемыми нейронными сетями, если функции активации нейронов дважды непрерывно дифференцируемы.

Частным случаем указанной выше теоремы является следующее утверждение, дающее в некотором роде отправную точку в проблеме выбора архитектуры нейронной сети, которая, тем не менее, во многом решается на основе интуитивных представлений исследователя и методом подбора.

Утверждение[1]

Для любого множества пар векторов произвольной размерности {(Хку Yk)}f к = = 1,..., N существует двухслойная однородная сеть с последовательными связями, с сигмоидальными функциями активации и с конечным числом нейронов, которая для каждого входного вектора Хк формирует соответствующий ему выходной вектор Yk.

Для определения количества нейронов, которое необходимо для корректной аппроксимации, существуют также некоторые рекомендации, учитывающие размерность входного и выходного сигналов, объем обучающей выборки. Существует, например, оценка количества весов в многослойной сети с сигмоидальными передаточными функциями

где Llt. — количество весов; п — размерность входного сигнала; т — размерность выходного сигнала; N — объем обучающей выборки.

Располагая необходимым количеством весов, можно рассчитывать количество нейронов в скрытых слоях сети.

Однако даже построение и подбор параметров сети таким образом, что для всего тренировочного множества примеров формируются корректные ответы, отнюдь не гарантирует такие же результаты для новых незнакомых примеров. Стремление создать сеть, максимально точно распознающую все предъявляемые ей обучающие примеры, может привести к проблеме ее переобучения, следствием чего является потеря нейронной сетью способности к обобщению, поэтому строгие методики построения наиболее эффективных структур нейронных сетей отсутствуют. Проблемы выбора оптимальной архитектуры сети отчасти могут быть решены с помощью выбора специальных методов обучения, например, подхода на основе Байесовой регуляризации [2] [3]

  • [1] 2 Круглов В. В., Дли М. И., Голу нов Р. Ю. Указ. соч.
  • [2] Там же.
  • [3] Более подробно е методом обучения на основе Байесовой регуляризации можно ознакомиться в: Foresee F. D., Hagan М. Т. Gauss-Newton approximation to Bayesian regularization //Proceedings of the 1997 International Joint Conference on Neural Networks, 1997. P. 1930—1935.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >