Основы теории нейронных сетей


Инициализация весовых векторов T


В ранее рассмотренном примере обучения сети можно было видеть, что правило двух третей приводит к вычислению вектора

Инициализация весовых векторов T
как функции И между входным вектором
Инициализация весовых векторов T
и выигравшим соревнование запомненным вектором
Инициализация весовых векторов T
. Следовательно, любая компонента вектора
Инициализация весовых векторов T
будет равна единице в том случае, если соответствующие компоненты обоих векторов равны единице. После обучения эти компоненты вектора
Инициализация весовых векторов T
остаются единичными; все остальные устанавливаются в нуль.

Это объясняет, почему веса

Инициализация весовых векторов T
должны инициализироваться единичными значениями. Если бы они были проинициализированы нулевыми значениями, все компоненты вектора
Инициализация весовых векторов T
были бы нулевыми независимо от значений компонент входного вектора, и обучающий алгоритм предохранял бы веса от изменения их нулевых значений.

Обучение может рассматриваться как процесс "сокращения" компонент запомненных векторов, которые не соответствуют входным векторам. Процесс необратим, если вес однажды установлен в нуль, — обучающий алгоритм никогда не восстановит его единичное значение.

Это свойство имеет важное отношение к процессу обучения. Предположим, что группа точно соответствующих векторов должна быть классифицирована как одна категория, определяемая возбуждением одного нейрона в слое распознавания. Если эти векторы последовательно предъявляются сети, то при предъявлении первого будет распределяться нейрон распознающего слоя и его веса будут обучены с целью соответствия входному вектору. Обучение при предъявлении остальных векторов будет приводить к обнулению весов в тех позициях, которые имеют нулевые значения в любом из входных векторов. Таким образом, запомненный вектор представляет собой логическое пересечение всех обучающих векторов и может включать существенные характеристики данной категории весов. Новый вектор, включающий только существенные характеристики, будет соответствовать этой категории. Таким образом, сеть корректно распознает образ, никогда не виденный ранее, т. е. реализуется возможность, напоминающая процесс восприятия в мозге человека.



Содержание раздела