Основы теории нейронных сетей


Восстановление запомненных ассоциаций


Долговременная память (или ассоциации) реализуется в весовых массивах

Восстановление запомненных ассоциаций
и
Восстановление запомненных ассоциаций
. Каждый образ состоит из двух векторов: вектора
Восстановление запомненных ассоциаций
, являющегося выходом слоя 1, и вектора
Восстановление запомненных ассоциаций
, ассоциированного образа, являющегося выходом слоя 2. Для восстановления ассоциированного образа вектор
Восстановление запомненных ассоциаций
или его часть кратковременно устанавливаются на выходах слоя 1. Затем вектор
Восстановление запомненных ассоциаций
удаляется, и сеть приводится в стабильное состояние, вырабатывая ассоциированный вектор
Восстановление запомненных ассоциаций
на выходе слоя 2. Далее вектор
Восстановление запомненных ассоциаций
воздействует через транспонированную матрицу
Восстановление запомненных ассоциаций
, воспроизводя воздействие исходного входного вектора
Восстановление запомненных ассоциаций
на выходе слоя 1. Каждый такой цикл вызывает уточнение выходных векторов слоя 1 и 2 до тех пор, пока не будет достигнута точка стабильности в сети. Эта точка может быть определена как резонансная, поскольку вектор передается обратно и вперед между слоями сети, всегда обрабатывая текущие выходные сигналы, но больше не изменяя их. Состояние нейронов представляет собой кратковременную память (КП), так как оно может быстро изменяться при появлении другого входного вектора. Значения коэффициентов весовой матрицы образуют долговременную память и могут изменяться только на более длительном отрезке времени с помощью методов, представленных ниже в данной лекции.

Сеть функционирует в направлении минимизации функции энергии Ляпунова в основном таким же образом, как и сети Хопфилда в процессе сходимости. Следовательно, каждый цикл модифицирует систему в направлении энергетического минимума, расположение которого определяется значениями весов.

Этот процесс может быть визуально представлен в форме направленного движения мяча по резиновой ленте, вытянутой над столом, причем каждому запомненному образу соответствует точка, "вдавленная" в направлении поверхности стола. Рис. 10.2 иллюстрирует данную аналогию, на нем отмечен один запомненный образ. Данный процесс формирует минимум гравитационной энергии в каждой точке, соответствующей запомненному образу, с соответствующим искривлением поля притяжения в направлении к данной точке. Свободно движущийся мяч попадает в поле притяжения и в результате будет двигаться в направлении энергетического минимума, где и остановится.

Восстановление запомненных ассоциаций

Рис. 10.2. 



Содержание раздела