12. Лекция: Теория адаптивного резонанса. Реализация
Страницы:
« |
1
|
2
|
3
|
4
|
5
|
6
|
вопросы | »
|
учебники
|
для печати и PDA
Если Вы заметили ошибку - сообщите нам.
Включить комментарии
|| Настройки
|| Модерация
|| Помощь
Принято, что латеральное торможение существует, но игнорируется здесь для сохранения простоты выражения. Торможение является причиной того, что только нейрон с максимальным значением NET будет иметь выход, равный единице; все остальные нейроны будут иметь нулевой выход. Можно рассмотреть системы, в которых в распознающем слое возбуждаются несколько нейронов в каждый момент времени, однако это выходит за рамки данной работы. Сравнение. На этой фазе сигнал обратной связи от слоя распознавания устанавливает
в нуль; правило двух третей позволяет возбуждаться только тем нейронам, которые имеют соответствующие компоненты векторов
и
, равные единице. Блок сброса сравнивает вектор
и входной вектор
, вырабатывая сигнал сброса, когда их сходство
ниже порога сходства.
Вычисление этого сходства упрощается тем, что оба вектора являются двоичными (все элементы либо 0, либо 1). Следующая процедура проводит требуемое вычисление сходства:
Вычислить
— количество единиц в векторе
.
Вычислить
— количество единиц в векторе
.
Затем вычислить сходство
следующим образом:
. Например, примем, что
может изменяться от 1 (наилучшее соответствие) до 0 (наихудшее соответствие). Заметим, что правило двух третей делает
логическим произведением входного вектора
и вектора
. Однако
равен
, весовому вектору выигравшего соревнование нейрона. Таким образом,
может быть определено как количество единиц в логическом произведении векторов
и
. Поиск. Если сходство
выигравшего нейрона превышает параметр сходства, поиск не требуется. Однако если сеть предварительно была обучена, появление на входе вектора, не идентичного ни одному из предъявленных ранее, может возбудить в слое распознавания нейрон со сходством ниже требуемого уровня. В соответствии с алгоритмом обучения возможно, что другой нейрон в слое распознавания будет обеспечивать более хорошее соответствие, превышая требуемый уровень сходства, несмотря на то, что свертка между его весовым вектором и входным вектором может иметь меньшее значение. Пример такой ситуации показан ниже. Если сходство ниже требуемого уровня, запомненные образы могут быть просмотрены, чтобы найти образ, наиболее соответствующий входному вектору. Если такой образ отсутствует, вводится новый несвязанный нейрон, который в дальнейшем будет обучен. Чтобы инициализировать поиск, сигнал сброса тормозит возбужденный нейрон в слое распознавания на время проведения поиска, сигнал
устанавливается в единицу и другой нейрон в слое распознавания выигрывает соревнование. Его запомненный образ затем проверяется на сходство, и процесс повторяется до тех пор, пока конкуренцию не выиграет нейрон из слоя распознавания со сходством, большим требуемого уровня (успешный поиск), либо пока все связанные нейроны не будут проверены и заторможены (неудачный поиск).
Неудачный поиск будет автоматически завершаться на несвязанном нейроне, так как его веса все равны единице, своему начальному значению. Поэтому правило двух третей приведет к идентичности вектора
входному вектору
, сходство
примет значение единицы и критерий сходства будет удовлетворен. Обучение. Обучение представляет собой процесс, в котором набор входных векторов подается последовательно на вход сети, а веса сети изменяются при этом таким образом, чтобы сходные векторы активизировали соответствующие им нейроны. Заметим, что это - неуправляемое обучение, здесь нет учителя и нет целевого вектора, определяющего требуемый ответ. Различают два вида обучения: медленное и быстрое. При медленном обучении входной вектор предъявляется настолько кратковременно, что веса сети не успевают достигнуть своих ассимптотических значений при единичном предъявлении. В этом случае значения весов будут определяться, скорее, статистическими характеристиками входных векторов, чем характеристиками какого-то одного входного вектора. Динамика сети в процессе медленного обучения описывается дифференциальными уравнениями. Быстрое обучение является специальным случаем медленного обучения, когда входной вектор прикладывается на достаточно длительный срок, чтобы позволить весам приблизиться к их окончательным значениям. В этом случае процесс обучения описывается только алгебраическими выражениями. Кроме того, компоненты весовых векторов
принимают двоичные значения, в отличие от непрерывного диапазона значений, требуемого в случае быстрого обучения. В данной лекции мы опишем только быстрое обучение. Рассмотренный далее обучающий алгоритм используется как в случае успешного, так и в случае неуспешного поиска. Пусть вектор весов
(связанный с возбужденным нейроном
распознающего слоя) равен нормализованной величине вектора
. Эти веса вычисляются следующим образом:
где
—
-я компонента выходного вектора слоя сравнения,
— номер выигравшего нейрона в слое распознавания,
— вес связи, соединяющей нейрон
в слое сравнения с нейроном
в слое распознавания,
— константа > 1 (обычно 2).
Компоненты вектора весов
, связанного с новым запомненным вектором, изменяются таким образом, что становятся равны соответствующим двоичным величинам вектора
