Основы теории нейронных сетей


Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ


Один из самых пессимистических результатов М.Л. Минского гласит, что однослойный персептрон не может воспроизвести такую простую функцию, как ИСКЛЮЧАЮЩЕЕ ИЛИ. Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рис. 2.3.

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

Рис. 2.3. 

Обозначим один вход через

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, а другой через
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, тогда все их возможные комбинации будут состоять из четырех точек на плоскости
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, как показано на рис. 2.4. Например, точка
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

обозначена на рисунке как точка

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Табл. 2.1 показывает требуемую связь между входами и выходом, где входные комбинации, которые должны давать нулевой выход, помечены
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, единичный выход -
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

и

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
.

Таблица 2.1.

ТочкиЗначения
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
Значения
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
Требуемый выход
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
000
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
101
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
011
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
110

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

Рис. 2.4. 

В сети на рис. 2.3 функция

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
является обычным порогом, так что OUT принимает значение 0, когда NET меньше 0,5, и 1 в случае, когда NET больше или равно 0,5. Нейрон выполняет следующее вычисление:

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

(1)

Никакая комбинация значений двух весов не может дать соотношения между входом и выходом, задаваемого табл. 2.1. Чтобы понять это ограничение, зафиксируем

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
на величине порога 0,5. Сеть в этом случае описывается уравнением (2). Это уравнение линейно по
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, т. е. все значения по
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
, удовлетворяющие этому уравнению, будут лежать на некоторой прямой в плоскости
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
.

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

(2)

Любые входные значения для

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
на этой линии будут давать пороговое значение 0,5 для
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Входные значения с одной стороны прямой обеспечат значения
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
больше порога, следовательно,
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Входные значения по другую сторону прямой обеспечат значения NET меньше порога, делая
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
равным 0. Изменения значений
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
,
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
и порога будут менять наклон и положение прямой. Для того чтобы сеть реализовала функцию ИСКЛЮЧАЮЩЕЕ ИЛИ, заданную табл. 2.1, нужно расположить прямую так, чтобы точки
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
,
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

были с одной стороны прямой, а точки

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
,
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
— с другой. Попытавшись нарисовать такую прямую на рис. 2.4, убеждаемся, что это невозможно.




Это означает, что какие бы значения ни приписывались весам и порогу, сеть неспособна воспроизвести соотношение между входом и выходом, требуемое для представления функции ИСКЛЮЧАЮЩЕЕ ИЛИ. Взглянув на задачу с другой точки зрения, рассмотрим
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
как поверхность над плоскостью
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Каждая точка этой поверхности находится над соответствующей точкой плоскости
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
на расстоянии, равном значению
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
в этой точке. Можно показать, что наклон этой
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
-поверхности одинаков для всей поверхности
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Все точки, в которых значение
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
равно величине порога, проектируются на линию уровня плоскости
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
(см. рис.2.5).

Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ

Рис. 2.5. 

Ясно, что все точки по одну сторону пороговой прямой проецируются в значения
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
большие порога, а точки по другую сторону дадут меньшие значения
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
. Таким образом, пороговая прямая разбивает плоскость
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
на две области. Во всех точках по одну сторону пороговой прямой значение
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
равно единице, по другую сторону — нулю.


Содержание раздела