Целочисленность весов персептронов

Для ответа на вопрос о количественных характеристиках вектора w рассмотрим следующую теорему.

Теорема. Любой персептрон можно заменить другим персептроном того же вида с целыми весами связей.

Доказательство.Обозначим множество примеров одного класса (правильный ответ равен 0) через

$Целочисленность весов персептронов$

, а другого (правильный ответ равен 1) — через

$Целочисленность весов персептронов$

. Вычислим максимальное и минимальное значения суммы в правой части (1):

$Целочисленность весов персептронов$

Определим допуск

$Целочисленность весов персептронов$

как минимум из

$Целочисленность весов персептронов$

. Положим

$Целочисленность весов персептронов$

, где

$Целочисленность весов персептронов$

— число слагаемых в (1). Поскольку персептрон(1) решает поставленную задачу классификации и множество примеров в обучающей выборке конечно, то

$Целочисленность весов персептронов$

. Из теории чисел известна теорема о том, что любое действительное число можно сколь угодно точно приблизить рациональными числами. Заменим веса

$Целочисленность весов персептронов$

на рациональные числа так, чтобы выполнялись следующие неравенства:

$Целочисленность весов персептронов$

Из этих неравенств следует, что при использовании весов

$Целочисленность весов персептронов$

персептрон будет работать с теми же результатами, что и первоначальный персептрон. Действительно, если правильным ответом примера является 0, имеем

$Целочисленность весов персептронов$

Подставив новые веса, получим:

$Целочисленность весов персептронов$

Откуда следует необходимое неравенство

$Целочисленность весов персептронов$

(2)

Аналогично, в случае правильного ответа равного 1, имеем

$Целочисленность весов персептронов$

, откуда, подставив новые веса и порог, получим:

$Целочисленность весов персептронов$

Отсюда следует выполнение неравенства

$Целочисленность весов персептронов$

(3)

Неравенства (2) и (3) доказывают возможность замены всех весов и порога любого персептрона рациональными числами. Очевидно также, что при умножении всех весов и порога на одно и то же ненулевое число персептрон не изменится. Поскольку любое рациональное число можно представить в виде отношения целого числа к натуральному числу, получим

$Целочисленность весов персептронов$

(4)

где

$Целочисленность весов персептронов$

— целые числа. Обозначим через

$Целочисленность весов персептронов$

произведение всех знаменателей:

$Целочисленность весов персептронов$

. Умножим все веса и порог на

$Целочисленность весов персептронов$

. Получим веса целочисленные

$Целочисленность весов персептронов$

. Из (2), (3) и (4) получаем

$Целочисленность весов персептронов$

что и завершает доказательство теоремы.

Поскольку из доказанной теоремы следует, что веса персептрона являются целыми числами, то вопрос о выборе шага при применении правил обучения решается просто: веса и порог следует увеличивать (уменьшать) на единицу.

Содержание раздела

Главная сайта