Основы теории нейронных сетей


Биологический прототип

Биологический прототип
Искусственный нейрон
Однослойные искусственные нейронные сети
Многослойные искусственные нейронные сети
Обучение искусственных нейронных сетей
Цель обучения
Обучение с учителем

Обучение без учителя
Алгоритмы обучения

Персептроны и зарождение искусственных нейронных сетей

Персептроны и зарождение искусственных нейронных сетей
Персептронная представляемость
Проблема функции ИСКЛЮЧАЮЩЕГО ИЛИ
Линейная разделимость

Преодоление ограничения линейной разделимости
Эффективность запоминания

Обучение персептрона

Обучение персептрона
Алгоритм обучения однослойного персептрона
Целочисленность весов персептронов
Двуслойность персептрона
Трудности с алгоритмом обучения персептрона

Введение в процедуру обратного распространения

Введение в процедуру обратного распространения
Обучающий алгоритм обратного распространения
Дальнейшие алгоритмические разработки
Применение

Переобучение и обобщение

Переобучение и обобщение
Отбор данных
Как обучается многослойный персептрон
Предостережения
Паралич сети

Локальные минимумы
Размер шага
Временная неустойчивость

Введение в сети встречного распространения

Введение в сети встречного распространения
Структура сети
Слои Кохонена
Слой Гроссберга
Обучение слоя Кохонена

Предварительная обработка входных векторов
Выбор начальных значений весовых векторов
Примеры обучения
Модификации алгоритма обучения
Режим интерполяции
Статистические свойства обученной сети
Обучение слоя Гроссберга
Сеть встречного распространения полностью

Приложение: сжатие данных

Использование обучения

Использование обучения
Больцмановское обучение

Обучение Коши
Метод искусственной теплоемкости
Обратное распространение и обучение Коши
Трудности, связанные с обратным распространением
Трудности с алгоритмом обучения Коши
Экспериментальные результаты


Конфигурации сетей с обратными связями

Конфигурации сетей с обратными связями
Бинарные системы

Устойчивость
Ассоциативность памяти и задача распознавания образов

Модификации правила Хэбба

Модификации правила Хэбба

Матрица Хебба с ортогонализацией образов
Отказ от симметрии синапсов
Алгоритмы разобучения (забывания)
Непрерывные системы
Сети Хопфилда и машина Больцмана
Термодинамические системы
Статистические сети Хопфилда
Обобщенные сети
Аналого-цифровой преобразователь

Задача коммивояжера
Локальные минимумы
Скорость
Функция энергии
Емкость сети

Структура ДАП

Структура ДАП
Восстановление запомненных ассоциаций
Кодировка ассоциаций
Емкость памяти

Непрерывная ДАП
Адаптивная ДАП
Конкурирующая ДАП

Принцип адаптивного резонанса

Принцип адаптивного резонанса
Архитектура АРТ
Описание APT
Упрощенная архитектура APT
Функционирование сети APT в процессе классификации

Функционирование сетей APT

Функционирование сетей APT
Иллюстрация

Пример обучения сети АРТ
Характеристики АРТ
Инициализация весовых векторов T
Настройка весовых векторов Bj
Инициализация весов bij
Теоремы APT
Нерешенные проблемы и недостатки АРТ-1

Структура сети

Структура сети
Обучение когнитрона
Когнитрон как модель зрительной коры мозга
Результаты моделирования

Обобщение

Структура
Обобщение
Вычисления
Обучение
Заключение

Обучение с учителем и без учителя

Обучение с учителем и без учителя
Метод обучения Хэбба
Алгоритм обучения Хэбба

Метод сигнального обучения Хэбба
Метод дифференциального обучения Хэбба
Входные и выходные звезды
Обучение входной звезды
Обучение выходной звезды
Обучение персептрона
Метод обучения Уидроу—Хоффа
Метод статистического обучения
Самоорганизация

Содержание раздела