§ 10.16. Обучение порогового элемента

Возможен и несколько иной способ обучения порогового элемента, не использующий входной композит непосредственно. Выходная величина порогового элемента равна в общем случае

                                                        (10.68)

где  — номер одной из входных ситуаций,  — номер момента измерения вектора весовых коэффициентов. В частности, при

                                                         (10.69)

До обучения выходная величина отличается от желаемой . Обучение заканчивается, если изменением вектора весовых коэффициентов удается добиться равенства

                                                                    (10.70)

или, что эквивалентно, неравенства

                                                        (10.71)

С подобного рода условием мы уже встречались в § 4.11. Напомним, что теперь компоненты вектора  принимают не произвольные значения, а только +1 и -1. Однако это не является препятствием к применению алгоритмов вида (4.41), и мы предлагаем читателю их выписать. Мы же приведем здесь простой алгоритм, учитывающий специфику пороговых элементов.

Воспользуемся алгоритмом обучения персептрона типа (10.61), но заменим в нем на . Тогда

.        (10.72)

В частном случае при будем иметь

.            (10.73)

Если начальный вектор  имеет целочисленные компоненты, то и векторы  будут иметь целочисленные компоненты. Структурная схема системы, реализующей алгоритм (10.73), изображена на рис. 10.6.

Поскольку ситуации, т. е. вершины гиперкуба, принципиально могут быть разделены плоскостью, то невыпуклость функционала, порождающего этот алгоритм (об этом мы говорили в § 4.10), не имеет существенного значения.

С течением времени , вообще говоря, стремится по вероятности к оптимальному вектору  не обычным образом, а так, что наиболее вероятное значение предела  или, как его называют, мода  стремится к . Но при отсутствии помех возможно, что оптимальное значение  будет достигнуто после конечного числа шагов.

Поступим теперь несколько иначе, — ну так, как поступил бы упорный педант. Будем подавать на вход порогового элемента вектор , соответствующий одной и той же ситуации, до тех пор, пока для этой ситуации обучение не будет окончено. Затем перейдем на следующую входную ситуацию и повторим все снова, не обращая внимания на то, что при этом мы, конечно, будем несколько портить уже достигнутые результаты. В этом случае вместо (10.69) нужно воспользоваться соотношением (10.68), и тогда, повторяя с небольшим видоизменением приведенные выше рассуждения, мы получим «педантичный» алгоритм обучения порогового элемента

                     (10.74)

Рис. 10.6.

 «Педантичный» алгоритм обучения можно представить и в несколько иной форме.

Обозначим через  число итераций при показе вектора , а через с  — вектор, при котором начинаются итерации при показе . Тогда из (10.74) получаем

                                             (10.75)

Заметим, что  и , так что ; алгоритм изменяет веса до тех пор, пока обучение порогового элемента не будет окончено.

Способность к обучению можно повысить, если рассматривать не один пороговый элемент, а сети, составленные из пороговых элементов, как это было, например, в персептроне Розенблата. Но такое обобщение не внесет ничего принципиально нового, и поэтому мы не будем углубляться в область обучаемых пороговых сетей.