Глава IV. РЕКУРРЕНТНЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ

§ 1. Метод стохастической аппроксимации

Метод стохастической аппроксимации применительно к задаче о минимизации среднего риска состоит в том, что для отыскания минимума по  функционала

используется рекуррентная процедура

.                       (4.1)

Теория этого метода устанавливает, когда (при каких , , ) рекуррентная процедура приводит к успеху. Оказывается, итерационный процесс (4.1) приводит к успеху (см. главу IX), если:

вектор-функция  является градиентом по  функции  при фиксированном  (или обобщенным градиентом) этой функции);

последовательность положительных чисел  такова, что

,

(примером такой последовательности может служить гармонический ряд ).

Если при любом фиксированном  функция  одноэкстремальна по , то с помощью процедуры (4.1) может быть достигнут минимум функционала . Если же функция не одноэкстремальна, то можно гарантировать лишь достижение локального минимума (подробнее см. главу IX).

Рис. 6.

Попытка применить метод стохастической аппроксимации непосредственно для решения задачи обучения распознаванию образов к успеху не приводит. Функция потерь этой задачи

               (4.2)

такова, что поиск нужного значения  этим методом невозможен. На рис. 6 приведена функция потерь при фиксированных значениях  и . Во всех точках прямой, кроме точки , градиент этой функции равен нулю, а в точке  его не существует. Отыскание решения для такой функции потерь должно проходить согласно процедуре (4.1). В нашем случае вектор  либо равен нулю, либо не определен. Таким образом, процедура (4.1) оказывается невозможной.