§ 4.8. Поисковые алгоритмы обучения

Хотя каждому дискретному алгоритму, приведенному в табл. 4.1, можно поставить в соответствие поисковый алгоритм обучения, вряд ли нужно в этих случаях отдавать какое-либо предпочтение поисковым алгоритмам. Ведь для алгоритмов, с которыми мы познакомились в § 4.7, градиент реализации вычисляется, как только выбрана функция .

Тем не менее в ряде случаев (и при несколько иной постановке задачи опознавания), по-видимому, единственно возможными являются поисковые алгоритмы обучения. Вот эту постановку задачи опознавания мы здесь и рассмотрим.

Рассмотрим два класса образов  и , или, что эквивалентно, два класса — 1 и 2. Если образ класса  мы отнесем к классу , то эта ситуация оценивается штрафом  . Величина этих штрафов задается матрицей .

Средний риск, представляющий собой математическое ожидание штрафов, можно представить в форме, которая является частным случаем функционала (1.3):

,        (4.22)

где  — вероятность появления образа 1-го класса,  — вероятность появления образа 2-го класса,  — условные плотности распределения образов обоих классов, a  — решающее правило:, если образ  относится к 1-му классу, , если образ относится ко 2-му классу. Если бы плотности распределения  были известны, то для решения поставленной задачи можно было бы использовать все могущество теории статистических решений, основаннойна байесовском подходе. Но в нашем случае эти плотности распределения неизвестны, и мы не можем непосредственно воспользоваться результатами этой изящной теории.

Конечно, их можно применить, если предварительно каким-либо путем определить плотности распределении. Так иногда и поступают. Но не лучше ли не тратить время на этот «лишний» этап, а воспользоваться алгоритмами обучения? Ведь риск , выражаемый формулой (4.22), представляет собой частный случай среднего риска (1.5). Поэтому  можно представить в виде

,                         (4.23)

где , если при заданном решающем правиле мы этот образ  отнесем к классу , тогда как на самом деле он принадлежит классу  .

Решающее правило  будем искать в виде известной функции  с неизвестным вектором параметров . Поскольку  зависит от вектора  лишь неявным образом, то для определения оптимального вектора уместно воспользоваться поисковым алгоритмом

,                  (4.24)

причем

,

где

, если  принадлежит к классу

и ,

, если  принадлежит классу

и .

Поисковый алгоритм адаптации (4.24) и решает задачу обучения. Этот алгоритм перебрасывает мост между алгоритмическим подходом и теорией статистических решений, основанной на байесовском критерии. С подобного рода связью мы еще встретимся в задачах фильтрации, точнее, в задачах обнаружения и выделения сигналов, которые рассматриваются в гл. VI.