§ 4. Критерий Байеса

Пусть априорные сведения о природе задач, на которые рассчитывается алгоритм обучения, задаются как априорная вероятность тех или иных задач. В этом случае теория статистических решений предлагает метод построения оптимального алгоритма обучения в смысле среднего качества по ансамблю задач, т. е. метод минимизации критерия Байеса

.

Следующая схема реализует оптимальную по критерию Байеса процедуру обучения.

1. Пусть дана обучающая последовательность . По этой последовательности для каждой задачи  вычисляется апостериорная вероятность  того, что алгоритм столкнулся именно с этой задачей:

,

где  – априорная вероятность задачи .

Здесь  – распределение, соответствующее задаче .

2. Для каждой ситуации  вычисляется апостериорная вероятность того, что она будет отнесена (учителем) к классу :

.

3. Наконец, строится решающее правило , работающее следующим образом:

Несмотря на всю привлекательность байесовой стратегии обучения, она оказывается практически неосуществимой, так как, за исключением простейших случаев, приводит к чрезвычайно громоздким вычислениям. Кроме того, сведения об априорной вероятности различных задач весьма расплывчаты, поэтому точное следование оптимальной по Байесу процедуре может оказаться нецелесообразным. Представляют интерес «квазибайесовы» процедуры, которые сохраняют ее ценные свойства и не столь громоздки.

Необходимо отметить, что, в отличие от других применений байесовой процедуры, в задачах распознавания образов априорные сведения о задачах, которые предстоит решать, существенны и от них сильно зависит выбираемое решающее правило. В частности, можно показать, что эффективно могут работать лишь алгоритмы, рассчитанные на достаточно узкий класс задач по сравнению со всеми возможными. Поэтому, для того чтобы байесова стратегия была эффективной, необходимы такие априорные вероятности задач, чтобы огромное большинство задач было в совокупности маловероятно, а ничтожное меньшинство образовывало множество, вероятность которого близка к единице.