§ 4.17. Принципы самообучения

Самообучение при опознавании образов, или классификация множества образов, состоит в определении только по показам, без каких-либо указаний извне, границы между классами. В благоприятных случаях эта граница представляет собой овраг на холмистой поверхности, образуемой совместной плотностью вероятности. И хотя мы уже знаем, как восстановить совместную плотность распределения, задача определения границы, т. е. задача построения некоторой разделяющей поверхности, от этого не стала проще. Однако задача упрощается, если у нас имеется какая-либо априорная информация, например, если задана форма условных плотностей распределения. Так, если условные плотности распределения нормальны и отличаются лишь средними значениями, то для определения границы между двумя классами достаточно определить взвешенное среднее значение совместной плотности распределения. Существует большое число способов классификации без указаний извне, основанных на довольно полной априорной информации о законах распределения, которых мы касаться не будем. Но нельзя ли построить разделяющую поверхность, минуя явное восстановление плотностей распределения и не имея априорной информации об этих плотностях? Оказывается, такие возможности существуют.

Одна из этих возможностей состоит в том, чтобы вместо указаний извне использовать ответы персептрона. Можно ожидать, что при этом персептрон найдет границу между двумя классами, но он, разумеется, не сможет однозначно опознать эти классы. Действия такого персептрона соответствуют действиям доверчивого оптимиста или недоверчивого пессимиста, которые желаемое или нежелаемое принимают за действительное.

Намного интереснее иная возможность.

Представим себе, что все элементы , соответствующие образам одного и того же класса, сгруппированы в непосредственной близости от «центра» этого класса. Введем тогда некоторую функцию, в самом общем смысле характеризующую расстояние  от, вообще говоря, пока неизвестных центров  этих классов.

Тогда классификация может быть основана, например, на требовании, чтобы каждый элемент каждого класса был удален от центра этого класса на расстояние, меньшее, чем от центров остальных классов. Это требование, как отмечено в следующем параграфе, может быть связано с минимизацией некоторого функционала (среднего риска). Теперь уже нетрудно понять, что задача самообучения может считаться решенной, если удалось по показам образов  определить центры множеств  и границы этих множеств так, чтобы средний риск был минимален.

Чтобы перейти от этих общих рассуждений к решению задачи самообучения, необходимо прежде всего определить средний риск и найти его вариацию. Этому и посвящены следующие два параграфа.