9.6. Вероятности ошибок классификации

Из примера 2 ясно, что вероятность неправильной классификации образа, принадлежащего классу, равна , а вероятность неправильной классификации образа, принадлежащего классу , равна . Если априорные вероятности неизвестны, то  можно выбрать из условия, чтобы математическое ожидание потерь, связанных с ошибочным отнесением среди пары классов были равны. Для этого нужно найти распределение случайной величины

для каждого из двух возможных состояний природы. Если вектор признаков принадлежит первому классу (т. е.), то величина  распределена нормально с математическим ожиданием

,

где  имеет смысл «нормированного расстояния» между центрами классов и называется расстоянием Махаланобиса. Дисперсия  также равна :

.

Таким образом, если , то  распределена по нормальному закону . Легко видеть, что если , то  распределена по нормальному закону . Вероятность ошибочной классификации при условии, что , равна

,          (9.11)

где  - функция стандартного нормального распределения . Аналогично, вероятность ошибочной классификации при условии, что наблюдение , равна (см. рис. 9.7):

             (9.12)

Если , то , и общая вероятность ошибочной классификации равна

.                                         (9.13)

Рис. 9.7. Вероятность ошибочной классификации (заштрихованные области)

Если оценки параметров классов неизвестны (см. модель Фишера), то вероятность ошибочной классификации здесь будет случайной величиной, зависящей от выборок, их объемов  и размерности признакового пространства . Для изучения данной задачи А.Н. Колмогоровым была предложена асимптотика, в которой так, что .

В этой постановке модель Фишера была изучена Деевым [9.14] в двух вариантах — при известной ковариационной матрице , и оцениваемой по паре обучающих выборок. В частности, в первом случае асимптотическое значение ошибки классификации

,

где  есть предел (при ) расстояния Махаланобиса  между классами. Во втором варианте

.

Из сравнения двух формул для ошибок классификации видно, что цена, которую приходится платить за  неизвестных элементов ковариационной матрицы, достаточно высока. В связи с этим правильно проводить классификацию исходя из предположения равенства ковариационных матриц  (иначе добавляется еще  неизвестных параметров). Кроме того, рекомендуется при оценивании  подставлять вместо параметра  его несмещенную оценку

,

где .

Анализ данной формулы показывает, что при постоянном расстоянии Махаланобиса  средняя ошибка увеличивается с ростом числа признаков . Следовательно, решающие правила в задачах классификации не должны использовать избыточных признаков, так как каждый лишний (малоинформативный) признак может существенно увеличить ошибку.

Оценка ошибки по обучающей выборке (в асимптотике Колмогорова-Деева) дает, в общем, чересчур оптимистичный результат; доли ошибок чаще всего получаются довольно незначительными. Самый простой путь для получения несмещенной оценки ошибки разделить имеющиеся выборки из отдельных групп на две части. Затем одну часть рассматривать как обучающую выборку, используемую лишь для построения решающего правила (оценивания), а другую - как контрольную, т. е. только для оценивания ошибок классификации. Но поскольку объемы выборок при этом сильно уменьшаются, этот метод дает большую ошибку в оценке искомых вероятностей. Лаченбрух [9.8, гл.5] предложил компромиссный вариант — метод исключения одного объекта (известный в отечественной литературе как метод «скользящего контроля»). Метод состоит из  шагов, в общем соответствующих объему обучающей выборки из  векторов наблюдений всех  классов. При каждом шаге дискриминантное правило строится по множеству из  векторов наблюдений, а затем проверяется на оставшемся (в качестве контрольного) исключенном наблюдении. Доля  неправильно классифицированных при этом векторов признаков в  шагах скользящего контроля дает (приблизительно) вероятность ошибок решающего правила . Данный метод приводит в целом к несколько завышенной оценке вероятности ошибки классификации. В то же время если для проектирования классификатора использовать полностью обучающие множества ( векторов признаков), то проверка его качества по выбранному методу дает заниженную оценку вероятности ошибки. Установлено [9.8], что смещение между данными оценками ВО уменьшается приблизительно пропорционально , а среднеквадратичное отклонение оценок ВО уменьшается как .