§ 9. Метод минимизации эмпирического риска в детерминистской постановке задачи обучения распознаванию образовДо сих пор при исследовании методов минимизации эмпирического риска в задаче обучения распознаванию образов не возникала необходимость различать две постановки – детерминистскую и стохастическую, как при исследовании методов стохастической аппроксимации. Однако, вообще говоря, применение методов минимизации эмпирического риска в детерминистском варианте задачи обучения распознаванию образов дает более эффективные результаты. Во всяком случае, оценки скорости равномерной сходимости указывают на более быструю сходимость. Чтобы выяснить, почему это происходит, вернемся сначала к частному случаю, рассмотренному в § 4. Итак, пусть класс решающих правил состоит из конечного числа Искать такое решающее правило будем методом минимизации эмпирического риска. Так как среди функций Однако этот минимум может достигаться на многих функциях. Поэтому возникает необходимость оценить вероятность того, что при выборе любой функции, доставляющей нуль величине эмпирического риска, можно гарантировать, что выбрана функция, качество которой не хуже заданного Введем функцию Тогда формально оценка скорости равномерной сходимости частот к вероятностям по множеству правил, для которых частота ошибок равна нулю, связана с оценкой вероятности следующего события:
Так как число функций, на которых достигается нуль величины эмпирического риска, не превосходит
где
Подставляя оценку
Для того чтобы вероятность
Разрешая относительно
Так как для малых
В отличие от оценки (5.6) здесь знаменатель равен
Таким образом, справедлива следующая теорема. Теорема 5.2. Если из множества, состоящего из
В общем случае, когда класс решающих правил
где Если объем класса ограничен:
т. е. выполнены достаточные условия равномерной сходимости, то можно потребовать, чтобы вероятность не превосходила заданное значение Это заведомо произойдет, если величины
Разрешая это равенство относительно
(в отличие от (5.12) здесь знаменатель не
Таким образом, в детерминистском варианте постановки задачи оценки оказываются лучше, чем в общем случае.
|