§ 3. Теорема Гливенко
В классической математике уже однажды решалась задача о равномерной сходимости. В 30-х годах замечательный советский математик В. И. Гливенко доказал теорему, согласно которой с ростом объема выборки эмпирическая кривая распределения сходится к функции распределения равномерно.
Теорема Гливенко может быть сформулирована еще и так: на прямой
задана система решающих правил
. Правило
относит точку
к первому классу, если
, и относит ко второму, если
. В соответствие этому правилу может быть поставлено событие
, которое состоит в том, что точка
отнесена к первому классу. Теорема утверждает, что частоты сходятся к вероятностям равномерно по всем событиям
.
Однако с помощью этой теоремы можно обосновывать правомочность замены среднего риска эмпирическим лишь при поиске решений среди самых примитивных решающих правил, таких, которые позволяют классифицировать только одномерные векторы по принципу: вектор
относится к первому классу, если
, и ко второму, если
.
Чтобы гарантировать успех в применении метода минимизации эмпирического риска в классе линейных решающих правил, надо установить равномерную сходимость частот к вероятностям для более сложного класса событий
. Подобно тому как класс событий
в теореме Гливенко задавался всеми возможными полупрямыми, класс событий
определяется всеми возможными полупространствами
-мерного векторного пространства
. Здесь, аналогично одномерному случаю, каждое событие задается неравенством
.
В этом смысле теорема, доказывающая равномерную сходимость частот к вероятностям по классу событий
, явилась бы прямым обобщением теоремы Гливенко на многомерный случай. Для обоснования же применения метода минимизации эмпирического риска в задаче обучения распознаванию образов (не только для случая линейных решающих правил!) надо найти условия, при которых можно гарантировать равномерную сходимость частот к вероятностям для различных классов событий.