§ 3. Теорема Гливенко

В классической математике уже однажды решалась задача о равномерной сходимости. В 30-х годах замечательный советский математик В. И. Гливенко доказал теорему, согласно которой с ростом объема выборки эмпирическая кривая распределения сходится к функции распределения равномерно.

Теорема Гливенко может быть сформулирована еще и так: на прямой  задана система решающих правил . Правило  относит точку  к первому классу, если , и относит ко второму, если . В соответствие этому правилу может быть поставлено событие , которое состоит в том, что точка  отнесена к первому классу. Теорема утверждает, что частоты сходятся к вероятностям равномерно по всем событиям .

Однако с помощью этой теоремы можно обосновывать правомочность замены среднего риска эмпирическим лишь при поиске решений среди самых примитивных решающих правил, таких, которые позволяют классифицировать только одномерные векторы по принципу: вектор  относится к первому классу, если , и ко второму, если .

Чтобы гарантировать успех в применении метода минимизации эмпирического риска в классе линейных решающих правил, надо установить равномерную сходимость частот к вероятностям для более сложного класса событий . Подобно тому как класс событий  в теореме Гливенко задавался всеми возможными полупрямыми, класс событий  определяется всеми возможными полупространствами -мерного векторного пространства . Здесь, аналогично одномерному случаю, каждое событие задается неравенством

.

В этом смысле теорема, доказывающая равномерную сходимость частот к вероятностям по классу событий , явилась бы прямым обобщением теоремы Гливенко на многомерный случай. Для обоснования же применения метода минимизации эмпирического риска в задаче обучения распознаванию образов (не только для случая линейных решающих правил!) надо найти условия, при которых можно гарантировать равномерную сходимость частот к вероятностям для различных классов событий.