§ 2. Равномерная сходимость средних к математическим ожиданиям

1. В общем случае вопрос о равномерной близости функций  и  сводится к равномерной по параметру  сходимости средних к математическим ожиданиям.

В самом деле, функция

есть математическое ожидание функции потерь , тогда как

есть среднее арифметическое этой случайной величины, вычисленное по выборке .

Сформулируем в точных терминах проблему равномерной сходимости средних к математическим ожиданиям.

Пусть  – элементарное событие из пространства ,  – вероятностная мера в нем,  – некоторый абстрактный параметр,  – некоторая функция, измеримая при всех  относительно меры  в пространстве .

Предположим, что существует математическое ожидание этой функции при всех

.

Пусть, далее, задана повторная выборка  из пространства , т. е. выборка, полученная в последовательности независимых испытаний при неизменном распределении. Тогда для каждого  по этой выборке можно вычислить среднее значение

.

Если бы  была постоянной величиной, то сходимость среднего к математическому ожиданию обеспечивалась бы законом больших чисел. Но если параметр  может изменяться в пределах некоторого множества , то возникает вопрос о равномерности по параметру  оценки математического ожидания средним значением. Точнее, обозначим через  вероятностную меру в пространстве выборок длины . Тогда равномерность близости средних к математическим ожиданиям может быть оценена величиной

,

т. е. вероятностью того, что максимальное по  уклонение средневыборочного значения от математического ожидания превзойдет .

Говорят, что имеет место равномерная по параметру сходимость средних к математическим ожиданиям, если случайная величина  стремится к нулю соответственно по вероятности или почти наверное при .

Приводимые ниже достаточные критерии такой сходимости (за исключением последнего) сводят при определенных условиях вопрос о равномерной сходимости средних к математическим ожиданиям к исследованной в предыдущих главах проблеме равномерной сходимости частот к вероятностям в некотором классе событий.

Теорема 13.1. Пусть   - семейство измеримых на  функций, причем выполнено условие  (число  не зависит от  и ). Рассмотрим систему  событий вида

для всевозможных  и .

Тогда равномерная сходимость частот к вероятностям по классу событий  является достаточным условием для равномерной сходимости средних к математическим ожиданиям. При этом выполняется соотношение

.

Доказательство. Действительно, согласно определению интеграла Лебега

.

Аналогично

.

Обозначим событие

через . Тогда

,

чем и доказывается наше утверждение.

Кроме того, получаем

.

Тем самым из оценок для равномерной сходимости частот к вероятностям по классу событий можно всегда получить оценки для равномерной сходимости средних к математическим ожиданиям для равномерно ограниченных функций .

Следствие. В силу полученных в главах X и XI условий равномерной сходимости частот к вероятностям в случае, когда

,

для равномерной сходимости средних к математическим ожиданиям (почти наверное) достаточно, чтобы  или (более слабое условие)

,

где  – определенная выше совокупность событий.

При этом справедлива оценка:

.                  (13.8)

Отметим, что необходимые и достаточные условия равномерной сходимости частот к вероятностям переходят здесь лишь в достаточные условия равномерной сходимости средних к математическим ожиданиям.

Замечание. Равномерная ограниченность функции  в этом рассуждении существенна, так как в противном случае можно построить примеры, где равномерная по классу  сходимость частот к вероятностям имеет место, тогда как равномерной сходимости средних к математическим ожиданиям нет.

Однако это требование может быть ослаблено. В ряде случаев существенно не абсолютное, а относительное уклонение средних от математических ожиданий. В этом случае из допущения, что

 и ,

где  не зависит от  и , аналогично доказанной теореме выводится неравенство

,

где система  определена как и раньше. Отсюда следуют аналогичные оценки и условия сходимости.

Применим полученный результат для оценки алгоритмов, основанных на минимизации эмпирического риска. Допустим, что функция потерь  неотрицательна и равномерно ограничена. Тогда из (13.8) следует, что

,

где  – система событий вида

при всевозможных  и .

Свойством равномерной ограниченности обладают функции потерь в задачах распознавания образов при произвольной функции штрафа за ошибку.

2. Пусть существует функция , не зависящая от  такая, что

, .

Тогда для равномерной сходимости средних к математическим ожиданиям (почти наверное) достаточна равномерная сходимость частот к вероятностям по классу  событий вида

.

Пусть . Выберем  таким, чтобы выполнялось

,

и положим

Тогда

,

,

где  и  – соответственно математическое ожидание и среднее функции , a

.

Поскольку  равномерно ограничена, в силу предыдущего результата с вероятностью 1 найдется  такое, что при

.

Кроме того, из усиленного закона больших чисел следует, что с вероятностью 1 найдется  такое, что при

.

Но тогда при

,

что и требуется.

3. Ле-Кам [84, 85], основываясь на идеях Вальда, получил следующий результат.

Пусть  – измеримая по  функция, непрерывная по  почти для всех ,  изменяется в пределах метрического компакта  и существует  такая, что

, .

Тогда, если математическое ожидание  существует для всех , то

,

т. е. имеет место равномерная по параметру сходимость средних к математическим ожиданиям.

Этот результат не перекрывает изложенные выше хотя бы потому, что здесь требуется непрерывность, тогда как предыдущие критерии включали также и разрывные функции, обычно используемые в распознавании. Кроме того, в рамках идей Вальда – Ле-Кама, видимо, трудно получить какие-либо оценки.