§ 2. Равномерная сходимость средних к математическим ожиданиям1. В общем случае вопрос о равномерной близости функций В самом деле, функция есть математическое ожидание функции потерь есть среднее арифметическое этой случайной величины, вычисленное по выборке Сформулируем в точных терминах проблему равномерной сходимости средних к математическим ожиданиям. Пусть Предположим, что существует математическое ожидание этой функции при всех
Пусть, далее, задана повторная выборка
Если бы
т. е. вероятностью того, что максимальное по Говорят, что имеет место равномерная по параметру сходимость средних к математическим ожиданиям, если случайная величина Приводимые ниже достаточные критерии такой сходимости (за исключением последнего) сводят при определенных условиях вопрос о равномерной сходимости средних к математическим ожиданиям к исследованной в предыдущих главах проблеме равномерной сходимости частот к вероятностям в некотором классе событий. Теорема 13.1. Пусть для всевозможных Тогда равномерная сходимость частот к вероятностям по классу событий
Доказательство. Действительно, согласно определению интеграла Лебега
Аналогично
Обозначим событие через
чем и доказывается наше утверждение. Кроме того, получаем
Тем самым из оценок для равномерной сходимости частот к вероятностям по классу событий можно всегда получить оценки для равномерной сходимости средних к математическим ожиданиям для равномерно ограниченных функций Следствие. В силу полученных в главах X и XI условий равномерной сходимости частот к вероятностям в случае, когда
для равномерной сходимости средних к математическим ожиданиям (почти наверное) достаточно, чтобы
где При этом справедлива оценка:
Отметим, что необходимые и достаточные условия равномерной сходимости частот к вероятностям переходят здесь лишь в достаточные условия равномерной сходимости средних к математическим ожиданиям. Замечание. Равномерная ограниченность функции Однако это требование может быть ослаблено. В ряде случаев существенно не абсолютное, а относительное уклонение средних от математических ожиданий. В этом случае из допущения, что
где
где система Применим полученный результат для оценки алгоритмов, основанных на минимизации эмпирического риска. Допустим, что функция потерь
где при всевозможных Свойством равномерной ограниченности обладают функции потерь в задачах распознавания образов при произвольной функции штрафа за ошибку. 2. Пусть существует функция
Тогда для равномерной сходимости средних к математическим ожиданиям (почти наверное) достаточна равномерная сходимость частот к вероятностям по классу
Пусть
и положим Тогда
где
Поскольку
Кроме того, из усиленного закона больших чисел следует, что с вероятностью 1 найдется
Но тогда при
что и требуется. 3. Ле-Кам [84, 85], основываясь на идеях Вальда, получил следующий результат. Пусть
Тогда, если математическое ожидание
т. е. имеет место равномерная по параметру сходимость средних к математическим ожиданиям. Этот результат не перекрывает изложенные выше хотя бы потому, что здесь требуется непрерывность, тогда как предыдущие критерии включали также и разрывные функции, обычно используемые в распознавании. Кроме того, в рамках идей Вальда – Ле-Кама, видимо, трудно получить какие-либо оценки.
|