§ 2. Определение равномерной сходимости частот к вероятностям
Согласно классической теореме Бернулли, частота появления некоторого события
сходится (по вероятности) в последовательности независимых испытаний к вероятности этого события. Выше мы убедились, что возникает необходимость судить одновременно о вероятностях событий целого класса
по одной и той же выборке. При этом требуется, чтобы частота событий сходилась к вероятности равномерно по всем событиям класса
. Точнее, требуется, чтобы вероятность того, что максимальное по классу уклонение частоты от вероятности превзойдет заданную сколь угодно малую положительную константу, стремилась к нулю при неограниченном увеличении числа испытаний.
Оказывается, что даже в простейших примерах такая равномерная сходимость может не иметь места. Поэтому хотелось бы найти критерий, по которому можно было бы судить, есть ли такая сходимость или же ее нет.
В этой главе будут найдены достаточные условия такой равномерной сходимости, не зависящие от свойства распределения, и дана оценка скорости такой сходимости. В главе XI мы введем необходимые и достаточные условия равномерной сходимости частоты к вероятностям. Эти условия уже будут зависеть от свойств распределения.
Пусть
– множество элементарных событий, на котором задана вероятностная мера
. Пусть
– некоторая совокупность случайных событий, т. е. подмножеств пространства
, измеримых относительно меры
(
включается в
-алгебру случайных событий, но не обязательно совпадает с ней). Обозначим через
пространство выборок из
длины
. Тот факт, что выборка является повторной, т. е. получена в последовательности независимых испытаний при неизменном распределении, формализуется заданием вероятностной продукт-меры на
из условия
,
где
– измеримые подмножества
.
Для каждой выборки
и события
определена частота выпадения событий
, равная отношению числа
элементов выборки, принадлежащих
, к общей длине выборки
.
Теорема Бернулли утверждает, что при фиксированном событии
уклонение частоты от вероятности стремится к нулю (по вероятности) с ростом объема выборки, т. е. для любого
справедливо:
.
Нас же будет интересовать максимальное по классу
уклонение частоты от вероятности:
.
Величина
является функцией точки в пространстве
. Будем предполагать, что эта функция измерима относительно меры в
, т. е. что
есть случайная величина.
Если величина
стремится по вероятности к нулю при неограниченном увеличении длины выборки
, то говорят, что частота событий
стремится (по вероятности) к вероятности этих событий равномерно по классу
. Дальнейшие теоремы посвящены оценкам вероятности события

и выяснению условий, когда для любого
справедливо
.
В отличие от обычного закона больших чисел равномерная сходимость частот к вероятностям может иметь или не иметь места в зависимости от того, как выбрано множество
и задана вероятностная мера
. Приведем простейший пример, когда равномерной сходимости нет.
Пусть
– интервал
и на нем задано равномерное распределение вероятностей, т. е.
;
.
В качестве системы
рассмотрим любую совокупность событий (измеримых подмножеств
), содержащую все конечные подмножества интервала
. Очевидно, что вероятностная мера
каждого события, состоящего лишь из конечного числа элементов, в нашем случае равна нулю.
Пусть теперь дана выборка
. Рассмотрим конечное множество
, состоящее из тех и только тех элементов
, которые встретились в этой выборке. Очевидно, что
,
в то время как
.
Учитывая, что всегда
,
получаем
.
Это соотношение выполняется тождественно для любой выборки любой длины. Таким образом, в данном случае величина

и не стремится к нулю ни в каком смысле.
Совершенно аналогично показывается, что

и в более общем случае, когда
есть
-мерное евклидово пространство,
– любое распределение, обладающее плотностью, a
– любая система событий, включающая все события, состоящие из конечного числа элементов. В частности, при этих предположениях в качестве
можно взять полную систему событий, составляющую всю
-алгебру; тогда

и равномерной сходимости нет. Таким образом, во многих случаях равномерная сходимость частот к вероятностям не имеет места для полной системы событий. Для того чтобы такая сходимость происходила, приходится в качестве
рассматривать более узкие (не полные) системы событий.
Примеры систем
, для которых выполняются условия равномерной сходимости частот к вероятностям, будут приведены ниже. Отметим лишь то, что для конечных систем
, содержащих
событий, равномерная сходимость всегда имеет место. В самом деле, из усиленного закона больших чисел известно, что для каждого
последовательность

стремится к нулю с вероятностью единица при
. Поскольку число событий в
конечно,

и также стремится к нулю с вероятностью 1.
Выведем оценку вероятности

для случая конечной системы
. Величина
распределена по биномиальному закону
.
Поэтому
,
где штрих у суммы означает, что
пробегает значения, удовлетворяющие неравенству
.
Событие
означает, что по крайней мере для одного из событий
справедливо
. Поэтому по теореме о сложении вероятностей
. (10.6)
В силу интегральной теоремы Муавра–Лапласа правая часть неравенства (10.6) при больших
может быть оценена так:
,
где
.
Величина
достигает максимального значения при
и равна в этом случае
. Поэтому
.
При
получаем
. (10.7)
Таким образом, остается выяснить, для каких бесконечных систем
выполняется равномерная сходимость частот к вероятностям.
Основная идея выводимых ниже условий равномерной сходимости связана с тем, что и в том случае, когда система
бесконечна, лишь конечное число групп событий различимо на конечной выборке. Правда, это число не постоянно и зависит от выборки. Грубо говоря, идея состоит в том, чтобы подставить в оценку (10.7) переменное число
, зависящее от выборки. Если при этом
возрастает с длиной выборки достаточно медленно (медленнее любой показательной функции), то правая часть оценки (10.7) при
стремится к нулю при любом
и, следовательно, равномерная сходимость частот к вероятностям имеет место.