§ 3. Необходимые и достаточные условия равномерной сходимости (доказательство достаточности)Введенное в предыдущих параграфах понятие энтропии системы событий позволяет полностью охарактеризовать те случаи, когда имеет место равномерная сходимость частот к вероятностям по классу событий. Оказывается, что для этого необходимо и достаточно, чтобы энтропия на символ последовательности стремилась к нулю с ростом длины выборки. Теорема 11.1. Допустим, что функции a) если б) если
т. е. вероятность того, что максимальное по классу Таким образом, необходимым и достаточным условием равномерной сходимости частот к вероятностям по классу событий в этом смысле является условие
Доказательство достаточности (утверждения а)). Это доказательство аналогично выводу достаточных условий главы X. Итак, пусть
Оценим величину
В силу основной леммы (§ 5 главы X)
В свою очередь, как было показано при доказательстве теоремы 10.2,
где
Очевидно также, что Разобьем область интегрирования на область
и область
Тогда, заменяя
В обозначениях леммы 2 предыдущего параграфа
поскольку
Учтем также, что в области
Тогда
Первый член суммы стремится при
то и
а следовательно, и
Отсюда следует равномерная сходимость частот к вероятностям почти наверное. Утверждение а) доказано (заметим, что в оценке (11.13) только член
|