§ 3. Необходимые и достаточные условия равномерной сходимости (доказательство достаточности)Введенное в предыдущих параграфах понятие энтропии системы событий позволяет полностью охарактеризовать те случаи, когда имеет место равномерная сходимость частот к вероятностям по классу событий. Оказывается, что для этого необходимо и достаточно, чтобы энтропия на символ последовательности стремилась к нулю с ростом длины выборки. Теорема 11.1. Допустим, что функции , и измеримы при всех . Тогда a) если , то имеет место равномерная сходимость частот к вероятностям с вероятностью 1; б) если , то существует число , не зависящее от , такое, что , т. е. вероятность того, что максимальное по классу уклонение частоты от вероятности превзойдет , стремится к 1. Таким образом, необходимым и достаточным условием равномерной сходимости частот к вероятностям по классу событий в этом смысле является условие . Доказательство достаточности (утверждения а)). Это доказательство аналогично выводу достаточных условий главы X. Итак, пусть . Оценим величину . В силу основной леммы (§ 5 главы X) . В свою очередь, как было показано при доказательстве теоремы 10.2, , где – всевозможные перестановки последовательности . Кроме того, . Очевидно также, что . Разобьем область интегрирования на область , где , и область , где . Тогда, заменяя мажорирующими выражениями, получим . (11.12) В обозначениях леммы 2 предыдущего параграфа , поскольку . Учтем также, что в области . Тогда . (11.13) Первый член суммы стремится при к нулю экспоненциально, второй член также стремится к нулю согласно лемме 2. Более того, поскольку в соответствии с этой леммой , то и , а следовательно, и . Отсюда следует равномерная сходимость частот к вероятностям почти наверное. Утверждение а) доказано (заметим, что в оценке (11.13) только член зависит от распределения).
|