§ 2. Асимптотические свойства энтропии

Энтропия системы событий относительно выборки обладает рядом свойств, аналогичных свойствам энтропии -членных цепочек, рассматриваемых в теории информации. В этом параграфе будет сформулировано и доказано несколько утверждений относительно асимптотического поведения и оценок энтропии, которые понадобятся при выводе необходимых и достаточных условий равномерной сходимости.

Лемма 1. Последовательность имеет при предел с .

Приводимое доказательство совпадает с доказательством аналогичного утверждения для энтропии -членных цепочек в теории информации [66].

Доказательство. В самом деле, поскольку , то существует нижний предел

Тогда для любого найдется такое, что

. (11.6)

Произвольное представим в виде

где и .

Далее, в силу (11.2), (11.4) и (11.5)

Поэтому

Воспользовавшись теперь условием (11.6), получим

Далее, поскольку при также и , имеем

и ввиду произвольности

Лемма доказана.

В теории информации величину называют энтропией на символ. Сохраним этот термин и для величины . Несмещенной оценкой этой величины служит случайная величина

Покажем, что эта случайная величина стремится по вероятности при к тому же пределу, что и (аналогичное утверждение для эргодических источников доказывается и в теории информации, но на этот раз доказательства различны).

Лемма 2. Пусть , тогда

сходится к по вероятности, т. е.

Более того, если обозначить

то

Доказательство. Оценим сначала . Поскольку

найдется такое, что

Рассмотрим случайную последовательность

Таким образом, есть среднее арифметическое случайной величины , полученное в серии независимых испытаний длины .

Математическое ожидание равно , поэтому математическое ожидание также равно ; случайная величина ограничена и потому обладает центральными моментами любого порядка. Пусть и – ее центральные моменты соответственно второго и четвертого порядка. Очевидно, что и меньше 1. Тогда центральный момент четвертого порядка величины есть

Применяя неравенство Чебышева для моментов четвертого порядка, получим при любом

Далее, в силу (11.3)

т. е.

Поэтому, тем более,

Полагая и учитывая, что

получим

, (11.7)

где через обозначено .

Наконец, для произвольного положим , где , а .

В силу (11.2)

Поэтому

Усиливая неравенство, получим

. (11.8)

Предположим, что настолько велико, что

Тогда из (11.7) и (11.8) следует, что

. (11.9)

Поскольку при имеет место , то

Кроме того,

Действительно, достаточно оценить сумму, начиная с достаточно больших , для которых выполняется (11.9). Тогда

Остается показать, что при . Пусть таково, что для всех

Из свойств математического ожидания и того факта, что есть математическое ожидание , имеем

Обозначая первую часть равенства , а вторую и полагая , получим

. (11.10)

Далее, пусть – произвольное число. Тогда

или, иначе,

. (11.11)

Объединяя (11.10) и (11.11), имеем

Переходя к пределу при ,

и, поскольку произвольно, а ,

Лемма доказана.

Замечание 1. В отличие от последовательности

которая в силу результата § 4 главы X при стремится либо к нулю, либо к единице, последовательность

может стремится к любому пределу с .

Например, пусть – сегмент . В качестве системы рассмотрим все измеримые множества , которые включаются в сегмент . Распределение положим равномерным. Тогда на последовательности (без повторов) будут индуцироваться множествами те и только те подпоследовательности, которые целиком укладываются в сегмент . Значит, их число равно