Читать в оригинале

<< ПредыдущаяОглавлениеСледующая >>


§ 2. Асимптотические свойства энтропии

Энтропия системы событий относительно выборки  обладает рядом свойств, аналогичных свойствам энтропии -членных цепочек, рассматриваемых в теории информации. В этом параграфе будет сформулировано и доказано несколько утверждений относительно асимптотического поведения и оценок энтропии, которые понадобятся при выводе необходимых и достаточных условий равномерной сходимости.

Лемма 1. Последовательность  имеет при  предел с .

Приводимое доказательство совпадает с доказательством аналогичного утверждения для энтропии -членных цепочек в теории информации [66].

Доказательство. В самом деле, поскольку , то существует нижний предел

 .

Тогда для любого  найдется  такое, что

.                    (11.6)

Произвольное  представим в виде

,

где  и .

Далее, в силу (11.2), (11.4) и (11.5)

.

Поэтому

.

Воспользовавшись теперь условием (11.6), получим

.

Далее, поскольку при  также и , имеем

и ввиду произвольности

.

Лемма доказана.

В теории информации величину  называют энтропией на символ. Сохраним этот термин и для величины . Несмещенной оценкой этой величины служит случайная величина

.

Покажем, что эта случайная величина стремится по вероятности при  к тому же пределу, что и  (аналогичное утверждение для эргодических источников доказывается и в теории информации, но на этот раз доказательства различны).

Лемма 2. Пусть , тогда

сходится к  по вероятности, т. е.

.

Более того, если обозначить

,

,

то

.

Доказательство.           Оценим сначала . Поскольку

,

найдется  такое, что

.

Рассмотрим случайную последовательность

.

Таким образом,  есть среднее арифметическое случайной величины , полученное в серии независимых испытаний длины .

Математическое ожидание  равно , поэтому математическое ожидание  также равно ; случайная величина  ограничена  и потому обладает центральными моментами любого порядка. Пусть  и  – ее центральные моменты соответственно второго и четвертого порядка. Очевидно, что  и  меньше 1. Тогда центральный момент четвертого порядка величины  есть

.

Применяя неравенство Чебышева для моментов четвертого порядка, получим при любом

.

Далее, в силу (11.3)

,

т. е.

.

Поэтому, тем более,

.

Полагая  и учитывая, что

,

получим

,                     (11.7)

где через  обозначено .

Наконец, для произвольного  положим , где , а .

В силу (11.2)

.

Поэтому

.

Усиливая неравенство, получим

.                     (11.8)

Предположим, что  настолько велико, что

.

Тогда из (11.7) и (11.8) следует, что

.                    (11.9)

Поскольку при  имеет место , то

.

Кроме того,

.

Действительно, достаточно оценить сумму, начиная с достаточно больших , для которых выполняется (11.9). Тогда

.

Остается показать, что  при . Пусть  таково, что для всех

.

Из свойств математического ожидания и того факта, что  есть математическое ожидание , имеем

.

Обозначая первую часть равенства , а вторую  и полагая , получим

.               (11.10)

Далее, пусть  – произвольное число. Тогда

или, иначе,

.                   (11.11)

Объединяя (11.10) и (11.11), имеем

.

Переходя к пределу при ,

и, поскольку  произвольно, а ,

.

Лемма доказана.

Замечание 1. В отличие от последовательности

,

которая в силу результата § 4 главы X при  стремится либо к нулю, либо к единице, последовательность

может стремится к любому пределу с .

Например, пусть  – сегмент . В качестве системы  рассмотрим все измеримые множества , которые включаются в сегмент . Распределение  положим равномерным. Тогда на последовательности  (без повторов) будут индуцироваться множествами  те и только те подпоследовательности, которые целиком укладываются в сегмент . Значит, их число равно

,

где  – число элементов последовательности, принадлежащих . При этом

и, следовательно,

.

Заметим, однако, что поскольку всегда

,

то предел

может быть отличен от нуля только в том случае, когда

или, что то же самое,

.

Замечание 2. Значение функции  при любом  служит оценкой сверху для величины

,

т.е.

.

Доказательство этого утверждения аналогично доказательству леммы 1.

Отсюда следует, что если , то

,

т. е. индекс  равен  с вероятностью 1.

 



<< ПредыдущаяОглавлениеСледующая >>