Глава XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ ЧАСТОТ К ВЕРОЯТНОСТЯМ ПО КЛАССУ СОБЫТИЙ

§ 1. Энтропия системы событий

Большинство практически интересных приложений охватывается изложенными в предыдущей главе достаточными условиями. Интересно, однако, получить и исчерпывающие необходимые и достаточные условия. Существенно, что это удается сделать в терминах, введенных в § 3 главы X.

В отличие от достаточных условий, сформулированных в § 6 главы X, необходимые и достаточные условия, вообще говоря, зависят от задания вероятностной меры на множестве , но схема, по которой они строятся, остается прежней. Идея, как и раньше, состоит в том, чтобы заменить бесконечную систему событий  конечной подсистемой, состоящей лишь из различимых на выборке событий. Число таких событий зависит от выборки и равно индексу системы  относительно выборки

.

При выводе достаточных условий использовалась функция роста , оценивающая сверху значение индекса для выборок длины . Такая оценка оказывается слишком грубой для получения необходимых и достаточных условий. Последние удается сформулировать, если ввести некоторую усредненную характеристику величины .

Рассмотрим функцию

( – символ математического ожидания).

Здесь и дальше предполагается, что функция  измерима и этого достаточно для существования математического ожидания, поскольку

и соответственно

.                   (11.1)

В силу этих же соотношений очевидно, что

.

Функция  обладает свойством полуаддитивности, что позволяет назвать ее энтропией системы событий  относительно выборок длины .

В самом деле, рассмотрим выборку

.

Каждая подвыборка, индуцированная некоторым событием  на этой выборке, состоит из подвыборки, индуцированной  на

,

и подвыборки, индуцированной  на

.

Поэтому число  не превосходит числа пар подвыборок, каждая из которых состоит из одной подвыборки, индуцированной некоторым  на  и одной подвыборки, индуцированной на . Следовательно,

               (11.2)

и соответственно

.                 (11.3)

Усредняя соотношение (11.3), получим

,                  (11.4)

т. е. свойство полуаддитивности.

Применяя (11.4) многократно, получаем

.               (11.5)