Глава XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ ЧАСТОТ К ВЕРОЯТНОСТЯМ ПО КЛАССУ СОБЫТИЙ§ 1. Энтропия системы событийБольшинство практически интересных приложений охватывается изложенными в предыдущей главе достаточными условиями. Интересно, однако, получить и исчерпывающие необходимые и достаточные условия. Существенно, что это удается сделать в терминах, введенных в § 3 главы X. В отличие от достаточных условий, сформулированных в § 6 главы X, необходимые и достаточные условия, вообще говоря, зависят от задания вероятностной меры на множестве , но схема, по которой они строятся, остается прежней. Идея, как и раньше, состоит в том, чтобы заменить бесконечную систему событий конечной подсистемой, состоящей лишь из различимых на выборке событий. Число таких событий зависит от выборки и равно индексу системы относительно выборки . При выводе достаточных условий использовалась функция роста , оценивающая сверху значение индекса для выборок длины . Такая оценка оказывается слишком грубой для получения необходимых и достаточных условий. Последние удается сформулировать, если ввести некоторую усредненную характеристику величины . Рассмотрим функцию ( – символ математического ожидания). Здесь и дальше предполагается, что функция измерима и этого достаточно для существования математического ожидания, поскольку и соответственно . (11.1) В силу этих же соотношений очевидно, что . Функция обладает свойством полуаддитивности, что позволяет назвать ее энтропией системы событий относительно выборок длины . В самом деле, рассмотрим выборку . Каждая подвыборка, индуцированная некоторым событием на этой выборке, состоит из подвыборки, индуцированной на , и подвыборки, индуцированной на . Поэтому число не превосходит числа пар подвыборок, каждая из которых состоит из одной подвыборки, индуцированной некоторым на и одной подвыборки, индуцированной на . Следовательно, (11.2) и соответственно . (11.3) Усредняя соотношение (11.3), получим , (11.4) т. е. свойство полуаддитивности. Применяя (11.4) многократно, получаем . (11.5)
|