3.2.2. Измерение информации для непрерывных случайных величинОпределение взаимной информации, данное выше для дискретных случайных величий можно непосредственно использовать для непрерывных случайных величин. В частности если
Несмотря на то, что выражение для средней взаимной информации легко обобщается на непрерывные случайные величины, сделать это для собственной информации непрерывной случайной величины невозможно. Проблема в том, что непрерывные случайные величины требуют неограниченного числа двоичных цифр для их точного представления. Следовательно, энтропия непрерывной случайной величины также неограниченна. Всё же введём характеристику, которую назовём дифференциальной энтропией непрерывной случайной величины
Подчеркнём, что эта характеристика не имеет физического смысла собственной информации, хотя может показаться, что она является естественным обобщением определения энтропии для дискретной случайной величины (см. задачу 3.6). Определим среднюю условную дифференциальную энтропию
Тогда среднюю взаимную информацию можно выразить как или альтернативно как
В некоторых случаях, представляющих практический интерес, случайная величина
Взаимная информация относительно события
Тогда средняя взаимная информация между
Пример 3.2.5. Предположим, что
Средняя взаимная информация согласно (3.2.21) равна
В гл. 7 мы покажем, что средняя взаимная информация
|