3.2.2. Измерение информации для непрерывных случайных величин

Определение взаимной информации, данное выше для дискретных случайных величий можно непосредственно использовать для непрерывных случайных величин. В частности если  и  - случайные величины с СПВ  и собственными ФПВ  и , то средняя взаимная информация между  и  определяется как

.          (3.2.17)

Несмотря на то, что выражение для средней взаимной информации легко обобщается на непрерывные случайные величины, сделать это для собственной информации непрерывной случайной величины невозможно. Проблема в том, что непрерывные случайные величины требуют неограниченного числа двоичных цифр для их точного представления. Следовательно, энтропия непрерывной случайной величины также неограниченна. Всё же введём характеристику, которую назовём дифференциальной энтропией непрерывной случайной величины :

.                                                           (3.2.18)

Подчеркнём, что эта характеристика не имеет физического смысла собственной информации, хотя может показаться, что она является естественным обобщением определения энтропии для дискретной случайной величины (см. задачу 3.6). Определим среднюю условную дифференциальную энтропию  при заданном  как

.                        (3.2.19)

Тогда среднюю взаимную информацию можно выразить как

или альтернативно как

.

В некоторых случаях, представляющих практический интерес, случайная величина  является дискретной, a  - непрерывной. Для конкретности предположим, что  имеет возможные исходы , , а  определяется собственной ФПВ . Если  и  статистически взаимосвязаны, мы можем выразить  так:

.

Взаимная информация относительно события  при наблюдении события  определяется как

.                         (3.2.20)

Тогда средняя взаимная информация между  и

.                    (3.2.21)

Пример 3.2.5. Предположим, что  является дискретной случайной величиной с двумя невероятными выходами. Предположим, что условная ФПВ , , является гауссовской со средним  и дисперсией , т.е.

,                                                                    

.                                           (3.2.22)

Средняя взаимная информация согласно (3.2.21) равна

,          (3.2.23)

.                                            (3.2.24)

В гл. 7 мы покажем, что средняя взаимная информация , определяемая (3.2.23) представляет пропускную способность канала с двоичным входом и аддитивным гауссовским шумом.