3.2.1. Средняя взаимная информация и энтропия

Зная взаимную информацию, связанную с парой событий , которые являются возможной реализацией двух случайных величин  и , мы можем получить среднее значение взаимной информации простым взвешиванием  с вероятностью появления этой пары и суммированием по всем возможным событиям. Таким образом получим

      (3.2.7)

как среднюю взаимную информацию между  и .

Видно, что , когда  и статистически независимы и .

Важным свойством средней взаимной информации является то, что  (см. задачу 3.4).

Аналогично определим среднюю собственную информацию, обозначенную :

.                      (3.2.8)

Если  представляет собой алфавит возможных символов источника,  представляет среднюю собственную информацию на символ источника, и её называют энтропией источника. В частном случае, когда символы источника равновероятны,  для всех , и, следовательно,

.                                                (3.2.9)

В общем случае  (см. задачу 3.5) при любых заданных вероятностях символов источника. Другими словами, энтропия источника максимальна, когда выходные символы равновероятны.

Пример 3.2.3. Рассмотрим двоичный источник, который выдаёт последовательности независимых символов, причём выходной кодовый символ «0» с вероятностью , а символ «1» с вероятностью . Энтропия такого источника

.                         (3.2.10)

Функцию  иллюстрирует рис. 3.2.1. Видно, что максимальное значение функции энтропии имеет место при , причём  бит.

Среднее значение условной собственной информации называется условной энтропией и определяется как

.                            (3.2.11)

Мы интерпретируем  как неопределённость  (дополнительную информацию, содержащуюся в ) после наблюдения

Комбинация (3.2.7), (3.2.8) и (3.2.11) даёт соотношение

.                 (3.2.12)

Из условия  следует, что  и , причём равенство имеет место тогда, и только тогда, когда  и  статистически независимы. Если мы интерпретируем  как среднее значение неопределённости (условной собственной информации)  после наблюдения  и  как среднее значение априорной неопределённости (собственной информации), т.е. имевшейся до наблюдения, тогда  определяет взаимную информацию (уменьшение среднего значения неопределённости, имеющейся относительно  после наблюдения ). Так как , то ясно, что при условии наблюдения  энтропия  не увеличится.

Рис. 3.2.1. Энтропия двоичного источника

Пример 3.2.4. Определим  и  для канала с двоичным входом и выходом, рассмотренного выше в примере 3.2.2, для случая, когда . Пусть вероятность входных символов равна  и . Тогда

,

где  - функция энтропии, а условная энтропия  определяется (3.2.11). Зависимость  в бит/символ как функция от  и параметра  показана на рис. 3.2.2. График средней взаимной информации  в бит/символ дан на рис. 3.2.3.

Рис. 3.2.2. Условная энтропия для двоичного симметричного канала

Рис.3.2.3. Средняя взаимная информация для двоичного симметричного канала

Когда условную энтропию  рассматривают применительно к каналу с входом и выходом , то  называют ненадёжностью канала на символ и её интерпретируй как величину средней неопределённости, оставшейся в  после наблюдения .

Результаты, приведённые выше, легко обобщаются на случай произвольного числа случайных величин. В частности, предположим, что мы имеем блок из  случайных величин  с совместной вероятностью . Тогда энтропия определяется как

.                     (3.2.13)

Поскольку совместную вероятность  можно выразить в виде

,                          (3.2.14)

то следует

  (3.2.15)

С учётом результата , где  и , из (3.2.15) следует

,                                                         (3.2.16)

причём равенство имеет место тогда, и только тогда, когда случайные величины  статистически независимы.