3.2. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ

Чтобы разработать подходящую меру для информации, рассмотрим две дискретные случайные величины  и с возможными значениями , , и ,  соответственно. Допустим, мы наблюдаем некоторый выход  и мы желаем количественно определить величину информации, которую обеспечивает выборка события  относительно события , . Заметим, что если  и статистически не, зависят друг от друга, выбор  не даёт информации о выборе события . С другой стороны, если  и  полностью зависимы, так что выбор  однозначно определяет выбор , информационное содержание этого выбора точно такое же, как при выборе события . Подходящая мера информации, которая удовлетворяет указанным условиям, - это логарифм отношения условной вероятности

к вероятности

.

Это значит, что количество информации, полученное при появлении события  относительно события  определяется как

.                                          (3.2.1)

  названа взаимной информацией между  и .

Единица измерения определяется основанием логарифма, в качестве которой обычно выбирается или 2, или . Когда основание логарифма равно 2, единицей измерения  является бит, а когда основание равно , единицей измерения  является нат (натуральная единица). (Стандартная аббревиатура для  - это .) Так как

,

то количество информации, измеренное в натах, равно количеству информации измеренной в битах, умноженному на .

Когда случайные величины  и  статистически независимы, то , следовательно, . С другой стороны, когда выбор события  полностью определён выбором события  условная вероятность в числителе (3.21) равна единиц и, следовательно,

.                      (3.2.2)

Но (3.22) как раз определяет информацию . Исходя из этих соображений, её называют собственной информацией события . Она обозначается так:

,                                            (3.2.3)

Заметим, что событие, которое выбирается с высокой вероятностью, сообщает меньше информации, чем маловероятное событие. Действительно, если имеется единственное событие  с вероятностью , тогда .

Чтобы далее показать, что логарифмическая мера количества информации является единственно приемлемой для цифровой связи, рассмотрим несколько примеров.

Пример 3.2.1. Предположим, что имеется дискретный источник, который выдаёт двоичную цифру 0 или 1 с равной вероятностью каждые  секунд. Количеств информации при каждом появлении новой цифры

(бит), .

Теперь предположим, что последовательные цифры на выходе источника статистически независимы, т.е. источник не имеет памяти. Рассмотрим блок символов источника из  двоичных цифр, который существует на интервале . Имеется  таких возможных -битовых блоков, каждый с равной вероятностью . Собственная информация -битового блока равна

 бит,

и она выдаётся на временном интервале . Таким образом, логарифмическая мера количества информации обладает желаемыми свойствами аддитивности, когда определённое число единичных выходов источника рассматривается как один блок.

Теперь вернёмся к определению взаимной информации, определяемой (3.2.1), и умножим числитель и знаменатель отношения вероятностей на :

.

Отсюда делаем вывод

.                                      (3.2.4)

Таким образом, информация, содержащаяся в выборе события  относительно события , идентична информации, содержащейся в выборе события  относительно события .

Пример 3.2.2. Предположим, что  и -двоичные {0,1} случайные величины, представляющие вход и выход канала с двоичным входом и двоичным выходом. Входные символы равновероятны, а условные вероятности выходных символов при заданном входе определяются так:

,

,

,

.

Определим, сколько информации об  и  содержится в событии . Из заданных вероятностей получим

;

.

Тогда взаимная информация о символе  при условии, что наблюдается , равна

.

Аналогично взаимная информация о символе  при условии, что наблюдается , равна

.

Рассмотрим несколько частных случаев. В первом, когда , канал называют каналом без шумов и  бит.

Следовательно, когда выход точно определяет вход, нет потери информации. С другой стороны, если , канал становится непригодным так как .

Если , то

 бит;

 бит.

Помимо определения взаимной информации и собственной информации полезно определить условную собственную информацию как

.                         (3.2.5)

Тогда, комбинируя (3.2.1), (3.2.3) и (3.2.5), получаем соотношение

.                                                 (3.2.6)

Мы интерпретируем  как собственную информацию о событии  после наблюдения события . Из условия  и  следует, что  когда , и , когда . Следовательно, взаимная информация между парой событий может быть или положительной, или отрицательно или равной нулю.