1.7. Количество переданной информации

Пусть источник сообщения, находящийся в состоянии , выбрал некоторое сообщение , имевшее априорную вероятность . Приемное устройство принимает при этом некоторый сигнал , на основании которого может быть определена апостериорная вероятность . Предположим сначала для упрощения, что существует только дискретное множество принимаемых сигналов, которые обозначим

Если принят сигнал  то вероятность переданного сообщения равна . Эта вероятность была бы равна единице, если бы шумы в канале отсутствовали и принятый сигнал был бы полностью определен. Наличие шумов приводит к тому, что вероятность  меньше единицы. Это можно трактовать как неполную передачу информации  по каналу связи.

Определим, какое количество информации нужно было бы передать дополнительно после приема сигнала , чтобы переданное сообщение  стало известно совершенно определенно. Поскольку после приема сигнала  вероятность передачи  равна , то необходимая дополнительная информация может быть определена как . Но согласно (1.6)

                 (1.29)

Таким образом, количество информации, переданное по каналу связи при передаче сообщения  и приеме сигнала , можно определить как разность между количеством информации, заключенной в сообщении , и тем количеством информации, которое осталось непереданным после приема сигнала :

               (1.30)

Среднее количество информации, приходящееся на одно элементарное сообщение, переданное по каналу с шумами, можно определить как математическое ожидание , т. е. результат усреднения  по всем сообщениям , состояниям источника  и принятым сигналам

                   (1.31)

где  — по-прежнему вероятность состояния источника ;  — совместная вероятность передачи знака  и приема сигнала .

Выражение (1.31) можно рассматривать как количество информации о сообщении , содержащееся в принятом сигнале , или в более общем смысле, как количество информации, содержащееся в последовательности  относительно последовательности .

Это количество информации можно представить и в другой форме:

     (1.32)

где

                   (1.33)

называют условной энтропией сообщения  при приеме сигнала  (или, в более общем виде, условной энтропией последовательности  при известной последовательности ). Ее называют также «ненадежностью», так как она характеризует потерю информации при передаче. В выражении (1.33)

есть вероятность принятого сигнала  в состоянии .

Легко убедиться, что в канале без помех , так как  может принимать только значения 0 и 1, в результате чего все слагаемые в (1.33) обращаются в нули. Поэтому, как и следовало ожидать, в таком канале переданное количество информации равно энтропии источника. Можно доказать [3], что всегда  и, следовательно,

                              (1.34)

причем равенство имеет место, например, при отсутствии помех в канале. В частности, если положить , то

                              (1.35)

Количество переданной информации можно выразить иначе, воспользовавшись тождеством

Помножив числитель и знаменатель под знаком логарифма в (1.31) на , найдем

                        (1.36)

Полученное выражение симметрично относительно  и  вследствие чего можно заключить, что

                                                                   (1.37)

Поэтому из (1.34) следует, что

                                                                     (1.38)

Если определить совместную энтропию  и  следующим образом:

            (1.39)

то можно показать, что

                 (1.40)

До сих пор мы считали, что принятый сигнал  имеет только дискретный ряд значений. Рассмотрим теперь более реальный случай, когда  принимает непрерывный ряд значений, характеризуемый плотностью вероятностей  и условной плотностью вероятностей  при известном переданном сообщении. Представив приближенно ,   и т. д., и, произведя затем предельный переход , получим из (1.36) следующее интегральное выражение:

            (1.41)

где интегрирование производится по всему множеству . Таким образом, мы получили выражение для количества информации, содержащейся в непрерывном сигнале  о дискретном сообщении .

Хотя мы рассматриваем источники только дискретных сообщений, нам в некоторых случаях потребуется выражение для количества информации, содержащейся в одном непрерывном процессе  относительно другого непрерывного процесса . Для этого предположим, что  является непрерывным так же, как и  и, произведя в (1.36) предельный переход, найдем                                        (1.42) где  и  — плотность вероятности соответственно для  и для совместного процесса  при состоянии источника . В частности, если источник имеет одно единственное состояние, то                                                           (1.43)

Если среднее время, затрачиваемое на выбор одного элементарного сообщения, равно , то количество информации, передаваемое по каналу связи в единицу времени, или скорость передачи информации по линии связи

,                           (1.44)

где  — производительность источника или передающего устройства;  — ненадежность, отнесенная к единице времени.