1.7. Количество переданной информации
Пусть источник сообщения, находящийся в состоянии
, выбрал некоторое сообщение
, имевшее априорную вероятность
. Приемное устройство принимает при этом некоторый сигнал
, на основании которого может быть определена апостериорная вероятность
. Предположим сначала для упрощения, что существует только дискретное множество принимаемых сигналов, которые обозначим 
Если принят сигнал
то вероятность переданного сообщения равна
. Эта вероятность была бы равна единице, если бы шумы в канале отсутствовали и принятый сигнал был бы полностью определен. Наличие шумов приводит к тому, что вероятность
меньше единицы. Это можно трактовать как неполную передачу информации
по каналу связи.
Определим, какое количество информации нужно было бы передать дополнительно после приема сигнала
, чтобы переданное сообщение
стало известно совершенно определенно. Поскольку после приема сигнала
вероятность передачи
равна
, то необходимая дополнительная информация может быть определена как
. Но согласно (1.6)
(1.29)
Таким образом, количество информации, переданное по каналу связи при передаче сообщения
и приеме сигнала
, можно определить как разность между количеством информации, заключенной в сообщении
, и тем количеством информации, которое осталось непереданным после приема сигнала
:
(1.30)
Среднее количество информации, приходящееся на одно элементарное сообщение, переданное по каналу с шумами, можно определить как математическое ожидание
, т. е. результат усреднения
по всем сообщениям
, состояниям источника
и принятым сигналам 
(1.31)
где
— по-прежнему вероятность состояния источника
;
— совместная вероятность передачи знака
и приема сигнала
.
Выражение (1.31) можно рассматривать как количество информации о сообщении
, содержащееся в принятом сигнале
, или в более общем смысле, как количество информации, содержащееся в последовательности
относительно последовательности
.
Это количество информации можно представить и в другой форме:
(1.32)
где
(1.33)
называют условной энтропией сообщения
при приеме сигнала
(или, в более общем виде, условной энтропией последовательности
при известной последовательности
). Ее называют также «ненадежностью», так как она характеризует потерю информации при передаче. В выражении (1.33)

есть вероятность принятого сигнала
в состоянии
.
Легко убедиться, что в канале без помех
, так как
может принимать только значения 0 и 1, в результате чего все слагаемые в (1.33) обращаются в нули. Поэтому, как и следовало ожидать, в таком канале переданное количество информации равно энтропии источника. Можно доказать [3], что всегда
и, следовательно,
(1.34)
причем равенство имеет место, например, при отсутствии помех в канале. В частности, если положить
, то
(1.35)
Количество переданной информации можно выразить иначе, воспользовавшись тождеством

Помножив числитель и знаменатель под знаком логарифма в (1.31) на
, найдем
(1.36)
Полученное выражение симметрично относительно
и
вследствие чего можно заключить, что
(1.37)
Поэтому из (1.34) следует, что
(1.38)
Если определить совместную энтропию
и
следующим образом:
(1.39)
то можно показать, что
(1.40)
До сих пор мы считали, что принятый сигнал
имеет только дискретный ряд значений. Рассмотрим теперь более реальный случай, когда
принимает непрерывный ряд значений, характеризуемый плотностью вероятностей
и условной плотностью вероятностей
при известном переданном сообщении. Представив приближенно
,
и т. д., и, произведя затем предельный переход
, получим из (1.36) следующее интегральное выражение:
(1.41)
где интегрирование производится по всему множеству
. Таким образом, мы получили выражение для количества информации, содержащейся в непрерывном сигнале
о дискретном сообщении
.
Если среднее время, затрачиваемое на выбор одного элементарного сообщения, равно
, то количество информации, передаваемое по каналу связи в единицу времени, или скорость передачи информации по линии связи
, (1.44)
где
— производительность источника или передающего устройства;
— ненадежность, отнесенная к единице времени.