4.4.2. Количество информации, переданной по непрерывному каналу

Рассмотрим непрерывный источник с дискретным временем, в котором амплитуды импульсов статистически независимы друг от друга. Предположим, что в канале действует аддитивная помеха  с широким спектром, не зависящая от очередных и предыдущих импульсов. Тогда на выходе получим последовательность импульсов с амплитудами , статистически не зависящими друг от друга.

Свойства источника непрерывного сигнала будут определяться ПРВ ,  входных (информационных) случайных величин , а воздействие помехи будет определяться условными ПРВ  выходных СВ  при заданных входных СВ  (рис. 4.5).

Разделим области определения величин  и  на малые отрезки длиной  и . Вероятность  того, что значение  лежит на некотором отрезке , приблизительно равна . Аналогично, , а совместная вероятность этих двух событий будет . При такой дискретизации количество информации, переданное по каналу и рассчитанное на один импульс, приближенно находится по формуле:

.

Устремив  и  к нулю, перейдем к непрерывному каналу. При этом двойная сумма преобразуется в двойной интеграл, а количество передаваемой информации

.

(4.10)

Отметим следующие свойства количества информации, передаваемой в непрерывном канале:

, причем  тогда и только тогда, когда вход и выход канала статистически независимы, т.е. ;

 – свойство симметрии;

, если помехи в канале отсутствуют, т.е. , .

Можно показать, что энтропия источника неограниченно возрастает, когда его алфавит переходит от дискретного к непрерывному. Для этого разделим область определения непрерывного сигнала  на отрезки  (рис. 4.5), и превратим сигнал в дискретный, положив вероятность появления , равной . Энтропия такого дискретного сигнала

.

Устремим теперь  к нулю для перехода к энтропии непрерывного сигнала [6]:

Первое слагаемое

,

представляет собой так называемую дифференциальную энтропию сигнала (или дифференциальную энтропию распределения ). Второе слагаемое стремится к бесконечности совершенно независимо от природы и распределения вероятностей сигнала. Таким образом, при переходе от дискретных значений  к непрерывным энтропия сигнала неограниченно возрастает.

По аналогии с дискретным каналом количество информации, переданной по непрерывному каналу можно представить в следующей форме:

,

(4.11)

где    – условная дифференциальная энтропия сигнала  при известном сигнале .

Второе равенство следует из второго свойства количества передаваемой информации (симметрии). Полученное выражение по форме напоминает (4.7), а дифференциальная энтропия играет здесь роль обычной энтропии дискретных сигналов. Однако свойства дифференциальной энтропии существенно отличаются от свойств обычной энтропии. Так, например,  и  могут быть отрицательными.

Дифференциальная энтропия  уже не представляет собой среднее количество информации, выдаваемое источником сигнала (для непрерывного сигнала оно бесконечно). Аналогично  не представляет собой количество информации, потерянной в канале, поскольку эта величина тоже бесконечна. Поэтому дифференциальную энтропию следует понимать лишь формально, как некоторую вспомогательную величину полезную при расчетах.

Если помеха аддитивная , то нетрудно показать, что

,

(4.12)

где     – ПРВ помехи;  – дифференциальная энтропия помехи.

Подставляя (4.12) в (4.11), находим

,

(4.13)

Найдем дифференциальную энтропию гауссовской помехи с нулевым средним и дисперсией  при отсутствии корреляции между значениями помехи. Согласно (4.12),

.

Учитывая  и , получим:

.

(4.14)

Дифференциальная энтропия принятого сигнала  с гауссовским нормальным законом распределения вероятности [6]:

.

(4.15)

где    ;  – дисперсия сигнала. Подставляя (4.14) и (4.15) в (4.13) получим выражение для определения количества информации, переданной по непрерывному каналу:

.

(4.16)

Полученное выражение показывает, что пропускная способность гауссовского канала с дискретным временем определяется отношением дисперсии сигнала к дисперсии помехи. Нередко величину  называют отношением сигнал/шум. Чем больше это отношение, тем выше пропускная способность. Последнее вполне естественно, так как если дисперсия сигнала меньше дисперсии помехи или сравнима с ней, то по принятому сигналу трудно судить с определенностью, какое значение сигнала было подано на вход канала.