4.4.2. Количество информации, переданной по непрерывному каналуРассмотрим непрерывный источник с дискретным временем, в котором амплитуды импульсов статистически независимы друг от друга. Предположим, что в канале действует аддитивная помеха с широким спектром, не зависящая от очередных и предыдущих импульсов. Тогда на выходе получим последовательность импульсов с амплитудами , статистически не зависящими друг от друга. Свойства источника непрерывного сигнала будут определяться ПРВ , входных (информационных) случайных величин , а воздействие помехи будет определяться условными ПРВ выходных СВ при заданных входных СВ (рис. 4.5). Разделим области определения величин и на малые отрезки длиной и . Вероятность того, что значение лежит на некотором отрезке , приблизительно равна . Аналогично, , а совместная вероятность этих двух событий будет . При такой дискретизации количество информации, переданное по каналу и рассчитанное на один импульс, приближенно находится по формуле:
Устремив и к нулю, перейдем к непрерывному каналу. При этом двойная сумма преобразуется в двойной интеграл, а количество передаваемой информации
Отметим следующие свойства количества информации, передаваемой в непрерывном канале: , причем тогда и только тогда, когда вход и выход канала статистически независимы, т.е. ; – свойство симметрии; , если помехи в канале отсутствуют, т.е. , . Можно показать, что энтропия источника неограниченно возрастает, когда его алфавит переходит от дискретного к непрерывному. Для этого разделим область определения непрерывного сигнала на отрезки (рис. 4.5), и превратим сигнал в дискретный, положив вероятность появления , равной . Энтропия такого дискретного сигнала
Устремим теперь к нулю для перехода к энтропии непрерывного сигнала [6]:
Первое слагаемое
представляет собой так называемую дифференциальную энтропию сигнала (или дифференциальную энтропию распределения ). Второе слагаемое стремится к бесконечности совершенно независимо от природы и распределения вероятностей сигнала. Таким образом, при переходе от дискретных значений к непрерывным энтропия сигнала неограниченно возрастает. По аналогии с дискретным каналом количество информации, переданной по непрерывному каналу можно представить в следующей форме:
где – условная дифференциальная энтропия сигнала при известном сигнале . Второе равенство следует из второго свойства количества передаваемой информации (симметрии). Полученное выражение по форме напоминает (4.7), а дифференциальная энтропия играет здесь роль обычной энтропии дискретных сигналов. Однако свойства дифференциальной энтропии существенно отличаются от свойств обычной энтропии. Так, например, и могут быть отрицательными. Дифференциальная энтропия уже не представляет собой среднее количество информации, выдаваемое источником сигнала (для непрерывного сигнала оно бесконечно). Аналогично не представляет собой количество информации, потерянной в канале, поскольку эта величина тоже бесконечна. Поэтому дифференциальную энтропию следует понимать лишь формально, как некоторую вспомогательную величину полезную при расчетах. Если помеха аддитивная , то нетрудно показать, что
где – ПРВ помехи; – дифференциальная энтропия помехи. Подставляя (4.12) в (4.11), находим
Найдем дифференциальную энтропию гауссовской помехи с нулевым средним и дисперсией при отсутствии корреляции между значениями помехи. Согласно (4.12),
Учитывая и , получим:
Дифференциальная энтропия принятого сигнала с гауссовским нормальным законом распределения вероятности [6]:
где ; – дисперсия сигнала. Подставляя (4.14) и (4.15) в (4.13) получим выражение для определения количества информации, переданной по непрерывному каналу:
Полученное выражение показывает, что пропускная способность гауссовского канала с дискретным временем определяется отношением дисперсии сигнала к дисперсии помехи. Нередко величину называют отношением сигнал/шум. Чем больше это отношение, тем выше пропускная способность. Последнее вполне естественно, так как если дисперсия сигнала меньше дисперсии помехи или сравнима с ней, то по принятому сигналу трудно судить с определенностью, какое значение сигнала было подано на вход канала.
|