1.8. Пропускная способность канала

Пусть задан некоторый канал связи, т. е. определено множество сигналов , которые могут подаваться на вход канала, множество  сигналов на выходе и условное распределение вероятностей  сигналов на выходе при известном сигнале на входе.

Если задаться каким-либо априорным распределением вероятностей входных сигналов, например плотностью , то можно определить скорость передачи информации по каналу связи, которая в соответствии с (1.43) и (1.44) равна

.                            (1.45)

Здесь  — средняя длительность элемента сигнала, зависящая, вообще говоря, от , а входящие в это выражение плотности  и  можно определить по заданным плотностям:

,

.

Полученное значение скорости передачи информации зависит от произвольно выбранного распределения вероятностей входных сигналов. Максимальная скорость передачи информации по всем допустимым распределениям вероятностей входных сигналов (или, точнее, наименьшая верхняя грань скорости передачи информации)  называется пропускной способностью канала:

.                         (1.46)

Иногда при определении канала накладываются дополнительные ограничения на возможные распределения вероятностей входных сигналов. Так, например, можно потребовать, чтобы среднее значение мощности сигнала не превышало заданной величины либо чтобы использовалось лишь определенное конечное число элементарных сигналов из множества  и т. д. Тогда в формуле (1.46) верхняя грань берется по всем возможным , удовлетворяющим наложенным ограничениями.

Во всех практически интересных случаях пропускная способность канала является конечной величиной. Она равна нулю тогда и только тогда, когда сигналы  на выходе канала статистически независимы от входных сигналов , т. е. когда . При этом  при любом априорном распределении входных сигналов.

Основная теорема теории информации (теорема кодирования), впервые сформулированная К. Шенноном [1], заключается в том, что сообщения всякого дискретного источника могут быть закодированы сигналами канала  и восстановлены по сигналам на выходе канала  с вероятностью ошибки, сколь угодно близкой к нулю, если . Если же , то такое кодирование невозможно.

Здесь  — производительность источника с фиксированной скоростью либо производительность передающего устройства для источника с управляемой скоростью. Поскольку в последнем случае величину  можно выбирать произвольно, то для источника с управляемой скоростью эту теорему удобнее сформулировать так: сообщения источника с управляемой скоростью можно закодировать сигналами  и восстановить по сигналам  на выходе канала так, чтобы вероятность ошибки была сколь угодно близка к нулю, а средняя скорость передачи — сколь угодно близка к  сообщений в секунду, где  — энтропия источника на одно сообщение.

Теорема кодирования в настоящее время строго доказана при некоторых несущественных для практики ограничениях, наложенных на свойства источника и канала. Такие доказательства можно найти в работах по теории информации, например [1, 3, 18]. Не пытаясь изложить здесь подробный ход этих доказательств, отметим лишь основные этапы, необходимые для понимания последующего. Ограничимся для упрощения случаем источника с управляемой скоростью.

Рассмотрим всевозможные последовательности из  элементарных сообщений источника. Таких различных последовательностей может быть , где  — объем алфавита источника и каждая из них имеет определенную вероятность, определяемую статистическими свойствами источника. Расположим их в порядке убывающей вероятности и назовем первые  типичными последовательностями, а остальные — нетипичными. Здесь  — энтропия источника, отнесенная к элементарному сообщению в двоичных единицах, а квадратные скобки обозначают целую часть заключенного в них числа. Пусть  — суммарная вероятность всех нетипичных последовательностей сообщений, а  — любое положительное число. Исходя из закона больших чисел при очень широких предположениях об источнике, можно доказать существование такого числа  что при

.                                       (1.47)

Рассмотрим далее все допустимые для данного канала сигналы  длительностью . Выберем из них  различных сигналов, где  — пропускная способность в двоичных единицах в секунду, не оговаривая пока, как этот выбор произведен. Пусть на выходе канала принимаемые сигналы , имеющие также длительность , поступают на решающую схему, определяющую по критерию максимального правдоподобия, какой из выбранных сигналов передавался. При этом с некоторой вероятностью  решающая схема будет ошибаться. Доказывается, опять таки при очень широких предположениях о канале, что при любом  существует такое значение , что при  можно осуществить выбор  сигналов так, чтобы вероятность ошибки  была меньше . Этого нельзя сделать, если .

Теперь при любом  можно положить  и найти соответствующее значение . Затем, положив , определим соответствующее значение . Далее выберем значение  большее , и в то же время большее , что всегда возможно. Тогда можно определить величину N, удовлетворяющую условию

                                  (1.48)

где  и .

Выберем  сигналов  так, чтобы вероятность ошибки не превышала  . Каждой из типичных последовательностей сообщений источника сопоставим один из выбранных сигналов. Так как таких последовательностей , то найдется, по меньшей мере, один неиспользованный сигнал из выбранных. Этот сигнал будем посылать в канал всякий раз, когда источник выдает нетипичную последовательность, вероятность чего меньше , примирившись с тем, что нетипичные последовательности будут приниматься ошибочно. Тогда полная вероятность ошибочного приема последовательности сообщений не превысит .

Легко видеть, что при этом в секунду передается  сообщений, причем величина  может быть сколь угодно близка к , что и утверждает теорема кодирования.

Примерно по такой же схеме строится доказательство для источника с фиксированной скоростью. Следует подчеркнуть, что чем ближе  к  и чем меньше допустимая вероятность ошибки, тем больше должна быть длина блока (последовательности сообщений) . С увеличением  возрастает величина задержки между моментом выдачи сообщения источником и получения его получателем. Важно отметить, что величина этой задержки остается конечной.

Для большей части каналов известно только доказательство существования описанного способа кодирования (т. е. возможности выбора  сигналов, различаемых решающей схемой со сколь угодно малой вероятностью ошибки). Лишь для отдельных частных случаев имеются конструктивные доказательства теоремы, показывающие, как эти сигналы выбирать.