7.1.2. Пропускная способность канала

Теперь рассмотрим ДКБП с входным алфавитом  и выходным алфавитом и рядом переходных вероятностей  определённых в (7.1.2). Предположим, что передан символ , а принят символ . Взаимная информация о событии  , когда имеет место событие  равно , где

.              (7.1.14)

Следовательно, средняя взаимная информация, получаемая по выходу  о входе , равна

.      (7.1.15)

Характеристики канала определяют переходные вероятности , но вероятности входных символов определяются дискретным кодером канала. Величина , максимизируемая по набору вероятностей входных символов  является величиной, которая зависит только от характеристик ДКБП через условные вероятности . Этa величина названа пропускной способностью канала и обозначается . Таким образом, пропускная способность ДКБП определяется так

.         (7.1.16)

Максимизация  выполняется при условиях

.

Размерность  - бит/символ, если берется логарифм с основанием 2, и нат/символ, если берётся логарифм с основанием . Если символы поступают в канал каждые  секунд, то пропускная способность канала в единицу времени в бит/с и нат/с равна .

Пример 7.1.1. Для ДСК с переходными вероятностями

средняя взаимная информация максимизируется, если входные вероятности . Следовательно, пропускная способность ДСК равна

,      (7.1.17)

где  - двоичная энтропийная функция. Кривая для  в зависимости от  иллюстрируется на рис. 7.1.4. Заметим, что при  пропускная способность равна 1 бит/символ. С другой стороны, при  взаимная информация между выходом и входом равна 0. Следовательно, пропускная способность равна 0. При  мы можем поменять местами на входе ДСК 0 и 1, так что  оказывается симметричной функцией относительно точки .

В нашей трактовке двоичной модуляции и демодуляции, данной в главе 5, мы показали, что  является монотонной функцией от отношения сигнал-шум (ОСШ), как показано на рис. 7.1.5(a). Следовательно, когда  строится как функция ОСШ, она возрастает монотонно по мере увеличения ОСШ. Зависимость  от ОСШ иллюстрируется на рис. 7.1.5(b).

Далее рассмотрим канал без памяти с АБГШ и дискретным временем, описываемый переходными ФПВ, определяемыми (7.1.5). Средняя максимальная взаимная информация между дискретным входом  и выходом определяется  пропускной способностью канала в бит/символ и равна

,     (7.1.18)

где

.                               (7.1.19)

Рис. 7.1.4. Пропускная способность ДСК как функция вероятности ошибки

Рис. 7.1.5. Общее поведение вероятности ошибки и пропускной способности канала, как функции от отношения сигнал/шум (ОСШ)

Пример 7.1.2. Рассмотрим канал без памяти с АБГШ и с возможными входами  и. Средняя взаимная информация  максимизируется, если вероятности входов . Следовательно, пропускная способность такого канала в бит/символ равна

.          (7.1.20)

Рис. 7.1.6 иллюстрирует  как функцию отношения .

Интересно отметить, что в двух моделях канала, описанных выше, выбор одинаковой вероятности для входных символов максимизирует среднюю взаимную информацию. Таким образом, пропускная способность канала получается, когда входные символы равновероятны. Однако, такое решение для пропускной способности канала, даваемое формулами (7.1.16) и (7.1.17), не всегда имеет место.

Рис. 7.1.6. Пропускная способность как функция ОСШ  для канала без памяти с АБГШ и двоичным входом

Ничего нельзя сказать в общем относительно задания вероятностей входа, которые максимизируют среднюю взаимную информацию. Однако, в двух моделях канала, рассмотренных выше, переходные вероятности канала проявляют форму симметрии, которая влияет на максимум , который получается, когда символы входа равновероятны. Условия симметрии можно выразить через элементы матрицы переходных вероятностей  канала. Когда каждая строка этой матрицы является перестановкой других строк и каждый столбец является перестановкой других столбцов, матрица переходных вероятностей симметрична, а входные символы с равной вероятностью максимизируют .

В общем необходимые и достаточные условия для совокупности вероятностей входных символов , при которых максимизируется  и, следовательно, достигается пропускная способность ДСК, таковы (задача 7.1):

                       (7.1.21)

где  - пропускная способность канала, и

                    (7.1.22)

Обычно относительно просто проверить, удовлетворяет ли совокупность входных символов с равными вероятностями условиям (7.1.21). Если они не удовлетворяются, то ряд входных символов с неравными вероятностями  могут удовлетворять (7.1.21).

Теперь рассмотрим ограниченный по полосе частот канал с аддитивным белым гауссовским шумом. Формально, пропускная способность такого канала в единицу времени определена Шенноном (1948) так:

,                      (7.1.23)

где усреднённая взаимная информация определена (3.2.17). Альтернативно, мы можем использовать отсчёты или коэффициенты , и  в ряде разложений ,  и  соответственно для определения средней взаимной информации между  и, где ,  и  определены (7.1.12). Средняя взаимная информация между  и  для канала с АБГШ равна

   (7.1.24)

где

                                                    (7,1,25)

Максимум  по входной ФПВ получается, когда входы  статистически независимые гауссовские случайные величины с нулевыми средними, т.е.

,                         (7.1.26)

где  - дисперсия каждого . Затем из (7.1.24) следует, что

      (7.1.27)

Предположим, что мы накладываем ограничение на среднюю мощность входных сигналов , т.е.

.                          (7.1.28)

Следовательно,

.                                                                 (7.1.29)

Подставив этот результат в (7.1.27) для , получаем

.                                   (7.1.30)

В заключение можно получить пропускную способность канала в единицу времени путем деления результата (7.1.30) на . Таким образом,

.                                                         (7.1.31)

Это базовая формула для пропускной способности частотно-ограниченного канала с АБГШ с частотно-ограниченным и ограниченным по средней мощности входом. Она была впервые получена Шенноном (1946).

График пропускной способности (бит/с), нормированной к полосе , как функция от отношения средних мощностей сигнала  и шума , дан на рис. 7.1.7.

Заметим, что пропускная способность увеличивается монотонно с увеличением ОСШ. Таким образом, при фиксированной полосе пропускная способность канала увеличивается с увеличением переданной мощности сигнала. С другой стороны, если   фиксирована, пропускную способность можно увеличить за счёт увеличения полосы .

Рис.7.1.7. Нормированная пропускная способность канала  как функция ОСШ для ограниченного по полосе частот канала с АГБШ

Рис.7.1.8. Пропускная способность канала как функция полосы пропускания при фиксированной среде мощности сигнала

Рис. 7.1.8 дает зависимость  от . Заметим, что если  становится неограниченной, пропускная способность канала приближается к предельной величине

.                       (7.1.32)

Поучительно выразить нормированную пропускную способность канала  как функцию от ОСШ на бит. Поскольку  представляет среднюю мощность (в Ваттах), а  определено в бит/символ, то следует

                                        (7.1.33)

где  - энергия сигнала на бит. Следовательно, (7.1.31) можно выразить так:

                             (7.1.35)

Следовательно,

.                                    (7.1.35)

Когда ,  (0 дБ). При

.                 (7.1.36)

Таким образом,  растёт экспоненциально, когда . С другой стороны, когда ,

,                    (7.1.37)

которое равно -1,6 дБ. Зависимость  от  показана на рис. 5.2.17.

Итак, мы получили выражение для пропускной способности для трех важных моделей канала, которые рассматриваются в этой книге. Первая – это модель канала с дискретными входом и выходом, для которой ДСК частный случай. Вторая, с дискретным входом и непрерывным выходом, - это модель канала без памяти с АБГШ. При помощи этих двух моделей канала мы можем судить о качестве кода при получении жёстких и мягких решений (детектора) в цифровых системах связи.

Третья модель канала сфокусирована на нахождении пропускной способности в бит/с непрерывного (по входу и выходу) канала. В этом случае мы предположили ограничение полосы, частот канала, что сигнал искажается в канале аддитивным белым гауссовским шумом и что средняя мощность передатчика ограничена. При этих условиях мы получили результат, даваемый (7.1.31).

Главное значение формул для пропускной способности канала, данных выше, это то, что они служат верхней границей скорости передачи для реализуемой связи по каналу с шумом. Фундаментальная роль, которую играет пропускная способность канала, определена теоремами кодирования в канале с шумами, данными Шенноном (1948 а).

Теоремы кодирования в канале с шумами. Существуют кодеры канала (и декодеры), которые делают возможным достичь надежную связь со столь малой, насколько желательно, вероятностью ошибки, если скорость передачи , где  - пропускная способность канала. Если , то нет возможности обеспечить стремление вероятности ошибки к нулю каким угодно кодом.

В следующем разделе мы исследуем выгоду кодирования для моделей каналов с аддитивным шумом, описанных выше, и используем пропускную способность канала, чтобы судить о доступном качестве реального кода.