3.7. Пропускная способность канала с постоянными параметрами и аддитивным шумом

Вычислим пропускную способность рассмотренного канала. Для определения пропускной способности нужно прежде всего условиться о том, какие ограничивающие условия наложены на сигнал. Наиболее естественным является ограничение средней мощности приходящего сигнала и его базы. Вычислим, поэтому, сначала пропускную способность канала, в котором могут передаваться сигналы с мощностью , длительностью элемента , при заданной базе , если вместе с сигналом принимается белый шум со спектральной плотностью . На величину  (основание кода) никаких ограничений не накладываем.

Всякий такой сигнал на протяжении времени  может быть представлен конечным рядом Фурье (3.2), в котором  коэффициентов не равны тождественно нулю. Информация, переносимая сигналом, заключена в значениях этих коэффициентов. Каждый из них переносит определенную долю информации. Если значения отдельных коэффициентов статистически независимы, то полное количество информации в сигнале является суммой частичных количеств информации, переносимых каждым из коэффициентов. Наличие статистической зависимости между этими коэффициентами может только уменьшить общее количество информации.

Для нахождения пропускной способности нужно определить структуру сигналов, обеспечивающую максимум передаваемой информации. Поэтому нужно считать все коэффициенты ряда Фурье статистически независимыми случайными величинами. Мощность сигнала должна быть каким-то образом распределена между этими коэффициентами. Предположим, что это распределение произведено так, что на долю коэффициентов  приходятся соответственно мощности  :

                                            (3.74)

Число членов в этой сумме равно . Найдем максимальное количество информации, передаваемое за время , например, с помощью коэффициента  при мощности , а затем определим, как лучше распределить мощность сигнала между этими коэффициентами, чтобы получить наибольшую суммарную скорость передачи информации, которая, очевидно, и будет равна пропускной способности канала при заданных условиях. Количество информации, содержащееся в случайной величине  (коэффициенте ряда Фурье принятого сигнала) относительно случайной величины  (коэффициента переданного сигнала) можно выразить через дифференциальную энтропию по формуле (1.50):

                    .              (3.75)

Но

,

откуда легко показать, что

.                                                   (3.76)

Действительно, условные вероятности принятой величины , когда известна переданная величина , есть не что иное, как вероятность аддитивной помехи , а так как энтропия однозначно определяется распределением вероятностей, то отсюда вытекает (3.76).

Таким образом, для выполнения первого пункта намеченной программы нужно найти максимальное возможное значение величины

        .                           (3.77)

Величина  определяется помехой и не зависит от сигнала. Поэтому задача сводится к нахождению максимума дифференциальной энтропии принимаемого сигнала . При решении этой задачи дифференциальную энтропию удобно измерять в натуральных единицах. Мощность  очевидно, равна сумме мощности  и , так как эти величины статистически независимы.

В теории информации доказывается (например, [10]), что при заданной дисперсии случайной величины наибольшая дифференциальная энтропия обеспечивается при нормальном распределении ее вероятностей. Следовательно,  имеет наибольшую величину, если  является случайной величиной с нормальным распределением вероятностей. Так как  имеет нормальное распределение, то для этого необходимо и достаточно, чтобы  также имело нормальное распределение.

До сих пор мы рассматривали только дискретные наборы сигналов, и  является, вообще говоря, дискретной случайной величиной, число значений которой не превосходит основания кода . Полученный сейчас результат означает, что для осуществления максимума  нужно беспредельно увеличивать основание кода , чтобы  «стремилось» к непрерывной случайной величине.

Итак, максимальная величина  может быть вычислена из (3.77), если положить, что   имеет нормальное распределение с нулевым средним значением и дисперсией  , а  - такое же распределение с дисперсией . Дифференциальная энтропия для величины  с нормальным распределением и дисперсией  равна [2]

    .                                             (3.78)

Подставляя сюда значения  для  и , находим

натур. ед.   (3.79)

Полное количество информации, переносимое при этих условиях всем сигналом, выразится суммой

.               (3.80)

Теперь для выполнения второго пункта намеченной программы нужно так распределить мощность  (3.74) между коэффициентами ряда Фурье, чтобы обеспечить максимум выражения (3.80). С этой целью обозначим

 и .

Тогда (3.80) можно переписать так:

                      (3.81)

и так как второй член не зависит от выбора сигналов и от распределения мощности между коэффициентами, то задача сводится к отысканию максимума произведения . С другой стороны, из (3.74) следует

                            (3.82)

Известно, что максимум произведения величин, сумма которых задана, достигается тогда, когда все эти величины равны между собой. Поэтому условием максимума (3.81) является , откуда

                            

Подставляя этот результат в (3.80) и учитывая, что  и , получаем

.                    (3.83)

Здесь  - мощность шума в полосе частот

Пропускная способность канала

                            (3.84)

Полученная формула полностью совпадает с известным выражением К. Шеннона [2] для пропускной способности канала при белом шуме. Однако смысл ее несколько иной. К- Шеннон рассматривал канал, пропускающий сигналы только с ограниченным спектром в полосе шириной  Здесь же в (3.84) под  понимается условная полоса частот, определяемая количеством коэффициентов ряда Фурье, тождественно не равных нулю. Таким образом, полученное выражение относится к сигналу, спектр которого, строго говоря, не ограничен. Впрочем, при достаточно больших значениях  (т. е. при большом , если  не задано) различие между этими сигналами может быть сделано сколь угодно малым.

Отбросим теперь условие ограниченности базы сигнала и вычислим, какова пропускная способность канала с аддитивным белым шумом, имеющим спектральную плотность , если мощность сигнала равна . Для решения этого вопроса можно исходить из полученного выражения (3.84) и искать его максимум при изменении  (точнее говоря, при изменении , так как  не зависит от ). Для этого запишем (3.84) в следующем виде:

                        (3.84a)

 Легко убедиться, что с увеличением  пропускная способность возрастает и при  стремится к величине

                                                 (3.85)

Пользуясь введенным ранее обозначением , можно записать полученный результат и так:

                                                  (3.85a)

На рис. 3.14 показано, как растет пропускная способность  при увеличении условной полосы частот  согласно формуле (3.84а). Уже при  пропускная способность достигает 70% от предельного значения и с дальнейшим увеличением  возрастает очень медленно.

Рис. 3.14. Зависимость пропускной способности от величины условной полосы частот сигнала.

Здесь полезно вспомнить о теореме кодирования (§ 1.8), поясняющей реальный смысл понятия «пропускная способность», и дать другую формулировку доказанным соотношениям (3.84) и (3.85). Пусть в рассматриваемом канале можно передавать любые сигналы, имеющие условную полосу частот  и среднюю мощность (на входе приемника), не прерывающую . Будем задаваться различными значениями длительности сигнала  и для каждого из них строить по каким-то (пока неопределенным) правилам конечное множество, содержащее , удовлетворяющее наложенным условиям. При этом

,                                                           (3.86)

где — некоторая заданная величина.

Если некоторый источник с фиксированной скоростью имеет производительность  натур. единиц в секунду, то число различных сообщений длительностью , которые источник может выдать с суммарной вероятностью, сколь угодно близкой к единице, при достаточно большом   равно

.                                                     (3.87)

Тогда, учитывая (3.86), можно каждому сообщению источника для передачи по каналу сопоставить один из  сигналов. Теорема Шеннона утверждает, что при надлежащем выборе сигналов вероятность ошибочного приема такого сигнала может быть меньше любого заданного , если значение  достаточно велико и. С учетом формулы (3.84а) последнее условие можно записать так:

                    (3.88)

или

.                                                (3.89)

Для случая, когда полоса частот  неограничена, это условие переходит в

                                                   (3.90)

или

.                                                               

Остановимся на том, как следует выбирать сигналы при заданном . Из приведенного выше доказательства видно, что их можно определить, произведя  независимых случайных выборов коэффициентов ряда Фурье в соответствии с нормальным законом распределения с нулевым математическим ожиданием и дисперсией, равной . При этом, правда, можно только утверждать, что математическое ожидание мощности сигнала будет равно  что же касается мощности каждой реализации, и даже средней мощности по конечному числу  выбранных сигналов, то она может отличаться от  в любую сторону.

Представляют интерес следующие вопросы. Можно ли указать регулярный (не связанный со случайным выбором) метод построения  сигналов, обладающий тем свойством, что при выполнении условия (3.89) или (3.90) вероятность ошибочного приема будет стремиться к нулю с увеличением ? Можно ли эти сигналы строить так, чтобы мощность каждого из них не превышала?

В общем случае эти вопросы остаются открытыми, но для неограниченной полосы частот  на них можно ответить утвердительно. Более того, можно указать несколько способов регулярного построения таких сигналов, в частности, они могут образовывать симплексную, биортогональную или ортогональную системы. В качестве примера докажем, что для системы из ортогональных сигналов с одинаковой мощностью  вероятность ошибки при достаточно большом  меньше любого заданного положительного числа , если выполнено условие (3.90).

Вероятность правильного приема для ортогональной системы определяется формулой (3.67). Произведя замену переменной , получим

.                       (3.91)

При заданном  определим число  так, что

.                                                                        (3.92)

Как легко видеть,  и является неубывающей функцией . Учитывая также, что подынтегральная функция в (3.91) не отрицательна, получим

                      (3.93)

Из условия (3.90) следует, что существует такое достаточно малое положительное число , при котором

                               

или

.                        (3.94)

Обозначим  где согласно (3.94) .

Учитывая, что по определению , имеем

.

Пусть . Тогда, учитывая, что функция Крампа неубывающая, при

.                           (3.95)

Из известного асимптотического разложения интеграла вероятности при достаточно больших

.                                                 (3.96)

Объединяя (3.93), (3.95) и (3.96), получим

.

Подставим сюда . Тогда

.

Последнее неравенство следует из того, что  при .

Положив , получим, что при   или , что и требовалось доказать.

Более тщательный анализ выражения (3.91) показывает, что вероятность ошибки с увеличением  стремится к нулю экспоненциально, причем коэффициент при показателе убывает с ростом отношения  и при становится равным нулю.

Полученный результат показывает, что при выполнении условия (3.90) можно всегда построить систему связи с ортогональными сигналами, выбрав такие значения и , чтобы вести передачу с заданной сколь угодно высокой верностью. Непосредственно применить этот результат на практике, к сожалению, не удается, поскольку с увеличением, во-первых, резко усложняется решающая схема и, во-вторых, расширяется условная полоса частот. В подавляющем большинстве существующие являются двоичными, хотя возможность повысить достоверность (при заданной ) путем увеличения  давно известна.

Применение двоичной системы позволяет использовать наиболее простую первую решающую схему, а задачу повышения верности возложить на вторую решающую схему (декодер), применив корректирующий код. При этом исходят из того, что даже сложный декодер, поскольку он основан на дискретной технике, оказывается более простым и надежным, чем система согласованных фильтров или перемножителей с интеграторами при большом .

Поскольку пропускная способность дискретного канала не превышает пропускную способность заключенного в нем непрерывного канала, можно ожидать, что при таком серьезном ограничении, как использование двоичного кода, пропускная способность существенно уменьшится. Найдем пропускную способность канала, в котором присутствует нормальный белый шум со спектральной плотностью  полагая, что задана мощность сигнала , а сигнал должен состоять из последовательности элементов, соответствующих сообщению, закодированному наилучшим образом двоичным корректирующим кодом. На полосу частот, а следовательно, и на длительность элемента сигнала никаких ограничений накладывать не будем.

Так как двоичный канал при аддитивном белом шуме является симметричным, то можно воспользоваться выражением (2.28), из которого следует, что скорость передачи информации возрастает с уменьшением вероятности ошибок. Минимум вероятности ошибок при заданном  обеспечивается выбором противоположных сигналов, для которых

                                

Подставляя это значение в (2.28), получаем

   (3.97)

Анализируя это выражение, легко убедится [12], что при уменьшении длительности элемента сигнала  скорость передачи информации монотонно возрастает, несмотря на уменьшение величины . Поэтому пропускной способностью канала при указанных ограничениях следует считать предел выражения (3.97), когда , а следовательно, и   стремятся к нулю. Этот предел легко найти, воспользовавшись тем, что при малом

Переходя в (3.97) к натуральным единицам, найдем

Учитывая (3.85) и (3.46), получаем

                                               (3.98)

Таким образом, столь сильное ограничение, наложенное на величину основания кода, уменьшает пропускную способность всего лишь в   раз по сравнению со случаем, когда нет никаких ограничений способа кодирования.

Представляет интерес также пропускная способность двоичного канала с заданной мощностью сигнала  и спектральной плотностью аддитивного белого шума , когда сигналы являются не противоположными, а ортогональными. При этом [см. (3.54)]

Рассуждая таким же образом, как и выше, получаем

                                                  (3.99)

Следовательно, переход от противоположных сигналов к ортогональным понижает пропускную способность вдвое.