7.2.1. Случайное кодирование, основанное на использовании ансамбля из М двоичных кодовых слов

Рассмотрим ансамбль из  кодовых слов, образованных из -мерных двоичных кодовых слов вида

                     (7.2.1)

где  или 1. Каждый символ кодового слова отображается двоичным ФМ сигналом, так что сигналы, соответствующие кодовому слову , можно выразить так:

                   (7.2.2)

где

                          (7.2.3)

и  - энергия на кодовый символ. Таким образом, сигналы  эквивалентны -мерным векторам

                    (7.2.4)

которые соответствуют вершинам гиперкуба в -мерном пространстве.

Теперь предположим, что информационная скорость на входе кодера равна  бит/с и мы кодируем блоки из  бит на определенном временном интервале  посредством одного из  сигналов. Следовательно,  и требуется  сигналов. Удобно определить параметр  следующим образом:

                                    (7.2.5)

Таким образом,  - это размерность пространства сигналов.

Гиперкуб имеет вершин, из которых могут быть использованы для передачи информации. Если мы навяжем условие , то часть вершин, которые мы используем как сигнальные точки, равна

                         (7.2.6)

Ясно, если , имеем , когда .

Вопрос, который мы хотим ставить, следующий. Можно ли выбрать подмножество вершин из  имеющихся в распоряжении вершин так, чтобы вероятность ошибки  при  или, что эквивалентно, когда ? Поскольку часть  используемых вершин приближается к нулю, когда  возможно выбрать  сигналов, имеющих минимальное расстояние, которое увеличивается, когда  и, следовательно, .

Вместо того, чтобы пытаться найти простой ансамбль из  кодовых сигналов, для которых мы рассчитаем вероятность ошибки, рассмотрим ансамбль из различных путей, по которым мы можем выбрать  вершин из  имеющихся в распоряжении вершин гиперкуба. С каждым из  выборов мы можем связать систему связи, содержащей модулятор, канал и демодулятор, которые оптимальны для выбранного набора из сигналов. Таким образом, имеется  систем связи, одна для каждого выбора  кодовых сигналов, как показано на рис. 7.2.1. Каждая система связи характеризуется своей вероятностью ошибки.

Рис. 7.2.1. Ансамбль  систем связи. Каждая система выбирает одну из  возможных последовательностей из  сигналов

Предположим, что наш выбор  кодовых сигналов основан на случайном выборе из множества  возможных ансамблей кодов. Таким образом, случайный выбор -го кода, обозначенного , происходит с вероятностью

                                        (7.2.7)

и соответствующую условную вероятность ошибки для этого выбора кодовых сигналов обозначим . Тогда средняя вероятность ошибки по всему набору кодов

               (7.2.8)

где верхняя черта над  означает усреднение по ансамблю кодов.

Ясно, что некоторые выборы кодов приведут к большим вероятностям ошибки. Например, код, который сопоставит все  -битовых последовательностей одну и ту же вершину гиперкуба приведет к очень большой вероятности ошибки. В таком случае . Однако будут так же выборы кодов, для которых . Следовательно, если мы получим верхнюю границу для , эта граница будет так же справедлива для тех кодов, для которых . Далее, если  при , тогда мы можем делать заключение, что для этих кодов , когда .

Для того, чтобы определить верхнюю границу для , рассмотрим передачу  -битового сообщения , где  или 1 для . Условная вероятность ошибки, усредненная по ансамблям кодов, равна

,                   (7.2.9)

где  - условная вероятность ошибки -битового сообщения , которое передается посредством кода . Для -го кода вероятность ошибки  имеет верхнюю границу

                         (7.2.10)

где - вероятность ошибки для двоичной системы связи, которая использует сигнальные векторы  и для передачи одного из двух равновероятных -битовых сообщений. Таким образом,

                    (7.2.11)

Меняя порядок суммирования в (7.2.11), получаем

        (7.2.12)

где представляет среднюю по ансамблю вероятность  полученную усреднением по  кодам или по  системам связи.

Для канала с АБГШ вероятность ошибки двоичной системы  равна

,                            (7.2.13)

где . Если  и  отличаются по  координатам, то

     (7.2.14)

Следовательно,

                             (7.2.15)

Теперь мы можем усреднить  по ансамблю кодов. Поскольку все коды равновероятны, сигнальный вектор  с равной вероятностью может соответствовать любой из  возможных вершин гиперкуба, и это имеет место статистически независимо от соответствия любой вершины сигнальному вектору. Следовательно,  и  независимо для всех .Как следствие, вероятность того, что  и различаются в  позициях, равна

                                    (7.2.16)

Таким образом, математическое ожидание  по ансамблю кодов можно выразить так:

 .        (7.2.17)

Результат (7.2.17) можно упростить, если воспользоваться верхней границей для -функции

Таким образом

.    (7.2.18)

Мы видим, что правая часть (7.2.18) не зависит от индексов  и . Следовательно, если мы подставим границу (7.2.18) в (7.2.12), то получим

.

Наконец, безусловную среднюю вероятность ошибки  получим усреднением  по всем -битовым информационным последовательностям. Таким образом,

     (7.2.19)

Этот результат можно выразить в более удобной форме, прежде всего определив параметр , который называется предельной скоростью и имеет размерность бит/измерение

                     (7.2.20)

Тогда (7.2.19) можно записать в виде

                                      (7.2.21)

Поскольку , то (7.2.21) можно выразить так

                                   (7.2.22)

Зависимость параметра  как функции от  показана на рис. 7.2.2.

Видно, что . Следовательно, , , если информационная скорость.

Альтернативно (7.2.21) можно выразить так:

                                            (7.2.23)

Отношение  также имеет размерность бит/измерение и может быть определено так:

                                 (7.2.24)

Таким образом,  - это скорость кода, и

                                   (7.2.25)

Рис. 7.2.2. Предельная скорость передачи  как функция ОСШ на измерение в децибелах

Мы замечаем, что, когда , средняя вероятность ошибки , когда длина кодового блока. Поскольку среднюю величину вероятности ошибки можно сделать произвольно малой при , отсюда следует, что существуют коды в ансамбле  кодов, которые имеют вероятность ошибки не больше, чем .

Из определения средней вероятности ошибки, данного выше, мы заключаем, что хорошие коды существуют. Хотя мы нормально не можем выбрать коды случайно, интересно рассмотреть вопрос о том, может ли случайно выбранный код быть хорошим. Действительно, можно легко показать, что в ансамбле имеется много хороших кодов. Сначала заметим, что - это средняя по ансамблю вероятность ошибки, полученная усреднением по всем кодам и что все отдельные вероятности, очевидно, положительные величины. Если код выбран случайно, вероятность того, что его вероятность ошибки

 , меньше, чем . Следовательно, не больше, чем 10 процентов кодов имеет вероятность ошибки, которая превосходит , и не больше, чем 1 процент кодов имеют вероятность ошибки, которая превосходит .

Мы хотим подчеркнуть, что коды с вероятностью ошибки, превосходящей , не является обязательно плохими кодами. Например, предположим, что среднюю вероятность ошибки  можно получить, используя коды с размерностью , когда . Тогда, если мы выберем код с вероятностью ошибки, мы можем скомпенсировать это увеличение вероятности ошибки увеличением длины кода  от  до . Таким образом, скромным увеличением размерности мы имеем код с . Суммируя скажем, хороших кодов в изобилии и, следовательно, их можно легко найти даже случайным выбором.

Также интересно выразить среднюю вероятность ошибки в (7.2.25) через ОСШ на бит . Чтобы это сделать, выразим энергию кодового сигнала так:

.               (7.2.26)

Следовательно, . Также заметим, что . Таким образом, (7.2.25)

можно выразить так:

                                             (7.2.27)

где  - параметр, определяющей нормирование ОСШ и равный

.                              (7.2.28)

Теперь заметим, что , когда  при условии, что ОСШ на бит . Зависимость  от  показана на рис. 7.2.3.

Pис. 7.2.3. Нижняя граница для ОСШ на бит для двоичных противоположных сигналов

Заметим, что когда , Следовательно, вероятность ошибки для  двоичных кодовых сигналов эквивалентна вероятности ошибки, полученной из объединенной границы для -ичных ортогональных сигналов, предполагая, что размерность кодового сигнала достаточно велика, так что.

Параметр размерности  который мы ввели в (7.2.5), пропорционален полосе канала, требуемой для передачи сигналов. Напомним, что согласно теореме отсчетов, сигнал с полосой  можно представить отсчётами, взятыми со скоростью  отсчётов/с. Таким образом, на временном интервале  имеется  отсчётов или, что эквивалентно, имеем  степеней свободы (размерность). Следовательно,  можно приравнять .

В заключение заметим, что двоичные кодовые сигналы, рассмотренные в этом разделе, используются, когда ОСШ на измерение мало, например,. Однако, когда, величина  асимптотически приближается к 1 бит/измерение. Поскольку скорость кода ограничена так, что она меньше, то двоичные кодовые сигналы получаются неэффективными при . В этом случае мы можем использовать недвоичные кодовые сигналы для того, чтобы достичь увеличение числа бит на измерение. Например, многоуровневый кодовый ансамбль можно синтезировать из недвоичных кодов путем отражения каждого кодового элемента в один из возможных уровней (как в AM). Такие коды

рассматриваются ниже.