1.6. Решающая схема и статистические критерии

Рассмотрим в общем виде, как производится восстановление переданного сообщения по принятому сигналу в канале с помехами и нерегулярными искажениями. Поскольку в таком канале не существует жесткой функциональной связи между переданным и принятым сигналами, то по принятому сигналу можно судить только о вероятности того, что был передан тот или иной сигнал из множества  сигналов, используемых в данной системе связи, и, следовательно, о вероятности того, что было послано то или иное сообщение из множества  сообщений, создаваемых источником.

Здесь речь идет об условной вероятности того, что источник выбрал, скажем, элемент сообщения , если на вход приемного устройства поступил принимаемый сигнал . Эта условная (апостериорная или, по терминологии Ф. Вудворта [12], обратная) вероятность может быть определена по формуле Байеса [11]

                                   (1.18)

где  — априорная вероятность выбора сообщения ;  — условная плотность вероятности (вообще говоря, многомерная) принимаемого сигнала  при передаваемом сообщении , которая определяется свойствами канала.

Согласно известной точке зрения Вудворта [12] от приемника нельзя требовать ничего, кроме данных о распределении апостериорных вероятностей сообщений источника, на основании которых получатель принимает то или иное решение. Будем придерживаться более обычного представления, включая в функцию приемного устройства также принятие решения о том, какое сообщение передавалось. Впрочем, в некоторых случаях это решение, как мы увидим ниже, может быть и неокончательным.

Таким образом, задачей приемного устройства в системе передачи дискретной информации является выдача решения о том, какое элементарное сообщение из возможного множества  передавалось. Решение должно определяться на основании анализа принимаемого сигнала  с учетом всех тех сведений, которые могут быть известны о характере источника, системе кодирования и свойствах канала связи. Это значит, что, как бы ни было построено приемное устройство, сущность его работы заключается в том, что любой пришедший сигнал  преобразуется в некоторое элементарное сообщение из множества . Возможные способы этого преобразования при всем их многообразии могут быть сведены к тому, что множество  (вообще говоря, бесконечное и несчетное) всех возможных приходящих сигналов разбивается на непересекающиеся подмножества, каждому из которых ставится в соответствие одно из возможных элементарных сообщений множества  .

В большей части существующих систем связи это соответствие устанавливается не непосредственно, а с помощью множества  кодовых символов. В этих случаях множество приходящих сигналов  разбивается на непересекающиеся подмножества, соответствующие каждому из кодовых символов. Такое разбиение множества приходящих сигналов на подмножества будем называть решающей схемой или первой решающей схемой. Процесс отождествления принимаемого элемента сигнала с определенным кодовым символом, основанный на первой решающей схеме, будем называть демодуляцией принятого сигнала.

В результате демодуляции последовательность элементов сигнала превращается в последовательность кодовых символов, которую нужно в свою очередь преобразовать в последовательность «букв» сообщения, выдаваемую получателю. Это преобразование будем называть декодированием. Оно осуществляется с помощью второй решающей схемы, которая представляет собой разбиение множества различных последовательностей кодовых символов на подмножества, каждое из которых отождествляется с буквой сообщения. Наряду с таким методом приема, основанным на последовательном использовании двух решающих схем, иногда применяется и другой метод, с единой решающей схемой, по которому приходящая последовательность элементов сигнала преобразуется сразу в последовательность букв сообщения, т. е. операции демодуляции и декодирования объединяются. При этом множество приходящих последовательностей элементов сигнала разбивается на подмножества, каждое из которых отождествляется с буквой сообщения. Такой метод «приема с единой решающей схемой получил название прием в целом в отличие от метода с двумя решающими схемами, называемого поэлементным приемом. Ниже будет показано, что при известных условиях прием в целом обеспечивает более высокую верность принятого сообщения, нежели поэлементный прием. Однако поэлементный прием значительно шире распространен из-за более простых технических решений. В настоящей работе исследуется, главным образом, поэлементный прием. Особенности приема в целом будут рассмотрены в гл. 10.

В любой решающей схеме разбиение множества принимаемых сигналов на подмножества, соответствующие элементам сообщения, может быть осуществлено очень большим (или даже бесконечным) числом различных способов. Одной из важнейших задач теории связи является выбор из различных возможных решающих схем оптимальной. Эта задача является типичной задачей математической статистики на проверку гипотез. Здесь под гипотезой понимается предположение о том, что передавалось то или иное сообщение. Решающая схема должна из этих гипотез выбрать одну. При этом, очевидно, не всегда выбранная гипотеза будет соответствовать действительности.

Пусть множество  принимаемых сигналов разбито на непересекающиеся подмножества  , причем каждому элементу сообщения  сопоставлено подмножество . Тогда существует набор условных вероятностей  того, что при передаче элемента , принимаемый сигнал принадлежит подмножеству . Если принятый сигнал принадлежит некоторому подмножеству , то приемное устройство «принимает решение» о том, что передавался элемент . Будем говорить, что при этом принимается решение .

Вероятности  зависят от того, каким образом элемент сообщения , преобразован в сигнал, от шумов, имеющих место в канале, и от выбранной решающей схемы. Вероятность того, что переданный элемент  принят правильно, равна  а вероятность того, что он принят ошибочно, равна

.

Если бы можно было произвести разбиение множества  на подмножества  так, чтобы для каждого  условная вероятность , то можно было бы, несмотря на наличие помех и искажений в канале, принимать все сообщения безошибочно. В реальных каналах обычно имеют место те или иные вероятности ошибок. Полная вероятность ошибочного приема элемента сообщения, очевидно, равна

.                     (1.19)

Всякая ошибка при отождествлении принятого сигнала с сообщением, конечно, нежелательна. Однако эта степень нежелательности для различных ошибок может быть разной. Так, например, если источник сообщений выдает результаты каких-то измерений в виде пятиразрядных десятичных цифр, то разумеется, что ошибка в отождествлении первой цифры (разряда сотен тысяч) значительно более вредна, чем ошибка в последней цифре (разряде единиц). При этом ошибка в любом разряде, изменяющая переданную цифру на  несколько единиц, более вредна, чем ошибка на одну единицу, и т. д. Для других источников возможны и совершенно другие соотношения. Так, возможен источник, выдающий также пятиразрядные десятичные цифры, но не означающие результаты измерения, а представляющие условные обозначения (номера) некоторых сообщений. В этом случае оценка значимости ошибок может быть совершенно иной, зависящей от конкретного смысла этих сообщений.

Для того чтобы определить, какая из возможных решающих схем является оптимальной, необходимо прежде всего ясно представить, в каком смысле понимается оптимальность. В математической статистике используется большое число различных статистических критериев оптимальности, применимых к различных задачам. Одним из наиболее общих является так называемый критерий среднего риска, предложенный Вальдом [13]. Он состоит в том, что каждой паре сообщения   и решения  приписывается некоторая «стоимость» , не зависящая от решающей схемы. Эта стоимость выбирается, вообще говоря, произвольно, но она должна учитывать конкретные условия рассматриваемой системы связи. Она тем выше, чем более нежелательна ошибка, состоящая в принятии решения , когда в действительности передавался элемент .

Условным риском  называется условное математическое ожидание стоимости, если известно, что передавался элемент

.                                              (1.20)

Средним риском называется безусловное математическое ожидание стоимости , которое можно определить, если известны априорные вероятности сообщений

.    (1.21)

Согласно Вальду оптимальной решающей схемой является такая, которая обеспечивает минимум среднего риска. Этот критерий относится к классу так называемых байесовых критериев, т е. таких, для применения которых необходимо знание априорных вероятностей . Ограниченность такого критерия заключается в том, что, во-первых, он применим лишь в случае, когда априорные вероятности известны, и, во-вторых, в том, что величина стоимости , хотя и определяется на основе оценки характера сообщения, все же не может не содержать элемента субъективности.

В большей части случаев проектирования систем передачи дискретных сообщений свойства источника заранее известны, хотя бы приблизительно, и, следовательно, приблизительно известны априорные вероятности сообщений. Поэтому в большинстве случаев байесовы критерии вполне применимы для выбора решающей (схемы в таких системах.

Сложнее решается вопрос об определении стоимости. Так, для рассмотренного выше примера источника, выдающего численные результаты измерений, казалось бы логичным положить стоимость , т. е. считать, что стоимость равна величине абсолютной погрешности в принятом числе относительно переданного. Тогда критерий минимального среднего риска сведется к критерию минимальной средней абсолютной погрешности. Однако с не меньшим основанием можно положить , т. е. считать стоимость равной квадрату погрешности, что приведет к критерию минимальной средней квадратичной погрешности. Каждый из этих подходов приводит к созданию своей решающей схемы, причем каждая из них в некотором смысле является оптимальной. Возможны и другие методы определения стоимости, которые приводят к различным также оптимальным решающим схемам. Еще более неопределенной становится стоимость в тех случаях, когда сообщения не связаны с количественной мерой. Это очень затрудняет определение оптимальной решающей схемы в общем случае.

Во многих случаях, по характеру использования системы связи, можно считать, что всякая ошибка при приеме сообщения одинаково нежелательна. С этой точки зрения стоимость разумно полагать одинаковой (например, равной 1) для всех пар (,если , и равной нулю при ). При такой оценке средний риск равен

.                (1.22)

Но это выражение представляет не что иное, как полную вероятность ошибочного приема элемента сообщения в решающей схеме (1.19). Таким образом, критерий минимального риска при одинаковой оценке всех ошибок сводится к критерию минимальной полной вероятности ошибок или, как его обычно называют, критерию идеального наблюдателя.

Легко определить, как должна быть построена решающая схема для того, чтобы она обеспечивала минимум полной вероятности ошибочного приема. Полная вероятность ошибок, очевидно, будет минимальна, если решающая схема обеспечит минимум вероятности ошибочного приема при каждом принимаемом сигнале.

Пусть на приемное устройство поступает сигнал . Для любой буквы  из алфавита источника можно определить апостериорную (обратную) вероятность (1.18). Предположим, что решающая схема относит этот сигнал к подмножеству . Тогда вероятность того, что этот сигнал принят правильно, представляет не что иное, как апостериорную  вероятность . Если в алфавите существует некоторый другой элемент , для которого , то можно было бы увеличить вероятность правильного приема сигнала  (и, следовательно, уменьшить вероятность ошибки), изменив решающую схему так, чтобы отнести этот сигнал к подмножеству . Отсюда следует, что минимум вероятности ошибки при приеме данного сигнала   имеет место в том случае, когда он интерпретируется как тот элемент сообщения , который имеет наибольшую вероятность .

Поскольку это относится к любому из принимаемых сигналов, то решающая схема, основанная на критерии идеального наблюдателя, представляет такое разбиение множества принимаемых сигналов , при котором к подмножеству  относятся все сигналы, отличающиеся тем, что для них апостериорная вероятность  больше или равна вероятности любого другого элемента сообщения

                                        (1.23)

Во многих случаях удается сравнительно просто реализовать такую решающую схему в приемном устройстве.

Вероятность ошибки при оптимальной решающей схеме, основанной на критерии идеального наблюдателя, зависит только от свойств канала, определяемых помехами, и характеризует так называемую потенциальную помехоустойчивость системы связи [2].

Вместо того чтобы сравнивать обратные вероятности , можно сравнивать произведения , представляющие числители выражения апостериорной вероятности по формуле Байеса (1.18). Действительно, знаменатель в (1.18) при заданном  является постоянной величиной, не зависящей от . Поэтому неравенство (1.23), характеризующее решающую схему, эквивалентно неравенству

или

                                 (1.24)

Отношение в левой части этого неравенства называют отношением правдоподобия для  относительно . Таким образом, решающая схема для критерия идеального наблюдателя может быть описана и так: сигнал  относится к подмножеству  если отношение правдоподобия для  относительно всех  больше или равно величине, обратной отношению априорных вероятностей. Заметим, что и другие байесовы критерии (с различной функцией стоимости) можно свести к сравнению отношений правдоподобия, аналогичных неравенству (1.24) с той разницей, что в правой части неравенства вместо отношения априорных вероятностей находятся другие числа, зависящие от ,  и определяемые функцией стоимости.

Если априорные вероятности всех  одинаковы, правая часть неравенства (1.24) равна единице. В некоторых случаях ее полагают равной единице, даже если априорные вероятности неодинаковы или если они неизвестны. Полученный таким образом критерий называется критерием максимального правдоподобия.

Для иллюстрации критерия идеального наблюдателя рассмотрим простейший пример. Пусть алфавит источника содержит лишь две буквы  и , а принимаемый сигнал  характеризуется единственным скалярным параметром (например, током в линии), который будем обозначать также . На рис. 1.4 изображены графики  и , представляющие условные плотности вероятности  при передаче соответственно букв  и , умноженные на априорную вероятность соответствующей буквы. При  отношение правдоподобия для  относительно  больше, а при  меньше . Согласно критерию идеального наблюдателя вся область значений  разбивается на два подмножества  (в которое входят нее ) и  (в которое входят все ). Точку  можно отнести к любому из подмножеств. Полная вероятность ошибочного приема буквы равна заштрихованной на рисунке площади. Действительно, эта площадь равна

                               (1.25)

Рис 1.4. Графическое определение вероятностей ошибок.

Первый интеграл представляет вероятность того, что передавалась буква  и сигнал  оказался в области , т. е. вероятность ошибочного приема  вместо . второй интеграл — вероятность ошибочного приема  вместо . Если разбить область значений  на подмножества  и  иначе, например, вместо «порога»  выбрать , то вероятность ошибочного приема  вместо  уменьшится, а вероятность ошибочного приема  вместо  увеличится. Однако полная вероятность ошибочного приема возрастает на величину площади зачерненного треугольника.

Применение критерия идеального наблюдателя представляется весьма естественным, поскольку основанная на нем оптимальная решающая схема обеспечивает наименьшую полную вероятность ошибочного элемента сообщения, а, следовательно, и наибольшую вероятность безошибочного приема последовательности элементов, представляющих сообщение. Ниже будут приведены и некоторые другие доводы в пользу этого критерия. Однако возможны случаи, когда результат применения критерия идеального наблюдателя противоречит здравому смыслу.

Пусть, например, алфавит источника содержит два элементарных сообщения  и , выбираемые независимо друг от друга с вероятностями  и .

Рассмотрим два варианта решающей схемы. При первом варианте множество принимаемых сигналов  разбито на подмножества  и  так, что  и . При этом все сообщения принимаются с вероятностью ошибки 0,001. При втором варианте схемы все множество принимаемых сигналов  принимается за , тогда как множество  является пустым. В этом случае все сигналы будут приниматься как сообщение . Таким образом,  будет во всех случаях приниматься правильно, а  — всегда ошибочно. Очевидно, при такой «решающей схеме»

и вероятность ошибки равна

С точки зрения критерия идеального наблюдателя вторая схема ближе к оптимальной, поскольку она обеспечивает меньшую полную вероятность ошибки, чем первая. Но, с другой стороны, совершенно ясно, что применение второго варианта решающей схемы бессмысленно, так как он не дает никакого представления о переданном сообщении, в то время как первый вариант, хотя и с небольшой достоверностью, позволяет судить о том, какое сообщение было выбрано источником.

Такое противоречие между критерием идеального наблюдателя и здравым смыслом возникло вследствие того, что при столь различных априорных вероятностях  и  нельзя считать стоимость любой ошибки одинаковой. В самом деле, информация, содержащаяся в , в соответствии с (1.6) значительно больше информации, содержащейся в . Следовательно, ошибочный прием буквы  вместо  в большей степени разрушает передаваемую информацию, чем прием  вместо .

Не следует думать, что приведенный парадокс является привилегией критерия идеального наблюдателя. Для многих других статистических критериев можно подобрать более или менее искусственные ситуации, при которых они противоречат здравому смыслу. Поэтому выбор критерия следует производить с учетом особенностей решаемой задачи.

Для обычных систем связи наиболее удобным является критерий максимального правдоподобия, согласно которому решающая схема относит принятый сигнал  к подмножеству , если для всех

                         (1.26)

Преимуществом этого критерия является то, что он не требует знания априорных вероятностей сообщений. Если же априорные вероятности сообщений известны и одинаковы, то критерий максимального правдоподобия совпадает с критерием идеального наблюдателя.

В дальнейшем везде, где не оговорено противное, мы будем пользоваться критерием максимального правдоподобия.

В некоторых случаях принимаемый сигнал зависит не только от передаваемого сообщения и помехи, но и от одного или нескольких неизвестных параметров. Так, например, в выражении (1.17) величины  или  могут быть неизвестными. Если такой параметр  представляет собой случайную величину с известным распределением вероятностей, то можно вычислить условную вероятность , входящую в отношении правдоподобия, по формуле полной вероятности

                    (1.27)

где  — плотность вероятности параметра , а интегрирование производится по всей области его определения. Иногда, однако, о параметре  ничего не известно. Тогда для построения решающей схемы пользуются обобщенным критерием максимального правдоподобия, при котором условные вероятности  вычисляются при наиболее правдоподобном (при гипотезе ) значении параметра , т. е. при том , которое максимизирует величину . Другими словами, решающая схема относит принятый сигнал к подмножеству , если при всех

                                       (1.28)

Примеры построения решающей схемы при неизвестном параметре будут приведены в пятой главе.