5.3. Выбор решения при многократных наблюдениях

В большей части задач теории решений однократное наблюдение не позволяет обеспечить нужное для практических целей достаточно малое значение минимума байесовского риска. Это приводит к необходимости многократного проведения наблюдений. Введем пространство наблюдений, которое удобно рассматривать как пространство векторов . Критерий байесовского риска легко обобщается на случай векторного наблюдения. Вместо выражения (5.8) для байесовского риска теперь получаем

.                (5.23)

где  и  называются областями принятия решений. Если вектор наблюдений принадлежит области , то принимается гипотеза . Если же этот вектор попадает в область , то принимается гипотеза . Задача теперь состоит в том, чтобы минимизировать значение байесовского риска путем подбора областей   и : при этом объединение этих областей   должно совпадать со всем пространством наблюдений.

Как и в случае однократного наблюдения, равенство (5.23) можно записать так, чтобы в его правую часть входила только область

.            (5.24)

Поскольку потери и априорные вероятности предполагаются известными, то первые два слагаемых в правой части этого равенства не зависят от формы области . Далее будем считать, что  и , так что  и .  Минимальное значение риска обеспечивается в том случае, если к области  отнести все значения  такие, что , так как при этих значениях  подынтегральная функция в равенстве (5.24) отрицательна; в свою очередь, все значения , для которых

,

следует отнести к области . Для таких значений  подынтегральная функция в (5.24) положительна, так что риск увеличился бы, если бы эти значения были отнесены к области . Таким образом, байесовское правило выбора решения принимает вид

                        (5.25)

где  обозначает отношение правдоподобия

,              (5.26)

а  — порог данного правила

.                     (5.27)

Если для полученного вектора наблюдений значение отношения правдоподобия больше значения порога, то принимается гипотеза  , в противном случае принимается гипотеза .

Последние три формулы, справедливые для случая векторного наблюдения, являются очевидными аналогами ф-л (5.14) — (5.16),  полученных ранее для скалярного случая.

Для рассматриваемых двух гипотез можно указать скалярную достаточную статистику и соответствующий этой статистике порог . Нестрого говоря, под достаточной здесь будет пониматься статистика, которая содержит всю информацию, необходимую для вынесения решения, Условная плотность вероятности  наблюдаемого вектора   при фиксированном значении вектора состояния или параметра  является такой статистикой , представляющей собой линейное или нелинейное преобразование наблюдаемой случайной величины.

Выборочное среднее  также является статистикой. Так, если статистика является настолько «хорошей», что знание ее значения эквивалентно знанию значения вектора наблюдений , то при данном параметре  для достаточной статистики должно быть справедливым следующее соотношение:

.                    (5.28)

Следовательно, некоторая статистика  может быть достаточной только в том случае, если

.                       (5.29)

Таким образом, условные плотности вероятности, стоящие в левых частях последних двух соотношений, не зависят от , если  является достаточной статистикой. Конечно, здесь имеется в виду независимость алгебраическая, в то время как некоторая зависимость от  в статистическом смысле имеет место. Используя формулу Байеса и соотношения (5.28) и (5.29), можно получить другое определение достаточной статистики, основывающееся на соотношении

,                       (5.30)

т.е. если статистика  является достаточной, то получение значений  и  не увеличивает знания о векторе , содержащегося только в статистике . Ясно, что для справедливости соотношения (5.30) необходимо, чтобы

.                   (5.31)

Можно допустить, что вектор  определяет гипотезы  и . Тогда на основании (5.31) для достаточной статистики  получаем

,            (5.32)

.            (5.33)

Из этих соотношений следует, что отношение правдоподобия (5.26) можно заменить отношением правдоподобия

                 (5.34)

для достаточной статистики, которое может быть использовано для построения правила выбора решения типа (5.25).

Используя распределения достаточной статистики при рассматриваемых гипотезах, запишем байесовский риск в виде

                    (5.35)

Порог  здесь следует выбрать таким образом, чтобы получить минимально возможное значение риска . Этому условию удовлетворяет значение порога, являющееся решением уравнения

                 (5.36)

или

,            (5.37)

что совпадает со значением порога (5.27)

Для правила выбора решения, основывающегося на достаточной статистике, можно вычислить вероятности ложной тревоги и пропуска сигнала.

                           (5.38)

Можно найти также правила выбора решений, удовлетворяющие критерию Неймана-Пирсона и минимаксному критерию.

Для большей части задач невозможно указать явное выражение длч достаточной статистики, если не получено выражение для отношения правдоподобия . Если же достаточную статистику указать удается, то можно получить отношение правдоподобия , которое и используется для построения правила выбора решения В противном случае следует начинать с отношения правдоподобия

.                          (5.39)

Воспользовавшись понятием условной плотности вероятности, запишем

,                      (5.40)

.                    (5.41)

В этих выражениях  — скалярная величина,   - -мерный, а -мерный векторы. Тогда для отношения правдоподобия получаем

                  (5.42)

Если статистика  является достаточной,  то отношение правдоподобия  не должно зависеть от , т.е. должно быть справедливом равенство

                (5.43)

Следовательно, в этом случае плотность вероятности вектора  зависит от того, какая из двух рассматриваемых гипотез справедлива Этот факт разъясняет смысл сформулиоованного выше утверждения о том, что достаточная статистика аккумулирует всю информацию, содержащиюся в наблюдениях и необходимую для вынесения решения. Полезна следующая интерпретация достаточной статистики. Eсли существует достаточная статистика, то можно указать такое преобразование координат, при котором одна из новых координат содержать всю информацию, необходимую для вынесения решения о справедливости одной из двух рассматривающихся гипотез. Остальные координаты, число которых равно , не содержат совсем информации, полезной с точки зрения вынесения решения. Понятие достаточной статистики является очень важным и часто будет использоваться в последующем изложении.

Пример 5.2. Вновь рассмотрим пример 5.1, приняв теперь, что имеется  наблюдений, полученных при одной из двух возможных гипотез. В этом случае можно записать

Будем предполагать, что случайные величины  и  статистически независимы при  и одинаково распределены. Их совместная плотность вероятности

,

где .

Условные плотности вероятности наблюдаемого вектора при разных гипотезах имеют вид

;

.

Отношение правдоподобия вычисляется как отношение этих плотностей. В результате имеем

.

Правило выбора решения, основывающееся на отношении правдоподобия, записывается теперь согласно (5.25) следующим образом

или

.

Таким образом, достаточная статистика в рассматриваемом случае представляет собой просто сумму наблюдаемых величин Удобнее достаточную статистику нормировать и решение выносить на основе статистики . Правило выбора решения при этом записывается в виде

.

Найдем плотности вероятности нормированной статистики при обеих гипотезах. Непосредственно из определения статистики получаем

Поэтому

;

.

Графики этих функций изображены на рис. 5.4.

Если основные плотности вероятности достаточной статистики известны, то можно вычислить значения байесовского риска и вероятностей ложной тревоги и пропуска сигнала для правила Неймана-Пирсона или минимаксного правила Причем эти вычисления оказываются проще, чем подобные вычисления, основывающиеся на совместном распределении выборки Полезно также вычислить среднюю вероятность ошибки и рабочую характеристику приемника, реализующего анализируемое правило выбора решения.

Рис 5.4 Условные плотности вероятности достаточной статистики

Согласно определениям для вероятностей пропуска сигнала и ложной тревоги можно записать соответственно

,

.

Здесь при вычислении вероятности пропуска сигнала использована замена переменной интегрирования .

Если предположить, что , так что на основании ф-лы (5.15) имеем , то средняя вероятность ошибки

.

Выделив из отношения правдоподобия достаточную статистику и определив новое значение порога ,  последнюю формулу можно переписать следующим образом

.

Здесь разность между средними значениями статистики  при гипотезах  и  определяет расстояние . Напомним, что для функции  в гл. 2 было дано следующее определение:

.

В этом случае, если вероятности ложной тревоги  и правильного обнаружения   заданы, то необходимые значения порога   и расстояния  можно вычислить с помощью соотношений

.

Так как расстояние  при фиксированных значениях параметров  и  можно увеличивать путем увеличения объема выборки , то можно вычислить объем выборки, необходимый для обеспечения заданных значений  и .

Точки рабочей характеристики минимаксного приемника для частного случая, когда , определяются из соотношения (5.21)

.

Рабочая характеристика минимаксного приемника описывается уравнением

.

Ранее уже отмечалось, что достаточную статистику можно рассматривать как результат преобразования координат пространства наблюдений. Например, при  введем преобразование:

Тогда

;

;

.

Таким образом, в этом «примере условная плотность вероятности новой переменной  не зависит от того, какая из двух гипотез справедлива. Этот факт в общем случае устанавливается соотношением (5.43).

Рассмотрим теперь более общую задачу, связанную с "нормальными случайными величинами. Различные частные случаи этой задачи охватывают многие проблемы теории обнаружения сигналов Будем рассматривать модель наблюдений

,                              (5.44)

где  и  — нормальные случайные величины, а  — известные числа. Введем векторные обозначения:

                                   (5.45)

и будем предполагать, что при гипотезе

           (5.46)

а при гипотезе

             (5.47)

Таким образом, условные плотности наблюдаемых величин имеют вид

;                    (5.48)

.

Отношение правдоподобия и правило выбора решения, основывающееся на отношении правдоподобия, теперь можно записать следующим образом:

;

.            (5.49)

Вычислив логарифмы обеих частей неравенства, для байесовского правила выбора решения получим (при практическом использовании этого правила вместо  необходимо подставлять результат наблюдения — выборку )

       (5.50)

Левую часть этого неравенства можно рассматривать как достаточную статистику

.           (5.51)

Из (5.50) следует, что вычисление таких важных характеристик полученного правила, как вероятности ложной тревоги и пропуска сигнала, по распределениям этой достаточной статистики при различных гипотезах сопряжено со значительными трудностями Это обусловлено тем, что рассматриваемая статистика является нелинейной функцией нормальных случайных величин, вследствие чего ее распределения отличны от нормальных

В более простом, но все еще полезном для приложений случае, когда ковариационные матрицы вектора  при обеих гипотезах одинаковы, т е. , правило выбора решения (5.50) принимает вид

.            (5.52)

Правило (5.50) намного сложнее, чем правило (5.52), поскольку согласно второму с порогом следует сравнивать взвешенную сумму результатов наблюдений, в то время как при использовании первого правила необходимо вычислять значения и разность двух квадратичных форм от результатов наблюдений. Удобно ввести вектор разности средних значений

                    (5.53)

и нормированную скалярную достаточную статистику

.                  (5.54)

Нетрудно показать, что

                     (5.55)

При рассмотрении примера 5.2 было показано, что параметр , названный расстоянием или мерой различия рассматриваемых гипотез, при фиксированном значении порога  определяет качество (т. е. значение байесовского риска) правила выбора решения. В этом примере достаточная статистика также была нормирована таким образом, чтобы ее дисперсия была равна единице. Теперь параметр  удобно определить как разность найденных «средних значений достаточной статистики, деленную на среднеквадратическое отклонение. В этом случае для  можно записать

,            (5.56)

а параметр  интерпретировать как отношение сигнал/шум. Для общей задачи, связанной с гауссовскими случайными величинами с одинаковыми ковариационными матрицами при разных гипотезах, имеем

.                (5.57)

Приведенные соотношения дополнительно упрощаются, если компоненты вектора шума измерений статистически независимы, т. е. Если

.                              (5.58)

Статистика  и параметр  при этом принимают вид

               (5.59)

Эти результаты справедливы в случае векторных наблюдений

,                  (5.60)

когда  имеет размерность . Для того чтобы выписанные ранее соотношения остались справедливыми, достаточно ввести вектор наблюдений   

                  (5.61)

размерности . Здесь

                        (5.62)

 

Часто оказывается, что не только шум измерений, но и само сообщение является случайным. Пусть  - -мерный элемент выборки объема . Эту выборку представим как выборку объема  со скалярными элементами [см. ф-лу (5.61)]. Пусть далее возможны две гипотезы:

                 (5.63)

Будем предполагать, что  и  — нормальные независимые случайные векторы, средние значения которых равны нулю, а ковариационные матрицы

                   (5.64)

известны. Очевидно, что рассматриваемые гипотезы можно определить также и следующим образом:

                 (5.65)

Правило выбора решения для проверки этих гипотез совпадает с правилом (5.49). Отношение правдоподобия при этом имеет вид

.            (5.66)

Достаточная статистика

                           (5.67)

здесь аналогична статистике (5.51). Как уже отмечалось ранее, эта достаточная статистика не является такой простой, как в случае одинаковых ковариационных матриц при разных гипотезах Поэтому для нее желательно найти другие представления.

В простейшем случае независимых наблюдений, когда каждый элемент выборки  является скалярной величиной, имеем  и . Так что достаточная статистика

.

Найдем теперь условное математическое ожидание вектора  при фиксированной выборке , предполагая, что справедлива гипотеза . Согласно определению математического ожидания

.                  (5.68)

Вычислить  можно относительно просто, поскольку известно, что условная плотность вероятности  является нормальной.

Действительно, на основании формулы Байеса можно записать .  Все три плотности вероятности в правой части этой формулы являются нормальными со следующими параметрами:

Следовательно,

.

Приведя это выражение к стандартной форме, в которой обычно записывается нормальная плотность вероятности, получим (предполагая, что справедлива гипотеза )

,                (5.69)

где

                 (5.70)

В следующих двух главах будет подробно описана интерпретация математического ожидания  как оценки сообщения .

Воспользуемся теперь леммой об обращении матриц, на основании которой для рассматриваемого примера можно записать

.

Подставляя это представление для обратной матрицы в ф-лу (5.67), получим выражение для достаточной статистики

.                (5.71)

Используя, наконец, формулу для условного математического ожидания  вектора  при фиксированной выборке , получаем

.               (5.72)

Это выражение можно интерпретировать как дискретную корреляционную обработку. В частном случае, когда , статистика  принимает вид , т. е. действительно может рассматриваться как выборочный корреляционный момент между наблюдаемыми величинами и оценкой . Заметим, что значение  вычисляется по всей имеющейся выборке. В простейшем случае, когда  и  оценка .

Во многих интересных для приложений случаях шум измерений можно считать белым и при вычислениях принять, что . Однако подобное предположение относительно сигнала m обычно недопустимо. Важным для практических приложений является случай, когда сигнал является решением линейного разностного уравнения , где - независимые случайные векторы, каждый из которых распределен по нормальному закону с ковариационной матрицей . В гл. 3 и 4 уже были описаны способы вычисления ковариационных матриц  и  такого сигнала.

Из полученных для достаточной статистики выражений

или

следует, что каждый элемент выборки умножается на другие элементы выборки и соответствующий весовой коэффициент Кроме того, при вычислении значения достаточной статистики необходимо обращать несколько матриц. Однако можно ввести специальное обозначение  и положить

.

Эта матрица может быть вычислена заранее.

Таким образом, в общем случае вычислению подлежит статистика . Эти вычисления далеко не всегда являются простыми, особенно при больших объемах выборки .

Полезно рассмотреть случай непрерывного времени, к которому можно перейти, увеличивая неограниченно число отсчетов на конечном временном интервале наблюдения. Использованный ранее подход к задаче различения гипотез, основанный на увеличении размерности вектора наблюдений, в случае непрерывного времени неприменим, поскольку объем выборки  оказывается неограниченным; он неудобен также при отыскании последовательных правил выбора решения (см. § 5 6). Поэтому задачу сформулируем таким образом, чтобы ее решение можно было получить и для непрерывного случая. Предположим, что шум измерений — белый нормальный, имеет нулевое среднее значение и одну и ту же ковариационную матрицу при обеих гипотезах. Кроме того, здесь будем рассматривать только случай полностью известного сигнала. Более общий вариант этой задачи будет рассмотрен в рамках теории последовательного обнаружения в § 5.7. Таким образам, рассматриваются следующие гипотезы:

                          (5.73)

 

где  и  -  известные сигналы и

.                      (5.74)

Для этих гипотез отношение правдоподобия

.

Его можно переписать следующим образом

,         (5.75)

где

.                          (5.76)

Эта форма записи особенно удобна для отыскания отношения правдоподобия при непрерывном времени.

Правило выбора решения, основывающееся на использовании логарифма отношения правдоподобия, теперь можно записать в виде

.              (5.77)

Правая часть соотношения (5.77), для которой введем обозначение , может быть вычислена заранее и ее значение может храниться в запоминающем устройстве.  является просто порогом, значение которого известно, если известны векторы сигналов  и  ковариационные матрицы , а также заданы априорные вероятности  и  и потери .  Следовательно, вместо (5.77) можно записать

.               (5.78)

На рис. 5.5 изображена структурная схема устройства, реализующего правило (5.78). Это устройство можно интерпретировать как дискретный согласованный фильтр. Поступающие значения выборки  умножаются на значения сигнала . Полученные произведения  являются скалярными величинами, которые накапливаются в сумматоре. После -го шага число, полученное в сумматоре, сравнивается со значением порога . В зависимости от результата сравнения выносится решение принять гипотезу  или . В обычном согласованном фильтре каждый элемент выборки  является скалярной величиной, а диспепсия шума постоянна. Основное назначение согласованного фильтра — формирование достаточной статистики , используется в байесовском правиле выбора решения.

Рис. 5.5 Дискретный согласованный фильтр (векторные сигналы)

При построении правила выбора решения для непрерывного времени будем использовать следующую модель наблюдаемого процесса:

                 (5.79)

где  и  - известные функции времени, a  - нормальный белый шум, среднее значение которого равно нулю, а ковариационная функция

.              (5.80)

При замене этой непрерывной модели наблюдаемого процесса соответствующей ей дискретной моделью вместо (5.79) получим

                   (5.81)

При этом положим, что ковариационная матрица шума

            (5.82)

и при  переходит в ковариационную матрицу

                  (5.83)

шума  с непрерывным временем. Воспользовавшись представлением (5.82), запишем сначала для дискретного случая отношение правдоподобия:

                     (5.84)

Если теперь объем выборки увеличивать так, что ,  то в пределе получим

.           (5.85)

Следовательно, правило выбора решения, основанное на использовании логарифма отношения правдоподобия, можно записать в виде

,              (5.86)

где теперь порог

.             (5.87)

На рис. 5.6  изображена структурная схема байесовского обнаружителя, основной составной частью которого является согласованный фильтр корреляционного типа, аналогичный дискретному согласованному фильтру (см. рис. 5.5).

Рис. 5.6 Согласованный фильтр корреляционного  типа при непрерывном времени

Возможен и другой способ реализации полученного правила выбора решения . Напомним что отклик линейной системы с постоянными параметрами и векторной импульсной характеристикой  на воздействие  можно записать в виде свертки

.             (5.88)

Сравним теперь этот интеграл с интегралом в левой части ф-лы (5.87) Очевидно, что для реализации обнаружителя с использованием простого фильтра достаточно положить

.           (5.89)

Структурная схема обнаружителя с подобным фильтром изображена на рис.5.7. В более простом, но часто встречающемся случае наблюдаемый процесс является одномерным, а дисперсия шума измерений  не зависит от времени и равна . В таких условиях байесовское правило выбора решения принимает вид

.           (5.90)

Рис. 5.7 Возможные способы реализации байесовского  обнаружителя с согласованными фильтрами: 1 – фильтр, согласованный с сигналом , 2 – фильтр, согласованный с сигналом .

При реализации этого правила, следовательно, можно использовать согласованный фильтр с импульсной характеристикой

.                  (5.91)

Сигнальная компонента на выходе такого фильтра определяется выражением

,                       (5.92)

т.е. совпадает со средним значением достаточной статистики. Дисперсия шумовой компоненты на выходе согласованного фильтра равна дисперсии достаточной статистики

.             (5.93)

Таким образом, для скалярного случая отношение сигнал/шум

.                              (5.94)

 Может показаться, что соотношения (5.89) и (5.91) приводят к двум различным определениям согласованного фильтра. Однако представление (5.91) является частным случаем  более общего выражения (5.89) для импульсной характеристики фильтра. Если исходным является представление (5.89), то сигнальная компонента на выходе согласованного фильтра, которая является скалярной величиной, определяется выражением

,                (5.95)

в то время как дисперсия шумовой компоненты

.                 (5.96)

Таким образом, в общем случае отношение сигнал/шум

                           (5.97)

Из этой формулы, как частный случай, получается выражение (5.94).

Снова подчеркнем, что в левой части неравенства (5.86) или неравенства (5.90) записано выражение достаточной статистики. Эта статистика является нормальной случайной величиной, так как представляет собой линейный функционал от нормального случайного процесса . Поэтому вычисление вероятностей ложной тревоги и пропуска сигнала, а также определение рабочей характеристики байесовского приемника и минимаксного правила выбора решения оказываются достаточно простыми.

Другой способ построения байесовского обнаружителя известных сигналов основан на ортогональном разложении наблюдаемого процесса, например, на разложении Карунена-Лоэва Такой подход был использован Ван Триссом [269] и Миддлтоном [163]. Разложение Карунена-Лоэва в данной книге будет использовано при отыскании оптимальных оценок параметров известных сигналов в гл. 6. Перейдем теперь к изучению проблемы проверки сложных гипотез, к которой сводятся задачи обнаружения при наличии неизвестных параметров.