2.1. Оптимальное оценивание постоянных параметров сигналов

         Рассмотрим задачи, в которых потребителя интересует информация о параметре , например, об угловом положении или дальности радиолокационной цели. Для того, чтобы дать оценку   параметра предполагается получить результаты  эксперимента, распределение которых  зависит от параметра .

         Вместе с тем еще до начала наблюдений могут иметься определенные априорные сведения о возможных значениях параметра. Эти сведения находят свое математическое выражение в априорном распределении  величины .

         Предположим, что априорное распределение значений параметра равномерное:

         Равномерная ПРВ может соответствовать задачам оценки случайной фазы радиосигнала или положения цели по дальности на интервале протяженностью  с центром в точке . Если  и значение  параметра точно известно до проведения опытов, т.е. , то эксперимент не приносит каких-либо новых знаний. Напротив, при  можно говорить об отсутствии дополнительных априорных сведений о параметре . В таком случае  полезная информация может быть извлечена только из наблюдений.

         Множество реальных ситуаций лежит между двумя рассмотренными случаями, и задача оценивания состоит в нахождении способов объединения априорных данных и результатов эксперимента для получения оптимальных оценок. Следует особо подчеркнуть, что понятие оптимальности служит основой решения задач статистического синтеза, т.е. выбора наилучшего образа действий при обработке наблюдений. При синтезе алгоритмов оценивания параметров введение понятия оптимальности должно дать возможность сравнения качества различных процедур, т.е. возможность определения, в каком смысле, скажем, оценка , параметра  лучше или хуже оценки  этого же параметра.

         Одним из возможных способов упорядочения оценок по их качеству является байесовский подход к задаче оценивания [13-16]. Предположим, что проведены наблюдения , на основе которых могут быть построены оценки  параметра .

         Очевидно, качество алгоритма оценивания должно быть связано с величиной ошибки оценивания . Поскольку эта ошибка носит случайный характер, то при построении критерия качества необходимо учитывать, насколько часто в последовательности экспериментов будут появляться большие или меньшие ошибки. В байесовской теории предполагается, что каждому значению ошибки   можно поставить в соответствие определенное числовое значение потерь , к которым она приводит. При этом наименее желательным с точки зрения потребителя ошибкам приписываются наибольшие потери. Байесовским критерием качества оценки является среднее значение потерь:

.         (2.1)

Оптимальной считается такая оценка , для которой средние потери минимальны.        

         Различным функциям потерь  в такой схеме, вообще говоря, соответствуют различные оценки. Однако существует определенный набор условий [16], при котором вид оптимальной оценки не зависит от вида . Эти условия сводятся к требованиям унимодальности и симметрии апостериорного распределения  относительно математического ожидания и симметрии функции потерь относительно .

         В радиотехнических приложениях обычно требуются оценки с малой дисперсией ошибки. При этом апостериорное распределение, как правило, близко к нормальному и удовлетворяется наиболее жесткое условие унимодальности и симметрии апостериорной ПРВ. Таким образом, во многих задачах конечный результат не зависит от выбора любой из симметричных функций потерь и решающим обстоятельством оказывается возможность получения этого результата, т.е. возможность математического решения задачи минимизации (2.1). С этой целью наиболее часто используются квадратичная

             (2.2)

и простая

          (2.3)

функции потерь.

         Для поиска оптимальных байесовских оценок перепишем

выражение (2.1) в виде

,

 где

  (2.4)

–средние по множеству возможных значений параметра  потери при заданных наблюдениях . Анализ приведенных выражений показывает, что минимум средних потерь   будет достигнут, если минимизировать условные потери  в каждой точке  пространства наблюдений. Действительно, минимизация  осуществляется с помощью выбора оценки параметра , зависящей только от . Именно поэтому имеется возможность подобрать для каждой точки  наилучшую оценку , минимизирующую (2.4), а значит и средние потери.

         Для поиска оптимальной оценки при квадратичной функции потерь подставим (2.2) в (2.4), продифференцируем   по  и приравняем производную нулю. Из условия экстремума   находим

.                (2.5)

Следовательно, наилучшей оценкой параметра   при квадратичной функции потерь является математическое ожидание, вычисленное для апостериорного распределения  параметра . Геометрически формула (2.5) определяет координату центра тяжести апостериорной ПРВ.

         Определим теперь правило нахождения оценок при простой функции потерь. Для этого подставим выражение (2.3) в формулу (2.4). Используя фильтрующее свойство дельта-функции , получим следующую величину условных потерь: . Потери будут минимальны, если при обработке экспериментальных данных  вычислить апостериорное распределение    и выбрать оптимальную оценку в точке максимума ПРВ .

         При симметричной унимодальной ПРВ , например, гауссовской, координата центра тяжести совпадает с координатой точки максимума  и, следовательно, в этом случае совпадают и оптимальные оценки для простой и квадратичной функции потерь. Вместе с тем в большинстве практических задач нахождение точки максимума ПРВ   осуществляется значительно проще, чем определение координаты центра тяжести. Поэтому байесовские оценки при простой функции потерь, т.е. оценки по максимуму апостериорного распределения, широко используются в разнообразных приложениях.

         Вычисление точки максимума апостериорной ПРВ обычно выполняется следующим образом. Используя формулу (1.34) применительно к рассматриваемой ПРВ, запишем следующее выражение:

.       (2.6)

Как следует из этой формулы, при определении максимума  по переменной   можно не учитывать число  . Заметим также, что выражение   здесь уже не является ПРВ, поскольку вместо переменных   в ПРВ уже подставлены известные результаты эксперимента. Таким образом, функция  является функцией одной переменной – параметра  и играет основную роль при формировании апостериорной ПРВ. Поэтому введем для функции , называемой функцией правдоподобия, специальное обозначение: .

         Если априорная ПРВ  постоянна на интервале возможных значений оцениваемого параметра, то апостериорная ПРВ (2.6) с точностью до постоянного множителя   совпадает с функцией правдоподобия. Оценка по максимуму апостериорной ПРВ переходит при этом в оценку максимального правдоподобия, т.е. в оценку, максимизирующую функцию правдоподобия .

         Все приведенные рассуждения остаются справедливыми для важного случая оценки нескольких параметров , которые удобно объединить в один вектор  . При этом оптимальные байесовские оценки  минимизируют условные средние потери  и, следовательно, основаны на вычислении апостериорного распределения . Квадратичная функция потерь приводит к оптимальным оценкам в виде математического ожидания апостериорной ПРВ. Простой функции потерь соответствуют оценки, максимизирующие

                              ,                                       

где  – функция правдоподобия.

         Рассмотрим следующий пример, иллюстрирующий взаимосвязь между оценками по максимуму апостериорной ПРВ и максимуму правдоподобия. Предположим, что производятся наблюдения  полезного параметра  на фоне белого гауссовского шума  нулевым средним и дисперсией , т.е.

.                (2.7)

Априорное распределение  будем также полагать нормальным

    (2.8)

со средним значением  и дисперсией . Требуется на основе априорной информации (2.8) и результатов  эксперимента дать оптимальную, в смысле максимума апостериорной ПРВ, оценку параметра  .

         Для решения поставленной задачи вначале найдем функцию правдоподобия. Распределение  при независимых значениях шума    находится как произведение , причем с использованием правил функциональных преобразований получим: . Таким образом,  совместная  ПРВ  запишется в виде:

.                                           (2.9)

После подстановки в это выражение измеренных значений  оно будет определять функцию правдоподобия  .

         Для нахождения максимума  удобно прологарифмировать (2.9), поскольку максимум любой монотонной функции от  находится в той же точке, что и максимум . Находя  и дифференцируя, получим из условия экстремума оценку максимального правдоподобия в виде среднего арифметического сделанных наблюдений:

.                          (2.10)

         Заметим, что дисперсия ошибки оценивания по максимуму правдоподобия определяется формулой:

.

         Для того, чтобы найти оптимальную оценку   по максимуму апостериорной плотности распределения перепишем (2.6) с учетом (2.7) и (2.9) в виде:  .

После дифференцирования по    логарифма апостериорной ПРВ  найдем из условия экстремума следующее выражение для оптимальной оценки:

. (2.11)

         Из полученной формулы следует, что в том случае, когда дисперсия априорного распределения    намного больше дисперсии   оценки  , полученной только на основании эксперимента, то . Напротив, если априорная оценка  имеет малую дисперсию  , то данные эксперимента не учитываются и . В остальных ситуациях оценка (2.11) определяется как среднее взвешенное априорной оценки  параметра и оценки максимального правдоподобия с учетом  их  дисперсий.

         Представим теперь, что в рамках рассмотренного примера процесс оценивания параметра   осуществляется  последовательно во времени и после получения оценки (2.11) по  наблюдению, которую обозначим  , осуществляется еще одно измерение . При этом требуется дать оценку  параметра  по  наблюдениям. Формально для этого можно воспользоваться выражением (2.11) и записать

.     (2.12)

Однако вычисления    по этой формуле, естественно, наводят на мысль о возможности использования предыдущей оценки  для уменьшения числа арифметических операций. Действительно, после ряда несложных, но довольно громоздких выкладок можно получить следующую простую рекуррентную связь между оценками:

            (2.13)

Справедливость этого соотношения может быть доказана с помощью подстановки в него формулы (2.11) для    и учета (2.10).

         Полученный результат (2.13) определяет оптимальный алгоритм последовательного переоценивания параметра    по максимуму апостериорной ПРВ. На каждом шаге анализа (после каждого очередного наблюдения) для получения оценки    используется лишь предыдущая оценка  и измеренное значение . Начальным условием является равенство  .

         Отметим следующие два свойства алгоритмов вида (2.13). Допустим, что исходная задача оценивания усложнена тем, что СВ , имеют различные дисперсии: . Повторяя приведенные выкладки для этого случая, убеждаемся, что процедура оценивания параметра  после замены  на  сохраняет форму (2.13). Другим важным свойством, позволяющим контролировать качество рекуррентного оценивания, является равенство коэффициента , который обозначим , дисперсии ошибки оценивания:

                                     .                                              

         К сожалению, получение оптимальных рекуррентных алгоритмов оценивания и доказательство приведенных свойств на основе преобразования выражений типа (2.12) связано со значительными математическими трудностями. Эти трудности вызваны отсутствием в предлагаемых преобразованиях эффективной методики перехода к рекуррентным соотношениям и будут многократно возрастать при любых попытках расширить класс исходных моделей. В связи с этим рассмотрим другие подходы к построению рекуррентных оценок.

         Будем искать оценку  параметра    на -м шаге оценивания в виде линейной комбинации

                                 (2.14)

оценки , полученной по наблюдениям , и очередного наблюдения . Обозначая ошибку оценивания  и учитывая модель наблюдений , преобразуем (2.14) к следующему  виду:

.                (2.15)

         Нашей задачей является подбор коэффициентов  и , минимизирующих . Анализ (2.15) показывает, что следует положить  или . При этом дисперсия ошибки оценивания  будет минимальна, если выбрать . В этом случае  или , где . После подстановки оптимальных коэффициентов  и  в (2.14) получаем следующую процедуру рекуррентного оценивания:

,      (2.16)

где  дисперсия ошибки оценивания параметра  после  наблюдений.

         Найденное соотношение обобщает (2.13) на случай неравных дисперсий  помех и предоставляет способ рекуррентного вычисления коэффициентов . Но самое главное, что рассмотренный путь к получению оптимальных оценок оказывается значительно короче прямых преобразований и позволяет осуществить дальнейшее расширение возможностей алгоритмов для оценивания изменяющихся параметров сигналов (п.2.3).