6.6. Линейные оценки с минимальной среднеквадратической ошибкойВ данном параграфе будет изложен способ оценивания, не требующий знания полных вероятностных характеристик наблюдаемого процесса и оцениваемого параметра. Однако это будет достигнуто путем введения следующего ограничения: оптимальная оценка должна быть найдена в классе оценок, являющихся взвешенными линейными комбинациями элементов выборки. В следующем параграфе будет обсуждаться еще один метод оценивания, для применения которого вообще не требуется знать вероятностные характеристики ни шума, ни оцениваемого параметра. Сначала рассмотрим следующую модель наблюдаемого процесса:
Здесь процессы
и не обязательно является нормальным. Предположим далее, что функция распределения векторного параметра
всегда будем считать известными. Наилучшая оценка параметра
Оптимальной в этом классе будем называть оценку, для которой след ковариационной матрицы вектора ошибок
минимален. Такую оценку в дальнейшем будем называть линейной оценкой с минимальной дисперсией и обозначать символом Простейшее требование, которое должно быть выполнено, состоит в том, чтобы искомая оптимальная оценка была несмещенной. Вычисляя математические ожидания от левой и правой частей равенства (6.142), получим
Отсюда следует, что для несмещенной оценки должно выполняться равенство
Чтобы найти линейную оценку с минимальной дисперсией, необходимо минимизировать значение следа
Для решения этой задачи используем методы вариационного исчисления [202, 223]. Пусть
где
то это равенство будет справедливо при любой функции
Это будет действительно так, если
или, что эквивалентно, для любого такого, что
или
где
Следовательно, если справедливо равенство (6 149), то необходимо справедливо и равенство (6 150). Уравнение (6.149) часто записывается в интегральной форме. Эту запись можно получить, если в (6.149) изменить порядок следования символов под знаками ковариации, а затем в получившееся уравнение подставить выражение (6.145), положив
где Если обе части ур-ния (6.149) умножить на
которое чаще записывается в виде
Согласно этой чрезвычайно важной лемме оптимальная линейная оценка с минимальной дисперсией ортогональна вектору ошибок оценивания. Заметим, что явных выражений для Способы получения явных выражений для весовой функции Пример 6.14. Линейные задачи § 6.2, 6.3 и 6.5 можно теперь решить с использованием леммы об ортогональном проецировании или уравнения Винера — Хопфа. Нелинейные модели, рассматривавшиеся в § 6.2 и 6.3, такими способами проанализировать нельзя. Проблема нелинейного оценивания с минимальной среднеквадратической ошибкой будет основательно изучена в гл 9. Здесь приведем решение задачи, уже рассмотренной в примере 6.1 Условия этого примера сохраним неизменными и предположим, что или
Таким образом, в условиях примера 6.1 для матрицы
Решение этого уравнения имеет вид
Итак, оптимальная оценка с минимальной дисперсией
Это выражение для оценки получено в результате прямого применения леммы об обращении матриц. Оно совпадает с выражением, полученным в примере 6.1. Эти же результаты могут быть получены в несколько иной форме. Будем считать, что случайные векторы
Таким образом,
Если средние значения рассматривающихся здесь случайных векторов не равны нулю, то нетрудно показать, что
Вернемся снова к исходной модели наблюдаемого процесса
Попытаемся теперь оценить значение процесса
где
Эту задачу минимизации можно решить тем же способом, который уже привел к ур-ниям (6.150) — (6.153). В результате приходим еще к одному варианту записи утверждения леммы об ортогональном проецировании: для любого
или
где Выписанное здесь уравнение является уравнением Винера—Хопфа. Другой вариант записи этой же леммы
Равенство должно иметь место для всех значений
обозначает ошибку оценивания. Именно эта формулировка леммы об ортогональном проецировании является достаточно общей, и постоянно будет использоваться в дальнейшем при обсуждении проблем предсказания, фильтрации и некоторых задач сглаживания. Отметим также, что не является принципиальным тот факт, что лемма сформулирована для случая с непрерывным временем. Точно также можно было бы рассмотреть задачу фильтрации процесса с дискретным временем. В этом случае задача оптимизации сводится к решению уравнения
где
Лемма об ортогональном проецировании при дискретном времени записывается в виде
Интересно и важно отметить также, что ошибка оценивания здесь снова ортогональна наблюдаемому процессу, поскольку из ур-ния (6.161) следует, что
Подчеркнем в заключение, что, хотя уравнение Винера—Хопфа и лемма об ортогональном проецировании для общего случая получены легко, решение этих уравнений не является столь же простой задачей. Возможные способы решения таких уравнений достаточно подробно будут обсуждаться в следующих двух главах.
|