Глава 1. Обзор содержания книги

Одна из основных задач, с которой приходится сталкиваться инженерам (а также и большей части человечества), заключается в том, чтобы наилучшим образом извлечь из  наблюдений данные, необходимые для принятия решения. В этой книге изложены математические процедуры нахождения оптимальных решений в условиях, когда на эти решения оказывают влияние все имеющиеся в наличии данные. Эту процедуру мы называем оцениванием. Последнее, по существу, связано с понятием информация, которое мы определим как совокупность сведений, полученных в результате принятия решения.

Задача оценивания далеко не нова и относится, по крайней мере, к временам Лежандра [135] и Гаусса [75]. Гауссу приписывают первое употребление понятия оценивания (в приложении к расчету орбит) на основе его (высказывания о том, что наиболее вероятным значением оцениваемого параметра является такое, при котором минимизируется сумма квадратов разностей между действительно наблюдаемыми и вычисленными значениями, умноженная на весовой коэффициент, отражающий относительное доверие к наблюдениям. Это принцип минимальной среднеквадратичной оценки, который будет подробно обсуждаться в гл 6 и 9.

Будем рассматривать теорию оценивания в приложении ко многим различным областям. Так, в теории связи чаще всего определяют характеристики передаваемых сообщений по информации, извлеченной из принимаемых сигналов, которые представляют собой искаженные шумом модулированные передаваемые сообщения. Теория управления используется при разработке автоматических систем, которые управляют установками на основании наблюдений за окружающей средой (или за действиями противника). При исследовании операций или техническом проектировании решаются задачи распределения ресурсов, товарного учета, программирования и т. п.

Для использования методов теории оценивания в конкретной инженерной задаче эта задача должна быть сформулирована математически на языке теории вероятностей и случайных процессов. После изложения основных положений этих теорий рассмотрим методы теории оценивания и их приложения к задачам связи и управления. В заключение будут приведены эффективные алгоритмы решения упомянутых задач. Материал в книге распределен по главам следующим образом.

Глава 2. Основы теории вероятностей. Теория вероятностей изучает усредненные характеристики эмпирических событий. Эти характеристики образуют совокупность утверждений, имеющих различную степень уверенности относительно их справедливости. Хотя и предполагается, что читатель имеет предварительное представление о вероятности, в гл. 2 дается краткий обзор основных положений теории вероятностей. Основное внимание уделяется усреднению, поскольку (как будет показано) средние от функции случайных величин постоянно используются при определении оптимальных оценок. Подчеркивается различие между априорными и апостериорными (или условными) плотностями вероятностей

Глава 3. Случайные процессы. Здесь рассматриваются случайные процессы, являющиеся функциями времени. Вводятся такие важные понятия, как корреляция и ковариация, которые являются мерой временной связи случайных процессов . Наконец, значительное внимание уделено реакции линейных непрерывных и дискретных систем на входной сигнал, представляющий собой случайный процесс.

Глава 4. Нормальные марковские процессы и стохастические дифференциальные уравнения. Разработка эффективных алгоритмов оценивания часто бывает возможна только в тех случаях, когда статистика нормальная. Вследствие того, что процессы с нормальным распределением в дальнейшем изложении будут играть весьма важную роль, в гл. 4 дается детальное рассмотрение нормальных процессов. Приводится центральная предельная теорема, использование которой позволяет (к счастью) аппроксимировать нормальным процессом многие случайные процессы.

Допущение марковости, означающее, что знание настоящего отделяет прошедшее от будущего, также справедливо для широкого класса задач и будет использовано в дальнейшем изложении. Эго допущение придает особую важность понятию условного среднего, введенному в гл 2 . Сначала более детально рассматриваются нормальные марковские процессы в линейных системах. При исследовании нелинейных систем выявляется, что обычные правила дифференциального и интегрального исчисления не всегда применимы Рассматривается стохастическое исчисление Ито, позволяющее решать многие фундаментальные задачи, включающие в себя преобразования случайных процессов в нелинейных системах Решение уравнения Фоккера-Планка в частных производных и его приближенное решение дают возможность получить закон изменения среднего и дисперсии в непрерывных нелинейных системах Использование теоремы об условном среднем для нормальных случайных процессов позволяет найти среднее и дисперсию процессов в дискретных нелинейных системах.

Глава 5. Теория решений. Часто теорию решений считают отличной от теории оценивания и эти два предмета рассматриваются как два основных раздела в статистике. Здесь, напротив, упор делается на сходство теорий оценивания и обнаружения. До гл. 4 включительно в основном рассматриваются случайные сигналы и их прохождение через линейные и нелинейные системы. В гл. 5 рассматривается (вопрос: присутствует ли сигнал в смеси с шумом?

Возможно, наиболее важной областью приложения теории решений является оптимальное обнаружение сигналов на фоне помех и шумов. Задаваясь величиной потерь, связанных с принятием различных решений, можно определить порог, с которым надлежит сравнивать наблюдения. В главе рассматриваются как детерминированные, так и случайные сигналы в шуме, двоичные и -ичные процессы принятия решения, а также проверки гипотез при фиксированном размере выборки и при последовательном анализе. Наконец, задача теории решений формулируется в терминах переменных состояния, что дает возможность установить связь между теорией решений и теорией оценивания.

Глава 6. Основы теории оценивания. Эта глава посвящена некоторым основным аспектам оценивания состояний и параметров — второй основной области статистических решений. Основные результаты относятся к так называемым точечным оценкам.

Сначала рассматривается байесовская теория оценивания как логическое продолжение байесовской теории решений, представленной в гл. 5. При недостатке априорной информации об оцениваемых параметрах используется классическая оценка максимального правдоподобия. Будет сформулирован ряд свойств оценок, а также будет дано понятие псевдобайесовских оценок и проведен анализ ошибок.

Затем в предположении, что известны лишь два первых момента распределения сигнала и шума, вводится ограничение линейности оценки. Используя лемму ортогонального проектирования и уравнение Винера-Хопфа, «которые являются двумя наиболее существенными в теории решений и теории оценивания, определяется оптимальная линейная оценка.

И, наконец, для случая, когда полностью отсутствуют априорные данные о сигнале и шуме, вводится оценка по методу наименьших квадратов.

Если соответствующим образом выбрать весовые матрицы и модели оценок, то можно показать, что такая оценка эквивалентна оценке максимального правдоподобия или байесовской оценке.

Глава 7. Оптимальный линейный фильтр.  Большинство оценок, приведенных в гл 6, не являются ни последовательными, ни рекуррентными в том смысле, что .наблюдения не обрабатываются по мере их получения и оценка не «корректируется по мере того, как поступает новая информация Для получения оптимальной оценки при помощи методов гл. 6 все наблюдения обрабатываются одновременно Если же наблюдения обрабатываются по мере их поступления, то может быть получена значительная экономия объема вычислений. Часто такая последовательная обработка следует из самой природы оценки.

В гл. 7 paссматривается решение задачи о последовательной нестационарной линейной оценке с минимальной дисперсией ошибки, данное Калманом, Бьюси и другими, как развитие основной работы Винера. Вначале рассматривается дискретный вариант задачи, при этом для решения используется лемма ортогонального проектирования. Затем для того, чтобы можно было использовать байесовский метод, вводится предположение о нормальном законе распределения сигнала и шума. При этом будет показано, что линейная оценка с минимальной дисперсией ошибки совпадает с байесовской оценкой.

Алгоритмы непрерывного во времени оценивания получаются, если предположить, что выборки производятся достаточно часто. Приводятся результаты для классического фильтра Винера и обсуждаются вопросы, связанные с устойчивостью алгоритмов и их асимптотическими характеристиками.

Глава 8. Обобщение результатов теории оптимальной линейной фильтрации. Основное предположение, используемое в гл. 7, состоит в том, что шумы объекта и шумы измерения — белые. Для учета коррелированности шумов объекта достаточно тривиальное расширение вектора переменных состояния. Значительно сложнее определить оптимальный фильтр, если коррелированы шумы, присутствующие в наблюдении или измерении. В связи с этим предлагается несколько методов обработки сигналов для различных позклассов задачи измерения коррелированного шума.

Последовательные процедуры, приведенные в гл. 7, не приспособлены для Оценок, учитывающих наблюдения, поступающие в более позднее время. Однако во многих задачах учет таких наблюдений, так называемое сглаживание, весьма желателен. В гл. 8 дается новый метод синтеза алгоритмов сглаживания для фиксированного интервала, фиксированного запаздывания и фиксированной  точки.

Далее обсуждается влияние некорректного выбора априорных дисперсий параметров и моделей сообщения и наблюдений, а также излагаются процедуры анализа ошибок и устойчивости при фильтрации и сглаживании Глава заканчивается рассмотрением понятия расходимости, определяющего различие между оценкой состояния и самим состоянием, которое возрастает во времени.

Глава 9. Нелинейное оценивание. Заключительная глава посвящена задачам нелинейного оценивания. Вновь рассматриваются стохастические дифференциальные уравнения, приведенные  в гл.4 Для случая, когда оцениваемый вектор переменных состояния зависит от наблюдения, выведено уравнение Фоккера-Планка Приближенные решения этого уравнения в частных производных для нелинейной фильтрации в непрерывных системах приводят к физически реализуемым алгоритмам вычислений. Затем показано, в каких случаях дискретная оценка максимальной апостериорной вероятности эквивалентна оценке, полученной по методу наименьших квадратов.

Обобщенные алгоритмы нелинейной фильтрации для дискретного и непрерывного случаев получаются с помощью линеаризации нелинейных моделей сообщений и наблюдений и применения теории линейной фильтрации. С помощью теорем об условных средних нормальных случайных величин получены псевдобайесовские алгоритмы (нелинейной дискретной фильтрации. Приведен пример, иллюстрирующий сходство и различие некоторых алгоритмов нелинейной фильтрации. Наконец, представлены байесовские алгоритмы сглаживания и предсказания.

Библиография. В библиографии дан в алфавитном порядке список многих ранее опубликованных работ, относящихся к теории оценок (и ее приложениям в связи и управлении. Список снабжен примечаниями, в которых указано, к какому разделу(ам) или главе(ам) больше всего относится данная ссылка, для того чтобы ориентировать читателя при выборе работ, подходящих к данному разделу.