7.4.3. Процессы авторегрессии

Если есть процесс , то будет чистым процессом авторегрессии порядка . В приложении П7.5 показано, что для такого процесса множители и , которые во всех случаях являются существенно менее важными, чем множитель , практически взаимно сокращаются. Это приводит к очень простому результату, что при данных предположениях параметры процесса для имеют апостериорное распределение

. (7.4.7)

В этом случае рельеф суммы квадратов, приближенно совпадающий с рельефом функции правдоподобия при отсутствии априорной информации, совпадает также с рельефом апостериорной вероятности.

Совместное распределение параметров авторегрессии. В приложении П7.5 показано, что для чистого процесса оценки наименьших квадратов для , минимизирующие , имеют вид

, (7.4.8)

где

(7.4.9)

. (7.4.10)

Отсюда следует, что

, (7.4.11)

где

, (7.4.12)

. (7.4.13)

Тогда мы можем записать

. (7.4.14)

Это можно записать и иначе:

, (7.4.15)

где

Отсюда следует, что параметры процесса авторегрессии имеют многомерное -распределение (П7.1.13) с степенями свободы.

На практике для частного случая распределение точно совпадает с -распределением Стьюдента с степенями свободы, причем из общих результатов, полученных выше, следует, что

. (7.4.16)

Величина при больших выборках стремится к и в рамках выборочной теории идентична со стандартной ошибкой для при больших выборках. Однако, используя это и подобные выражения в рамках байесовского подхода, следует помнить, что случайными переменными являются именно параметры (в этом случае ). Такие величины, как и , являющиеся функциями уже полученных данных, рассматриваются как фиксированные.

Приближение нормальным законом. Для выборок размером , которыми мы обычно интересуемся, -распределение может с достаточной точностью аппроксимироваться нормальным распределением. Это означает, что распределение очень близко к -мерному совместному нормальному распределению со средним значением и матрицей ковариаций .

Байесовские области наивысшей плотности вероятности. Суммируя то, что можно узнать о вероятности различных значений по апостериорному распределению, полезно указать область наивысшей плотности вероятности, кратко называемую областью НПВ [104]. Байесовская -я область НПВ имеет следующие свойства:

1) любое значение параметра внутри этой области имеет более высокое значение вероятности, чем вне этой области;

2) апостериорная вероятность этой области равна .

Так как имеет многомерное -распределение, из (П7.1.4) следует, что

(7.4.17)

определяет точную -ю область НПВ для . Для

Кроме того,

Отсюда приближенно область НПВ, определенная (7.4.17), имеет вид

(7.4.18)

и, если положить , идентична с доверительной областью, определенной (7.1.26).

Хотя эти приближенные области и идентичны, нужно помнить, что их интерпретация различна. С точки зрения выборочной теории говорят, что если доверительная область вычислена согласно (7.1.26), то для каждой серии повторных выборок -я часть этих областей будет включать точку с истинным значением параметра. С байесовской точки зрения рассматривается результат единственной фактически наблюдавшейся выборки . В предположении, что априорное распределение вероятности локально равномерно, область НПВ включает -ю часть результирующего вероятностного распределения при данном , обладающую наивысшей плотностью. Другими словами, вероятность того, что значение , вызывавшее данные , лежит внутри НПВ, равна .

Пользуясь (7.4.11), (7.4.12) и (7.4.18) для больших выборок, находим, что приближенная байесовская область НПВ ограничена изолинией, для которой

, (7.4.19)

т. е. точно соответствует доверительной области, определенной (7.1.28).