§ 4. Байесов принцип восстановления

Байесов принцип восстановления плотности распределения основан на использовании формулы Байеса:

.

Пусть известна априорная плотность распределения вероятностей  вектора параметров , которая характеризует предполагаемую возможность осуществления различных значений  до того как проведен эксперимент (дана выборка). Апостериорная вероятность  характеризует возможность осуществления различных значений  после того, как к априорному знанию добавлено знание, извлеченное из экспериментальных данных . В этом случав формула Байеса утверждает, что апостериорная вероятность параметра  получается умножением априорной вероятности на функцию правдоподобия

и делением на вероятность данного эксперимента

.

Иначе говоря, справедлива формула

,

где

,

если параметры  непрерывны, и

,

если значения параметра  дискретны.

Таким образом, с помощью формулы Байеса по априорному распределению вероятностей параметров  и результатам эксперимента может быть вычислена плотность апостериорного распределения вероятностей .

Теперь задача заключается в том, чтобы, зная плотность  определить искомый параметр.

Здесь может быть несколько идей оценивания.

1. В качестве искомого значения вектора параметров выбирается такое , которое доставляет максимум функции .

2. В качестве искомого значения вектора параметров выбирается математическое ожидание значения , т. е.

.

3. Принята и такая идея восстановления, когда с помощью плотности распределения  конструируется плотность  по правилу

,                    (3.5)

т. е. в качестве оценки выбирается математическое ожидание плотности . Вообще говоря, полученная в результате восстановления (3.5) плотность  вовсе не должна принадлежать рассматриваемому параметрическому семейству . Поэтому, строго говоря, рассматриваемый метод конструирования плотности  нельзя называть восстановлением функции в классе , тем не менее оп получил название байесовой стратегии восстановления функции .

Байесова оценка плотности распределения вероятностей обладает замечательной особенностью, делающей получение ее крайне желательной. Она реализует оптимальную стратегию в следующей игре с «природой». Игра состоит в том, чтобы «угадать» ход, сделанный природой. Функция  задает вероятность того, что природа назначит вектор  в качестве параметра плотности распределения . Пусть теперь дана выборка длины  из генеральной совокупности с плотностью . Стратегия игрока заключается в том, чтобы задать такую функцию , которая была бы как можно «ближе» к . «Партия» в такой игре определяется стратегией природы , стратегией игрока  и случайной выборкой . Величина проигрыша в этой игре

.              (3.6)

Средний проигрыш игрока в игре определяется выражением

,                  (3.7)

т. е. (3.7) получается усреднением (3.6) по стратегиям природы и всевозможным реализациям выборки.

Замечательное свойство байесовой оценки заключается в том, что она минимизирует средний проигрыш игрока, который знает смешанную стратегию природы . Иначе говоря, оптимальная стратегия игрока определяется как

.

Докажем это важное для понимания значения байесовых оценок утверждение.

Итак, требуется найти такое , которое минимизирует функционал

.                     (3.8)

Обозначим

и изменим порядок интегрирования, после чего (3.8) примет вид

.

Преобразуем теперь функцию :

.

Обозначим

,

.

Справедливо равенство

.

Таким образом, функционал  распадается на два слагаемых

,

где

,

.

Первое слагаемое не зависит от функции . Поэтому минимизация  эквивалентна минимизации второго слагаемого .

Минимум этого слагаемого равен нулю и достигается тогда, когда

.