6.4. Свойства оценок

До настоящего раздела уже неоднократно использовались такие термины, как оценивание, оценка и устройство, реализующее алгоритм вычисления значения оценки. Под оценкой здесь будем понимать некоторое правило, согласно которому вычисляются частные значения , соответствующие частным выборкам . Другими словами, оценка есть некоторая случайная величина. Под оцениванием здесь будем понимать процесс получения частных значений оценок.

Понятие достаточности статистики было введено в предыдущей главе. Здесь отметим только, что под достаточной будем понимать такую статистику, которая содержит всю информацию, необходимую для построения либо оптимального правила выбора решения, либо оптимальной оценки. В данной главе уже рассмотрено несколько примеров получения достаточной статистики.

Из желаемых свойств оценок можно выделить следующие четыре:

1. Несмещенность оценки.

2. Минимум дисперсии в классе несмещенных оценок.

3. Состоятельность или сходимость оценки (состоятельность и сходимость в среднем квадратичном).

4. Эффективность, асимптотическая эффективность, оптимальность в классе асимптотически нормальных оценок.

Оценка называется несмещенной, если ее математическое ожидание равно математическому ожиданию оцениваемой величины. Так, если , то говорят, что оценка безусловно несмещена. Это равенство можно записать несколько иначе:

. (6.30)

Можно также воспользоваться эквивалентным выражением

, (6.31)

из которого уже совсем очевидно, что вычисляется безусловное математическое ожидание оценки. Если математическое ожидание оценки вычисляется при условии, что значение оцениваемого параметра фиксировано, то для условно несмещенной оценки должно выполняться равенство

(6.32)

для всех . Если оценка является смещенной, то эти два условия нарушаются, так что для безусловного и условного математических ожиданий получаем:

; , (6.33)

если оценка имеет известное смещение, которое можно исключить, или

; , (6.34)

если смещение оценки зависит от значения оцениваемого параметра и, следовательно, неизвестно; в этом случае смещение оценки устранить невозможно.

Для любой оценки можно вычислить корреляционную матрицу вектора ошибок оценивания

. (6.35)

Таким образом, эта матрица равна сумме ковариационной матрицы вектора ошибок и матрицы, обусловленной смещением оценки . Аналогичное представление для корреляционной матрицы вектора ошибок можно получить с применением оператора усреднения при фиксированном значении параметра .

Оценка называется несмещенной оценкой с минимальной дисперсией (условно минимальной или безусловно), если она несмещена [т. е. если для нее справедливо равенство (6.30) или (6.32)], и, кроме того, соответствующая ей ковариационная матрица меньше ковариационной матрицы вектора ошибок любой другой несмещенной оценки.

Говорят, что оценка сходится к оцениваемой величине, если ее точность возрастает с увеличением объема выборки. Введем обозначение для оценки параметра по выборке объема . Оценка называется состоятельной, если для любого

. (6.36)

Говорят, что оценка состоятельна в среднем квадратичном или сходится в среднем квадратичном, если

. (6.37)

Как следует из ф-лы (6.35), ковариационная матрица вектора ошибок и смещение этой оценки сходятся к нулю. Состоятельность оценок можно также определить, используя оператор условного математического ожидания, когда усреднение осуществляется при фиксированном значении параметра .

Оценка , состоятельная в среднем квадратичном, называется эффективной, если для любой другой оценки справедливы неравенства:

(6.38)

- при использовании оператора безусловного математического ожидания и

(6.39)

- при использовании оператора условного математического ожидания. Здесь ; .

Наконец, оценка называется наилучшей в классе асимптотически нормальных оценок, если распределение случайного вектора при стремится к нормальному со средним значением, равным нулю, и ковариационной матрицей и не существует другой оценки , такой, что вектор при асимптотически нормален со средним значением и ковариационной матрицей , такой, что .

Очень важное неравенство для дисперсии произвольной скалярной оценки параметра установлено Крамером [48] и Рао [190] (неравенство Крамера—Рао). Они показали, что для любой несмещенной оценки

(6.40)

или, что эквивалентно,

. (6.41)

Для смещенной оценки неравенство Крамера—Рао принимает вид

. (6.42)

Если же применить оператор безусловного математического ожидания, то для смещенной оценки получаем

. (6.43)

Для знаменателей дробей, стоящих в правых частях этих неравенств, справедливы также следующие выражения:

(6.44)

(6.45)

При анализе точности оценок максимального правдоподобия используют обычно неравенства с оператором условного математического ожидания, в то время как при анализе байесовских оценок применяют неравенства с операторами безусловного математического ожидания.

Аналогичные неравенства могут быть получены для векторного параметра. Соответствующие выкладки полностью повторяются. Так, вместо неравенства (6.40) теперь для ковариационной матрицы несмещенной оценки получаем

. (6.46)

Из этого выражения, в частности, следует, что равенство здесь достигается только в том случае, если

. (6.47)

Если эффективная оценка не существует, то вместо неравенства Крамера—Рао лучше использовать более точную границу Бхаттачария. Возможность использования этой границы для ошибки оценивания обсуждалась Возенкрафтом и Джекобсом [284]. Однако практическое применение этой границы наталкивается на значительно большие трудности, чем при использовании неравенства Крамера—Рао. Поэтому здесь будет приведено доказательство лишь неравенства (6.40) для скалярного параметра и условной дисперсии оценки, вычисляемой при фиксированном значении этого параметра.

Начнем с выражения для условного математического ожидания оценки

и отметим, что . Запишем

. (6.48)

Продифференцировав обе части этого равенства по , получим

. (6.49)

Так как

, (6.50)

то равенство (6.49) можно записать следующим образом:

. (6.51)

Используя теперь для оценки интеграла в левой части этого равенства неравенство Шварца, получаем

. (6.52)

Отсюда уже легко получается неравенство Крамера—Рао, которое, таким образом, доказано для этого частного случая. Равенство в (6.52) достигается, если

. (6.53)

Если для некоторой оценки неравенство Крамера—Рао переходит в равенство и, следовательно, справедливо представление (6.53), то можно показать, что эта оценка является эффективной. Если плотности вероятности или являются нормальными, то эффективные оценки существуют.

Пример 6.9. Рассмотрим случай скалярного параметра, когда

; ,

где случайный параметр статистически не связан с процессом ; — известная функция и

; , ; .

Если перейти к модели с дискретным временем и выписать соответствующие плотности вероятности, то можно найти байесовскую оценку и оценку максимального правдоподобия для параметра . Поэтому, приняв, что является дисперсией шума при дискретном времени, запишем:

;

Рассмотрим сначала неравенство для среднеквадратической ошибки оценки максимального правдоподобия. В общем случае эта оценка будет смещенной, так что необходимо использовать ф-лу (6.42). Вычисления оказываются простыми, и в результате для условной среднеквадратической ошибки получаем следующую нижнюю границу:

где — смещение оценки максимального правдоподобия.

Выражение для числителя может быть найдено из (6.48) или из (6.49). Однако в общем случае эта задача может оказаться довольно трудной, особенно тогда, когда смещение оценки зависит от значения оцениваемого параметра. Неравенством (6.43) можно воспользоваться для отыскания нижней границы значений безусловной среднеквадратической ошибки. Соответствующие неравенства для непрерывного времени можно получить с помощью предельного перехода, неограниченно увеличивая число отсчетов на интервале наблюдения. При этом следует заменить на . Для условной среднеквадратической ошибки при непрерывном времени получаем