6.4. Свойства оценокДо настоящего раздела уже неоднократно использовались такие термины, как оценивание, оценка и устройство, реализующее алгоритм вычисления значения оценки. Под оценкой здесь будем понимать некоторое правило, согласно которому вычисляются частные значения Понятие достаточности статистики было введено в предыдущей главе. Здесь отметим только, что под достаточной будем понимать такую статистику, которая содержит всю информацию, необходимую для построения либо оптимального правила выбора решения, либо оптимальной оценки. В данной главе уже рассмотрено несколько примеров получения достаточной статистики. Из желаемых свойств оценок можно выделить следующие четыре: 1. Несмещенность оценки. 2. Минимум дисперсии в классе несмещенных оценок. 3. Состоятельность или сходимость оценки (состоятельность и сходимость в среднем квадратичном). 4. Эффективность, асимптотическая эффективность, оптимальность в классе асимптотически нормальных оценок. Оценка называется несмещенной, если ее математическое ожидание равно математическому ожиданию оцениваемой величины. Так, если
Можно также воспользоваться эквивалентным выражением
из которого уже совсем очевидно, что вычисляется безусловное математическое ожидание оценки. Если математическое ожидание оценки вычисляется при условии, что значение оцениваемого параметра фиксировано, то для условно несмещенной оценки должно выполняться равенство
для всех
если оценка имеет известное смещение, которое можно исключить, или
если смещение оценки зависит от значения Для любой оценки можно вычислить корреляционную матрицу вектора ошибок оценивания
Таким образом, эта матрица равна сумме ковариационной матрицы вектора ошибок и матрицы, обусловленной смещением оценки Оценка Говорят, что оценка сходится к оцениваемой величине, если ее точность возрастает с увеличением объема выборки. Введем обозначение
Говорят, что оценка состоятельна в среднем квадратичном или сходится в среднем квадратичном, если
Как следует из ф-лы (6.35), ковариационная матрица вектора ошибок и смещение этой оценки сходятся к нулю. Состоятельность оценок можно также определить, используя оператор условного математического ожидания, когда усреднение осуществляется при фиксированном значении параметра Оценка
- при использовании оператора безусловного математического ожидания и
- при использовании оператора условного математического ожидания. Здесь Наконец, оценка Очень важное неравенство для дисперсии произвольной скалярной оценки
или, что эквивалентно,
Для смещенной оценки неравенство Крамера—Рао принимает вид
Если же применить оператор безусловного математического ожидания, то для смещенной оценки получаем
Для знаменателей дробей, стоящих в правых частях этих неравенств, справедливы также следующие выражения:
При анализе точности оценок максимального правдоподобия используют обычно неравенства с оператором условного математического ожидания, в то время как при анализе байесовских оценок применяют неравенства с операторами безусловного математического ожидания. Аналогичные неравенства могут быть получены для векторного параметра. Соответствующие выкладки полностью повторяются. Так, вместо неравенства (6.40) теперь для ковариационной матрицы несмещенной оценки получаем
Из этого выражения, в частности, следует, что равенство здесь достигается только в том случае, если
Если эффективная оценка не существует, то вместо неравенства Крамера—Рао лучше использовать более точную границу Бхаттачария. Возможность использования этой границы для ошибки оценивания обсуждалась Возенкрафтом и Джекобсом [284]. Однако практическое применение этой границы наталкивается на значительно большие трудности, чем при использовании неравенства Крамера—Рао. Поэтому здесь будет приведено доказательство лишь неравенства (6.40) для скалярного параметра и условной дисперсии оценки, вычисляемой при фиксированном значении этого параметра. Начнем с выражения для условного математического ожидания оценки и отметим, что
Продифференцировав обе части этого равенства по
Так как
то равенство (6.49) можно записать следующим образом:
Используя теперь для оценки интеграла в левой части этого равенства неравенство Шварца, получаем
Отсюда уже легко получается неравенство Крамера—Рао, которое, таким образом, доказано для этого частного случая. Равенство в (6.52) достигается, если
Если для некоторой оценки неравенство Крамера—Рао переходит в равенство и, следовательно, справедливо представление (6.53), то можно показать, что эта оценка является эффективной. Если плотности вероятности Пример 6.9. Рассмотрим случай скалярного параметра, когда
где случайный параметр
Если перейти к модели с дискретным временем и выписать соответствующие плотности вероятности, то можно найти байесовскую оценку и оценку максимального правдоподобия для параметра
Рассмотрим сначала неравенство для среднеквадратической ошибки оценки максимального правдоподобия. В общем случае эта оценка будет смещенной, так что необходимо использовать ф-лу (6.42). Вычисления оказываются простыми, и в результате для условной среднеквадратической ошибки получаем следующую нижнюю границу:
где Выражение для числителя
|