§ 5. Сравнение байесова метода оценивания и оценивания методом максимума правдоподобия

Рассмотренные методы оценивания не являются равнозначными ни по сложности их реализации, ни по эффекту, который может быть с их помощью получен. Наибольшую трудность в реализации метода максимума правдоподобия представляет отыскание решения системы уравнений

.             (3.9)

Хотя система уравнений, вообще говоря, не является линейной, численное решение ее не составляет принципиальной трудности, тем более что для широкого класса функций существует лишь единственное решение (3.9).

Реализация байесовой стратегии – задача значительно более трудная. Как правило, эта стратегия может быть реализована лишь тогда, когда удается провести аналитическое интегрирование выражения

.             (3.10)

Численное интегрирование (3.10) – задача чрезвычайно трудоемкая из-за высокой кратности интеграла (вектор  обычно имеет большую размерность).

В свою очередь метод максимума правдоподобия менее привлекателен, чем байесов: теория гарантирует лишь асимптотическую эффективность метода.

Байесова процедура имеет интерпретацию оптимальной стратегии в игре с известной смешанной стратегией противника. Правда, при ее реализации требуются сведения о плотности априорного распределения параметров , что не всегда имеется у исследователя. Однако известно (теорема С. Н. Бернштейна), что влияние априорных сведений на получение апостериорной плотности распределения вероятностей падает с ростом объема выборки. В случае, когда нет никаких иных сведений, обычно пользуются равномерным законом априорных распределений параметров . Таким образом, ситуация такова, что при оценивании плотности распределения желательно получить байесову оценку, хотя найти ее часто бывает крайне трудно. Когда получение байесовой оценки невозможно, используются оценки метода максимума правдоподобия.

Ниже, для первого класса распределений будут приведены оценки параметров методом максимума правдоподобия и байесовы оценки. Для второго класса распределений будут приведены оценки параметров методом максимума правдоподобия; будет показано, в чем состоят трудности при получении байесовых оценок, и, наконец, будут найдены байесовы оценки для некоторых специальных видов ковариационных матриц .