2.2. Метод максимального правдоподобия

         Прежде чем перейти к задачам с изменяющимися параметрами, рассмотрим более подробно оценивание постоянных параметров при равномерном априорном распределении . В этом случае оптимальным байесовским методом нахождения оценок при простой функции потерь является метод максимального правдоподобия. Этот же метод является основным и в том случае, когда априорное распределение не задано. Тогда говорят об оценке неизвестного параметра  по наблюдениям .

         Качество оценок неизвестных параметров принято определять с помощью следующих основных характеристик.

         1. Несмещенность. Оценка  называется несмещенной оценкой параметра , если математическое ожидание этой оценки равно оцениваемому параметру, т.е. .

         2. Состоятельность. Оценка  параметра  называется состоятельной, если она сходится по вероятности к оцениваемому параметру при неограниченном увеличении числа опытов , т.е. при любом  выполняется условие . С помощью неравенства Чебышева [1-3] можно показать, что достаточным условием состоятельности несмещенной оценки является уменьшение дисперсии ошибки до нуля при .

         3. Эффективность. Оценка  называется эффективной, если средний квадрат ошибки, вычисленный для , не больше, чем для любой другой оценки  этого параметра:

.

         Для несмещенной оценки средний квадрат ошибки равен дисперсии. Поэтому эффективная несмещенная оценка определяется из условия минимума дисперсии ошибки .

         Существует неравенство [15], с помощью которого можно определить нижнюю границу дисперсии несмещенных оценок. Это позволяет на основе сравнения действительного значения дисперсии ошибки с минимальным дать характеристику качества той или иной оценки.

         Предположим, что границы области значений , где ПРВ  отлична от нуля, не зависят от . Пусть –несмещенная оценка параметра , т.е.

                      ,                               

 где .

         Продифференцируем обе части этого равенства по , используя предположение о независимости пределов интегрирования от . В результате получим:

или

.

         Последнее выражение с учетом основной теоремы о математическом ожидании можно компактно переписать следующим образом:

.         (2.17)

Кроме того, из очевидного условия

дифференцированием по  находим  . Умножая правую и левую части этого равенства на  и вычитая из (2.17), получим

. (2.18)

         Левая часть (2.18) представляет ковариацию  двух СВ  и , имеющих нулевые средние. Как известно,  или . После подстановки выражений для  и  в это неравенство получим с учетом (2.18) следующее соотношение:

.           (2.19)

         При   соотношение (2.19) можно переписать в виде, известном как неравенство Рао-Крамера [15]:

,                             (2.20)

где  – дисперсия ошибки оценивания параметра .

         Неотрицательная величина    называется информацией, содержащейся в выборке (по Р.Фишеру). При независимых наблюдениях

и

.

Так как , а дисперсия суммы независимыых СВ равна сумме дисперсий, то количество информации по Фишеру для независимых  находится по формуле:

,                        (2.21)

где . При независимых наблюдениях с одним и тем же распределением  количество информации  пропорционально числу   наблюдений. В этом случае (2.20) запишется в виде:

.                          (2.22)

         Правая часть неравенства Рао-Крамера определяет нижнюю границу  для дисперсии ошибки оценивания параметра  при заданной ПРВ  наблюдений. Если удается найти несмещенную оценку  с дисперсией , то эта оценка будет эффективной. Однако далеко не всегда минимальная дисперсия ошибки, т.е. дисперсия  эффективной оценки, совпадает с нижней границей . Во многих случаях  .

         Рассмотрим два примера нахождения нижних границ дисперсии ошибки при оценивании параметров нормального и экспоненциального распределений. Предположим, что производятся независимые наблюдения  с ПРВ

                      ,

содержащей неизвестный параметр  – математическое ожидание СВ . Запишем выражение для , найдем производную  и количество информации  в одном наблюдении. Поскольку , то для дисперсии любой оценки  параметра  справедливо неравенство . В рассмотренной задаче для оценки математического ожидания можно предложить среднее арифметическое наблюдений .          Дисперсия этой оценки

совпадает с нижней границей. Следовательно, предложенная оценка является эффективной.

         Другим примером может быть оценка параметра  экспоненциального распределения . Нижняя граница дисперсии ошибки равна , так как . Вместе с тем анализ всех возможных оценок  показывает, что нижней границы  достичь не удается. Минимальную дисперсию , но большую чем , имеет эффективная несмещенная оценка . Изменим условия этого примера и поставим задачу оценки параметра  экспоненциального распределения:

. Тогда  , и существует эффективная оценка , дисперсия которой  совпадает с нижней границей .

         В каких же случаях эффективные оценки имеют дисперсию, совпадающую с нижней границей ?  Для ответа на этот вопрос обратимся к выводу соотношения (2.19). Точное равенство в (2.19) достигается, когда СВ    и   при каждом значении  связаны линейной зависимостью

.    (2.23)

         Полученное выражение дает описание семейства ПРВ  и соответствующих оценок , обеспечивающих равенство в формулах (2.19), (2.20), т.е. эффективное оценивание с дисперсией . После интегрирования (2.23) по  семейство таких ПРВ может быть представлено в виде:

,                 (2.24)

где  и  – дифференцируемые функции ;  – произвольная функция . При этом  служит эффективной оценкой параметра  с дисперсией . Для конкретных ПРВ запись в форме (2.24) обычно содержит функции  и  от собственных параметров соответствующих распределений, например,  и  – для экспоненциального или  и  – для нормального распределения. В этом случае параметр  может быть найден как функция  с помощью соотношения . Например, для , совместная ПРВ запишется в виде: , где ; ; . После дифференцирования находим параметр , для которого  является оптимальной оценкой.

         Таким образом, эффективные оценки  с дисперсией, в точности равной нижней границе  могут быть получены только для ПРВ , входящих в экспоненциальное семейство (2.24). К этому семейству относятся часто встречающиеся в задачах обработки сигналов нормальное, биномиальное, пуассоновское и гамма-распределение.            Для каждого из этих распределений существует определенная условиями (2.24) форма записи и соответствующая оценка  параметра (табл.2.1).

Таблица 2.1

         Рассмотрим, например, нормальное распределение 

  с неизвестным параметром . Запишем в экспоненциальном виде совместную ПРВ:

,

где ;;. При этом  является эффективной оценкой параметра .

         Полученные результаты позволяют определить нижнюю границу  дисперсии ошибки (2.20), (2.21) и указать эффективные оценки с дисперсией  определенных параметров ПРВ из экспоненциального семейства (2.24). В общем случае основным методом поиска эффективных оценок параметров служит метод максимального правдоподобия [1,11-16,26]. Наилучшей считается оценка , для которой функция правдоподобия  или  достигает максимума, т.е.  . Если  дифференцируема и максимум  находится во внутренней точке области возможных значений параметра , то оценка может быть определена из уравнений   или . Оценки  совокупности  параметров  ПРВ  находятся с помощью решения системы уравнений правдоподобия:

,                                             (2.25)

где  – функция правдоподобия. Напомним, что по определению  получается после подстановки результатов наблюдений  в ПРВ . Метод максимального правдоподобия позволяет найти эффективные оценки параметров, если такие оценки существуют. Поэтому оценки , представленные в табл. 2.1, могут быть получены и с помощью решения уравнений правдоподобия. Например, для нормального распределения , логарифм функции правдоподобия запишется в виде: . Из уравнения  находим эффективную оценку .

         Рассмотрим более сложный пример оценки неизвестного параметра  равномерного распределения с ПРВ:

.                                  (2.26)

Функция правдоподобия  находится после подстановки экспериментальных данных  в (2.26). Если переменное значение  удовлетворяет неравенствам , т.е. , то. При  функция правдоподобия , поскольку в этом случае хотя бы один из сомножителей  обращается в ноль.

Рис. 2.1. Функция правдоподобия при оценке параметра равномерного   распределения

         Анализ зависимости , представленной на рис.2.1, показывает, что наибольшее значение функции правдоподобия находится в точке .

         Следовательно,  – оценка максимального правдоподобия (ОМП). Заметим, что эта оценка не может быть получена с помощью решения уравнения правдоподобия, так как в точке  функция  имеет разрыв, и производная   не существует.

         Определим математическое ожидание и дисперсию полученной оценки . Для наибольшего значения  совокупности  случайных величин вначале найдем функцию распределения

. При равномерном законе распределения , если . Поэтому , а . Теперь уже нетрудно вычислить математическое ожидание оценки . Как следует из этой формулы, ОМП  оказывается смещенной, но смещение можно устранить, если использовать оценку . Точность скорректированной оценки характеризуется дисперсией

.                    (2.27)

         Интересно, что дисперсия оценки параметра  равномерного распределения при увеличении числа    наблюдений убывает как . Это исключение из правила (2.20), (2.21), согласно которому, для всех «гладких» ПРВ  при независимых наблюдениях .

         Примером задачи оценивания векторного параметра  может служить нормальное распределение с ПРВ

.

В этом случае ОМП находится из решения следующих уравнений правдоподобия:

,

.

В результате получаем совместные ОМП математического ожидания и дисперсии:

. (2.28)

         Важным свойством ОМП является инвариантность относительно взаимно однозначных преобразований  параметра . Это означает, что при известных ОМП  и функции  может быть легко найдена ОМП . Действительно, так как существует обратная функция , то .

         Принцип инвариантности позволяет в каждой конкретной задаче выбирать наиболее удобную параметризацию, а ОМП получать затем с помощью соответствующих преобразований. Пусть в условиях нормальной модели с двумя неизвестными параметрами требуется оценить параметрическую функцию , представляющую собой вероятность . В этом случае можно положить, например,  и, согласно принципу инвариантности, ОМП . Учитывая (2.28), находим

.

         Метод максимального правдоподобия не всегда приводит к несмещенным оценкам. Так, при оценке (2.27) двух параметров нормального распределения ОМП  имеет смещение , убывающее до нуля при . Доказано [15], что для широкого класса ПРВ  оценки максимального правдоподобия асимптотически (при ) несмещенные и асимптотически нормальные с дисперсией ошибки, совпадающей при  с нижней границей  в неравенстве Рао-Крамера (2.20). Описанные свойства обусловили широкое применение метода максимального правдоподобия в разнообразных приложениях.

         Рассмотрим пример нахождения ОМП углового положения цели в условиях работы импульсной радиолокационной станции (РЛС) кругового обзора. Отраженные от цели полезные сигналы на выходе приемника РЛС представим в виде: , где  – максимальное значение сигнала в момент равенства углового положения    антенны РЛС и углового положения  цели. Функция  описывает изменение уровня сигнала (рис.2.2.а) в дискретном времени при вращении антенны. Прием отраженных сигналов обычно сопровождается помехами. Поэтому наблюдения , включают независимые гауссовские СВ  с нулевыми средними и дисперсиями . На основе анализа наблюдений необходимо дать оценку  углового положения цели.

Рис. 2.2. Огибающая пакета отраженных сигналов (а) и ее производная (б)

         Для решения поставленной задачи найдем функцию правдоподобия

После логарифмирования  и дифференцирования по параметру  получим следующее уравнение правдоподобия:

.

При симметричной диаграмме направленности антенны РЛС   и уравнение правдоподобия принимает следующий вид:

                                          ,                                           (2.29)

где  – весовые коэффициенты (рис. 2.2, б).

         Выражение (2.29) определяет необходимые операции над наблюдениями  при оценивании углового положения цели. Основными из них являются следующие:

– прием и запоминание амплитуд  суммы сигнала и помех;

– умножение этих амплитуд на весовые коэффициенты ;

– образование полусумм  и , где   – точка, в которой весовая функция обращается в ноль;

– сравнение накопленных полусумм по величине;

– фиксация равенства полусумм и формирование оценки .

         Расчет дисперсии найденной оценки углового положения цели вызывает трудности, поскольку решить уравнение (2.29) относительно  не удается. В подобных случаях вместо точного значения дисперсии часто используют нижнюю границу , определяемую неравенством Рао-Крамера (2.20). Рассмотренные свойства ОМП гарантируют, что при большом числе наблюдений  такой подход не приведет к значительным ошибкам. Вместе с тем расчет по формулам (2.20), (2.21) оказывается довольно простым. Учитывая независимость наблюдений, находим количество информации

,

где    – отношение  сигнал/шум. Таким образом, нижняя граница дисперсии оценки  легко вычисляется при заданной огибающей  пакета отраженных сигналов. Заметим, что для малых объемов выборки действительные значения дисперсии оценки (2.29) могут оказаться больше, чем . Поэтому возможность применения приближенных соотношений должна контролироваться с помощью методов статистического моделирования [30].

         Несмотря на отмеченные достоинства метода максимального правдоподобия, существует ряд задач оценивания, в которых его применение сталкивается со значительными математическими или вычислительными трудностями нахождения максимума . В таких случаях часто используется метод моментов [15,26], не обладающий свойствами асимптотической оптимальности, но часто приводящий к сравнительно простым вычислениям.