§ 8. Восстановление параметров нормального распределения методом максимума правдоподобия

В случае, когда функция плотности распределения вероятностей задана нормальным законом

,

где  – -мерный вектор параметров, а  – матрица параметров , функция правдоподобия оказывается равной

.          (3.18)

Логарифм функции правдоподобия равен величине

 (3.19)

Оказывается, что максимум (3.18), а следовательно, и (3.19) достигается, когда вектор параметров  есть оценка математического ожидания вектора , т. е.

,

а матрица  есть оценка ковариационной матрицы, т. е.

.                    (3.20)

Доказательство этого факта имеется во всех руководствах по многомерному статистическому анализу [2]. Оно в векторной форме буквально повторяет очевидное для одномерного случая утверждение: максимум функции

достигается при

.

Как уже указывалось, по оценке параметров плотности распределения обоих классов векторов: ,  и , , немедленно находится решающее правило

.

Особенность этого правила заключается в том, что оно образовано с помощью операции обращения

.

Известно, что к использованию операции обращения матриц следует относиться с большой осторожностью: возможны случаи, когда достаточно малой ошибке при задании матрицы  соответствуют значительные ошибки величины . В нашем случае, когда в качестве матрицы  берется ее эмпирическая оценка, такие ошибки тем более вероятны, чем меньше объем выборки, по которой строилась оценка, и чем хуже обусловленность самой ковариационной матрицы.

Поэтому может оказаться, что для построения надежного решающего правила потребуется такая точность в оценке ковариационных матриц, которая при заданном объеме выборки не может быть гарантирована. Вот почему на практике применяются частные постановки, использующие особенности ковариационных матриц. Принято пять вариантов таких постановок.

1 вариант. На матрицы  и  не наложено никаких дополнительных ограничений. В этом случае решающее правило оказывается квадратичной дискриминантной функцией.

2 вариант. Считается, что ковариационные матрицы векторов обоих классов равны, т. е. . В качестве оценки такой матрицы берется среднее арифметическое матриц, полученных соответственно для векторов первого и второго классов:

.

В этом случае решающее правило оказывается линейной дискриминантной функцией (функцией Фишера)

.

3 вариант. Считается, что ковариационные матрицы векторов разных классов различны, но диагональны:

.

Этому варианту соответствует случай, когда координаты векторов  распределены независимо по нормальному закону с дисперсией . При этом решающее правило оказывается квадратичной  дискриминантной формой.

4 вариант. Считается, что ковариационные матрицы векторов различных классов равны и диагональны. В этом случае решающее правило оказывается линейной дискриминантной функцией.

5 вариант. Считается, что ковариационные матрицы векторов обоих классов единичные. К этому варианту приводится случай известных одинаковых ковариационных матриц. При этом решающее правило оказывается линейной дискриминантной функцией.

Ясно, что каждый последующий вариант более «помехоустойчив», чем предыдущий.