§ 8. Восстановление параметров нормального распределения методом максимума правдоподобияВ случае, когда функция плотности распределения вероятностей задана нормальным законом , где – -мерный вектор параметров, а – матрица параметров , функция правдоподобия оказывается равной . (3.18) Логарифм функции правдоподобия равен величине (3.19) Оказывается, что максимум (3.18), а следовательно, и (3.19) достигается, когда вектор параметров есть оценка математического ожидания вектора , т. е. , а матрица есть оценка ковариационной матрицы, т. е. . (3.20) Доказательство этого факта имеется во всех руководствах по многомерному статистическому анализу [2]. Оно в векторной форме буквально повторяет очевидное для одномерного случая утверждение: максимум функции достигается при . Как уже указывалось, по оценке параметров плотности распределения обоих классов векторов: , и , , немедленно находится решающее правило . Особенность этого правила заключается в том, что оно образовано с помощью операции обращения . Известно, что к использованию операции обращения матриц следует относиться с большой осторожностью: возможны случаи, когда достаточно малой ошибке при задании матрицы соответствуют значительные ошибки величины . В нашем случае, когда в качестве матрицы берется ее эмпирическая оценка, такие ошибки тем более вероятны, чем меньше объем выборки, по которой строилась оценка, и чем хуже обусловленность самой ковариационной матрицы. Поэтому может оказаться, что для построения надежного решающего правила потребуется такая точность в оценке ковариационных матриц, которая при заданном объеме выборки не может быть гарантирована. Вот почему на практике применяются частные постановки, использующие особенности ковариационных матриц. Принято пять вариантов таких постановок. 1 вариант. На матрицы и не наложено никаких дополнительных ограничений. В этом случае решающее правило оказывается квадратичной дискриминантной функцией. 2 вариант. Считается, что ковариационные матрицы векторов обоих классов равны, т. е. . В качестве оценки такой матрицы берется среднее арифметическое матриц, полученных соответственно для векторов первого и второго классов: . В этом случае решающее правило оказывается линейной дискриминантной функцией (функцией Фишера) . 3 вариант. Считается, что ковариационные матрицы векторов разных классов различны, но диагональны: . Этому варианту соответствует случай, когда координаты векторов распределены независимо по нормальному закону с дисперсией . При этом решающее правило оказывается квадратичной дискриминантной формой. 4 вариант. Считается, что ковариационные матрицы векторов различных классов равны и диагональны. В этом случае решающее правило оказывается линейной дискриминантной функцией. 5 вариант. Считается, что ковариационные матрицы векторов обоих классов единичные. К этому варианту приводится случай известных одинаковых ковариационных матриц. При этом решающее правило оказывается линейной дискриминантной функцией. Ясно, что каждый последующий вариант более «помехоустойчив», чем предыдущий.
|