§ 6. Оценка параметров распределения дискретных независимых признаков

Итак, пусть координаты вектора  распределены независимо и, кроме того, каждая координата  вектора  может принимать  значений, т. е. известно, что

,

где

                   (3.11)

.

Составим функцию правдоподобия

,

где  – значение -й координаты -гo вектора обучающей последовательности.

Переставив порядок сомножителей, получим

.

Перейдем к функции :

.

Рассмотрим теперь величину

.

Согласно (3.11) она может быть представлена в виде

,

где  – число векторов выборки, у которых координата принимает значение ;  – объем выборки, .

Таким образом, логарифм функции правдоподобия равен

.                 (3.12)

Найдем максимум по  функции  при ограничениях . Для этого воспользуемся методом множителей Лагранжа.

Составим функцию Лагранжа :

,

где  – множители Лагранжа.

Вектор , доставляющий максимум функции , определяется из системы уравнений

.              (3.13)

Из (3.13), учитывая условия нормировки

,

получаем

.

Таким образом, рекомендации метода максимума правдоподобия состоят в том, чтобы в качестве функции распределения вероятностей использовать ее эмпирическую оценку, т. е.

                (3.14)