Глава III. МЕТОДЫ ОБУЧЕНИЯ, ОСНОВАННЫЕ НА ВОССТАНОВЛЕНИИ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ§ 1. О восстановлении распределения вероятностейВ задачах математической статистики чрезвычайно важным является случай, когда функция распределения вероятностей известна с точностью до значения параметров. В этом случае восстановление распределения вероятностей сводится к установлению значений параметров на основе имеющейся выборки. Методы исследования, разработанные здесь, получили название методов параметрической статистики. Выше было указано, что задача обучения распознаванию образов может быть решена путем построения дискриминантной функции по восстановленным функциям распределения вероятностей различных классов объектов. В этой главе будут рассмотрены такие параметрические методы решения задачи. Как уже указывалось, идея решения задачи обучения распознаванию путем восстановления распределения вероятностей, вообще говоря, кажется малопривлекательной и реальных успехов на этом пути можно ждать лишь для вырожденных случаев. Параметрические методы решения задач обучения распознаванию связаны с двумя классами функций распределения. Первый класс распределений. Распределение вероятностей для каждого класса векторов
и, кроме того, каждая координата Таким образом, рассматривается случай, когда распределение вероятностей для каждого класса объектов задано выражением (3.1), где функция
Здесь Второй класс распределений. Плотность распределения вероятностей для каждого класса объектов задана нормальным законом
Восстановить плотности распределения вероятностей значит найти вектор средних Представим, как это часто принято в теории обучения распознаванию образов,
Например, если координата Координаты векторов Тогда для первого класса функций, согласно (2.4), оптимальным решающим правилом является линейная дискриминантная функция
где Для нормальных распределений оптимальное решающее правило, согласно (2.4), оказывается, вообще говоря, квадратичной дискриминантной функцией
где Таким образом, задача построения решающего правила сводится к нахождению соответствующих параметров плотностей распределения вероятностей. Среди параметрических методов восстановления плотности распределения вероятностей наиболее эффективными являются метод максимума правдоподобия и методы, основанные па байесовой оценке. Применение этих двух методов для восстановления плотностей распределения вероятностей в описанных классах и составляет содержание теории параметрических методов обучения распознаванию образов. Прежде чем перейти к изложению этой теории, напомним некоторые понятия статистической теории оценивания.
|