§ 3. Надежность обучения

Следующий вопрос о том, на каких примерах учить, т. е. как подбирать элементы обучающей последовательности. Ведь от того, какие элементы содержатся в материале обучения, зависит, насколько хорошо будет в дальнейшем работать решающее правило, т. е. каково будет качество.

Чтобы обеспечить высокое качество решающего правила, надо предвидеть свойства среды, в которой предстоит работать устройству после обучения (т. е. какова функция ). Однако задача такова, что вероятность  неизвестна. Существует поэтому единственная возможность – выбирать примеры для обучения случайно и независимо, согласно тому же распределению, при котором будет работать обучившееся устройство. Так поступать целесообразно еще и потому, что во многих задачах обучения нельзя конструировать примеры, а приходится довольствоваться только теми, которые уже существуют, т. е. фактически случайной выборкой из множества возможных примеров.

Так, во многих задачах дифференциальной медицинской диагностики совокупность верифицированных случаев, представленных для обучения, часто есть случайная выборка из множества всех случаев заболеваний.

Итак, в задаче обучения распознаванию образов принято, что обучающая последовательность составлена из элементов, выбранных случайно и независимо из той среды, для которой будет оцениваться качество полученного решающего правила.

Однако при случайном подборе элементов обучающей последовательности уже нельзя требовать, чтобы обучение было безусловно успешным; ведь не исключена вероятность того, что обучающая последовательность будет составлена только из «нетипичных» случаев. Поэтому успех в обучении может быть гарантирован не наверняка, а лишь с некоторой вероятностью. Иначе говоря, так как элементы обучающей последовательности заданы случайно, то способность устройства обучаться определяется тем, как часто оно строит решающее правило с заданным качеством, т. е. надежностью получения решающего правила с заданным качеством.

Таким образом, способность к обучению характеризуется двумя понятиями:

1) качеством полученного решающего правила (вероятностью неправильных ответов; чем меньше эта вероятность, тем выше качество);

2) надежностью получения решающего правила с заданным качеством (вероятностью получения заданного качества; чем выше эта вероятность, тем выше надежность успешного обучения).

Задача сводится к созданию такого обучающегося устройства, которое по обучающей последовательности строило бы решающее правило, качество которого с заданной надежностью было бы не ниже требуемого.