§ 10.23. О марковских цепях

Если предположить, что в стохастических автоматах случайно также и начальное состояние , а выходная величина  отождествляется с состоянием , то подобный автомат соответствует марковской цепи. Цепи Маркова обычно характеризуются в вероятностных терминах и связаны с понятием испытания, для которого вероятность исхода зависит от исхода, непосредственно предшествующего этому испытанию. Эти вероятности определяются элементами матрицы переходных вероятностей (10.84). Сама же эта матрица характеризует марковскую цепь. В качестве примера марковской цепи приведем задачу о наблюдателе, который должен на основании опыта наблюдений обнаружить полезный сигнал, маскируемый помехами. Эта задача очень близка к рассмотренной в § 6.13. Наблюдатель может и ошибиться. Если наблюдатель считает, что сигнал есть, когда его на самом деле нет, то это ошибка первого рода, или ошибка ложной тревоги. Если же наблюдатель считает, что сигнала нет, тогда как на самом деле он присутствует, то это ошибка второго рода, или ошибка ложного отбоя. Марковскую цепь, соответствующую этой ситуации, можно представить в виде графа (рис. 10.15). Узлы этого графа представляют собой исходы. В данном случае мы имеем три исхода: 1 и 2, если имеют место ошибки первого и второго рода соответственно, и 0, если ошибок нет. Ветви графа представляют собой соответствующие условные вероятности  что после -гo исхода наступит -й исход.

Рис. 10.15.

Разумеется, не все исходы равноценны. Так, исходы 1 и 2 нежелательны, а желательным является исход 0. Обучение сводится к такому изменению условных вероятностей , чтобы желательный исход стал более вероятным. Это достигается разумным использованием поощрения или наказания. Пользуясь эквивалентностью, существующей между автоматами и марковской цепью, мы рассмотрим марковское обучение на примере построения стохастического автомата, решающего эту задачу.