§ 6. Стохастические матрицы

Рассмотрим  возможных состояний некоторой системы

                                                         (89)

и последовательность моментов времени

Пусть в каждый из этих моментов времени система находится в одном и только в одном из состояний (89), причем  обозначает вероятность нахождения системы в состоянии  в момент времени, если известно, что в предыдущий момент времени  система находилась в состоянии  (, ). Мы будем предполагать, что переходные вероятности   не зависят от индекса  (номера момента времени ).

Если матрица переходных вероятностей

задана, то говорят, что задана однородная цепь Маркова с конечным лом состояний. При этом очевидно, что

,             (90)

Определение 4. Квадратная матрица  называется стохастической, если матрица  неотрицательна и сумма элементов каждой строки матрицы  равна единице, т. е. имеют место соотношения (90).

Таким образом, для каждой однородной цепи Маркова матрица переходных вероятностей является стохастической и, наоборот, любая стохастическая матрица может быть рассматриваема как матрица переходных вероятностей некоторой однородной цепи Маркова. На этом основывается матричный метод исследования однородных цепей Маркова.

Стохастическая матрица является частным видом неотрицательной матрицы. Поэтому к ней применимы все понятия и положения предыдущих параграфов.

Отметим некоторые специфические свойства стохастической матрицы. Из определения стохастической матрицы следует, что эта матрица имеет характеристическое число 1 с положительным собственным вектором . Легко видеть, что, и обратно, всякая матрица , имеющая собственный вектор  при характеристическом числе 1, является стохастической. При этом единица являются максимальным характеристическим числом стохастической матрицы, поскольку максимальное характеристическое число всегда заключено между наибольшей и наименьшей из строчных сумм, а для стохастической матрицы все строчные суммы равны единице. Таким образом, нами доказано предложение:

1° Неотрицательная матрица  является стохастической тогда и только тогда, когда она имеет собственный вектор  при характеристическом числе 1. Характеристическое число 1 является максимальным для стохастической матрицы.

Пусть теперь дана неотрицательная матрица , имеющая положительное максимальное характеристическое число  и соответствующий этому числу положительный собственный вектор:

                                  (91)

Введем в рассмотрение диагональную матрицу  и матрицу

Тогда

 

и в силу (91)

 

Таким образом,

2° Неотрицательная матрица , имеющая положительное максимальное характеристическое число  и соответствующий этому числу положительный собственный вектор , всегда подобна произведению числа  на некоторую стохастическую матрицу:

                (92)

В предыдущем параграфе была установлена (см. теорему 7) характеристика класса неотрицательных матриц, имеющих положительный собственный вектор при . Формула (92) устанавливает тесную связь этого класса матриц с классом стохастических матриц.

Докажем теперь следующую теорему:

Теорема 10. Характеристическому числу 1 стохастической матрицы всегда соответствуют только элементарные делители первой степени.

Доказательство. Применим к стохастической матрице  разложение (69) § 4:

где  - неразложимые матрицы и

 

Здесь  - неразложимые стохастические матрицы, и потому каждая из этих матриц имеет простое характеристическое число 1. Что же касается остальных неразложимых матриц , то согласно замечанию 2 на стр. 362 их максимальные характеристические числа , поскольку в каждой из этих матриц хотя бы одна строчная сумма меньше единицы.

Таким образом, матрица  представима в виде

где у матрицы  характеристическому числу 1 соответствуют элементарные делители первой степени, а для матрицы  число 1 не является характеристическим числом. После этого справедливость теоремы непосредственно вытекает из следующей леммы:

Лемма 4. Если матрица  имеет вид

                                                     (93)

где  и  — квадратные матрицы, и характеристическое число  матрицы  является характеристическим числом матрицы  и не является таковым для матрицы ,

,

то элементарные делители матриц  и , соответствующие характеристическому числу , одинаковы.

Доказательство. 1. Рассмотрим сначала случай, когда  и  не имеют общих характеристических чисел. Покажем, что в этом случае элементарные делители матриц  и  в совокупности образуют систему элементарных делителей матрицы , т. е. что при некоторой матрице  

                                               (94)

Матрицу  будем искать в виде

(разбиение на блоки в  соответствует разбиению в ;  и  - единичные матрицы). Тогда

     (94')

Равенство (94') перейдет в равенство (94), если прямоугольную матрицу  подберем так, чтобы она удовлетворяла матричному уравнению

В случае, когда  и  но имеют общих характеристических чисел, это уравнение при любой правой части  всегда имеет одно определенное решение (см. гл. VIII, § 3).

2. В случае, когда матрицы  и  могут иметь и общие характеристические числа, мы заменим в (93) матрицу  ее жордановой формой  (в результате этого матрица  заменится матрицей, ей подобной). При этом  где в  собраны все жордановы клетки с характеристическим числом . Тогда

Эта матрица подходит под разобранный ужо первый случай, поскольку матрицы  и  не имеют общих характеристических чисел. Отсюда следует, что элементарные делители вида  одинаковы у матриц  и  и, следовательно, одинаковы у матриц  и . Лемма доказана.

Если неразложимая стохастическая матрица  имеет комплексное характеристическое число  с , то матрица  подобна матрице  (см. (16)) и потому из теоремы 10 вытекает, что числу  отвечают только элементарные делители первой степени. Пользуясь нормальной формой матрицы и леммой 4, легко распространить это утверждение и на разложимые стохастические матрицы. Таким образом, получаем

Следствие 1. Если  — характеристическое число стохастической матрицы и , то этому числу  соответствуют элементарные делители первой степени матрицы .

Из теоремы 10 в силу 2° (стр. 382) вытекает также

Следствие 2. Если максимальному характеристическому числу  неотрицательной матрицы  отвечает положительный собственный вектор, то все элементарные делители матрицы , соответствующие любому характеристическому числу  с , имеют первую степень.

Укажем на некоторые работы, связанные с расположением характеристических чисел стохастической матрицы.

Характеристическое число стохастической матрицы  всегда лежит в круге  -плоскости. Совокупность всех точек этого круга, являющихся характеристическими числами каких-либо стохастических матриц -го порядка, обозначим через .

В 1938 г. в связи с исследованием цепей Маркова акад. А. Н. Колмогоров поставил задачу определения структуры области . Эта задача была частично решена в 1945 г. Н. А. Дмитриевым и Е. Б. Дыпкипым [67а, б] и полностью решена в 1951 г. в работе Ф. И. Карпелевича [72]. Оказалось, что граница  состоит из конечного числа точек на окружности  и определенных криволинейных дуг, соединяющих в круговом порядке эти точки.

Заметим, что в силу предложения 2° (стр. 382) характеристические числа матриц , имеющих положительный собственный вектор при , при фиксированном  образуют множество . Поскольку произвольная матрица  может быть рассматриваема как предел последовательности неотрицательных матриц указанного типа, а множество  замкнуто, то характеристические числа произвольных матриц  с данным максимальным характеристическим числом  заполняют множество .

К этому кругу вопросов относится и работа X. Р. Сулеймановой [100], в которой устанавливаются некоторые достаточные критерии для того, чтобы  заданных вещественных чисел  были характеристическими числами некоторой стохастической матрицы .