4.3. Марковские случайные процессыЧтобы дать полное статистическое описание случайной последовательности Марковский процесс может быть процессом с дискретным или непрерывным временем. Процесс с дискретным временем (последовательность)
где Простое, но важное свойство марковскго процесса состоит в том, что его совместные плотности вероятности могут быть представлены в виде произведений переходных плотностей вероятности. Переходная плотность вероятности
Любую совместную плотность вероятности можно представить с помощью условных плотностей следующим образом:
Здесь для последовательностей
и для совместной плотности вероятности получаем
т.е. начальная одномерная плотность вероятности Пример 4.1. Приведем полезное представление для совместной плотности вероятсности
где Будем предполагать также, что
Таким образом, на основании ф-лы (4.36) получаем Подобные представления являются чрезвычайно важными для последующего изложения. Во многих случаях оказывается желательной несколько иная форма записи совместной плотности вероятности: Отсюда, в частности, очевидно, что нельзя получить аналог этого представления для процесса с непрерывным временем, неограниченно уплотняя моменты отсчетов. Действительно, при неограниченном увеличении Марковский процесс – однородный, если
Полезное соотношение для марковских необязательно однородных процессов может быть получено следующим образом. Известно, что
Кроме того, что марковского процесса из (4.36) имеем
Поскольку
которое известно как уравнение Колмогорова–Чепмена. Полезно рассмотреть эволюцию плотности
В этом выражении для простоты дальнейших рассуждений принято, что
Введем теперь следующие обозначения:
Воспользуемся теперь характеристической функцией условной плотности
которая является прямым преобразованием Фурье функции
то можно записать
Но характеристическую функцию можно представить в виде следующего разложения по моментам относительно значения
где
Следовательно,
Заметим, что плотность вероятности Далее, так как
то из (4.48) имеем Наконец, разделив обе части этого равенства на
Это уравнение в частных производных называется стохастическим или кинетическим уравнением. Его решение необходимо отыскать при следующем начальном условии:
которое представляет собой известную плотность случайной величины Величина
можно записать в следующей удобной форме:
где использовано обозначение Очень интересным и важным является случай, когда процесс
в котором
Можно показать, что в этом случае
Следовательно, ур-ние (4.51) принимает вид
Это уравнение известно как уравнение Фоккера–Планка. Оно решается при граничном условии
В этом случае уравнение Фоккера–Планка можно переписать следующим образом:
Это уравнение часто прямым уравнением Колмогорова. Если выписать сопряженное ему уравнение, то получим обратное уравнение Колмогорова
которое оказывается очень полезным для теории стохастического управления. Обратное уравнение можно вывести точно так же, как и прямое. Оба уравнения иногда называют также диффузорными уравнениями. Они подробно обсуждаются в монографиях по теории случайных процессов [28], [56], [257]. В дальнейшем в основном будут рассматриваться векторные случайные процессы. Прямое и обратное уравнения, только что полученные, можно модифицировать таким образом, чтобы они оказались справедливыми и для векторных процессов. Это будет сделано в следующем параграфе, где будет получено модифицированное уравнение Фоккера–Планка для условной плотности вероятности вектора переменных состояния Пример 4.2. Рассмотрим решение уравнения Фоккера–Планка для очень простого случая. Пусть модель “сообщения” является линейной, т.е.
Уравнение Фоккера–Планка в этом случае имеет вид Это уравнение можно записать в следующей более простой форме, если опустить обозначения
Предположим теперь, что нормальное распределение с дисперсией является решением этого уравнения. После подстановки этой плотности в уравнение и сокращения экспоненциального множителя получим Выделим в обеих частях уравнения слагаемые содержащие
Если теперь первое выражение подставить во второе и вспомнить, что
Первое иэ этих уравнений уже встречалось ранее в одной частной задаче и является уравнением для дисперсии Второе уравнение ошнсывает изменение во времени среднего значения Их решения легко находятся, например, так, как это было сделано в § 35. Попутно при рассмотрении данного примера еще раз доказано утверждение о том, что случайный процесс на выходе линейной системы, на вход которое воздействует нормальный процесс, также является нормальным. Можно было бы теперь решить обратно" диффузионное уравнение с тем, чтобы получить результаты, чрезвычайно полезные при решении задач теории стохастического управления [258]. Однако этот вопрос не будет здесь исследоваться. Отметим только, что решение обратного уравнения находится в основном тем же способом, как решение прямого уравнения. Чтобы продолжить обсуждение вопросов преобразований марковских процессов в нелинейных системах необходимо уметь с величайшей осторожностью обращаться с непрерывными процессами. Здесь очень легко можно совершить ошибки, которые приведут к совершенно неверным результатам. Чтобы избежать этих ошибок в следующем специально выделенном параграфе, рассмотрим стохастические дифференциальные уравнения и их применение для получения дифференциальных уравнений для условных плотностей вероятности.
|