4.2. Нормальные случайные процессы

В этом параграфе рассматриваются многомерный нормальный случайный процесс и его наиболее важные характеристики. В гл. 2 уже приводились основные сведения об одномерном и двумерном нормальных процессах. Теперь же желательно обсудить некоторые свойства общего многомерного нормального распределения. Рассмотрение начнем с центральной предельной теоремы. Эта теорема позволяет ожидать, что многие реальные процессы будут нормальными. Затем обсуждаются неравенство Чебышева и другие важные соотношения, в том числе и условные нормальные плотности вероятности. Понятие условной плотности вероятности вообще очень важно, а в теории оценивания оно является одним из основных.

Многомерные нормальные случайные процессы. Наиболее важной для данного раздела является многомерная нормальная плотность вероятности, которая для вектора с компонентами имеет вид

(4.1)

где

(4.2)

Характеристическая функция соответствующая нормальной плотности вероятности, определяется соотношением

(4.3)

При подстановке получаем

Дополнив до полного квадрата выражение в квадратных скобках последнего выражения, можно записать

Поскольку интеграл здесь оказывается равным единице, то для характеристической функции, соответствующей нормальной плотности, получаем окончательно

(4.4)

Центральная предельная теорема. В теории вероятностей и математической статистике сформулировано много предельных теорем. Под центральной предельной теоремой понимают целую совокупность теорем с одним и тем же утверждением, отличающимся друг от друга лишь исходными предположениями [57]; здесь будет приведена только одна формулировка. Пусть есть произвольный элемент совокупности из одинаково распределенных независимых векторных случайных величин со средними значениями, равными нулю, и конечными дисперсиями. Введем величину

(4.5)

В центральной предельной теореме утверждается, что распределение случайной величины при неограниченном увеличении стремится к нормальному, т.е. (более точно) для любого

(4.6)

где при любом . Часто, но далеко не всегда это означает, что

(4.7)

Подходящую форму доказательства этого результата можно найти в [57].

Центральная предельная теорема полезна при аппроксимации вероятностей событий, связанных с суммами случайных величин, не являющихся нормальными. Так, при конечном значении для -й компоненты вектора можно воспользоваться следующим приближением:

(4.8)

где

Такое приближение, однако, может оказаться плохим. Например, если компонента имеет равномерное распределение на интервале [-1, +1], то

для любого , которое больше, чем Использование равенства (4.8) в этом случае приводит к серьезным ошибкам. Для подобная аппроксимация будет полезной, однако, только для достаточно больших значений . Часто оказывается, что приближения, построенные с помощью центральной предельной теоремы, нельзя использовать на “хвостах” распределения суммы, в то время как они вполне приемлемы для конечных интервалов, не слишком удаленных от центра распределения.

Неравенство Чебышева. Это неравенство фактически можно рассматривать как простейшую предельную теорему. Согласно этому неравенству вероятность того, что модуль случайной величины, среднее значение которой равно нулю, окажется больше некоторого положительного числа , меньше, чем отношение дисперсии этой величины , т.е.

(4.9)

Справедливость неравенства (4.9) нетрудно проверить [57]. Для случайной величины, среднее значение которой отлично от нуля и равно неравенство Чебышева принимает вид

(4.10)

Одна из форм слабого закона больших чисел является простым следствием этого неравенства. Рассмотрим сумму из независимых одинаково распределенных случайных величин с одинаковыми средними значениями и дисперсиями и введем случайную величину

(4.11)

Первые два момента величины легко вычисляются: так что неравенство Чебышева записывается следующим образом:

(4.12)

Отсюда следует справедливость утверждения слабого закона больших чисел. Введенную с помощью соотношения (4.11) случайную величину в дальнейшем будем называть выборочным средним. Согласно (4.12) вероятность того, что выборочное среднее будет отличаться от истинного среднего значения более чем на величину близка к нулю при достаточно больших .

Линейные преобразования. Линейные преобразования нормальных случайных величин вновь приводят к нормальным случайным величинам. Например, пусть

(4.13)

где - неслучайная матрица; - неслучайный вектор; - вектор с компонентами. Можно попытаться применить центральную предельную теорему для того, чтобы установить, что случайный вектор является, по крайней мере, приближенно нормальным. Поскольку среднее значение и ковариационная матрица этого вектора равны соответственно:

(4.14)

(4.15)

то для плотности вектора можно записать

(4.16)

Если обратимое преобразование , так что является несингулярной матрицей размера то можно определить два события:

(4.17)

Очевидно, должно быть справедливым равенство

(4.18)

которое можно переписать следующим образом (положив ):

(4.19)

Из ф-лы (4.18) также очевидна необходимость существования обратного преобразования. Дифференцируя обе части последнего равенства по , приходим к следующему соотношению для плотностей:

(4.20)

Если является нормальным случайным вектором, то

(4.21)

т.е. является плотностью вероятности вектора , выписанной ранее для общего случая [см. (4.16)]. Здесь уже нет необходимости в использовании центральной предельной теоремы. Аналогично можно доказать справедливость такой записи в более общем случае, когда не равно .

Часто при анализе точности измерений случайных процессов или при решении задач нелинейной фильтрации необходимо знать четвертый момент нормальной случайной величины с нулевым средним значением. Для этого момента справедливо представлено

(4.22)

Это равенство несложно получить, если воспользоваться понятием характеристической функции. Если случайные величины имеют средние значения, отличные от нуля, то вместо (4.22) имеем

Условно нормальные случайные векторы. Большая часть рассуждений в последующих главах книги будет основываться на понятии условных нормальных случайных величин. В данном разделе приведено несколько теорем относительно условных нормальных случайных векторов.

Рассмотрим два совместно нормальных случайных вектора и размерности и соответственно, которые могут быть зависимыми. Для первых двух моментов составного вектора можно записать:

(4.23)

(4.24)

Условные плотности вероятности в данном случае также является нормальными, что можно показать, воспользовавшись известной формулой для условной плотности:

(4.25)

Плотность вероятности рассматриваемого составного вектора

в то время как плотности вероятности каждого вектора имеют вид

Используя теперь ф-лы (4.25), можно установить следующие очень важные соотношения:

(4.26)

Эти соотношения позволяют записать условные плотности вероятности векторов и .

Заметим, что условные математические ожидания и являются линейными функциями от величин, стоящих в условии. При изучении теории оценивания будет показано, что упомянутые выше соотношения определяют оптимальные линейные оценки для нормальных случайных величин. Полезно сформулировать ограничения на функцию плотности вероятности, при которых условное математическое ожидание оказывается линейной функцией. Можно показать [54], что если и только если

(4.27)

то условное математическое ожидание двух случайных векторов имеет линейную форму

(4.28)

Нормальная плотность вероятности удовлетворяет этому условию.

Известно большое число интересных результатов, справедливых для условных нормальных плотностей вероятности. Например, можно показать, что вектор

(4.29)

статистически не зависит от векторов , стоящего в условии. Это утверждение можно проверить непосредственно, показав, что ортогонален к . Из равенства (4.23), (4.26) и (4.29) следует, что

(4.30)

Далее можно показать, что ортогонален к , т.е.

(4.31)

Каждое из этих равенств представляет собой утверждение леммы об ортогональном проецировании, которая существенно будет использоваться в дальнейшем (см. § 6.6).