2.1.3. Статистическое усреднение случайных величин

Усреднение играет важную роль для характеристики результатов эксперимента и случайных величин, определенных на выборочном пространстве эксперимента. В частности, представляют интерес первый и второй моменты одной случайной величины и совместные моменты, такие как корреляция и ковариация между парой случайных величин в многомерном ряде случайных величин. Также большой интерес представляет характеристическая функция случайной величины и совместные характеристические функции для многомерного ряда случайных величин. Этот раздел посвящается определению этих важных статистических средних.

Сначала мы рассмотрим случайную величину , характеризуемую ФПВ . Математическое ожидание от определяется как

, (2.1.61)

где означает математическое ожидание (статистическое усреднение). Это первый момент случайной величины . В общем, -й момент определяется как

. (2.1.62)

Теперь предположим, что мы определяем случайную величину , где - некоторая произвольная функция от случайной величины . Математическое ожидание определяется как

. (2.1.63)

В частности, если , где - математическое ожидание , то

. (2.1.64)

Это математическое ожидание названо -м центральным моментом случайной величины , так как это момент, взяты относительно среднего. Если , центральный момент называется дисперсией случайной величины и обозначается . Таким образом,

. (2.1.65)

Этот параметр является мерой рассеяния случайной величины . Раскрывая выражение в интеграле (2.1.65) и учитывая, что математическое ожидание от константы равно константе, получим выражение, которое определяет дисперсию через первый и второй моменты:

. (2.1.66)

Для случая двух случайный величин и с СФПВ мы определяем совместный момент как

. (2.1.67)

и совместный центр момент как

(2.1.68)

где . С точки зрения приложений важное значение имеет совместный момент и совместный центральный момент, когда . Эти совместные моменты называют корреляцией и ковариацией случайных величин и .

При рассмотрении многомерных случайных величин мы можем определять совместные моменты произвольного порядка. Однако наиболее полезные для практических приложений моменты – это корреляция и ковариации между парами случайных величин. Для детализации предположим, что , являются случайными величинами с СФПВ . Пусть - СФВП случайных величин и . Тогда корреляция между и определяется совместным моментом

, (2.1.69)

а ковариация между и равна

(2.1.70)

Матрица размера с элементами называется ковариационной матрицей случайных величин , . Мы встретимся с ковариационной матрицей при обсуждении совместных гауссовских случайных величин в разделе 2.1.4.

Две случайные величины называют некоррелированными, если . В этом случае их ковариация . Заметим, что если и некоррелированы, они не обязательно статистически независимы.

Говорят, что две случайные величины ортогональны, если . Заметим что это условие имеет место, когда и не коррелированы и либо одна, либо обе случайные величины имеют нулевое среднее.

Характеристические функции. Характеристическая функция случайной величины определяется как статистическое среднее

, (2.1.71)

где переменная вещественная, . Заметим, что можно определить как преобразование Фурье от ФПВ . Тогда обратное преобразование Фурье дает

. (2.1.72)

Очень полезное свойство характеристической функции – ее связь с моментами случайной величины. Заметим, что первая производная от (2.1.71) по

Вычисляя производную при , получаем для первого момента (среднего)

. (2.1.73)

Дифференцирование можно продолжить, и -я производная от при определяет -й момент:

. (2.1.74)

Таким образом, моменты случайный величин можно определять через характеристические функции. С другой стороны, предположим, что характеристическую можно представить рядом Тейлора относительно точки , т.е.

. (2.1.75)

Используя соотношение (2.1.74) в (2.1.75), мы получаем выражение для характеристической функции через моменты в виде

(2.1.76)

Характеристическая функция дает простой метод для определения ФПВ суммы независимых случайных величин. Чтобы это проиллюстрировать, предположим, что , , - ряд статистически независимых случайных величин, и пусть

. (2.1.77)

Задача сводится к нахождению ФПВ от . Мы определим ФПВ от , найдя сначала её характеристическую функцию, а затем вычислив обратное преобразование Фурье. Итак,

. (2.1.78)

Так как случайные величины статистически неизменимы, и -мерный интеграл в (2.1.78) сводится к произведению простых интегралов, каждый из которых определяет характеристическую функцию одного . Следовательно,

. (2.1.79)

Если помимо статистической независимости все имеют одинаковое распределение, тогда все идентичны.

Соответственно

. (2.1.80)

Окончательно ФПВ определяется обратным преобразованием Фурье, как дано в (2.1.72).

Поскольку характеристическая функция суммы статистически независимых случайных величин равна произведению характеристических функций индивидуальных случайных переменных , , отсюда следует, что в области преобразования ФПВ является -кратной сверткой ФПВ от . Обычно -кратную свёртку выполнить непосредственно более сложно, чем воспользоваться методом характеристической функции для нахождения распределения ФПВ для , как описано выше.

Если мы имеем дело с -мерными случайными величинами, необходимо определить -мерные преобразования Фурье от СФПВ. В частности, если , , - случайные величины с ФПВ , -мерная характеристическая функция определяется как

. (2.1.81)

Специальный интерес представляет двухмерная характеристическая функция

. (2.1.82)

Заметим, что частные производные от по и можно использовать для получения совместных моментов. Например, легко видеть, что

. (2.1.83)

Моменты более высоких порядков можно получить аналогичным образом.