2.1. ВЕРОЯТНОСТЬ

Рассмотрим, например, такой эксперимент, как бросание игральной кости с рядом возможных исходов. Выборочное пространство  эксперимента состоит из набора всех возможных его исходов. В случае игральной кости

,                                                     (2.1.1)

где целые числа 1...6 представляют числа, указанные на шести сторонах игральной кости. Эти шесть возможных исходов – выборочные (характерные) точки эксперимента. Событием является некоторая часть от , которая может состоять из любого числа характерных точек. Например, событие  определённое как

,                                                                 (2.1.2)

состоит из результатов 2 и 4. Дополнение к событию , обозначаемое , состоит из всех характерных точек в , которых нет в , следовательно,

.                                                                       (2.1.3)

Два события считают взаимоисключающими (несовместными), если они не имеют никаких общих характерных точек – т.е. если появление одного результата исключает появление другого. Например, если  определенно как в (2.1.2), а событие  определим как

,                                                              (2.1.4)

тогда  и  - несовместные события. Точно так же  и  - несовместны.

Объединение (сумма) двух событий – это событие, которое состоит из всех характерных точек двух событий. Например, если  определенно, как в (2.1.4), а событие  - как

,                                                              (2.1.5)

тогда объединение событий  и , обозначаемое , является событием

.                                             (2.1.6)

Точно так же , где  - всё выборочное пространство, определяющее достоверное событие.

Пересечение двух событий – событие, которое состоит их характерных точек, общих для обоих событий. Таким образом, если  представляет пересечение событий  и , определяемых (2.1.4) и (2.1.5) соответственно, то

.

Если события несовместны, их пересечение – событие с нулевой вероятностью, обозначаемое как . Например,  и .

Определения для объединения и пересечения событий можно непосредственно расширить на более чем два события. Каждому событию  из пространства  приписывается его вероятность . При назначении вероятностной меры для событий мы принимаем аксиоматическую точку зрения. Это означает, что мы полагаем, что вероятность событий  удовлетворяет условию . Мы также полагаем, что вероятность всего выборочного пространства  (достоверного события) . Третья аксиома касается вероятности взаимоисключающих (несовместных) событий. Предположим, что , , являются рядом (возможно, бесконечным) несовместных событий в выборочном пространстве  так что

,

Тогда вероятность объединения (суммы) этих несовместных событий удовлетворяет условию

.

Например, в случае бросания игральной кости каждый возможный исход (событие) имеет вероятность 1/6. Событие, определённое (2.1.2), состоит из двух несовместных подсобытий или исходов, следовательно, . Аналогично вероятность события , где  и  - несовместные события, определённые соответственно (2.1.2) и (2.1.4), равна .

Совместные события и совместные вероятности. Предположим, что мы имеем дело не с одним, а с двумя экспериментами и рассматриваем их исходы. В качестве примера двух экспериментов можно рассматривать два отдельных бросания одной игральной кости или одно бросание двух игральных костей. В любом случае выборочное пространство  состоит из 36 дублетов , где . Если бросание производится чисто, то каждой точке выборочного пространства назначаем вероятность 1/36. Мы теперь можем рассматривать, например, объединённые события вида  и определять соответствующие вероятности таких событий, зная вероятности всех возможных характерных точек.

Вообще, если один эксперимент имеет возможные исходы , , а второй эксперимент - , , тогда объединённый эксперимент имеет возможные совместные исходы , , . Каждому объединённому исходу  присваивается вероятность , которая удовлетворяет условиям

.

В предложении, что исходы , , являются несовместными, получаем

.                                              (2.1.8)

Точно так же, если исходы , , являются несовместными, то

.                                             (2.1.9)

Далее, если все результаты из двух экспериментов несовместны, то

.                                                  (2.1.10)

Обобщение вышеупомянутого положения на более чем два эксперимента очевидно.

Условные вероятности. Рассмотрим комбинированный эксперимент, в котором исход встречается с вероятностью . Предположим, что событие  произошло, и мы желаем определить вероятность того, что при этом произошло событие . Эта вероятность называется условной вероятностью события  при условии, что событие  имеет место, и определяется как

                                                  (2.1.11)

в предложении, что . Подобным же образом вероятность события  при условии, что событие  имело место, определяется как

                                                  (2.1.12)

в предложении, что . Формулы (2.1.11) и (2.1.12) могут быть переписаны в виде

.             (2.1.13)

Соотношения в (2.1.11)-(2.1.13) применимы также к единственному эксперименту, в котором  и  являются двумя событиями, определёнными на выборочном пространстве , а  интерпретируется как вероятность . Т.е. определяет одновременного наступления (пересечения) событий  и . Например, рассмотрим события  и , определённые (2.1.4) и (2.1.5) соответственно, для единственного бросания кости. Совместное событие состоит из выборочных точек . Условная вероятность события  при условии, что  произошло, равна

.

В единственном эксперименте мы наблюдаем, что, когда два события  и  несовместны,  и, следовательно, . Так же, если  входит в , тогда  и, следовательно,

.

С другой стороны, если  входит в , мы имеем  и, следовательно,

.

Чрезвычайно полезные соотношения для условных вероятностей выражаются теоремой Байеса, которая гласит, что если , , являются несовместными событиями, так что

и  - произвольное событие с отличной от нуля вероятностью, тогда

.                                   (2.1.14)

Мы используем эту формулу в гл. 5 для нахождения структура оптимального приемника для системы цифровой связи, в которой события , , представляют в нашем случае возможные передаваемые сообщения на данном временном интервале, а  представляют их априорные вероятности, - принятый сигнал, подверженный действию шума, которой содержит передаваемое сообщение (одно из ), а  является апостериорной вероятностью  при условии, что наблюдается принятый сигнал .

Статистическая зависимость. Статистическая независимость двух или большего числа событий – другое важное понятие теории вероятности. Она обычно возникает, когда мы рассматриваем два или больше экспериментов или результатов повторений одного эксперимента. Чтобы пояснить это понятие, мы рассматриваем события  и  и их условную вероятность , которая является вероятностью события  при условии, что событие  произошло. Предположим, что появление события  не зависит от появления события . Это значит, что

.                                                     (2.1.15)

Подставив (2.1.15) в (2.1.13), получим результат

.                                             (2.1.16)

Это означает, что совместная вероятность событий  и  определяется произведением элементарных или собственных вероятностей событий  и . Когда события  и  удовлетворяют соотношению (2.1.16), их называют статистически независимыми.

Например, рассмотрим два последовательных эксперимента бросания кости. Пусть  представляет выборочные точки с четными номерами  в первом бросании, а  представляет чётно нумерованную выборку  во втором бросании. В случае правильной кости мы считаем что вероятность  и . Теперь вероятность совместного исхода – чётно нумерованный результат при первом бросании и чётно нумерованный результат при втором бросании – является вероятностью результата для девяти возможных пар , , , которая равна . Но мы имеем также

.

Таким образом, результаты  и  статистически независимы. Точно так же мы можем говорить, что исходы двух экспериментов статистически независимы.

Понятие статистической независимости может быть расширено на три и более число событий. Три статистически независимых события ,  и  должны удовлетворять следующим условиям:

;    ;                           

;   .                       (2.1.17)

В общем случае события , , являются статистически независимыми при условии, что вероятность совместного наступления  событий в любой комбинации определяются произведением вероятностей индивидуальных событий.