2.1. ВЕРОЯТНОСТЬ
Рассмотрим, например, такой эксперимент, как бросание игральной кости с рядом возможных исходов. Выборочное пространство
эксперимента состоит из набора всех возможных его исходов. В случае игральной кости
, (2.1.1)
где целые числа 1...6 представляют числа, указанные на шести сторонах игральной кости. Эти шесть возможных исходов – выборочные (характерные) точки эксперимента. Событием является некоторая часть от
, которая может состоять из любого числа характерных точек. Например, событие
определённое как
, (2.1.2)
состоит из результатов 2 и 4. Дополнение к событию
, обозначаемое
, состоит из всех характерных точек в
, которых нет в
, следовательно,
. (2.1.3)
Два события считают взаимоисключающими (несовместными), если они не имеют никаких общих характерных точек – т.е. если появление одного результата исключает появление другого. Например, если
определенно как в (2.1.2), а событие
определим как
, (2.1.4)
тогда
и
- несовместные события. Точно так же
и
- несовместны.
Объединение (сумма) двух событий – это событие, которое состоит из всех характерных точек двух событий. Например, если
определенно, как в (2.1.4), а событие
- как
, (2.1.5)
тогда объединение событий
и
, обозначаемое
, является событием
. (2.1.6)
Точно так же
, где
- всё выборочное пространство, определяющее достоверное событие.
Пересечение двух событий – событие, которое состоит их характерных точек, общих для обоих событий. Таким образом, если
представляет пересечение событий
и
, определяемых (2.1.4) и (2.1.5) соответственно, то
.
Если события несовместны, их пересечение – событие с нулевой вероятностью, обозначаемое как
. Например,
и
.
Определения для объединения и пересечения событий можно непосредственно расширить на более чем два события. Каждому событию
из пространства
приписывается его вероятность
. При назначении вероятностной меры для событий мы принимаем аксиоматическую точку зрения. Это означает, что мы полагаем, что вероятность событий
удовлетворяет условию
. Мы также полагаем, что вероятность всего выборочного пространства
(достоверного события)
. Третья аксиома касается вероятности взаимоисключающих (несовместных) событий. Предположим, что
,
, являются рядом (возможно, бесконечным) несовместных событий в выборочном пространстве
так что
, 
Тогда вероятность объединения (суммы) этих несовместных событий удовлетворяет условию
.
Например, в случае бросания игральной кости каждый возможный исход (событие) имеет вероятность 1/6. Событие, определённое (2.1.2), состоит из двух несовместных подсобытий или исходов, следовательно,
. Аналогично вероятность события
, где
и
- несовместные события, определённые соответственно (2.1.2) и (2.1.4), равна
.
Совместные события и совместные вероятности. Предположим, что мы имеем дело не с одним, а с двумя экспериментами и рассматриваем их исходы. В качестве примера двух экспериментов можно рассматривать два отдельных бросания одной игральной кости или одно бросание двух игральных костей. В любом случае выборочное пространство
состоит из 36 дублетов
, где
. Если бросание производится чисто, то каждой точке выборочного пространства назначаем вероятность 1/36. Мы теперь можем рассматривать, например, объединённые события вида
и определять соответствующие вероятности таких событий, зная вероятности всех возможных характерных точек.
Вообще, если один эксперимент имеет возможные исходы
,
, а второй эксперимент -
,
, тогда объединённый эксперимент имеет возможные совместные исходы
,
,
. Каждому объединённому исходу
присваивается вероятность
, которая удовлетворяет условиям
.
В предложении, что исходы
,
, являются несовместными, получаем
. (2.1.8)
Точно так же, если исходы
,
, являются несовместными, то
. (2.1.9)
Далее, если все результаты из двух экспериментов несовместны, то
. (2.1.10)
Обобщение вышеупомянутого положения на более чем два эксперимента очевидно.
Условные вероятности. Рассмотрим комбинированный эксперимент, в котором исход встречается с вероятностью
. Предположим, что событие
произошло, и мы желаем определить вероятность того, что при этом произошло событие
. Эта вероятность называется условной вероятностью события
при условии, что событие
имеет место, и определяется как
(2.1.11)
в предложении, что
. Подобным же образом вероятность события
при условии, что событие
имело место, определяется как
(2.1.12)
в предложении, что
. Формулы (2.1.11) и (2.1.12) могут быть переписаны в виде
. (2.1.13)
Соотношения в (2.1.11)-(2.1.13) применимы также к единственному эксперименту, в котором
и
являются двумя событиями, определёнными на выборочном пространстве
, а
интерпретируется как вероятность
. Т.е.
определяет одновременного наступления (пересечения) событий
и
. Например, рассмотрим события
и
, определённые (2.1.4) и (2.1.5) соответственно, для единственного бросания кости. Совместное событие состоит из выборочных точек
. Условная вероятность события
при условии, что
произошло, равна
.
В единственном эксперименте мы наблюдаем, что, когда два события
и
несовместны,
и, следовательно,
. Так же, если
входит в
, тогда
и, следовательно,
.
С другой стороны, если
входит в
, мы имеем
и, следовательно,
.
Чрезвычайно полезные соотношения для условных вероятностей выражаются теоремой Байеса, которая гласит, что если
,
, являются несовместными событиями, так что

и
- произвольное событие с отличной от нуля вероятностью, тогда
. (2.1.14)
Мы используем эту формулу в гл. 5 для нахождения структура оптимального приемника для системы цифровой связи, в которой события
,
, представляют в нашем случае возможные передаваемые сообщения на данном временном интервале, а
представляют их априорные вероятности,
- принятый сигнал, подверженный действию шума, которой содержит передаваемое сообщение (одно из
), а
является апостериорной вероятностью
при условии, что наблюдается принятый сигнал
.
Статистическая зависимость. Статистическая независимость двух или большего числа событий – другое важное понятие теории вероятности. Она обычно возникает, когда мы рассматриваем два или больше экспериментов или результатов повторений одного эксперимента. Чтобы пояснить это понятие, мы рассматриваем события
и
и их условную вероятность
, которая является вероятностью события
при условии, что событие
произошло. Предположим, что появление события
не зависит от появления события
. Это значит, что
. (2.1.15)
Подставив (2.1.15) в (2.1.13), получим результат
. (2.1.16)
Это означает, что совместная вероятность событий
и
определяется произведением элементарных или собственных вероятностей событий
и
. Когда события
и
удовлетворяют соотношению (2.1.16), их называют статистически независимыми.
Например, рассмотрим два последовательных эксперимента бросания кости. Пусть
представляет выборочные точки с четными номерами
в первом бросании, а
представляет чётно нумерованную выборку
во втором бросании. В случае правильной кости мы считаем что вероятность
и
. Теперь вероятность совместного исхода – чётно нумерованный результат при первом бросании и чётно нумерованный результат при втором бросании – является вероятностью результата для девяти возможных пар
,
,
, которая равна
. Но мы имеем также
.
Таким образом, результаты
и
статистически независимы. Точно так же мы можем говорить, что исходы двух экспериментов статистически независимы.
Понятие статистической независимости может быть расширено на три и более число событий. Три статистически независимых события
,
и
должны удовлетворять следующим условиям:
;
;
;
. (2.1.17)
В общем случае события
,
, являются статистически независимыми при условии, что вероятность совместного наступления
событий в любой комбинации определяются произведением вероятностей индивидуальных событий.