18.7. Энтропия и информация для систем с непрерывным множеством состояний

До сих пор мы рассматривали физические системы, различные состояния которых можно было все перечислить; вероятности этих состояний были какие-то отличные от нуля величины . Такие системы аналогичны прерывным (дискретным) случайным величинам, принимающим значения с вероятностями . На практике часто встречаются физические системы другого типа, аналогичные непрерывным случайным величинам. Состояния таких систем нельзя перенумеровать: они непрерывно переходят одно в другое, причем каждое отдельное состояние имеет вероятность, равную нулю, а распределение вероятностей характеризуется некоторой плотностью. Такие системы, по аналогии с непрерывными случайными величинами, мы будем называть «непрерывными», в отличие от ранее рассмотренных, которые мы будем называть «дискретными». Наиболее простой пример непрерывной системы - это система, состояние которой описывается одной непрерывной случайной величиной с плотностью распределения . В более сложных случаях состояние системы описывается несколькими случайными величинами с плотностью распределения . Тогда ее можно рассматривать как объединение простых систем .

Рассмотрим простую систему , определяемую одной непрерывной случайной величиной с плотностью распределения (рис. 18.7.1). Попытаемся распространить на эту систему введенное в 18.1 понятие энтропии.

Рис. 18.7.1.

Прежде всего отметим, что понятие «непрерывной системы», как и понятие «непрерывной случайной величины», является некоторой идеализацией. Например, когда мы считаем величину - рост наугад взятого человека - непрерывной случайной величиной, мы отвлекаемся от того, что фактически никто не измеряет рост точнее, чем до 1 см, и что различить между собой два значения роста, разнящиеся, скажем, на 1 мм, практически невозможно. Тем не менее, данную случайную величину естественно описывать как непрерывную, хотя можно было бы описать ее и как дискретную, считая совпадающими те значения роста, которые различаются менее чем на 1 см.

Точно таким образом, установив предел точности измерений, т. е. некоторый отрезок , в пределах которого состояния системы практически неразличимы, можно приближенно свести непрерывную систему к дискретной. Это равносильно замене плавной кривой ступенчатой, типа гистограммы (рис. 18.7.2); при этом каждый участок (разряд) длины заменяется одной точкой-представителем.

Рис. 18.7.2.

Площади прямоугольников изображают вероятности попадания в соответствующие разряды: . Если условиться считать неразличимыми состояния системы, относящиеся к одному разряду, и объединить их все в одно состояние, то можно приближенно определить энтропию системы , рассматриваемой с точностью до :

. (18.7.1)

При достаточно малом :

и формула (18.7.1) принимает вид:

. (18.7.2)

Заметим, что в выражении (18.7.2) первый член получился совсем не зависящим от - степени точности определения состояний системы. Зависит от только второй член , который стремится к бесконечности при . Это и естественно, так как чем точнее мы хотим задать состояние системы , тем большую степень неопределенности мы должны устранить, и при неограниченном уменьшении эта неопределенность растет тоже неограниченно.

Итак, задаваясь произвольно малым «участком нечувствительности» наших измерительных приборов, с помощью которых определяется состояние физической системы , можно найти энтропию по формуле (18.7.2), в которой второй член неограниченно растет с уменьшением . Сама энтропия отличается от этого неограниченно растущего члена на независимую от величину

. (18.7.3)

Эту величину можно назвать «приведенной энтропией» непрерывной системы . Энтропия выражается через приведенную энтропию формулой

. (18.7.4)

Соотношение (18.7.4) можно истолковать следующим образом: от точности измерения зависит только начало отсчета, при котором вычисляется энтропия.

В дальнейшем для упрощения записи мы будем опускать индекс в обозначении энтропии и писать просто ; наличие в правой части всегда укажет, о какой точности идет речь.

Формуле (18.7.2) для энтропии можно придать более компактный вид, если, как мы это делали для прерывных величин, записать ее в виде математического ожидания функции. Прежде всего перепишем (18.7.2) в виде

. (18.7.5)

Это есть не что иное, как математическое ожидание функции от случайной величины с плотностью :

. (18.7.6)

Аналогичную форму можно придать величине :

. (18.7.7)

Перейдем к определению условной энтропии. Пусть имеются две непрерывные системы: и . В общем случае эти системы зависимы. Обозначим плотность распределения для состояний объединенной системы ; - плотность распределения системы ; - плотность распределения системы ; - условные плотности распределения.

Прежде всего определим частную условную энтропию , т. е. энтропию системы при условии, что система приняла определенное состояние . Формула для нее будет аналогична (18.4.2), только вместо условных вероятностей будут стоять условные законы распределения и появится слагаемое :

. (18.7.8)

Перейдем теперь к полной (средней) условной энтропии , для этого нужно осреднить частную условную энтропию по всем состояниям с учетом их вероятностей, характеризуемых плотностью :

(18.7.9)

или, учитывая, что

. (18.7.10)

Иначе эта формула может быть записана в виде

(18.7.11)

или

. (18.7.12)

Определив таким образом условную энтропию, покажем, как она применяется при определении энтропии объединенной системы.

Найдем сначала энтропию объединенной системы непосредственно. Если «участками нечувствительности» для систем и будут и , то для объединенной системы роль их будет играть элементарный прямоугольник . Энтропия системы будет

. (18.7.13)

Так как

то и

. (18.7.14)

Подставим (18.7.14) в (18.7.13):

или, по формулам (18.7.6) и (18.7.12)

, (18.7.15)

т. е. теорема об энтропии сложной системы остается в силе и для непрерывных систем.

Если и независимы, то энтропия объединенной системы равна сумме энтропий составных частей:

. (18.7.16)

Пример 1. Найти энтропию непрерывной системы , все состояния которой на каком-то участке одинаково вероятны:

Решение.

;

или

. (18.7.17)

Пример 2. Найти энтропию системы , состояния которой распределены по нормальному закону:

Решение.

Но

. (18.7.18)

Пример 3. Состояние самолета характеризуется тремя случайными величинами: высотой , модулем скорости и углом , определяющим направление полета. Высота самолета распределена с равномерной плотностью на участке ; скорость - по нормальному закону с м.о. и с.к.о. ; угол - с равномерной плотностью на участке . Величины независимы. Найти энтропию объединенной системы.

Решение.

Из примера 1 (формула (18.7.17)) имеем

где - «участок нечувствительности» при определении высоты.

Так как энтропия случайной величины не зависит от ее математического ожидания, то для определения энтропии величины воспользуемся формулой (18.7.18):

Энтропия величины :

Окончательно имеем:

или

. (18.7.19)

Заметим, что каждый из сомножителей под знаком фигурной скобки имеет один и тот же смысл: он показывает, сколько «участков нечувствительности» укладывается в некотором характерном для данной случайной величины отрезке. В случае распределения с равномерной плотностью этот участок представляет собой просто участок возможных значений случайной величины; в случае нормального распределения этот участок равен , где - среднее квадратическое отклонение.

Таким образом, мы распространили понятие энтропии на случай непрерывных систем. Аналогично может быть распространено и понятие информации. При этом неопределенность, связанная с наличием в выражении энтропии неограниченно возрастающего слагаемого, отпадает: при вычислении информации, как разности двух энтропий, эти члены взаимно уничтожаются. Поэтому все виды информации, связанные с непрерывными величинами, оказываются не зависящими от «участка нечувствительности» .

Выражение для полной взаимной информации, содержащейся в двух непрерывных системах и , будет аналогично выражению (18.5.4), но с заменой вероятностей законами распределения, а сумм - интегралами:

(18.7.20)

или, применяя знак математического ожидания,

. (18.7.21)

Полная взаимная информация как и в случае дискретных систем, есть неотрицательная величина, обращающаяся в нуль только тогда, когда системы и независимы.

Пример 4. На отрезке выбираются случайным образом, независимо друг от друга, две точки и , каждая из них распределена на этом отрезке с равномерной плотностью. В результате опыта одна из точек легла правее, другая - левее. Сколько информации о положении правой точки дает значение положения левой?

Решение. Рассмотрим две случайные точки и на оси абсцисс (рис. 18.7.3).

Рис. 18.7.3.

Обозначим абсциссу той из них, которая оказалась слева, а - абсциссу той, которая оказалась справа (на рис. 18.7.3 слева оказалась точка , но могло быть и наоборот). Величины и определяются через и следующим образом

; .

Найдем закон распределения системы . Так как , то он будет существовать только в области , заштрихованной на рис. 18.7.4.

Рис. 18.7.4.

Обозначим плотность распределения системы и найдем элемент вероятности , т. е. вероятность того, что случайная точка попадет в элементарный прямоугольник . Это событие может произойти двумя способами: либо слева окажется точка , а справа , либо наоборот. Следовательно,

где обозначена плотность распределения системы величин .

В данном случае

следовательно,

;

Найдем теперь законы распределения отдельных величин, входящих в систему:

при ;

аналогично

при .

Графики плотностей и изображены на рис. 18.7.5.

Рис 18.7.5.

Подставляя , и в формулу (18.7.20), получим

В силу симметрии задачи последние два интеграла равны, и

(дв. ед.).

Пример 5. Имеется случайная величина , распределенная по нормальному закону с параметрами , . Величина измеряется с ошибкой , тоже распределенной по нормальному закону с параметрами , . Ошибка не зависит от . В нашем распоряжении - результат измерения, т. е. случайная величина