4.1.1. Количественное определение информации

В основу измерения количества информации положены вероятностные характеристики передаваемых сообщений, которые не связаны с конкретным содержанием сообщений, а отражают степень их неопределенности. Естественно, что чем меньше вероятность сообщения, тем больше информации оно несет.

Количество информации  в отдельно взятом единичном сообщении  определяется величиной, обратной вероятности появления сообщения  и вычисляется в логарифмических единицах [2]:

.

(4.1)

Логарифмическая мера, впервые предложенная в 1928 г. английским ученым Р. Хартли, обладает свойством аддитивности, что соответствует нашим интуитивным представлениям об информации. Кроме того, при  количество информации, вычисленное по (4.1), равно нулю, что соответствует принятому определению информации.

Если источник выдает зависимые сообщения , то они характеризуются условными вероятностями . И в этом случае количество информации вычисляется по формуле (4.1) с подстановкой в нее условных вероятностей сообщений.

Единицы измерения количества информации.

Выбор основания логарифмов в формуле (4.1) определяет единицы измерения количества информации. При использовании десятичного логарифма  информация измеряется в десятичных единицах – дитах. В случае использования натуральных логарифмов единицей измерения является натуральная единица – нат.

Более удобно в системах, работающих с двоичными кодами, использовать основание логарифма , и тогда информация измеряется в двоичных единицах – дв.ед. Весьма часто вместо двоичных единиц используется эквивалентное название – бит, возникшее как сокращенная запись английских слов binary digit (двоичная цифра). 1 бит это количество информации, которое передается единичным символом сообщения, вероятность передачи которого :

(бит).

В настоящее время термин бит в информатике, вычислительной и импульсной технике употребляется не только как единица количества информации, но и для обозначения числа двоичных символов 0 и 1, поскольку они обычно равновероятны и каждый из них несет 1 бит информации.

Количество информации в сообщении, составленном из  символов, определяется по формуле [2]:

,

где    – номер символа  из алфавита источника;

 – вероятность передачи -го символа.