4.3. Методы сжатия дискретных сообщений

4.3.1. Условия существования оптимального неравномерного кода

При передаче сообщения осуществляется его преобразование в сигнал, пригодный для передачи по каналу связи. При этом необходимо согласовывать источник с каналом путем определения правила, по которому каждому элементу сообщения ставится в соответствие некоторый код, преобразуемый далее в сигнал.

В настоящее время существует два основных направления развития теории кодирования. В одном из них рассматриваются задачи повышения достоверности передачи в каналах с помехами, решаемые применением помехоустойчивых кодов, которые позволяют обнаруживать или исправлять ошибки. Такое кодирование называется помехоустойчивым. При этом избыточность кодовой последовательности выше, чем избыточность источника сообщений. Благодаря этому и оказывается возможным обнаружение и исправление ошибок передачи.

Другое направление теории кодирования связано с вопросами устранения избыточности при передаче сообщений в каналах без помех. Цель кодирования при этом состоит в таком преобразовании сообщения, при котором избыточность кодовой последовательности должна стать меньше, чем избыточность сообщений источника. В результате появляется возможность увеличения скорости передачи информации или снижаются требования к пропускной способности канала. Это особенно важно в случае, когда источники сообщений имеют большую избыточность, например, источники речевых сообщений, изображений и т.д.

Процесс кодирования с целью уменьшения избыточности источника сообщений носит название согласования источника с каналом или сжатия источника (экономного кодирования, энтропийного кодирования).

Избыточность (4.5) равна нулю только в том случае, когда элементы сообщения появляются на выходе источника с равными вероятностями  () и независимо друг от друга . Если же , то оказывается возможным построение кодов, имеющих меньшую избыточность, чем источник сообщений.

Покажем это на простейшем примере.

Пусть источник имеет алфавит из четырех символов А, Б, В, Г с вероятностями ; ; .

Энтропия такого источника:

Для передачи по каналу будем использовать равномерное кодирование, например, , , , . Тогда среднее число двоичных символов в сообщении, приходящихся на один символ источника, равно двум. Поскольку это на 12,5% больше энтропии источника, то используемый код не является оптимальным.

Рассмотрим теперь неравномерный код: ; ; ; . В этом случае среднее число двоичных символов, приходящихся на один символ источника в сообщении,

.

Таким образом, среднее число двоичных символов, приходящихся на один символ источника, равно энтропии источника, т.е. для указанного источника неравномерный код оказывается более экономичным, чем равномерный.

Важно отметить, что при кодировании неравномерным кодом должна обеспечиваться возможность однозначного декодирования символов сообщения. Например, для рассмотренного источника, нецелесообразно применять код: ; ; ; , поскольку прием последовательности 10 может означать передачу символа , или двух символов  и . Неоднозначно также декодирование символов 11. Для однозначного декодирования неравномерные коды должны удовлетворять условию префиксности: никакое более короткое слово не должно являться началом более длинного слова. Неравномерные коды, удовлетворяющие этому условию, называют префиксными.

Неравномерные коды позволяют в среднем уменьшить число двоичных символов на единичное информационное сообщение. Однако им присущ существенный недостаток: при возникновении ошибки она распространяется на все последующие элементы сообщения. Возникает ошибка синхронизации, приводящая к резкому ухудшению достоверности приема. Этот недостаток отсутствует в равномерных кодах. При кодировании равномерными кодами используется одно и то же число двоичных символов – блок; поэтому такие коды называют блоковыми.