3.3. КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ ИСТОЧНИКОВ

В разд. 3.2 мы ввели меру для информационного содержания дискретной случайной величины . Когда  является выходом дискретного источника, энтропия  источника определяет среднее количество информации на символ, выдаваемой источником. В этом разделе мы рассмотрим процесс кодирования выхода источника, т.е. процесс представления выхода источника последовательностью двоичных цифр. Эффективность способа кодирования источника можно измерить путём сравнения среднего количества двоичных символов кодера на один символ источника и энтропии источника .

На первый взгляд может показаться, что кодирование дискретного источника конечным объёмом алфавита является простой проблемой. Однако это верно, только если источник без памяти, т.е. когда последовательные символы источника статистически независимы и каждый символ кодируется отдельно. Дискретный источник без памяти (ДИБП) является простейшей моделью, которую можно предложить для физического источника. Эта идеализированная математическая модель подходит для немногих физических источников. Например, можно легко убедиться в том, что последовательно выдаваемые буквы устройством, печатающим осмысленный текст, статистически взаимосвязаны. С другой стороны, если печатается компьютерная программа на языке Фортран, то можно ожидать, что зависимость в последовательности выходных символа проявится значительно меньше. Во всяком случае, мы покажем, что всегда более эффективно кодировать блок символов источника вместо того, чтобы кодировать каждые символ отдельно. Если размер блока достаточно большой, то среднее количество символов кодера на один выходной символ источника можно сделать сколь угодно близким энтропии источника.