4.3.2. Прямая и обратная теоремы кодирования источника неравномерными кодами

Прямая теорема кодирования состоит в том, что для любого однозначно декодируемого кода среднее число символов в двоичном кодовом слове всегда не меньше энтропии источника сообщений , и существует однозначно декодируемый код, для которого выполняется неравенство .

Обратная теорема кодирования утверждает, что невозможно построить однозначно декодируемый код, для которого выполнялось бы неравенство .

Из этих теорем следует, что невозможно закодировать сообщение таким образом, чтобы средняя длина кодовых слов была меньше энтропии сообщения. Кроме того, существует кодирование, при котором средняя длина кодового слова незначительно отличается от энтропии источника сообщений. Среднее число символов кода на сообщение можно уменьшить, если кодировать не каждый символ сообщения, а блоки по  символов из алфавита . Используя кодирование блоков, можно получить среднее число символов на сообщение, сколь угодно мало отличающееся от энтропии источника, но при этом возрастает сложность кодирования.