3.3.2. Дискретные стационарные источникиВ предыдущем разделе мы описали эффективное кодирование выхода дискретного источника без памяти (ДИБП). В этом разделе мы рассмотрим дискретные источники, для которых последовательность символов выхода является статистически зависимой. Мы ограничим наше исследование источниками, которые являются статистически стационарными (однородными во времени). Оценим энтропию некоторой последовательности символов от стационарного источника. Из определения в (3.2.13) и результата, данного в (3.2.15), энтропия блока случайных переменных
где
Мы определяем количество информации стационарного источника как энтропию на символ в (3.3.15) в пределе при
Существование этого предела установлено ниже. В качестве альтернативы мы можем определять энтропию на символ источника как условную энтропию
Этот результат также установлен ниже. Наше изложение использует подход Галлагера (1968). Во-первых, мы покажем, что
для
В силу стационарности источника имеем
Следовательно, (3.3.18) следует немедленно. Этот результат демонстрирует, что Во-вторых, мы имеем результат
который следует непосредственно из (3.3.14) и (3.3.15) и того факта, что последний член в сумме (3.3.14) является нижней границей для каждого из остальных B-третьих, по определению что приводит к
Следовательно, Поскольку Так как условная энтропия не возрастает, первый член в квадратных скобках является верхней границей для других слагаемых. Следовательно,
Для фиксированного
Но (3.3.24) справедливо для всех
С другой стороны, с учётом (3.3.21) мы получаем в пределе для
устанавливает (3.3.17). Теперь предположим, что мы имеем дискретный стационарный источник, который даёт
Деля обе части (3.3.27) на
Увеличивая размер блока
где
|