3.1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ИСТОЧНИКОВ ИНФОРМАЦИИ

Произвольный источник информации создает выход, который является случайным, то выход источника характеризуется статистически. Действительно, если выход источника известен точно, то нет нужды его передавать. В этом разделе мы рассмотрим дискретные аналоговые источники информации и сформулируем математические модели для каждого типа источника.

Простейший тип дискретного источника – это такой, который выдаёт последовательность букв (символов), выбираемых из определенного алфавита. Например, двоичный источник выдает двоичную последовательность вида 100101110..., причём алфавит состоит из двух символов {0, 1}. В более общем случае источник дискретен информации с алфавитом из  символов, скажем , выдает последовательность букв, выбираемых из этого алфавита.

Чтобы конструировать математическую модель для дискретного источника предположим, что каждый символ алфавита  имеет заданную вероятность выбора , т.е.

, ,

где

.

Мы рассмотрим две математические модели для дискретных источников. В первой мы предположим, что символы выходной последовательности источника статистически независимы, т.е. выбираемый текущий символ статистически независим от всех предыдущих и последующих. Источник, выход которого удовлетворяет условиям статистической независимости символов в выбранной последовательности, называется источником без памяти. Такой источник называется дискретным источником без памяти (ДИБП).

Если отдельные выходные символы дискретного источника статистически взаимозависимы, как, например, в английском тексте, мы можем сконструировать математическую модель, основанную на статической стационарности. По определению дискретный источник называется стационарным, если совместные вероятности двух последовательностей длины , допустим  и  одинаковые для всех  и при всех сдвигах . Другими словами, совместные вероятности для последовательностей источника произвольной длины инвариантны по отношению к произвольному сдвигу во времени.

Аналоговый источник выдает сигнал , который является реализацией случайного процесса . Предположим, что  - стационарный случайный процесс с автокорреляционной функцией  и спектральной плотностью мощности . Если  - частотно-ограниченный случайный процесс, т.е.  для , можно использовать теорему отсчётов для представления  в виде

,                          (3.1.1)

где  - отсчёты процесса , взятые со скоростью Найквиста 1/с. Используя теорему отсчётов, мы можем преобразовать аналоговый источник в эквивалентный источник с дискретным временем. После этого выход источника характеризуется совместной ФПВ  для всех , где , , - случайные величины, соответствующие отсчётам .

Заметим, что выходные отсчёты  стационарного источника обычно непрерывны, и, следовательно, их нельзя представить в цифровой форме без потери точности представления. Например, мы можем квантовать каждый отсчёт рядом дискретных значений, но процесс квантования вносит потери в точность представления, и, следовательно, исходный сигнал не может быть восстановлен точно по квантованным отсчётам. Позже мы рассмотрим искажения, возникающие при квантовании уровней отсчётов аналогового источника.