4.2. Пропускная способность дискретного канала4.2.1. Количество информации переданной по дискретному каналу Основной задачей систем связи является передача информации от источника к получателю. Решение этой задачи сопряжено с определенными трудностями, связанными не только с представлением информации в виде сообщения, пригодного для восприятия и обработки, но и с преобразованием данного сообщения в сигнал, пригодный для передачи по линии связи. Представим графически процесс передачи информации по каналу связи (рис.4.2) и учтем при этом возможное влияние помех. Пусть дискретный канал определяется: – алфавитом источника сообщений; – алфавитом получателя сообщений; – «потерями» информации; – ложной информацией, создаваемой помехами; – количеством информации, переданной по каналу. Условная энтропия характеризует среднюю степень неопределенности принимаемых сигналов, обусловленную действием помех. При сопряжении входа канала с любым источником двоичной информации на вход могут поступать двоичные символы и с вероятностями и соответственно (рис.4.3). На выходе канала появляются двоичные символы и . Обозначим вероятность ошибки при передаче любого символа через . Тогда, , а . В общем случае, для -ичного дискретного канала [5]:
Тогда «шумовая» энтропия будет определяться выражением [5]:
Из полученного выражения следует, что энтропия определяемая только помехой не зависит от вероятности появления символов на входе канала. Если символы на входе канала выбираются независимо от предыдущих символов с одинаковыми вероятностями, то энтропия выходных символов достигает своего максимального значения, равного: . Таким образом, количество информации, переданной по каналу, это разность между энтропией на выходе и энтропией шума:
Количество информации, переданной по каналу связи, обладает следующими основными свойствами: , причем тогда и только тогда, когда входные и выходные сообщения в канале взаимно независимы; , причем тогда и только тогда, когда входная последовательность определяется однозначно по выходной последовательности, например, когда в канале нет помех; следует из того, что количество информации не изменится, если входную и выходную последовательность поменять местами.
|