Теория информационных процессов Электронный учебник

Техника живописи Акварель Исследовать поведение функции Математика Примеры решения задач


КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ

Пропускная способность дискретного канала

В любой системе связи по каналу передается информация, скорость ее передачи определяется выражением (1.23) как видно из него это скорость зависит от свойств самого канала, но и от подаваемого на его вход сигнала, и поэтому не может характеризовать канал как средство передачи информации. Попытаемся найти объективную характеристику способности канала передавать информацию. Рассмотрим дискретный канал, через который в единицу времени передается символов источника с объемом алфавита M. При передаче каждого символа в среднем по каналу проходит количество информации , где U и Z ансамбли сообщений на входе и выходе канала. Из четырех фигурирующих здесь энтропий лишь H(U) - собственная информация источника передаваемых символов, определяется источником входного сигнала и не зависит от свойств канала. Остальные три энтропии в общем случае зависят как от свойств источника, так и от канала. Представим себе, что на вход канала можно подавать символы от различных источников характеризуемых различными распределениями вероятностей P(U) при одних и тех же значениях и M. Для каждого такого источника количество информации переданной по каналу принимает свое значение. Очевидно, существует какой-то источник входного сигнала с некоторым распределением P(U) для которого величина I(U,Z) максимальна. Максимальное количество переданной информации, взятое по всевозможным источникам входного сигнала, характеризует сам канал, и называется пропускной способностью канала в расчете на один символ.

(1.24а),

где максимизация производится по всем возможным многомерным (т.е. учитывающим и статистическую взаимозависимость последовательно выдаваемых элементарных сообщений) распределением вероятностей P(U)). Обычно определяют пропускную способность в расчете на единицу времени.

(1.24б),

которую и называют просто пропускной способностью канала. Пропускная способность канала удовлетворяет системе неравенств (1.25), причем С=0 при независимых входе и выходе канала, т.е. H(U/Z)=H(U) (обрыв канала или сильные помехи). Ограниченное значение (1.25а) наблюдается в том случае, когда помех в канале нет H(U/Z)=H(Z/U)=0 при этом H(U)=H(Z)=I(U,Z) если учесть что при заданном M (см. свойство 2 энтропии). Таким образом, пропускная способность дискретного канала без шума определяется равенством (1.25а) при наличии шума (1.25б). В качестве примера вычислим пропускную способность дискретного симметричного канала без памяти. В таком канале каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью P и правильно с вероятностью 1-P, при чем в случае ошибки вместо переданного символа может быть с равной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ Zj при условии, что передавался символ Uk равна

(1.26),

где N - объем алфавита источника.
Термин без памяти означает, что вероятность ошибки в канале не зависит от того, какие символы передавались ранее и как они были приняты. В соответствии с (1.24а) . В соответствии с (1.19) и (1.26) имеем
(1.26а),
итак . В правой части от P(U) зависит только H(Z) следует минимизировать только ее. В соответствии со вторым свойством энтропии максимальное значение и реализуется оно тогда когда все принятые сигналы Zj равновероятные и независимые. Легко убедиться, что это условие выполняется, когда , . В соответствии с (1.26) при каждом значении j для одного из слагаемых этой суммы соответствующего , при j=k, а для всех остальных . При этом и (1.27). Отсюда пропускная способность канала (1.27а). Для двоичного симметричного канала N=2 и (1.27а) принимает вид (1.28). Зависимость, построенная в соответствии с (1.28) показана на рисунке 1.2. При  пропускная способность двоичного канала C=0 т.к. при такой вероятности ошибки последовательность выходящих двоичных символов можно получить, совсем не передавая сигнала по каналу, а выбирая их наугад, т.е. при  последовательности на входе и выходе независимы (обрыв канала). То, что пропускная способность при P=1 в двоичном канале такая же, что и при P=0 (канал без шумов) объясняется тем, что при P=1 достаточно все выходные символы инвертировать, чтобы правильно восстановить исходный сигнал.

 

 

 


Maya 3D графика в кино и телевидении Воздействие испытаний ядерного оружия на здоровье населения Объектно-ориентированный язык программирования Java Объектно-ориентированное программирование Delphi Библиотека визуальных компонентов VCL и ее базовые классы Кроссплатформенное программирование для Linux Элементы управления Win32 Элементы управления Windows XP Файлы и устройства ввода/вывода Что такое экспертная система? Объектно-ориентированное программирование Инструментальные средства разработки экспертных систем Программирование на языке CLIPS Критерии и количественные характеристики надежности Расчет характеристик надежности невостанавливаемых резервированных изделий Расчет надежности системы с постоянным резервированием Интегрирование тригонометрических функций ;