КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ
Дискретные источники сообщений с памятью.
Избыточность дискретного источника сообщений
Из определения энтропии H(U) дискретного
источника характеризуемого ансамблем U следует, что величина H(U) зависит
от распределения вероятности ансамбля, причем как показано в параграфе 1.2
свойство 2 энтропии. Энтропия максимальна только в том случае, когда все сообщения
источника равновероятны. При генерировании источником последовательности сообщений
существует еще один фактор, оказывающий влияние на величину энтропии, а именно
наличия или отсутствия у источника памяти. Источник дискретных сообщений называется
источником с памятью, если вероятность выдачи им очередного
элементарного сообщения uk зависит от того, какое (или какие) элементарные
сообщения были выданы ранее. Иначе говоря, сообщения источника с памятью являются
зависимыми. Стационарный источник независимых сообщений называется источником
без памяти.
В качестве примера источника дискретных сообщений с памятью можно привести
источник связанного русского текста, в качестве элементарных сообщений которого
рассматриваются отдельные буквы русского алфавита. Наряду с тем, что различными
являются вероятности появления разных букв в тексте (а чаще чем ъ) имеет место
зависимость вероятности появления каждой буквы, от того какая буква ей предшествовала.
Так сочетание букв "ар" может встретиться чаще чем "аъ".
В тоже время если передачи подлежат расчеты ЭВМ и в качестве элементарных
сообщений выступают отдельные цифры, то есть основания в общем случае такой
источник информации считать источником без памяти.
Как видно из параграфа 1.3 количество информации, содержащееся в одном элементарном
сообщении источника с памятью, определяется с помощью условных вероятностей.
Следовательно, и энтропия такого источника, определяемая на основе (1.4) так
же будет равна условной энтропии H(u/z). Сообщения ансамбля U при условии,
что ему предшествовало сообщение (или несколько сообщений) ансамбля Z. В соответствии
со свойством условной энтропии (1.12) для случая зависимых ансамблей U и Z
всегда, 
т.е. энтропия источника с памятью всегда меньше энтропии
источника независимых сообщений. Таким образом, энтропия дискретного источника
максимальна в том случае, когда выполняются 2 условия:
1) все сообщения источника независимы (источник
без памяти).
2) все сообщения источника равновероятны.
Невыполнение любого из этих требований уменьшает
энтропию источника и является причиной избыточности. Избыточностью
источника дискретных сообщений с энтропией Hu и объемом алфавита N называется
величина 
(1.20),
где 
- максимально возможное значение
энтропии при данном объеме алфавита, оно достигается при выполнении условий
1) и 2) и в соответствии с (1.6)
|
|
. Избыточность показывает, какая доля максимально возможной при заданном объеме алфавита неопределенности (энтропии) не используется источником. В частности избыточность современного английского текста составляет 50%, избыточность русского текста 70%.