СОГЛАСОВАНИЕ ДИСКРЕТНОГО ИСТОЧНИКА С ДИСКРЕТНЫМ КАНАЛОМ
Задача согласования дискретного источника с дискретным каналом без шума. Эффективное или статистическое кодирование
Предположим, что мы имеем дискретный канал
вероятность возникновения ошибки, в котором близка к нулю (в идеале = 0).
Такой канал называют идеальным каналом или каналом без шума. В соответствии
с (1.25а) пропускная способность канала определяется 
. При наличии идеального канала естественно поставить вопрос
о возможности передаче по нему без потерь информации от произвольного дискретного
источника U характеризуемого производительностью H'(U) со скоростью равной
пропускной способности канала. Схема построения такой системы передачи информации
должна выглядеть, так как на рисунке 2.1. 
Необходимость
включения устройства кодер, а так же декодера, выполняющего обратные ему операции.
Состав этой системы обусловлен следующими обстоятельствами. Как говорилось
в пункте 1.6. для того чтобы скорость передачи информации в канале была равна
его пропускной способности, на входе канала должен действовать дискретный
источник с определенными статистическими свойствами, максимизирующими величину
I(Z,Z*). В частности, в интересующем нас здесь случае идеального канала без
помех такой источник должен просто обладать максимальной энтропией или нулевой
избыточностью, т.е. выдавать независимые равновероятные сообщения. В то же
время своей постановки задачи мы пожелали иметь возможность передавать сообщения
от произвольного источника с любыми статистическими свойствами, т.е. имеющего
ненулевую избыточность. Таким образом функции кодера являются согласованием
в статическом смысле сообщений источника со входом канала. Задача этого согласования
в конечном итоге сводится к устранению избыточности сообщений. Кодер осуществляет кодирование сообщений, т.е. каждому дискретному
сообщению по определенному правилу ставят в соответствие последовательность
символов из алфавита объемом М. При этом по отношению к входу каналом выдаваемые
кодером символы сами являются дискретными элементами сообщений, статические
свойства которых должны отличаться от статических свойств сообщений исходного
источника. Возможность построения кодера полностью устраняющего избыточность
произвольного исходного источника сообщений и определяет возможность решения
поставленной задачи без ошибочной передачи информации со скоростью, равной
пропускной способности канала. При полном ее решении оказывается справедливым
равенство
H(U) = C H(U) = K log M = C (2.1),
откуда имеем = K C = H(U) log M
(2.1а),
где H(U) - энтропия источника передаваемых сообщений, K и
C - средние количества символов соответственно сообщения и кода передаваемых
в единицу времени.
= K C - среднее количество символов кода
приходящиеся на одно сообщение.
Степень приближения к точному выполнению равенств (2.1) и (2.1а) зависит от
степени уменьшения избыточности источника сообщений.