Теория информационных процессов Электронный учебник

Энтропия и производительность источника непрерывных сообщений

Очевидно, что при таком подходе собственная информация зависит не только от свойств источника сообщений, но и от выбора параметра , характеризующего точность воспроизведения. Возможны различные подходы к определению  в зависимости от вида и назначения передаваемой информации. Наиболее часто в информационной технике в качестве  используют среднеквадратическое отклонение между принятым у и переданным х сигналами, отражающими непрерывные сообщения, т.е.

 

,

(3.42)

где Х и Y – ансамбли сигналов, отражающих исходное и воспроизведенное сообщения.
Два варианта сообщения или сигнала, различающиеся не более, чем на заданное значение 0, называются эквивалентными. Взаимная информация I(X,Y) между двумя эквивалентными процессами X(t) и Y(t) может быть определена в соответствии с (3.40) как

I(X,Y)=h(X)-h(X/Y),

где h(X) и h(X/Y) – соответственно дифференциальная и условная дифференциальная энтропии.
Из приведенного выражения видно, что величина I(X,Y) зависит не только от собственного распределения (х) ансамбля Х (см. (3.35)), но и от условного распределения (x/y) (см. (3.41)), которое определяется способом преобразования процесса X в Y. Для характеристики собственной информации, содержащейся в одном отсчете процесса Х, нужно устранить ее зависимость от способа преобразования сообщения Х в эквивалентное ему сообщение Y. Этого можно добиться, если под количеством собственной информации или  - энтропией H(Х) процесса Х понимать минимизированную по всем распределениям (X/Y) величину I(X,Y), при которой сообщения Х и Y еще эквивалентны, т.е.

 

.

(3.43)

Таким образом,  - энтропия определяет минимальное количество информации, содержащейся в одном отсчете непрерывного сообщения, необходимое для воспроизведения его с заданной верностью.
Если ансамбль сообщений Х представляет собой процесс с дискретным временем с непрерывными отсчетами, то под  - производительностью источника понимают величину

 

,

(3.44)

где с – количество отсчетов сообщения, выдаваемых в единицу времени.
В том случае, когда Х - непрерывный случайный процесс с ограниченным спектром, вся информация, содержащаяся в его значениях, эквивалентна информации, содержащейся в отсчетах процесса, следующих друг за другом с интервалом , (fm-граничная частота спектра), т.е. со скоростью

  

c=2 m.

(3.45)

При этом  - производительность источника или процесса по-прежнему определяется выражением (3.44), где величина с рассчитывается из условия (3.45).
В том случае, если следующие друг за другом отсчеты процесса коррелированны (взаимозависимы), величина Н(Х) в (3.43) должна вычисляться с учетом вероятностных связей между отсчетами.
Итак,  - производительность источника непрерывных сообщений представляет собой минимальное количество информации, которое нужно создать источнику в единицу времени, для воспроизведения его сообщений с заданной верностью.
 - производительность называют также скоростью создания информации при заданном критерии верности.
Максимально возможная  - производительность непрерывного источника Х обеспечивается при гауссовском распределении Х с дисперсией (при этом условии h(X) максимальна (см. (3.37)). Оценим значение . Рассмотрим случай, когда непрерывное сообщение X(t) представляет собой стационарный гауссовский процесс с равномерным энергетическим спектром, ограниченным частотой Fc, и с заданной мощностью (дисперсией) Рх, а критерий эквивалентности  задан в виде (3.42). Будем считать, что заданная верность воспроизведения обусловлена действием аддитивной статистически не связанной с сигналом помехи (t) с математическим ожиданием М[]=0 и дисперсией (мощностью) . Исходный сигнал Х рассматриваем как сумму воспроизводящего сигнала Y и помехи:

X=Y+.

При этом, поскольку (x/y)= (y+/y)= (/y)= (), то h(X/Y) полностью определяется шумом воспроизведения (t). Поэтому max h(X/Y)=max h(). Так как шум воспроизведения имеет фиксированную дисперсию , то дифференциальная энтропия имеет максимум (3.37) при гауссовском распределении шума

.

В свою очередь дифференциальная энтропия гауссовского источника с дисперсией .

.

Следовательно,  - энтропия на один отсчет сообщения

 

(3.46)

Величина характеризует минимальное отношение сигнал-шум, при котором сообщения X(t) и Y(t) еще эквивалентны.
Согласно теореме Котельникова шаг дискретизации , а c=2 Fc. При этом равномерность спектра сообщения обеспечивает некоррелированность отстоящих на t друг от друга отсчетов, а гауссовский характер распределения X(t) - их независимость. Следовательно, в соответствии с (3.44)

, 

или с учетом (3.46)

 

.

(3.47)

Количество информации, выданное таким источником за время Тс

 

.

(3.48)

Интересно отметить, что правая часть выражения (3.48) совпадает с наиболее общей характеристикой сигнала, называемой его объемом, если принять динамический диапазон сигнала D=log  0. Это означает, что объем сигнала равен максимальному количеству информации, которое может содержаться в сигнале длительностью Тс.


Maya 3D графика в кино и телевидении Воздействие испытаний ядерного оружия на здоровье населения Объектно-ориентированный язык программирования Java Объектно-ориентированное программирование Delphi Библиотека визуальных компонентов VCL и ее базовые классы Кроссплатформенное программирование для Linux Элементы управления Win32 Элементы управления Windows XP Файлы и устройства ввода/вывода Что такое экспертная система? Объектно-ориентированное программирование Инструментальные средства разработки экспертных систем Программирование на языке CLIPS Критерии и количественные характеристики надежности Расчет характеристик надежности невостанавливаемых резервированных изделий Расчет надежности системы с постоянным резервированием Интегрирование тригонометрических функций ;