Информация в непрерывных сообщениях
Дифференциальная энтропия обладает следующими свойствами.
1. Дифференциальная энтропия в отличии от
обычной энтропии дискретного источника не является мерой собственной информации,
содержащейся в ансамбле значений случайной величины Х. Она зависит от масштаба
Х и может принимать отрицательные значения. Информационный смысл имеет не
сама дифференциальная энтропия, а разность двух дифференциальных энтропий,
чем и объясняется ее название.
2. Дифференциальная энтропия не меняется при изменении всех возможных значений
случайной величины Х на постоянную величину. Действительно, масштаб Х при
этом не меняется и справедливо равенство
|
|
|
(3.36) |
Из этого следует, что h(x) не зависит от
математического ожидания случайной величины, т.к. изменяя все значения Х на
С мы тем самым изменяем на С и ее среднее, то есть математическое ожидание.
3. Дифференциальная энтропия аддитивна, то есть для объединения ХY независимых
случайный величин Х и Y справедливо:
h(XY)= h(X)+ h(Y).
Доказательство этого свойства аналогично доказательству (1.8) аддитивности
обычной энтропии.
| Maya 3D графика в кино и телевидении Воздействие испытаний ядерного оружия на здоровье населения Объектно-ориентированный язык программирования Java Объектно-ориентированное программирование Delphi Библиотека визуальных компонентов VCL и ее базовые классы Кроссплатформенное программирование для Linux Элементы управления Win32 Элементы управления Windows XP Файлы и устройства ввода/вывода Что такое экспертная система? Объектно-ориентированное программирование Инструментальные средства разработки экспертных систем Программирование на языке CLIPS Критерии и количественные характеристики надежности Расчет характеристик надежности невостанавливаемых резервированных изделий Расчет надежности системы с постоянным резервированием Интегрирование тригонометрических функций ; создать блог бесплатно |