Теория информационных процессов Электронный учебник

Техника живописи Акварель Исследовать поведение функции Математика Примеры решения задач


КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ

Свойства энтропии

Энтропия любого дискретного ансамбля не отрицательна (1.5). Равенство нулю возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью Р=1 в этом случае вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника определенных в соответствии с (1.2) не отрицательно.

Пусть N - объем алфавита дискретного источника, тогда (1.6). Причем равенство имеет место, когда все сообщения источника равновероятные. Для доказательства (1.6) рассмотрим разность, если все сообщения источника uk k=1:N выдаютсяим с вероятностями P(uk), тогда можно записать

(1.7).

Для дальнейшего доказательства воспользуемся неравенством

 

 

 

,

что и требовалось доказать.
При этом в соответствии с (1.7) в том случае, когда (из этого равенства следует, что при этом ). Итак, максимально возможное значение энтропии дискретного источника с объемом алфавита N равно logN и достигается в том случае, когда все его сообщения равновероятны.


Maya 3D графика в кино и телевидении Воздействие испытаний ядерного оружия на здоровье населения Объектно-ориентированный язык программирования Java Объектно-ориентированное программирование Delphi Библиотека визуальных компонентов VCL и ее базовые классы Кроссплатформенное программирование для Linux Элементы управления Win32 Элементы управления Windows XP Файлы и устройства ввода/вывода Что такое экспертная система? Объектно-ориентированное программирование Инструментальные средства разработки экспертных систем Программирование на языке CLIPS Критерии и количественные характеристики надежности Расчет характеристик надежности невостанавливаемых резервированных изделий Расчет надежности системы с постоянным резервированием Интегрирование тригонометрических функций ;