Delphi | Сети | ПК | Маршрутизаторы | Моделирование | Протоколы | Экспертные системы | Удаленный доступ | Доменные имена

Теория информационных процессов Электронный учебник

В дисциплине рассматриваются теоретические основы описания информационных процессов и систем. Изучается аппарат теории цепей Маркова (в частности процессы размножения и гибели) для представления элементов информационно-вычислительных систем, например совокупностей процессоров, буферов обмена данными, дисководов, серверов и различных сетевых архитектур. На основе теории массового обслуживания даются понятия о качественном анализе данных элементов (например, оценивание эффективности используемого оборудования). Изучаются методы агрегативного представления информационных систем, имеющих сложную структуру.


КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ

Свойства энтропии

Энтропия любого дискретного ансамбля не отрицательна (1.5). Равенство нулю возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью Р=1 в этом случае вероятности других сообщений равны нулю. Не отрицательность следует из того, что количество информации в каждом из возможных сообщений источника определенных в соответствии с (1.2) не отрицательно.

Пусть N - объем алфавита дискретного источника, тогда (1.6). Причем равенство имеет место, когда все сообщения источника равновероятные. Для доказательства (1.6) рассмотрим разность, если все сообщения источника uk k=1:N выдаютсяим с вероятностями P(uk), тогда можно записать

(1.7).

Для дальнейшего доказательства воспользуемся неравенством

 

 

 

,

что и требовалось доказать.
При этом в соответствии с (1.7) в том случае, когда (из этого равенства следует, что при этом ). Итак, максимально возможное значение энтропии дискретного источника с объемом алфавита N равно logN и достигается в том случае, когда все его сообщения равновероятны.


Математический анализ, лекции по физике Компьютерные сети