Элементы теории функций комплексного переменного
Delphi | Сети | ПК | Маршрутизаторы | Моделирование | Протоколы | Экспертные системы | Удаленный доступ | Доменные имена
Аплеты | SQL | Надежность | Задачи | Информационные процессы | JAVA | Отказы изделия | Расчет надежности показателей | Инфсис

Теория информационных процессов Электронный учебник

В дисциплине рассматриваются теоретические основы описания информационных процессов и систем. Изучается аппарат теории цепей Маркова (в частности процессы размножения и гибели) для представления элементов информационно-вычислительных систем, например совокупностей процессоров, буферов обмена данными, дисководов, серверов и различных сетевых архитектур. На основе теории массового обслуживания даются понятия о качественном анализе данных элементов (например, оценивание эффективности используемого оборудования). Изучаются методы агрегативного представления информационных систем, имеющих сложную структуру.


КОЛИЧЕСТВЕННЫЕ ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ

Энтропия

Впервые данная мера была предложена Хартли в 1928г. Основание логарифма в (1.1) не имеет принципиального значения и определяет только масштаб или единицу количества информации. Чаще всего в качестве основания используют число 2, при этом единица количества информации называется двоичной единицей или битом, и представляет собой информацию, содержащуюся в одном дискретном сообщении источника равновероятных сообщений с объемом алфавита равным двум. При выборе в (1.1) основания логарифма равным 10 получаем десятичную единицу называемую дитом. Иногда используют натуральную единицу количества информации называемую натом, при этом основание логарифма в (1.1) равно е=2,7.
Рассматриваемая мера количества информации может иметь лишь ограниченное применение, поскольку предполагает равную вероятность выбора источником любого из возможных его состояний. В более общем случае, когда вероятности различных состояний источника не одинаковы степень неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния. В такой ситуации количество информации, содержащееся в одном дискретном сообщении uk целесообразно определить как функцию вероятности появления этого сообщения P(uk) и характеризовать величиной (1.2). Основание логарифма в (1.2) выбирается из тех же соображений что и в (1.1). Знак минус в первом равенстве (1.2) необходим для того, чтобы количество информации было неотрицательным числом т.к. всегда . Очевидно что, так же как и мера H(U) определяемая (1.1) величина обладает свойством адетивности. И в случае достоверного сообщения, когда , . Однако, теперь количество информации содержащееся в дискретном сообщении зависит от степени неожиданности этого сообщения характеризуемой вероятностью его появления. Количество информации в сообщении тем больше, чем оно более неожиданно. Если источник выдает последовательность зависимых между собой элементарных сообщений, то наличие предшествующих сообщений может изменить вероятность последующего а, следовательно, и количество информации в нем. Оно должно определяться по условной вероятности выдачи сообщений при известных предшествующих сообщений , тогда количество информации

(1.3).

Определения (1.2) и (1.3) количества информации являются случайной величиной, поскольку сами сообщения являются случайными. Его распределение вероятностей определяется распределением вероятностей сообщений в данном ансамбле для цифровой характеристики всего ансамбля или источника сообщения используется математическое ожидание количества информации в отдельных сообщениях называемых энтропией.

(1.4)

 

Чем больше энтропия источника, тем больше степень неожиданности выдаваемых им сообщений в среднем, т.е. тем более неопределенным является ожидание сообщений. Впервые мера (1.4) была преложена Клодом Шенноном в его фундаментальной работе "Математические основы теории связи" опубликованной в 1948г в которой были заложены основы современной ТИ. Предполагающая мера была названа энтропией не случайно. Дело в том, что вид формулы (1.4) совпадает с полученным ранее результатом Вольцманом выражением для энтропии термодинамической системы. Рассмотрим взаимосвязь меры Шеннона с мерой Хартли если в источнике может быть реализовано h равновероятных состояний, то вероятность каждого из них , с учетом этого меру неопределенности источника Хартли

можно трактовать, как количество информации приходящей на одно дискретное сообщение (поскольку все сообщения источника равновероятные количества информации в каждом из них равны) в тоже время энтропия по Шеннону это среднее количество информации содержащееся в одном из не равновероятных состояний. Она позволяет учесть статистические свойства источника информации. Наряду с рассмотренными мерами Хартли и Шеннона существуют и другие подходы к определению количества информации. Наиболее интересной, наиболее новой явилась информационная концепция Холмогорова, ее основным тезисом является то, что на основании определения энтропии (1.4) количество информации связывается с вероятностью наступления Pi, т.к. понятие вероятности имеет смысл лишь в связи с массовыми явлениями количества единиц информации в единичном акте и представляющих интерес в связи с данным исходом, оказывается выраженным через вероятности массовых явлений. Эта внутренняя противоречивость содержания информации опирающейся на концепцию выбора продолжатся на базе общей теории алгоритма. Согласно алгоритмическому подходу энтропия H(u,z) есть мнимая длина записанная в виде последовательности 0 и 1 программы, которая позволяет построить объект u имея в своем распоряжении объект z. Тогда основные понятия теории информации могут быть обоснованы без обращения к теории вероятности, причем так, что понятие энтропия и количество информации оказываются строго приемлемыми к индивидуальным объектам. Однако Шенноновская мера интересна не сама по себе, а как основание встроенной теории позволяющей изменить и расширить существующие предположения о возможностях в технике связи, которая и подлежит в рассмотрении ТИ.

Математический анализ, лекции по физике Компьютерные сети