Теория информации представляет собой ветвь статистической теории связи. Для
того чтобы более конкретно обозначить предмет этой науки введем некоторые
понятия и определения.
Информация передается, и храниться в виде сообщений.
Под сообщением понимают совокупность знаков или первичных сигналов
содержащих информацию. Иначе говоря, сообщение - это информация представленная
в какой-либо форме. Пример сообщений: текст телеграммы, данные на выходе ЭВМ,
речь, музыка и т.д.
Для того чтобы сообщение можно было передать получателю, необходимо воспользоваться
некоторым физическим процессом, способным с той или иной скоростью распространяться
от источника к получателю сообщения. Изменяющийся во времени физический процесс,
отражающий передаваемое сообщение называется сигналом .
Сообщения могут быть функциями времени (когда информация представлена в виде
первичных сигналов: речь, музыка) и не является ими (когда информация представлена
в виде совокупности знаков).
Сигнал всегда является функцией времени. В зависимости от того, какие значения
могут принимать аргумент (время t) и уровни сигналов их делят на 4 типа.
1) Непрерывный или аналоговый сигналы
2) Дискретизированный или дискретно непрерывные сигналы
3) Дискретные по уровню или квантованные сигналы (случайные сигналы этого типа называют дискретными случайными
процессами). Они определены для всех моментов времени и принимают лишь разрешенные
значения уровней отделенные от друг друга на величину шага квантования x=xk+1+xk
