Тема: Измерение информации (формулы Хартли и Шеннона)

Тема: Измерение информации (формулы Хартли и Шеннона)

1. Существует два подхода к определению информации. Один из них называется содержательный или вероятностный. Из названия можно сделать вывод, что количество информации зависит от ее содержания.

Задание 1 (устно)

Определите количество информации в следующих сообщениях с позиции «много» или «мало». Содержат ли сообщения новые и понятные сведения?

1. Столица России – Москва.

2. Сумма квадратов катетов равна квадрату гипотенузы.

3. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью.

4. Эйфелева башня имеет высоту 300 метров и вес 900 тонн.

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным.

- Содержит ли информацию учебник физики за 10 класс?

- Для кого он будет информативным – для ученика 10 класса или 1 класс?

2.Рассмотрим понятие информативности с другой стороны. Если некоторое сообщение является информативным, следовательно, оно дает нам знания или уменьшает неопределенность наших знаний.

Пример.

Мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положении «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т.е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т.е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т.к. мы получаем зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т.к. из двух равновероятных событий произошло одно.

3. Единицы измерения информации.

Наименьшая единица измерения информации – 1 бит.

1 бит - это количество информации, уменьшающее неопределенность знаний в два раза.

1 байт = 8 бит;

1 Кбайт = 2¹⁰ байт = 1024 байт;

1 Мбайт = 2¹⁰ Кбайт = 1024 Кбайт;

1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт

Задание 2.

Заполнить пропуски числами:

а)__Гб=1536 Мб=__Кбайт

Решение:

1536 Мб=1536:1024 Гб=1,5 Гб

1. 1536 Мб= 1536*1024 Кб=1 572 864 Кб

б)512 Кб=2_ байт=2_ бит

512 Кб= 512*1024 байт=524288 байт или 2⁹*2¹⁰=2¹⁹ байт

2¹⁹ байт=2¹⁹*2³ бит=2²² бит, так как в 1 байте 8 бит или 2³

4.Измерение информации.

а)Если события равновероятны, то для измерения количества информации используется формула Хартли:

N = 2^I

N – количество возможных событий,

I – количество информации (в битах).

б) Если события имеют различную вероятность, используется формула Шеннона:

I – количество информации;

N – количество возможных событий;

Р_i – вероятность отдельных событий.