Лабораторная работа №1. ПОСТРОЕНИЕ АЛФАВИТА ФРАГМЕНТА ТЕКСТА И РАСЧЕТ ЕГО ХАРАКТЕРИСТИК

Лабораторная работа №1

ПОСТРОЕНИЕ АЛФАВИТА ФРАГМЕНТА ТЕКСТА И РАСЧЕТ ЕГО ХАРАКТЕРИСТИК

Задание.Написать программу, которая определяет алфавит некоторого заданного текстового сообщения и вычисляет относительную частоту появления знаков алфавита в данном сообщении. Используя полученные данные, найти среднее количество информации на знак алфавита.

При подсчете знаков алфавита необходимо учесть знаки препинания и пробелы. Регистр букв и управляющие символы, такие как перенос строки, табуляция и т.п. в алфавите не учитывать.

Комментарий. Дано сообщение: «Шла Саша по шоссе и сосала сушку.» Найти алфавит сообщения; относительную частоту знаков; среднее количество информации на знак алфавита.

1. Выпишем знаки по мере их появления в сообщении в таблицу и подсчитаем количество знаков каждого типа (частоту c_i), имеющихся в данном сообщении и количество знаков в алфавите (n).

2. Подсчитаем общее количество знаков и долю, приходящуюся на каждый знак (относительную частоту p_i) по формуле:

где n - число знаков в тексте.

№	Знак	Частота (n_i)	Относительная частота (p_i)	– p_i*log₂p_i
	ш		0,12	0,369017
	л		0,06	0,245115
	а		0,15	0,412495
	с		0,18	0,447169
	пробел		0,18	0,447169
	п		0,03	0,15286
	о		0,09	0,314494
	е		0,03	0,15286
	и		0,03	0,15286
	у		0,06	0,245115
	к		0,03	0,15286
	точка		0,03	0,15286

Сумма

3,244874

3. Найдем среднее количество информации на знак алфавита с учетом относительной частоты появления знаков, суммировав значения в столбце

H₁ ≈ 3,24 бит

4. Найдем среднее количество информации на знак алфавита при допущении равновероятности появления знаков алфавита:

H₂ = log₂12 ≈ 3,58 бит

	З	0,11	0,3439
	ДА	0,09	0,302518
	ИЕ	0,13	0,379101
Сумма			3,175813

Таким образом для нового алфавита среднее количество информации на знак алфавита с учетом частоты будет равно 3,17 бит; а при допущении равновероятности – 3,32 бит.