Тақырып 2.Ақпараттың статистикалық өлшемдері. Энтропия. Энтропия қасиеттері.

⇐ ПредыдущаяСтр 8 из 40Следующая ⇒

Тақ ырып 2. Ақ параттың статистикалық ө лшемдері. Энтропия. Энтропия қ асиеттері.

Дә ріс мақ саты: Энтрпия тү сінігін жә не оның нышанын ү йрену.

Сұ рақ тар:

1. Ақ параттық энтропия дегеніміз не?

2. Бү гінгі кү нде энтропмяның қ андай тү рлері белгілі?

3. Шенон бойынша анық тама.

4. Меншікті ақ парат кө мегімен анық тау

5. Матиматикалық қ асиет

6. Энтропияның тиімділігі

Ақ параттық энтропия —ақ парттың белгісіздік жә не болжап болмайтын шамасы, бастапқ ы алфавиттегі қ андай да бір нышанның пайда болуының белгііздігі.

Мысалы, орыс тілінде қ андай да бір сө йлем қ ұ райтын ә ріп реттілігі, ә р ә ріп ә р тү рлі жиілікпен пайда болады, сондық тан кейбір ә ріптертің пайда болу белгісіздігі басқ а ә ріптерге қ арағ анда аз. Егер кейбір ә ріптердің кездесуі сирек еаенін ескерсек, белгісіздік одан сайын азаяды.

Ақ параттық энтропия тү сінігін суреттеу ү шін Демон Максвелл атын алғ ан термодинамикалық энтропия облысының мысалына жү гінуге болады. Ақ парат жә не энтропия концепциялары бір-бірімен тығ ыз байланысқ а ие, бірақ бұ ғ ан қ арамастан статикалық механика мен ақ парат теориясындағ ы теорияның ө ң делуі кө п жылдарғ а созылды.

Энтропия —статикалық тә уелсіз хабарламаны ө ндіретін дерекнаманың қ арапайым хабарламасына келетін ақ парат кө лемі.

Xпен nмү мкін жағ дайларындағ ы тә уелсіз кездейсоқ оқ иғ алар ү шін ақ паратттық екілік энтропия осы формуламен есептеледі

Тек қ ана «А» ә ріпінен тұ ратын, тармақ генерациялаушының қ айнар кө зінің энтропиясы нө лге тең: , ал мү мкін болар жағ дайдың саны: мү мкін болар жағ дай (мә ні) («А») логарифм негізіне тә уелді емес. Бұ л да ескеретін ақ парат. Энтропиясы нө лге тең, бірақ ақ парат саны 1ге тең разрядты пайдаланатын, есте сақ тау қ ұ рылғ ысының мысалы ретінеде, ПЗУ да жазылғ ан ә р разряды тек бір ғ ана мү мкін жағ дайғ а ие, берілгендер разряды бола алады.

Осылай, мысалығ а, ағ ылшын тестінің энропиясы, символғ а 1, 5 бит екенін анық тауғ а болады жә не ол ә р тү рлі тексттер ү шін ө згеріп отырады. Берілгендер қ айнар кө зі энтропиясының дә режесі берілгендер элементінің битінің ортақ санын білдіреді. Кейбір берілгендер биттерінде ешқ андай ақ парат болмауы мү мкін. Мысалығ а, ә детте берілгендер структурасы қ ажет емес ақ паратты сақ тап турады, немесе берілгендер структурасындағ ы ақ паратқ а тә уелсіз бірдей секцияғ а ие.

Энтропия саны ә рдайым биттердің бү тін санымен беріле бермейді.

⇐ Предыдущая 3 4 5 6 789 10 11 12 Следующая ⇒