Тетрарлы энтропия. Шартты энтропия

Тетрарлы энтропия

Тө ртқ ырлыны (b = 4) «чижа» лақ тырғ анда, тетрарлы энтропия қ айнар кө зі («чижа») бастапқ ы алфавитімен (сандар тө ртқ ырлының шегінде «чижа») жә не дискретті біркелкі ық тималдық тарды ү йлестірумен (кө лденең қ има «чижа» — тіктө ртбұ рыш, материал тығ ыздығ ы «чижа» барлық объектіге біртекті «чижа») ық тималдылығ ы ( ), тең:

тетрит.

Шартты энтропия

Егер алфавит символдарының ілесімі тә уелді болса (мысалы, француз тілінде «q» аріпінен соң ә рдайым «u» ә ріпі ілеседі, ал «передовик» сө зінен соң газеттерде «производства» немесе «труда» сө здері ілеседі), мундай символдар бірізділігінен туратын ақ парат саны Бірінші шарттың энтропиясы (біріншісі Марков ү лгісі ү шін бір ә ріп пайда болу ық тималдығ ы белгілі, ) деп аталып жатыр (екі ә ріпті тіркестердің ) ық тималдық тары:

Алдың ғ ы нышаннан тә уелді болатын жә не — бұ л ық тималдық шартта, не алдың ғ ы нышанмен еді.

Мысалы, « е » [3] ә ріпсіз тіл орысы ү шін.

Дербес жә не ортақ шартты энтропиялар арқ ылы осы бө геттермен каналда берілуде ақ параттық жоғ алтулар толық суреттеліп жатыр. Матрица қ олданылып жатыр. Тараптармен кө з жоғ алтулар сипаттама ү шін (біресе жіберғ ан сигнал) белгілі бар шартта нышанның қ абылдағ ышпен алудың шартты ық тималдығ ы қ арап жатыр. Бұ л каналды матрица келесі тү рде болады:

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

Анық, диагональ бойынша орналасқ ан ық тималдық қ а, дұ рыс қ абылдаудың ық тималдық суреттеп жатыр, ал бағ анасының барлығ ын элементтерінiң сома — қ абылдағ ышқ а лайық ты нышанның пайда болулар ық тималдығ ын беріп жатыр. Берілетін сигналғ а келетін жоғ алтуды, дербес шартты энтропия арқ ылы суреттеледі

Барлығ ын сигналдарында берілуде жоғ алтулар есептеу ү шін ортақ шартты энтропия қ олданылады:

Тараптармен кө здің энтропияны білдіріп, тараптармен қ абылдағ ыштың — энтропия ұ қ сас қ аралып: орнына бә р жерде кө рсетіліп жатыр жолдар элементтері (жинақ тап алуғ а болады, ал диагональдар элементтері сол ық тималдық берә лә п тұ р

Ө зара энтропия

Ө зара энтропия немесе біріктірулер энтропияы статистикалық тә уелді қ атынастар. Энтропия ө зара байланысты жү йелер энтропия есеп айырысу ү шін арналғ ан жә не белгі қ ойып жатыр хабарлағ ыш мінездейді

Тапсырғ ан жә не алғ ан сигналдардың ө зара байланыс бірлескен оқ иғ алардың ық тималдық тармен суреттеліп, жә не канал мінездемелер толық сипаттама ү шін тек қ ана бір матрица керек болады:

		…		…
		…		…
…	…	…	…	…	…
		…		…
…	…	…	…	…	…
		…		…

Канал емес суреттелген кезде, ортағ ырақ жағ дай ү шін, ал жү йелер, матрица бү тін ө зара жұ мыс істе квадрат міндетті емес болуғ а тиісті. Анық, нө мірімен бағ анасының барлығ ын элементтерінiң сома беріп жатыр, нө мірмен жолдар сомасы бар, ал матрицалары барлығ ын элементтерінiң сома 1 тең. Оқ иғ алардың бірлескен ық тималдығ ы жә не бастапқ ы жә не шартты ық тималдық тар шығ арманы сияқ ты есептеп жатыр:

Байес формуласыбойынша шарт мү мкіндігі орындалады. Осылайша, кабылдау жә не энтропия қ орын есептеуге бү кіл мә ліметтер бар.

Ө зара энтропия олардың логарифм кө бейтіндісі, бү кіл мү мкін матрицаларды жол бойынша (бағ ан ) реттелген қ осу арқ ылы есептеледі.

Ө лшеу бірлігі- бит/екі символы, бұ л былайша тү сіндіріледі, ө зара энтропия жұ пты символ анық талмағ анын суреттейді: анық талғ ан жә не алынғ ан.

Қ арапайым тү рлендіру арқ ылы аламыз:

Ө зара энтропия ақ паратты толық мә ніне ие – осыдан қ арастырылып отырғ ан кө лемдерді алуғ а болады.

Тарихы

1948 жылы, ақ параттың тиімді берілісінің мә селесі арқ ылы шумдалғ ан коммуникациялық арнаны зерттей келе, Клод Шеннон коммуникацияның тү сінушілікке революционерлік мү мкіндіктің тіл табуын ұ сынды жә не энтропиянің бірінші шынай математикалық қ ағ идасын жасады. Оның сенсациялық идеялары екі негізгі бағ ыттың қ ұ рылуына негіз болды, олар: ақ парт теориясы, эгродиялық теорияның жә не мү мкіндік тү сінігін коммуникациялық жү йе жә не статиқ алық мінездеме мә ліметтерін қ олданады, жә не кодтау теориясы негізі алгебралық жә не геометриялық қ ұ рылғ ыны эффективті кодты ұ йымдастыру ү шін қ олданады.

Шеннонмақ аласында «A Mathematical Theory of Communication» энтропия тү сінігі берілген, екі мақ алада жазияланғ ан Bell System Technical Journal 1948 жылы.

Бақ ылау сұ рақ тары:

1. Ақ параттық энтропия дегеніміз?

2. Бү гінгі кү нде энтропияның қ андай тү рлері белгілі?

3. Шеннон бойынша анық тау

4. Анық тау ө здік ақ парат бойынша

5. Математикалық қ ұ рам

6. Энтрапияның тиімділігі

⇐ Предыдущая 5 6 7 8 91011 12 13 14 Следующая ⇒