Дифференциалдық энтропия

Практикада ақ парат кө здерінің мү мкін кү йлерінің кө бісі континиум қ ұ райды, яғ ни ақ парат кө здері ү здіксіз.

Ү здіксіз ақ парат кө зінің энтрпаиясын келесі тү рде анық таймыз: ү здіксіз кездейсоқ шаманың ө згеру дипазонын бө лейік U, п соң ғ ы шамасыCu аз интервалында. Cu аз болғ андық тан, р ( ) ық тималдық реализациясы u мә ні u_i,u_i+Cu интервалында:

p( )=

Дискретті кездейсоқ шама U энтрапиясы мына тү рде беріледі:

немесе

Ө йткені

онда

Кемуіне байланысты р ( ), нө лге жақ ын р( ) ық тималдық қ а жақ ындайды, U дискретті шамасының кө лемі - Uү здіксіз кездейсоқ шамасына жақ ындайды . 0 шекке жеткенде ү здіксіз энтрапия кө зі H(U) ү шін келесі тең дікті аламыз:

немесе

(3. 4)

Бұ л шама 0шексіздікке ұ мтылады, толығ ымен анық тамағ а сә йкес келеді, шексіз ү лкен саннан тұ ратын таң даудың анық талмағ андығ ы шексіз ү лкен болдады.

(3. 4)қ атынасының оң бө лігінің бірінші мү шесі-соң ғ ы мағ ынасы, U –дың шексіз мү мкін ү лкендігін бө лу заң ына тә уелді жә не U кванттау қ адамына тә уелсіз.

Осы қ атынастың екінші мү шесі U мү мкін ү лкендігінің кванттау қ адамына ғ ана тә уелді, H(U)осыдан шексіздікке айналады.

Ү здіксіз кө зінің ақ параттық ерекшеліктерінің соң ғ ы сипаттамасын алудың бір жолы ү здіксіз кө зінің анық талмағ андығ ының сапасы ретінде(3. 4) қ атынасының бірінші мү шесі алынады:

(3. 5)

Ол қ атыстық дифференциалды энтропия деп немесе жай ү здіксіз ақ парат кө зінің дифференциалдық энтропиясы деп аталды. Дифференциалдық энтропия ерекшелігі:

a. Егер U –ң мү мкін ө лшемінің жалғ ыз шектеуі оның мү мкін мә ндер аймағ ы болса, онда максималды дифференциалдық энтропия осы аймақ тағ ы мү мкіндікті тең бө луге ие.

б. Егер U ү здіксіз мү мкін ө лшемі аймағ ының шектеуі жоқ болса, бірақ белгілі, дисперсиясы шектеулі, максималды дифференциалдық энтропиясы U ө лшемінің дұ рыс бө лісуіне ие.

Негізгі ә дебиеттер: 2[111-119J; 3(109-114]; 9J44-46].

Бақ ылау сұ рақ тары:

1. Ақ парат саны жә не энтропиясы бір-бірімен қ алай байланысты?

2. Асқ ын мағ ынасын анық таң ыз.

3. к тең емес ық тималды белгілерден тұ ратын хабарламадағ ы ақ парат санын анық таң ыз

4. Дифференциалды энтропияғ а анық тама берің із жә не оның ерекшеліктерін сипаттаң ыз

⇐ Предыдущая 8 9 10 11 121314 15 16 17 Следующая ⇒