Шеннон бойынша анықтау

Клод Шеннонның тұ жырымы бойынша жұ мсалғ ан анық талмағ андық мә ліменттің ө суіне тең, жә не соны ө згертуге талаптар қ ойды:

1. Ө лшем ү здіксіз болу керек; кіші шамағ а ық тималдық шамасының ө згеруі ө згеру функциясында аз нә тижекө рсету керек;

2. Барлық жағ дайлар(ә ріптер) тең ық тималды болғ анда, жағ дай(ә ріп) санының ө суі функция шамасын да ө сіру керек;

3. Соң ғ ы нә тижелі функция аралық функция қ осындысы болатын екі қ адамғ а таң дау жасай алатын мү мкіндік болу керек.

Сондық тан энтропия функциясы шартты қ анағ аттандыру керек

анық талғ ан жә не , мқ ндағ ы ү шін ү здіксіз жә не .

1. Бү тін оң ү шін орындалу керек:

2. Бү тін оң ү шін, мұ ндағ ы , мына тең дік орындалу керек

Шеннонның кө рсетуі бойынша бұ л шарттарғ а бағ ынатын жалғ ыз функция мына тү рде

Мұ ндағ ы — константа (ө лшеу шамасын таң дау ү шін қ олданылады).

Мә лімет кө зіне қ олданатын энтропия ө лшеу ( ), кодаланғ ан екілік сан тү рде мә ліметті тиімді тасымалдау ү шін ө ткізу қ абілетті арналарғ а қ ойылатын минималды талаптарды анық тауғ а болады. Мә лімет кө зіннен санмен кө сетілген «мә лімет санынның » математикалық кү туін есептеу Шеннон формуласының нә тижесі ү шін қ ажетті. Кездейсоқ айнамалыларды тұ рақ сыз орындау Шеннонның энтропия шамасымен анық талады. Сонымен, энтропия хабарламадада кө рсетіген мә ліметтердің хабарламада нақ ты белгілі мә ліметпен айырмашылығ ы болып табылады. Бұ ғ ан мысал ретінде тілдегі артық тық бола алады — ә ріптердің пайда болуында нақ ты статистикалық заң дылық, ә ріптердің тізбектелген жұ бы, жә не т. б.

Шеннон энтропиясының анық тамасы термодинамикалық энтропия ұ ғ ымымен байланысты. Ақ параттық теорияғ а «энтропия» ұ ғ ымын енгізуде статистикалық термодинамика саласында Больцман жә не Гиббс ү лкен жұ мыс атқ арды. Термодинамикалық жә не ақ параттық энтропия арасында байланыс бар.

⇐ Предыдущая 1 2 3 4 567 8 9 10 Следующая ⇒