|
|||
Шеннон бойынша анықтауКлод Шеннонның тұ жырымы бойынша жұ мсалғ ан анық талмағ андық мә ліменттің ө суіне тең, жә не соны ө згертуге талаптар қ ойды: 1. Ө лшем ү здіксіз болу керек; кіші шамағ а ық тималдық шамасының ө згеруі ө згеру функциясында аз нә тижекө рсету керек; 2. Барлық жағ дайлар(ә ріптер) тең ық тималды болғ анда, жағ дай(ә ріп) санының ө суі функция шамасын да ө сіру керек; 3. Соң ғ ы нә тижелі функция аралық функция қ осындысы болатын екі қ адамғ а таң дау жасай алатын мү мкіндік болу керек. Сондық тан энтропия функциясы шартты қ анағ аттандыру керек анық талғ ан жә не , мқ ндағ ы ү шін ү здіксіз жә не . 1. Бү тін оң ү шін орындалу керек: 2. Бү тін оң ү шін, мұ ндағ ы , мына тең дік орындалу керек Шеннонның кө рсетуі бойынша бұ л шарттарғ а бағ ынатын жалғ ыз функция мына тү рде Мұ ндағ ы — константа (ө лшеу шамасын таң дау ү шін қ олданылады). Мә лімет кө зіне қ олданатын энтропия ө лшеу ( ), кодаланғ ан екілік сан тү рде мә ліметті тиімді тасымалдау ү шін ө ткізу қ абілетті арналарғ а қ ойылатын минималды талаптарды анық тауғ а болады. Мә лімет кө зіннен санмен кө сетілген «мә лімет санынның » математикалық кү туін есептеу Шеннон формуласының нә тижесі ү шін қ ажетті. Кездейсоқ айнамалыларды тұ рақ сыз орындау Шеннонның энтропия шамасымен анық талады. Сонымен, энтропия хабарламадада кө рсетіген мә ліметтердің хабарламада нақ ты белгілі мә ліметпен айырмашылығ ы болып табылады. Бұ ғ ан мысал ретінде тілдегі артық тық бола алады — ә ріптердің пайда болуында нақ ты статистикалық заң дылық, ә ріптердің тізбектелген жұ бы, жә не т. б. Шеннон энтропиясының анық тамасы термодинамикалық энтропия ұ ғ ымымен байланысты. Ақ параттық теорияғ а «энтропия» ұ ғ ымын енгізуде статистикалық термодинамика саласында Больцман жә не Гиббс ү лкен жұ мыс атқ арды. Термодинамикалық жә не ақ параттық энтропия арасында байланыс бар.
|
|||
|