Математикалық әдісі
Математикалық ә дісі
1. Терістеу .
2. Шетеулері: , Йенсен тең сіздігінен вогнутты функция ушін жә не . Егер -тің барлық n элементтері тең болса, .
3. Егер тә уелсіз болса, онда .
4. Энтропия —мү мкін элементтерді орналастырудың томпақ жоғ арғ ы функциясы.
Егер бірдей элементтердің орналасуына ие болса, онда .
Нә тижелілік
Алфавит біркелкіден алыс ық тималдық ты ү йлестіруге ие бола алады. Егер бастапқ ы алфавит символдан тұ рса, онда оны мү мкін болғ ан анық тауышы біркелкі «оптималданғ ан алфавитпен» салыстыруғ а болады. Бастапқ ы жә не оптималданғ ан алфавит энтропиясының арақ атынасы — бұ л процентпен берілетін бастапқ ы алфавиттің нә тижелілігі. символды бастақ ы алфавиттің нә тижелілігі -арлы энтропия арқ ылы анық талуыда мү мкін.
Энтропия шығ ынсыз теория жү зінде орындалуы мү мкін максималды қ ысуды шектейді (немесе мү лдем шығ ынсыз) – ә деттегі теру немесе, практикада, — Хаффмана, Лемпеля — Зива — Велча немесе арифметикалық кодтау.
Вариация жә нем жалпылау
B энтропия
Жалпы жағ дайда b энтропия ( b тең 2, 3, …) қ айнар кө зі бастапқ ы алфавитімен жә не дискретті ық тималдық тарды ү лестіру ық тималдылығ ы ( ), формуламен анық талады:

Мысалы:
Тринарлы энтропия
Ү шқ ырлы (b = 3) «чижа» лақ тырғ анда, тринарлы энтропия қ айнар кө зі («чижа») бастапқ ы алфавитпен (сандар ү шқ ырдың шегінде «чижа») жә не дискретті біркелкі ық тималдық тарды ү йлестірумен (қ има «чижа» —тең бағ ытты ү шбұ рыш, материал тығ ыздығ ы «чижа» барлық объектіге біртекті «чижа») ық тималдылығ ы ( ) тең:
трит.
|