Математикалық әдісі

⇐ ПредыдущаяСтр 9 из 40Следующая ⇒

Математикалық ә дісі

1. Терістеу .

2. Шетеулері: , Йенсен тең сіздігінен вогнутты функция ушін жә не . Егер -тің барлық n элементтері тең болса, .

3. Егер тә уелсіз болса, онда .

4. Энтропия —мү мкін элементтерді орналастырудың томпақ жоғ арғ ы функциясы.

Егер бірдей элементтердің орналасуына ие болса, онда .

Нә тижелілік

Алфавит біркелкіден алыс ық тималдық ты ү йлестіруге ие бола алады. Егер бастапқ ы алфавит символдан тұ рса, онда оны мү мкін болғ ан анық тауышы біркелкі «оптималданғ ан алфавитпен» салыстыруғ а болады. Бастапқ ы жә не оптималданғ ан алфавит энтропиясының арақ атынасы — бұ л процентпен берілетін бастапқ ы алфавиттің нә тижелілігі. символды бастақ ы алфавиттің нә тижелілігі -арлы энтропия арқ ылы анық талуыда мү мкін.

Энтропия шығ ынсыз теория жү зінде орындалуы мү мкін максималды қ ысуды шектейді (немесе мү лдем шығ ынсыз) – ә деттегі теру немесе, практикада, — Хаффмана, Лемпеля — Зива — Велча немесе арифметикалық кодтау.

Вариация жә нем жалпылау

B энтропия

Жалпы жағ дайда b энтропия ( b тең 2, 3, …) қ айнар кө зі бастапқ ы алфавитімен жә не дискретті ық тималдық тарды ү лестіру ық тималдылығ ы ( ), формуламен анық талады:

Мысалы:

Тринарлы энтропия

Ү шқ ырлы (b = 3) «чижа» лақ тырғ анда, тринарлы энтропия қ айнар кө зі («чижа») бастапқ ы алфавитпен (сандар ү шқ ырдың шегінде «чижа») жә не дискретті біркелкі ық тималдық тарды ү йлестірумен (қ има «чижа» —тең бағ ытты ү шбұ рыш, материал тығ ыздығ ы «чижа» барлық объектіге біртекті «чижа») ық тималдылығ ы ( ) тең:

трит.

⇐ Предыдущая 4 5 6 7 8910 11 12 13 Следующая ⇒