B-арная энтропия. Тринарная энтропия. Тетрарная энтропия. Условная энтропия

B-арная энтропия

В общем случае b-арная энтропия (где b равно 2, 3, …) источника с исходным алфавитом и дискретным распределением вероятности где является вероятностью ( ), определяется формулой:

Примеры:

Тринарная энтропия

При бросании трёхгранного (b = 3) «чижа», тринарная энтропия источника («чижа») с исходным алфавитом (цифры на гранях трёхгранного «чижа») и дискретным равномерным распределением вероятности (сечение «чижа» — равносторонний треугольник, плотность материала «чижа» однородна по всему объёму «чижа») где является вероятностью ( ) равна:

трит.

Тетрарная энтропия

При бросании четырёхгранного (b = 4) «чижа», тетрарная энтропия источника («чижа») с исходным алфавитом (цифры на гранях четырёхгранного «чижа») и дискретным равномерным распределением вероятности (поперечное сечение «чижа» — квадрат, плотность материала «чижа» однородна по всему объёму «чижа») где является вероятностью ( ), равна:

тетрит.

Условная энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

где — это состояние, зависящее от предшествующего символа, и — это вероятность при условии, что был предыдущим символом.

Например, для русского языка без буквы «ё» ^[3].

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемыеканальные матрицы. Для описания потерь со стороны источника (то есть известен посланный сигнал) рассматривают условную вероятность получения приёмником символа при условии, что был отправлен символ . При этом канальная матрица имеет следующий вид:

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

Очевидно, вероятности, расположенные по диагонали, описывают вероятность правильного приёма, а сумма всех элементов столбца даёт вероятность появления соответствующего символа на стороне приёмника — . Потери, приходящиеся на передаваемый сигнал , описываются через частную условную энтропию:

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

означает энтропию со стороны источника, аналогично рассматривается — энтропия со стороны приёмника: вместо всюду указывается (суммируя элементы строки можно получить , а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).

⇐ Предыдущая 1 2 345 Следующая ⇒