Математические свойства. Эффективность

Математические свойства

1. Неотрицательность: .

2. Ограниченность: , что вытекает из неравенства Йенсена для вогнутой функции и . Если все элементов из равновероятны, .

3. Если независимы, то .

4. Энтропия — выпуклая вверх функция распределения вероятностей элементов.

5. Если имеют одинаковое распределение вероятностей элементов, то .

Эффективность

Алфавит может иметь вероятностное распределение далекое от равномерного. Если исходный алфавит содержит символов, тогда его можно сравнить с «оптимизированным алфавитом», вероятностное распределение которого равномерное. Соотношение энтропии исходного и оптимизированного алфавита — это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с символами может быть также определена как его -арная энтропия.

Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически — типичного набора или, на практике, — кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.

Вариации и обобщения

⇐ Предыдущая 1 234 5 Следующая ⇒