- Автоматизация
- Антропология
- Археология
- Архитектура
- Биология
- Ботаника
- Бухгалтерия
- Военная наука
- Генетика
- География
- Геология
- Демография
- Деревообработка
- Журналистика
- Зоология
- Изобретательство
- Информатика
- Искусство
- История
- Кинематография
- Компьютеризация
- Косметика
- Кулинария
- Культура
- Лексикология
- Лингвистика
- Литература
- Логика
- Маркетинг
- Математика
- Материаловедение
- Медицина
- Менеджмент
- Металлургия
- Метрология
- Механика
- Музыка
- Науковедение
- Образование
- Охрана Труда
- Педагогика
- Полиграфия
- Политология
- Право
- Предпринимательство
- Приборостроение
- Программирование
- Производство
- Промышленность
- Психология
- Радиосвязь
- Религия
- Риторика
- Социология
- Спорт
- Стандартизация
- Статистика
- Строительство
- Технологии
- Торговля
- Транспорт
- Фармакология
- Физика
- Физиология
- Философия
- Финансы
- Химия
- Хозяйство
- Черчение
- Экология
- Экономика
- Электроника
- Электротехника
- Энергетика
Программа экзамена по курсу «Теория информации»
Программа экзамена по курсу «Теория информации»
III курс, специальность «Компьютерная безопасность»
Количество информации
1. Определение энтропии, ее элементарные свойства. Понятие совместной энтропии, условной энтропии, относительной энтропии. Связь условной и совместной энтропии. Понятие взаимной информации. Свойства взаимной информации.
2. Правило цепочки для энтропии. Условная взаимная информация. Правило цепочки для взаимной информации. Условная относительная энтропия, правило цепочки для относительной энтропии.
3. Неравенство Йенсена. Информационное неравенство. Свойства неотрицательности относительной энтропии, взаимной информации, условной взаимной информации и условной относительно энтропии.
4. Понятие марковской цепи и ее свойства. Неравенство для информационного процесса. Невозрастание относительной энтропии в марковской цепи. Неубывание энтропии в марковских цепях.
Кодирование последовательностей одинаково распределённых случайных величин
5. Аналог закона больших чисел для энтропии. Типовое множество и его свойства.
6. Теорема о существовании кода, позволяющего приблизить среднюю длину кодового слова сколь угодно близко к энтропии.
Энтропия случайного процесса
7. Понятие энтропии случайного процесса, примеры.
8. Энтропия марковской цепи.
9. Вычисление энтропии случайного блуждания на графе.
Оптимальное кодирование
10. Определение однозначно декодируемых, несингулярных и префиксных кодов. Неравенство Крафта для префиксных кодов, имеющих конечное и бесконечное число кодовых слов.
11. Понятие оптимального кода. Длины кодовых слов для q-арного оптимального кода. Теорема о том, что средняя длина кодового слова q-арного префиксного кода не может быть меньше энтропии.
12. Теорема о границах для средней длины кодового слова при оптимальном кодировании. Теорема о средней длине кодового слова при оптимальном кодировании постоянного случайного процесса. Оценка средней длины кодового слова при оптимальном кодировании дискретной случайной величины с распределением вероятностей q(x) при условии, что настоящее распределение вероятностей - p(x).
13. Неравенство Крафта для однозначно декодируемых кодов и следствие из него.
14. Код Хаффмана для бинарных и тернарных случайных величин. Доказательство оптимальности кода Хаффмена.
|
|
|
© helpiks.su При использовании или копировании материалов прямая ссылка на сайт обязательна.
|