Теория информации. ВОПРОСЫ К ЗАЧЁТУ (2021 год)

Теория информации

ВОПРОСЫ К ЗАЧЁТУ (2021 год)

1. Информация и энтропия конечной вероятностной схемы. Аксиомы Хинчина и Фаддеева, их эквивалентность.

2. Теорема единственности функции энтропии. Свойства энтропии.

3. Энтропия объединенной вероятностной схемы. Условная энтропия и её свойства. Теорема об условной энтропии.

4. Взаимная, собственная, условная информация вероятностных схем.

5. Информационное расстояние и его свойства.

6. Теорема о невозрастании средней взаимной информации при обработке данных.

7. Теорема о свойствах функции, выпуклой вверх на n-мерном симплексе.

8. Выпуклость средней взаимной информации вероятностных схем.

9. Энтропия и взаимная информация для дискретных вероятностных схем со счётным числом исходов. Критерий конечности энтропии счётной вероятностной схемы для монотонных распределений и его обобщение на ограниченно неупорядоченные распределения.

10. Энтропия и взаимная информация для непрерывных вероятностных схем. Разностная энтропия и её свойства.

11. Математическая модель дискретного источника сообщений. Энтропия источников сообщений. Теорема о существовании энтропии стационарного источника.

12. Источники без памяти и их энтропия. Первая теорема Шеннона для источников без памяти.

13. Источники без памяти и их энтропия. Вторая теорема Шеннона для источников без памяти.

14. Цепи Маркова и их основные свойства. Уравнение Колмогорова-Чепмена.

15. Классификация состояний цепи Маркова. Существенные, возвратные, нулевые, периодические состояния. Эргодические классы состояний. Критерий возвратности.

16. Теорема солидарности для цепей Маркова.

17. Теорема о циклических подклассах периодической цепи Маркова.

18. Положительная определённость степеней матрицы переходных вероятностей неразложимой и ациклической цепи Маркова. Матрица достижимости.

19. Эргодическая теорема для цепей Маркова. Стационарное распределение.

20. Поведение переходных вероятностей в случае периодической цепи Маркова.

21. Поведение переходных вероятностей в случае разложимой цепи Маркова.

22. Оценка скорости сходимости переходных вероятностей цепи Маркова к предельному распределению.

23. Закон больших чисел для простого однородного марковского источника.

24. Построение цепи Маркова по обучающей выборке.

25. Марковские источники сообщений, их энтропия. Критерий стационарности марковского источника. Шаговая энтропия и энтропия на знак.

26. Теоремы Шеннона для марковских источников.

27. Алгебраический метод исследования цепей Маркова. Нахождение характеристик цепи по характеристикам матрицы переходных вероятностей.

28. Классификация каналов связи. Пропускная способность дискретного канала связи без памяти.

29. Вычисление пропускной способности для симметричных каналов.

30. Комбинирование каналов связи: параллельное соединение каналов, последовательное соединение каналов, сумма каналов. Пропускная способность в этих случаях.

31. Нахождение пропускной способности дискретного канала без памяти в общем случае.

32. Нахождение пропускной способности дискретного канала без памяти в случае обратимой матрицы переходных вероятностей канала.

33. Алгоритм Блейхута-Аримото вычисления пропускной способности дискретного канала связи без памяти.

34. Системы передачи данных по каналам связи. Построение кодера и декодера для канала связи. Скорость передачи. Ошибки декодирования. Примеры декодеров.

35. Обратная теорема кодирования для дискретных каналов без памяти.

36. Усиленная обратная теорема кодирования для дискретных каналов без памяти.

37. Прямая теорема кодирования для дискретных каналов без памяти.