| Nummer | Titel | ECTS | Umfang | Dozierende |
|---|
| 252-0055-00L | Informationstheorie  | 4 KP | 2V + 1U | L. Haug,
J. M. Buhmann |
| Kurzbeschreibung | Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes. |
| Lernziel | Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datenkompression und -codierung zu illustrieren. |
| Inhalt | Einführung und Motivation, Grundlagen der Wahrscheinlichkeitstheorie, Entropie und Information, Kraft-Ungleichung, Schranken für die erwartete Länge von Quellcodes, Huffman-Codierung, asympotische Äquipartitionseigenschaft und typische Sequenzen, Shannons Quellcodierungstheorem, Kanalkapazität und Kanalcodierung, Shannons Kanalcodierungstheorem, Beispiele |
| Literatur | T. Cover, J. Thomas: Elements of Information Theory, John Wiley, 1991.
D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.
C. Shannon, The Mathematical Theory of Communication, 1948. |
