Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes.
Lernziel
Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datenkompression und -codierung zu illustrieren.
Inhalt
Einführung und Motivation, Grundlagen der Wahrscheinlichkeitstheorie, Entropie und Information, Kraft-Ungleichung, Schranken für die erwartete Länge von Quellcodes, Huffman-Codierung, asympotische Äquipartitionseigenschaft und typische Sequenzen, Shannons Quellcodierungstheorem, Kanalkapazität und Kanalcodierung, Shannons Kanalcodierungstheorem, Beispiele
Literatur
T. Cover, J. Thomas: Elements of Information Theory, John Wiley, 1991.
D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.
C. Shannon, The Mathematical Theory of Communication, 1948.
Leistungskontrolle
Information zur Leistungskontrolle (gültig bis die Lerneinheit neu gelesen wird)
Leistungskontrolle als Semesterkurs