252-0055-00L  Informationstheorie

SemesterFrühjahrssemester 2020
DozierendeL. Haug, J. M. Buhmann
Periodizitätjährlich wiederkehrende Veranstaltung
LehrspracheDeutsch


KurzbeschreibungDie Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes.
LernzielZiel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datenkompression und -codierung zu illustrieren.
InhaltEinführung und Motivation, Grundlagen der Wahrscheinlichkeitstheorie, Entropie und Information, Kraft-Ungleichung, Schranken für die erwartete Länge von Quellcodes, Huffman-Codierung, asympotische Äquipartitionseigenschaft und typische Sequenzen, Shannons Quellcodierungstheorem, Kanalkapazität und Kanalcodierung, Shannons Kanalcodierungstheorem, Beispiele
LiteraturT. Cover, J. Thomas: Elements of Information Theory, John Wiley, 1991.

D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.


C. Shannon, The Mathematical Theory of Communication, 1948.