227-0423-00L Neural Network Theory
| Semester | Herbstsemester 2020 |
| Dozierende | H. Bölcskei |
| Periodizität | jährlich wiederkehrende Veranstaltung |
| Lehrsprache | Englisch |
Lehrveranstaltungen
| Nummer | Titel | Umfang | Dozierende | ||||
|---|---|---|---|---|---|---|---|
| 227-0423-00 V | Neural Network Theory «Hybrid». Up to 150 students can attend the course on-site. Further information will be announced to enrolled students by e-mail in the week before the semester starts. The first lecture is on 21.9. | 2 Std. |
| H. Bölcskei | |||
| 227-0423-00 U | Neural Network Theory «Hybrid». Up to 150 students can attend the course on-site. Further information will be announced to enrolled students by e-mail in the week before the semester starts. The first lecture is on 21.9. | 1 Std. |
| H. Bölcskei |
Katalogdaten
| Kurzbeschreibung | The class focuses on fundamental mathematical aspects of neural networks with an emphasis on deep networks: Universal approximation theorems, basics of approximation theory, fundamental limits of deep neural network learning, geometry of decision surfaces, capacity of separating surfaces, dimension measures relevant for generalization, VC dimension of neural networks. |
| Lernziel | After attending this lecture, participating in the exercise sessions, and working on the homework problem sets, students will have acquired a working knowledge of the mathematical foundations of (deep) neural networks. |
| Inhalt | 1. Universal approximation with single- and multi-layer networks 2. Introduction to approximation theory: Fundamental limits on compressibility of signal classes, Kolmogorov epsilon-entropy of signal classes, non-linear approximation theory 3. Fundamental limits of deep neural network learning 4. Geometry of decision surfaces 5. Separating capacity of nonlinear decision surfaces 6. Dimension measures: Pseudo-dimension, fat-shattering dimension, Vapnik-Chervonenkis (VC) dimension 7. Dimensions of neural networks 8. Generalization error in neural network learning |
| Skript | Detailed lecture notes will be provided. |
| Voraussetzungen / Besonderes | This course is aimed at students with a strong mathematical background in general, and in linear algebra, analysis, and probability theory in particular. |
Leistungskontrolle
| Information zur Leistungskontrolle (gültig bis die Lerneinheit neu gelesen wird) | |
Leistungskontrolle als Semesterkurs | |
| ECTS Kreditpunkte | 4 KP |
| Prüfende | H. Bölcskei |
| Form | Sessionsprüfung |
| Prüfungssprache | Englisch |
| Repetition | Die Leistungskontrolle wird in jeder Session angeboten. Die Repetition ist ohne erneute Belegung der Lerneinheit möglich. |
| Prüfungsmodus | schriftlich 180 Minuten |
| Hilfsmittel schriftlich | Keine |
| Diese Angaben können noch zu Semesterbeginn aktualisiert werden; verbindlich sind die Angaben auf dem Prüfungsplan. | |
Lernmaterialien
| Hauptlink | Course website |
| Es werden nur die öffentlichen Lernmaterialien aufgeführt. | |
Gruppen
| Keine Informationen zu Gruppen vorhanden. |
Einschränkungen
| Keine zusätzlichen Belegungseinschränkungen vorhanden. |
