227-0423-00L  Neural Network Theory

SemesterHerbstsemester 2021
DozierendeH. Bölcskei
Periodizitätjährlich wiederkehrende Veranstaltung
LehrspracheEnglisch



Lehrveranstaltungen

NummerTitelUmfangDozierende
227-0423-00 VNeural Network Theory2 Std.
Di10:15-12:00HG F 5 »
H. Bölcskei
227-0423-00 UNeural Network Theory
The exercise will take place online on: Link.
The reserved room is meant for those students who want to follow the course from the campus.
1 Std.
Di12:15-13:00HG F 5 »
H. Bölcskei

Katalogdaten

KurzbeschreibungThe class focuses on fundamental mathematical aspects of neural networks with an emphasis on deep networks: Universal approximation theorems, capacity of separating surfaces, generalization, fundamental limits of deep neural network learning, VC dimension.
LernzielAfter attending this lecture, participating in the exercise sessions, and working on the homework problem sets, students will have acquired a working knowledge of the mathematical foundations of neural networks.
Inhalt1. Universal approximation with single- and multi-layer networks

2. Introduction to approximation theory: Fundamental limits on compressibility of signal classes, Kolmogorov epsilon-entropy of signal classes, non-linear approximation theory

3. Fundamental limits of deep neural network learning

4. Geometry of decision surfaces

5. Separating capacity of nonlinear decision surfaces

6. Vapnik-Chervonenkis (VC) dimension

7. VC dimension of neural networks

8. Generalization error in neural network learning
SkriptDetailed lecture notes are available on the course web page
Link
Voraussetzungen / BesonderesThis course is aimed at students with a strong mathematical background in general, and in linear algebra, analysis, and probability theory in particular.

Leistungskontrolle

Information zur Leistungskontrolle (gültig bis die Lerneinheit neu gelesen wird)
Leistungskontrolle als Semesterkurs
ECTS Kreditpunkte4 KP
PrüfendeH. Bölcskei
FormSessionsprüfung
PrüfungsspracheEnglisch
RepetitionDie Leistungskontrolle wird in jeder Session angeboten. Die Repetition ist ohne erneute Belegung der Lerneinheit möglich.
Prüfungsmodusschriftlich 180 Minuten
Hilfsmittel schriftlichKeine
Diese Angaben können noch zu Semesterbeginn aktualisiert werden; verbindlich sind die Angaben auf dem Prüfungsplan.

Lernmaterialien

 
HauptlinkLecture Website
Es werden nur die öffentlichen Lernmaterialien aufgeführt.

Gruppen

Keine Informationen zu Gruppen vorhanden.

Einschränkungen

Keine zusätzlichen Belegungseinschränkungen vorhanden.

Angeboten in

StudiengangBereichTyp
Data Science MasterInformation and LearningWInformation
Doktorat Departement MathematikGraduate School / GraduiertenkollegWInformation
Elektrotechnik und Informationstechnologie MasterKernfächerWInformation
Elektrotechnik und Informationstechnologie MasterAdvanced Core CoursesWInformation
Elektrotechnik und Informationstechnologie MasterVertiefungsfächerWInformation
Elektrotechnik und Informationstechnologie MasterEmpfohlene FächerWInformation
Informatik MasterWahlfächer in der InformatikWInformation
Mathematik MasterAuswahl: Weitere GebieteWInformation
Physik MasterAllgemeine WahlfächerWInformation
Rechnergestützte Wissenschaften MasterWahlfächerWInformation
Statistik MasterStatistische und mathematische FächerWInformation
Statistik MasterFachbezogene WahlfächerWInformation