252-0526-00L  Statistical Learning Theory

SemesterFrühjahrssemester 2021
DozierendeJ. M. Buhmann, C. Cotrini Jimenez
Periodizitätjährlich wiederkehrende Veranstaltung
LehrspracheEnglisch



Lehrveranstaltungen

NummerTitelUmfangDozierende
252-0526-00 VStatistical Learning Theory3 Std.
Mo14:15-16:00HG G 3 »
Di17:15-18:00HG F 5 »
J. M. Buhmann, C. Cotrini Jimenez
252-0526-00 UStatistical Learning Theory2 Std.
Mo16:15-18:00HG G 3 »
J. M. Buhmann, C. Cotrini Jimenez
252-0526-00 AStatistical Learning Theory2 Std.J. M. Buhmann, C. Cotrini Jimenez

Katalogdaten

KurzbeschreibungThe course covers advanced methods of statistical learning:

- Variational methods and optimization.
- Deterministic annealing.
- Clustering for diverse types of data.
- Model validation by information theory.
LernzielThe course surveys recent methods of statistical learning. The fundamentals of machine learning, as presented in the courses "Introduction to Machine Learning" and "Advanced Machine Learning", are expanded from the perspective of statistical learning.
Inhalt- Variational methods and optimization. We consider optimization approaches for problems where the optimizer is a probability distribution. We will discuss concepts like maximum entropy, information bottleneck, and deterministic annealing.

- Clustering. This is the problem of sorting data into groups without using training samples. We discuss alternative notions of "similarity" between data points and adequate optimization procedures.

- Model selection and validation. This refers to the question of how complex the chosen model should be. In particular, we present an information theoretic approach for model validation.

- Statistical physics models. We discuss approaches for approximately optimizing large systems, which originate in statistical physics (free energy minimization applied to spin glasses and other models). We also study sampling methods based on these models.
SkriptA draft of a script will be provided. Lecture slides will be made available.
LiteraturHastie, Tibshirani, Friedman: The Elements of Statistical Learning, Springer, 2001.

L. Devroye, L. Gyorfi, and G. Lugosi: A probabilistic theory of pattern recognition. Springer, New York, 1996
Voraussetzungen / BesonderesKnowledge of machine learning (introduction to machine learning and/or advanced machine learning)
Basic knowledge of statistics.

Leistungskontrolle

Information zur Leistungskontrolle (gültig bis die Lerneinheit neu gelesen wird)
Leistungskontrolle als Semesterkurs
ECTS Kreditpunkte8 KP
PrüfendeJ. M. Buhmann, C. Cotrini Jimenez
FormSessionsprüfung
PrüfungsspracheEnglisch
RepetitionDie Leistungskontrolle wird in jeder Session angeboten. Die Repetition ist ohne erneute Belegung der Lerneinheit möglich.
Prüfungsmodusschriftlich 180 Minuten
Zusatzinformation zum Prüfungsmodus70% session examination, 30% project; the final grade will be calculated as weighted average of both these elements. As a compulsory continuous performance assessment task, the project must be passed on its own and has a bonus/penalty function.

The practical projects are an integral part (60 hours of work, 2 credits) of the course. Participation is mandatory. Failing the project results in a failing grade for the overall course examination.

Students who fail to fulfil the project requirement must de-register from the exam. Otherwise, they are not admitted to the exam and they will be treated as a no show.
Hilfsmittel schriftlich4 A4 handwritten or fontsize 12 pages (2 sheets with notes on its two sides); course script.
Diese Angaben können noch zu Semesterbeginn aktualisiert werden; verbindlich sind die Angaben auf dem Prüfungsplan.

Lernmaterialien

 
HauptlinkInformation
AufzeichnungStatistical Learning Theory recorings
Es werden nur die öffentlichen Lernmaterialien aufgeführt.

Gruppen

Keine Informationen zu Gruppen vorhanden.

Einschränkungen

Keine zusätzlichen Belegungseinschränkungen vorhanden.

Angeboten in

StudiengangBereichTyp
CAS in InformatikFokusfächer und WahlfächerWInformation
Computational Biology and Bioinformatics MasterTheorieWInformation
Cyber Security MasterWahlfächerWInformation
Cyber Security MasterWahlfächerWInformation
DAS in Data ScienceMachine Learning and Artificial IntelligenceWInformation
Data Science MasterWählbare KernfächerWInformation
Elektrotechnik und Informationstechnologie MasterEmpfohlene FächerWInformation
Elektrotechnik und Informationstechnologie MasterVertiefungsfächerWInformation
Elektrotechnik und Informationstechnologie MasterVertiefungsfächerWInformation
Elektrotechnik und Informationstechnologie MasterEmpfohlene FächerWInformation
Elektrotechnik und Informationstechnologie MasterEmpfohlene FächerWInformation
Elektrotechnik und Informationstechnologie MasterVertiefungsfächerWInformation
Informatik MasterWahlfächer der Vertiefung in Information SystemsWInformation
Informatik MasterWahlfächerWInformation
Informatik MasterWahlfächer der Vertiefung General StudiesWInformation
Informatik MasterWahlfächer der Vertiefung in Computational ScienceWInformation
Informatik MasterWahlfächer der Vertiefung in Visual ComputingWInformation
Informatik MasterErgänzung in Machine LearningWInformation
MAS in Medical PhysicsKernfächerWInformation
Maschineningenieurwissenschaften MasterRobotics, Systems and ControlWInformation
Rechnergestützte Wissenschaften MasterWahlfächerWInformation
Robotics, Systems and Control MasterKernfächerWInformation
Statistik MasterStatistische und mathematische FächerWInformation
Statistik MasterFachbezogene WahlfächerWInformation