Website
KI-Weiterbildung

Network Architectures and Deep Learning

CS5073-KP12

CS5071-KP04 Probabilistic Differential Programming (PDP)

Die Vorlesung PDP gibt anhand von Bildverarbeitungsprobelemen einen Überblick über konfigurierbare Architekturen zur Datenverarbeitung. Es werden tiefe Filterkaskaden (Convolutional Networks) verschiedener Art erläutert (z.B. AlexNet, VGG-16, GoogleNet). Die Vorlesung führt in die zentralen Ideen von Residual Networks (ResNets) ein. Für sequenzielle Daten (z.B. Sprache) werden rekurrente Netze (RNNs) erläutert (z.B. LSTMs). Sog. Transformer-Netze werden anhand von Beispielen zur Übersetzung eingeführt. Weitere Architekturen werden auf der Basis von probabilistischen Netzen erläutert (probabilistische graphische Modelle) und anhand von Beispielen erläutert. Alle Architekturen haben eine komplexe innere Struktur mit latenten Elementen und können als tiefe Repräsentationen bezeichnet werden.

Neben den tiefen Architekturen selbst werden auch tiefe Lernverfahren zur automatischen Konfiguration der Architekturen erläutert, so dass Klassifikationsaufgaben mit minimaler Fehlerrate gelöst bzw. Regressionsfunktionen mit kleinem Fehler hergeleitet werden können. Die automatische Konfiguration der inneren Strukturen stellt eine Bestimmung einer abstrakten Darstellung der Eingaben dar, die dann auf die Ausgaben abgebildet werden. Wir sprechen daher auch von Lernen von Repräsentationen (Representation Learning). Randomisierte Elemente, die im Lernen von Repräsentationen eingesetzt werden, wie z.B. Dropout oder probabilistische Dimensionsreduktion, werden genauso wie fokussierende Elemente (z.B. Attention-Learning in LSTMs) in der Vorlesung eingeführt.

Auch die Verwendung von Architekturen zur Generierung von Daten (z.B. auch Trainingsdaten) werden behandelt (z.B. GANs und verschiedene Sampling-Verfahren). Probabilistsiche Modelle zur Generierung von komplexen Beschreibungen werden ebenfalls diskutiert (probabilistische Programmierung).

Anschließend verallgemeinert die Vorlesung die Inhalte und stellt die wesentlichen Ideen hinter dem neuen Paradigma der differentiellen Programmierung (z.B. anhand von Zygote) dar. Mit differentieller Programmierung kann aus einem programmierten Generator automatisch aus dem Quellcode z.B. ein Klassifikator erzeugt werden, was eine wichtige Technik der Zukunft darstellt.

Die Studierenden tragen in einem seminaristischen Teil vertiefende Elemente selbst bei, indem sie Referate über Originalpapiere zu den in der Vorlesung durchgesprochenen Themen halten.

CS5073-KP08 Deep Learning Lab

Im Labor werden die in der Vorlesung behandelten Verfahren intensiv anhand einer praktischen Lernumgebung anwendet. Hierzu erleben die Studierende durch Betrachtung von Benchmark-Lernproblemen, wie die technische Entwicklung vorangeschritten ist. Die Studierenden können für Ihrer Arbeit die Möglichkeiten und Schwächen von (probabilistischen) Netzwerkarchitekturen und deren Datenbedarfe für Lern- bzw. Konfigurationsverfahren einschätzen.

Im KI-Labor stehen leistungsfähige Hardware-Systeme (z.B. NVIDIA DGX A100, DGX2, 2xDell 4140 mit 4xNVIDIA V100 GPUs) für aufwendigige Lernexperimente zu Verfügung. Weiterhin wird ein Dell R740 FPGA angeboten.