Einführung in Reinforcement Learning
CIT333001 20 Belege-
Prüfung K2 · KI-Methoden und Algorithmen Niveau: anwenden
„Mit der mündlichen Prüfung soll das individuelle Verständnis der Studentinnen und Studenten für die grundlegenden Konzepte des Reinforcement Learnings überprüft werden. Hierbei geht es um die Konstruktion und Herleitung der einzelnen Algorithmen sowie um deren jeweilige Anforderungen. Die mündliche Prüfung behandelt daher die eher theoretischen Aspekte von RL, welche bei einer reinen Implementierung nicht abgefragt werden könnten, aber wichtig für die Wahl eines konkreten Ansatzes sind.“
Das Zitat behandelt die Konstruktion und Herleitung von Reinforcement-Learning-Algorithmen sowie deren Anforderungen.
-
Prüfung K3 · KI-Anwendungen im Fachkontext
„Die Fähigkeit zur Anwendung der Methoden des Reinforcement Learning für die Lösung realer Probleme wird im Rahmen des Projekts und seiner Berichterstattung bewertet. Ziel des Projekts ist die Realisierung der Steuerung für den Aufzug. Es werden verschiedene Ansätze implementiert und deren Performanz analysiert. So können die Einflüsse der verschiedenen Stellschrauben unmittelbar beobachtet werden. Die Projektarbeit ermöglicht es den Studentinnen und Studenten, ihre praktischen Fähigkeiten in der Implementierung von Reinforcement Learning zu demonstrieren und die Herausforderungen bei der Anwendung im Alltag zu reflektieren.“
Das Zitat beschreibt die Anwendung von Reinforcement Learning zur Steuerung eines Aufzugs und die Analyse verschiedener Ansätze in einem realitätsnahen Problem.
-
Inhalt K1 · KI als Fachinhalt
„Reinforcement Learning (RL) ist ein vielseitiger Ansatz zur Lösung von Problemen der sequenziellen Entscheidungsfindung. Ein Agent interagiert mit seiner Umgebung und nutzt seine Erfahrung, um Entscheidungen zu treffen, welche zur Lösung des Problems beitragen.“
Das Zitat erläutert Reinforcement Learning als Ansatz zur sequenziellen Entscheidungsfindung und beschreibt zentrale Konzepte wie Agent und Umgebung.
-
Inhalt K3 · KI-Anwendungen im Fachkontext Niveau: anwenden
„Reinforcement Learning hat sich als festes Werkzeug in der Forschung und in verschiedenen Anwendungen etabliert. Dazu gehören lernende Regler in der Robotik, die Entwicklung von Strategien beispielsweise für Brettspiele, das Verwalten von Verkehr in Netzwerken oder Computerintelligenz allgemein. Zu den jüngsten Erfolgen von RL zählen unter anderem die Programme ChatGPT oder AlphaGo.“
Das Zitat nennt konkrete Anwendungen von Reinforcement Learning in Robotik, Spielen und Verkehrsnetzwerken.
-
Inhalt K1 · KI als Fachinhalt Niveau: anwenden
„Diese Vorlesung vermittelt einen Überblick über die grundlegenden Konzepte, die verschiedenen praktischen Techniken und die Programmierwerkzeuge, welche für die Implementierung von RLLösungen notwendig werden.“
Das Zitat kündigt einen Überblick über grundlegende Konzepte und Programmierwerkzeuge für die Implementierung von Reinforcement-Learning-Lösungen an.
-
Inhalt K2 · KI-Methoden und Algorithmen Niveau: anwenden
„Die Veranstaltung konzentriert sich zunächst auf die Einführung von Reinforcement Learning. Anschließend wird die Entwicklung von Algorithmen thematisiert. Danach folgen die Anwendungsaspekte des Themas, wie z.B. die Herausforderungen bei der Realisierung in Computern und eine (ausreichend) performante Implementierung.“
Das Zitat behandelt ausdrücklich die Entwicklung von Reinforcement-Learning-Algorithmen sowie anschließend deren Anwendungsaspekte und Implementierung.
-
Inhalt K3 · KI-Anwendungen im Fachkontext
„Als Problemstellung für den Kurs dient die Steuerung eines Aufzugs. Diese stellt ein ausreichend kleines Entscheidungsproblem dar, welches im Rahmen der Vorlesung in kurzer Zeit lösbar ist. Dennoch ist solch eine Steuerung bereits an sich interessant und nicht mehr nur ein reines Spielzeugproblem.“
Das Zitat verwendet die Steuerung eines Aufzugs als technische Problemstellung für Reinforcement Learning.
-
Inhalt K1 · KI als Fachinhalt Niveau: entwickeln / gestalten
„Die Veranstaltung ist so konzipiert, dass sie die Grundlagen für eine spätere theoretische Behandlung des Themas ermöglicht. Für einen tiefen Einstieg in das Themenfeld (mathematische Herleitungen, Konvergenzbeweise und Herleitung von Fehlergrenzen) können interessierte Studentinnen und Studenten die Master-Vorlesung „Approximate Dynamic Programming and Reinforcement Learning“ im Wintersemester besuchen.“
Das Zitat beschreibt theoretische Grundlagen des Reinforcement Learning, darunter mathematische Herleitungen, Konvergenzbeweise und Fehlergrenzen.
-
Inhalt K2 · KI-Methoden und Algorithmen
„Markov-Entscheidungsprozesse als Sprache zur Formulierung von Lösungsansätzen“
Markov-Entscheidungsprozesse werden als formale Sprache zur Formulierung von Lösungsansätzen behandelt.
-
Inhalt K3 · KI-Anwendungen im Fachkontext Niveau: anwenden
„Implementierung des Simulators bzw. des dynamischen Systems“
Das Zitat bezieht sich auf die Implementierung eines Simulators beziehungsweise eines dynamischen technischen Systems.
-
Inhalt K2 · KI-Methoden und Algorithmen
„Dynamische Programmierung (Value- und Policy-Iteration)“
Value-Iteration und Policy-Iteration werden als konkrete Verfahren der dynamischen Programmierung genannt.
-
Inhalt K2 · KI-Methoden und Algorithmen
„Monte-Carlo-Methoden“
Das Zitat nennt Monte-Carlo-Methoden als technisches Verfahren.
-
Inhalt K2 · KI-Methoden und Algorithmen
„Temporal Difference Learning (SARSA und Q-Learning)“
SARSA und Q-Learning werden als konkrete Verfahren des Temporal-Difference Learning genannt.
-
Inhalt K2 · KI-Methoden und Algorithmen
„Lineare Funktionsapproximation“
Lineare Funktionsapproximation wird als technisches Verfahren im Kontext des Reinforcement Learning genannt.
-
Lernziel K2 · KI-Methoden und Algorithmen
„Mit Abschluss des Kurses ist man in der Lage, Reinforcement Learning Algorithmen wie QLearning und SARSA in Python zu programmieren und anzuwenden.“
Das Zitat bezieht sich auf das Programmieren und Anwenden der Reinforcement-Learning-Algorithmen Q-Learning und SARSA.
-
Lernziel K3 · KI-Anwendungen im Fachkontext Niveau: entwickeln / gestalten
„Die Studierenden können nun reale Probleme identifizieren, die mittels Reinforcement Learning gelöst werden können. Sie sind fähig, neue Entscheidungsprobleme in Form von MarkovEntscheidungsprozessen zu formulieren und geeignete Lösungsansätze zu entwickeln.“
Das Zitat behandelt die Identifikation realer Probleme für Reinforcement Learning sowie deren Formulierung als Markov-Entscheidungsprozesse und die Entwicklung geeigneter Lösungsansätze.
-
Lernziel K1 · KI als Fachinhalt
„Die Studierenden haben ein Verständnis für die praktischen Herausforderungen bei der Implementierung von Reinforcement Learning und können Strategien zur Überwindung dieser Hürden entwerfen. Sie sind in der Lage, die Ergebnisse von RL-Ansätzen klar und präzise zu präsentieren und kritisch zu reflektieren.“
Das Zitat beschreibt praktische Herausforderungen und Strategien bei der Implementierung von Reinforcement Learning sowie die Reflexion über Ergebnisse.
-
Literatur K7 · KI-Literatur
„Sutton, R. S. & Barto, A. G., Reinforcement Learning: An Introduction. The MIT Press, 1998“
-
Literatur K7 · KI-Literatur
„Bertsekas, D. P. & Tsitsiklis, J., Neuro-dynamic programming. Athena Scientific, 1996“
-
Literatur K7 · KI-Literatur
„Szepesvári, S., Algorithms for Reinforcement Learning. Morgan & Claypool, 2010“