Spezialisierung für Reinforcement Learning

In diesem Kurs lernen Sie verschiedene Algorithmen kennen, die auf der Grundlage von Versuch und Irrtum mit der Umwelt nahezu optimale Strategien erlernen können - Lernen aus der eigenen Erfahrung des Agenten. Das Lernen aus eigener Erfahrung ist bemerkenswert, weil es keine Vorkenntnisse über die Dynamik der Umgebung erfordert und dennoch ein optimales Verhalten erreichen kann. Wir werden intuitiv einfache, aber leistungsstarke Monte-Carlo-Methoden und Methoden des Lernens mit zeitlichen Differenzen einschließlich Q-Lernen behandeln. Zum Abschluss dieses Kurses werden wir untersuchen, wie wir das Beste aus beiden Welten erhalten können: Algorithmen, die modellbasierte Planung (ähnlich der dynamischen Programmierung) und Temporal-Differenzen-Updates kombinieren können, um das Lernen radikal zu beschleunigen. Am Ende dieses Kurses werden Sie in der Lage sein: - Temporal-Differenzen-Lernen und Monte Carlo als zwei Strategien zur Schätzung von Wertfunktionen aus gesampelter Erfahrung zu verstehen - die Bedeutung der Exploration zu verstehen, wenn man gesampelte Erfahrung anstelle von Sweeps der dynamischen Programmierung innerhalb eines Modells verwendet - die Verbindungen zwischen Monte Carlo und dynamischer Programmierung und TD zu verstehen.

- Implementieren und Anwenden des TD-Algorithmus zur Schätzung von Wertfunktionen - Implementieren und Anwenden von Expected Sarsa und Q-learning (zwei TD-Methoden zur Steuerung) - Verstehen des Unterschieds zwischen On-Policy- und Off-Policy-Steuerung - Verstehen der Planung mit simulierter Erfahrung (im Gegensatz zu klassischen Planungsstrategien) - Implementieren eines modellbasierten RL-Ansatzes namens Dyna, der simulierte Erfahrung verwendet - Durchführen einer empirischen Studie, um die Verbesserungen der Stichprobeneffizienz bei der Verwendung von Dyna zu ermitteln

In diesem Kurs werden Sie lernen, wie man Probleme mit großen, hochdimensionalen und potentiell unendlichen Zustandsräumen löst. Sie werden sehen, dass die Schätzung von Wertfunktionen als ein Problem des überwachten Lernens - der Funktionsannäherung - betrachtet werden kann, das es Ihnen ermöglicht, Agenten zu entwickeln, die sorgfältig zwischen Generalisierung und Unterscheidung abwägen, um die Belohnung zu maximieren. Wir beginnen diese Reise, indem wir untersuchen, wie unsere Methoden zur Bewertung oder Vorhersage von Richtlinien wie Monte Carlo und TD auf die Funktionsannäherung erweitert werden können. Sie werden Techniken zur Konstruktion von Merkmalen für RL und das Lernen von Repräsentationen über neuronale Netze und Backprop kennenlernen. Wir schließen diesen Kurs mit einem tiefen Einblick in Policy-Gradienten-Methoden ab, eine Möglichkeit, Policies direkt zu lernen, ohne eine Wertfunktion zu lernen. In diesem Kurs werden Sie zwei Steuerungsaufgaben mit kontinuierlichen Zuständen lösen und die Vorteile von Policy-Gradienten-Methoden in einer Umgebung mit kontinuierlichen Aktionen untersuchen.

Voraussetzungen: Dieser Kurs baut stark auf den Grundlagen der Kurse 1 und 2 auf und die Lernenden sollten diese abgeschlossen haben, bevor sie diesen Kurs beginnen. Die Teilnehmer sollten außerdem mit Wahrscheinlichkeiten und Erwartungen, grundlegender linearer Algebra, Grundrechenarten, Python 3.0 (mindestens 1 Jahr) und der Implementierung von Algorithmen aus Pseudocode vertraut sein. Am Ende dieses Kurses werden Sie in der Lage sein: -Verstehen, wie man Ansätze des überwachten Lernens verwendet, um Wertfunktionen zu approximieren -Verstehen der Ziele für die Vorhersage (Wertschätzung) unter Funktionsapproximation -Implementieren von TD mit Funktionsapproximation (Zustandsaggregation), in einer Umgebung mit einem unendlichen Zustandsraum (kontinuierlicher Zustandsraum) -Verstehen von Ansätzen mit fester Basis und neuronalen Netzen zur Konstruktion von Merkmalen -Umsetzung von TD mit Funktionsapproximation durch neuronale Netze in einer Umgebung mit kontinuierlichen Zuständen -Verstehen neuer Schwierigkeiten bei der Exploration, wenn man zur Funktionsapproximation übergeht -Vergleich von diskontierten Problemformulierungen für die Kontrolle mit einer durchschnittlichen Belohnungsproblemformulierung -Implementierung von Expected Sarsa und Q-Learning mit Funktionsapproximation in einer Kontrollaufgabe mit kontinuierlichem Zustand -Verständnis von Zielen für die direkte Schätzung von Strategien (Policy-Gradient-Ziele) -Implementierung einer Policy-Gradient-Methode (genannt Actor-Critic) in einer Umgebung mit diskretem Zustand

In diesem letzten Kurs werden Sie Ihr Wissen aus den Kursen 1, 2 und 3 zusammenführen, um eine vollständige RL-Lösung für ein Problem zu implementieren. In dieser Abschlussarbeit werden Sie sehen, wie die einzelnen Komponenten - Problemformulierung, Auswahl des Algorithmus, Auswahl der Parameter und Entwurf der Repräsentation - zu einer vollständigen Lösung zusammenpassen und wie Sie beim Einsatz von RL in der realen Welt die richtigen Entscheidungen treffen. Im Rahmen dieses Projekts müssen Sie sowohl die Umgebung zur Stimulierung Ihres Problems als auch einen Kontrollagenten mit der Funktionsannäherung eines Neuronalen Netzes implementieren. Darüber hinaus werden Sie eine wissenschaftliche Studie über Ihr Lernsystem durchführen, um Ihre Fähigkeit zu entwickeln, die Robustheit von RL-Agenten zu beurteilen. Für den Einsatz von RL in der realen Welt ist es von entscheidender Bedeutung, (a) das Problem angemessen als MDP zu formalisieren, (b) geeignete Algorithmen auszuwählen, (c) festzustellen, welche Entscheidungen in Ihrer Implementierung große Auswirkungen auf die Leistung haben werden und (d) das erwartete Verhalten Ihrer Algorithmen zu validieren. Dieser Abschlusskurs ist für jeden wertvoll, der RL zur Lösung realer Probleme einsetzen möchte. Um diesen Kurs erfolgreich zu absolvieren, müssen Sie die Kurse 1, 2 und 3 dieser Specializations oder einen gleichwertigen Kurs abgeschlossen haben. Am Ende dieses Kurses werden Sie in der Lage sein:

Eine RL-Lösung für ein Problem zu erstellen, beginnend mit der Problemformulierung, der Auswahl eines geeigneten Algorithmus, der Implementierung und der empirischen Untersuchung der Effektivität der Lösung.