"Die Feinabstimmung großer Sprachmodelle (Large Language Models, LLMs) ist unerlässlich, um sie auf spezifische Geschäftsanforderungen abzustimmen, die Genauigkeit zu verbessern und die Leistung zu optimieren. In der heutigen KI-gesteuerten Welt sind Unternehmen auf fein abgestimmte Modelle angewiesen, um präzise, umsetzbare Erkenntnisse zu generieren, die Innovation und Effizienz fördern. Dieser Kurs stattet angehende KI-Ingenieure mit den gefragten Fähigkeiten aus, die Arbeitgeber aktiv suchen. Sie werden fortgeschrittene Feinabstimmungstechniken für kausale LLMs erforschen, einschließlich Instruktionsabstimmung, Belohnungsmodellierung und direkte Präferenzoptimierung. Sie erfahren, wie LLMs als probabilistische Richtlinien für die Generierung von Antworten fungieren und wie sie mit Hilfe von Tools wie Hugging Face an menschliche Präferenzen angepasst werden können. Sie werden in die Belohnungsberechnung, das Verstärkungslernen aus menschlichem Feedback (RLHF), die proximale Policy-Optimierung (PPO), den PPO-Trainer und optimale Strategien für die direkte Präferenzoptimierung (DPO) eintauchen. Die praktischen Übungen in diesem Kurs vermitteln Ihnen praktische Erfahrungen mit der Abstimmung von Instruktionen, der Belohnungsmodellierung, der PPO und der DPO und geben Ihnen die Werkzeuge an die Hand, mit denen Sie LLMs für hochwirksame Anwendungen selbstbewusst feinabstimmen können. Erwerben Sie in nur zwei Wochen berufsreife generative KI-Fähigkeiten! Melden Sie sich noch heute an und bringen Sie Ihre Karriere in der KI voran!"

Bringen Sie Ihre Karriere in diesem Sommer in Schwung mit Kursen von Google, IBM und anderen für £190/Jahr. Jetzt sparen.


Generative AI-Feinabstimmung für LLMs
Dieser Kurs ist Teil mehrerer Programme.
Unterrichtet in Deutsch (KI-Synchronisation)



Dozenten: Joseph Santarcangelo
8.562 bereits angemeldet
Bei enthalten
(79 Bewertungen)
Empfohlene Erfahrung
Was Sie lernen werden
Gefragt sind generative KI-Engineering-Fähigkeiten zur Feinabstimmung von LLMs, die von Arbeitgebern aktiv gesucht werden
Anweisungsabstimmung und Belohnungsmodellierung unter Verwendung von Hugging Face, sowie Verständnis von LLMs als Richtlinien und Anwendung von RLHF-Techniken
Direkte Präferenzoptimierung (DPO) mit Partitionsfunktion und Hugging Face, einschließlich der Definition optimaler Lösungen für DPO-Probleme
Proximale Politikoptimierung (PPO) mit Hugging Face zur Erstellung von Bewertungsfunktionen und Tokenisierung von Datensätzen für die Feinabstimmung
Kompetenzen, die Sie erwerben
- Kategorie: Ausbildung und Entwicklung
- Kategorie: Prompt Engineering
- Kategorie: Leistungsoptimierung
- Kategorie: Modellierung großer Sprachen
- Kategorie: Reinforcement Learning
- Kategorie: Generative KI
- Kategorie: Verarbeitung natürlicher Sprache
- Kategorie: Bewertung der Qualität
- Kategorie: Benutzer-Feedback
Wichtige Details

Zu Ihrem LinkedIn-Profil hinzufügen
5 Aufgaben
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Erweitern Sie Ihre Fachkenntnisse
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 2 Module
In diesem Modul werden Sie fortgeschrittene Techniken zur Feinabstimmung großer Sprachmodelle (LLMs) durch Instruktionsabstimmung und Belohnungsmodellierung erkunden. Sie beginnen mit der Definition der Befehlsabstimmung und lernen den Prozess kennen, einschließlich des Ladens von Datensätzen, Texterzeugungspipelines und Trainingsargumenten mit Hugging Face. Anschließend tauchen Sie in die Belohnungsmodellierung ein, wo Sie Datensätze vorverarbeiten, Low-Rank-Adaptation (LoRA)-Konfigurationen anwenden und Qualitätsreaktionen quantifizieren, um die Modelloptimierung zu steuern und mit menschlichen Präferenzen in Einklang zu bringen. Sie werden auch Reward-Trainer und Reward-Modell-Verlustfunktionen beschreiben und anwenden. Darüber hinaus werden Sie in den praktischen Übungen Ihre Kenntnisse durch praktische Erfahrungen mit der Abstimmung von Anweisungen und der Belohnungsmodellierung vertiefen und so in die Lage versetzt, LLMs für bestimmte Aufgaben effektiv anzupassen.
Das ist alles enthalten
6 Videos4 Lektüren2 Aufgaben2 App-Elemente3 Plug-ins
In diesem Modul erforschen Sie fortgeschrittene Techniken zur Feinabstimmung großer Sprachmodelle (LLMs) unter Verwendung von Reinforcement Learning from Human Feedback (RLHF), Proximal Policy Optimization (PPO) und Direct Preference Optimization (DPO). Sie werden zunächst beschreiben, wie LLMs als probabilistische Verteilungen funktionieren und wie diese in Richtlinien umgewandelt werden können, um Antworten auf der Grundlage von Eingabetext zu generieren. Sie werden die Beziehung zwischen Richtlinien und Sprachmodellen als Funktion von Parametern, wie z.B. Omega, untersuchen und wie Belohnungen unter Verwendung menschlichen Feedbacks berechnet werden können. Dazu gehören das Trainieren von Antwortmustern, die Bewertung der Leistung von Agenten und die Definition von Bewertungsfunktionen für Aufgaben wie die Analyse von Gefühlen mit PPO. Sie werden auch in der Lage sein, die PPO-Konfiguration, Lernraten und die Rolle des PPO-Trainers bei der Optimierung von Chatbot-Antworten mit Hugging Face-Tools zu erklären. Das Modul stellt außerdem DPO vor, eine direktere und effizientere Methode zur Anpassung von Modellen an menschliche Präferenzen. Obwohl komplexe Themen wie PPO und Reinforcement Learning vorgestellt werden, wird von Ihnen nicht erwartet, dass Sie sie in diesem Kurs in der Tiefe verstehen. In den praktischen Übungen in diesem Modul können Sie die Anwendung von RLHF und DPO üben. Zur Unterstützung Ihres Lernens sind ein Spickzettel und ein Glossar zum schnellen Nachschlagen enthalten.
Das ist alles enthalten
10 Videos5 Lektüren3 Aufgaben2 App-Elemente4 Plug-ins
Erwerben Sie ein Karrierezertifikat.
Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.
Dozenten

von
Mehr von Maschinelles Lernen entdecken
- Status: Kostenloser Testzeitraum
- Status: Kostenloser Testzeitraum
- Status: Kostenloser Testzeitraum
- Status: Kostenloser Testzeitraum
Warum entscheiden sich Menschen für Coursera für ihre Karriere?




Bewertungen von Lernenden
79 Bewertungen
- 5 stars
72,50 %
- 4 stars
8,75 %
- 3 stars
5 %
- 2 stars
5 %
- 1 star
8,75 %
Zeigt 3 von 79 an
Geprüft am 11. März 2025
Very Informative – Covers advanced fine-tuning techniques in a clear and structured way
Geprüft am 11. März 2025
This course is a great resource for learners, providing deep insights and practical skills in fine-tuning large language models for advanced AI applications.
Geprüft am 11. März 2025
An excellent course with a wealth of high-quality material, featuring highly informative lessons such as DPO and PPO.

Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Der Kurs dauert etwa 3-5 Stunden, so dass Sie innerhalb von nur zwei Wochen über die Fähigkeiten verfügen, die Sie brauchen, um einen Arbeitgeber zu beeindrucken!
Dieser Kurs ist auf mittlerem Niveau angesiedelt. Um den größtmöglichen Lernerfolg zu erzielen, müssen Sie über Grundkenntnisse in Python, großen Sprachmodellen (LLMs), Verstärkungslernen und Befehlsabstimmung verfügen. Sie sollten auch mit Konzepten des maschinellen Lernens und neuronaler Netze vertraut sein.
Dieser Kurs ist Teil der Spezialisierung Generative AI Engineering mit LLMs. Wenn Sie die Spezialisierung abschließen, haben Sie die Fähigkeiten und das Selbstvertrauen, um Berufsrollen wie KI-Ingenieur, Datenwissenschaftler, Ingenieur für maschinelles Lernen, Deep-Learning-Ingenieur, KI-Ingenieur und Entwickler, die mit LLMs arbeiten wollen, zu übernehmen.
Weitere Fragen
Finanzielle Unterstützung verfügbar,