Dieser Kurs bietet eine praktische Einführung in die Verwendung von Transformator-basierten Modellen für Anwendungen der natürlichen Sprachverarbeitung (NLP). Sie lernen, Modelle für die Textklassifikation zu erstellen und zu trainieren, indem Sie Encoder-basierte Architekturen wie Bidirectional Encoder Representations from Transformers (BERT) verwenden, und erforschen Kernkonzepte wie Positionskodierung, Worteinbettungen und Aufmerksamkeitsmechanismen. Der Kurs behandelt Multi-Head-Attention, Self-Attention und kausale Sprachmodellierung mit GPT für Aufgaben wie Textgenerierung und Übersetzung. Sie werden praktische Erfahrungen mit der Implementierung von Transformer-Modellen in PyTorch sammeln, einschließlich Pretraining-Strategien wie Masked Language Modeling (MLM) und Next Sentence Prediction (NSP). In geführten Übungen werden Sie Encoder- und Decoder-Modelle auf reale Szenarien anwenden. Dieser Kurs richtet sich an Lernende, die sich für generative KI interessieren, und erfordert Vorkenntnisse in Python, PyTorch und maschinellem Lernen. Melden Sie sich jetzt an, um Ihre Fähigkeiten in NLP mit Transformatoren zu erweitern!
Generative KI Sprachmodellierung mit Transformers
Dieser Kurs ist Teil mehrerer Programme.
Unterrichtet in Deutsch (KI-Synchronisation)
Dozenten: Joseph Santarcangelo
11.248 bereits angemeldet
Bei 
enthalten
(85 Bewertungen)
Empfohlene Erfahrung
Was Sie lernen werden
Die Rolle von Aufmerksamkeitsmechanismen in Transformationsmodellen zur Erfassung von Kontextbeziehungen in Texten zu erläutern
Die Unterschiede zwischen decoderbasierten Modellen wie GPT und encoderbasierten Modellen wie BERT bei der Sprachmodellierung zu beschreiben
Implementierung von Schlüsselkomponenten von Transformatormodellen, einschließlich Positionskodierung, Aufmerksamkeitsmechanismen und Maskierung, mit PyTorch
Anwendung von Transformator-basierten Modellen für reale NLP-Aufgaben, wie z.B. Textklassifizierung und Sprachübersetzung, unter Verwendung von PyTorch und Hugging Face Tools
Kompetenzen, die Sie erwerben
- Kategorie: Angewandtes maschinelles Lernen
- Kategorie: Text Mining
- Kategorie: Generative KI
- Kategorie: Deep Learning
- Kategorie: Modellierung großer Sprachen
- Kategorie: Methoden des Maschinellen Lernens
- Kategorie: Verarbeitung natürlicher Sprache
- Kategorie: PyTorch (Bibliothek für Maschinelles Lernen)
Wichtige Details
Zu Ihrem LinkedIn-Profil hinzufügen
6 Aufgaben
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Erweitern Sie Ihre Fachkenntnisse
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat zur Vorlage
In diesem Kurs gibt es 2 Module
In diesem Modul lernen Sie, wie Transformatoren sequenzielle Daten mithilfe von Positionskodierung und Aufmerksamkeitsmechanismen verarbeiten. Sie werden erkunden, wie man Positionskodierung in PyTorch implementiert und verstehen, wie Aufmerksamkeit den Modellen hilft, sich auf relevante Teile von Eingabesequenzen zu konzentrieren. Sie werden tiefer in die Selbstaufmerksamkeit und die skalierte Punkt-Produkt-Aufmerksamkeit mit mehreren Köpfen eintauchen, um zu sehen, wie sie zu Sprachmodellierungsaufgaben beitragen. Das Modul erklärt auch, wie die Transformer-Architektur diese Mechanismen effizient nutzt. In praktischen Übungen werden Sie diese Konzepte implementieren und Transformer-Encoder-Schichten in PyTorch erstellen. Schließlich werden Sie Transformer-Modelle für die Textklassifikation anwenden, einschließlich des Aufbaus einer Datenpipeline, der Definition des Modells und des Trainings, wobei Sie auch Techniken zur Optimierung der Trainingsleistung von Transformern erforschen.
Das ist alles enthalten
6 Videos4 Lektüren2 Aufgaben2 App-Elemente1 Plug-in
In diesem Modul lernen Sie, wie Decoder-basierte Modelle wie GPT mit kausaler Sprachmodellierung trainiert und in PyTorch für Training und Inferenz implementiert werden. Sie werden Encoder-basierte Modelle, wie z.B. Bidirektionale Encoder-Repräsentationen von Transformatoren (BERT), erforschen und deren Pretraining-Strategien unter Verwendung von Masked Language Modeling (MLM) und Next Sentence Prediction (NSP) verstehen, zusammen mit Techniken zur Datenaufbereitung in PyTorch. Sie werden auch untersuchen, wie Transformer-Architekturen auf die maschinelle Übersetzung angewendet werden, einschließlich ihrer Implementierung mit PyTorch. Durch praktische Übungen werden Sie praktische Erfahrungen mit Decoder-Modellen, Encoder-Modellen und Übersetzungsaufgaben sammeln. Das Modul schließt mit einem Spickzettel, einem Glossar und einer Zusammenfassung ab, um Ihr Verständnis der Schlüsselkonzepte zu festigen.
Das ist alles enthalten
10 Videos6 Lektüren4 Aufgaben4 App-Elemente2 Plug-ins
Erwerben Sie ein Karrierezertifikat.
Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.
von
Mehr von Maschinelles Lernen entdecken
DeepLearning.AI
Status: Kostenloser Testzeitraum
Google Cloud
Status: Kostenloser TestzeitraumVanderbilt University
Warum entscheiden sich Menschen für Coursera für ihre Karriere?
Bewertungen von Lernenden
85 Bewertungen
- 5 stars
75,86 %
- 4 stars
13,79 %
- 3 stars
3,44 %
- 2 stars
1,14 %
- 1 star
5,74 %
Zeigt 3 von 85 an
Geprüft am 18. Jan. 2025
Exceptional course and all the labs are industry related
Geprüft am 30. Dez. 2024
This course gives me a wide picture of what transformers can be.
Geprüft am 17. Nov. 2024
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Es dauert nur zwei Wochen, um diesen Kurs zu absolvieren, wenn Sie 3 bis 5 Stunden pro Woche für das Lernen aufwenden.
Es wäre gut, wenn Sie über Grundkenntnisse in Python verfügen und mit Konzepten des maschinellen Lernens und neuronaler Netze vertraut sind. Es wäre von Vorteil, wenn Sie mit Textvorverarbeitungsschritten und N-Gramm-, Word2Vec- und Sequenz-zu-Sequenz-Modellen vertraut sind. Kenntnisse von Evaluationsmetriken wie z.B. der bilingualen Evaluation Understudy (BLEU) sind von Vorteil.
Dieser Kurs ist Teil der Generative AI Engineering Essentials with LLMs PC Spezialisierung. Wenn Sie die Spezialisierung abschließen, werden Sie sich mit den Fähigkeiten und dem Selbstvertrauen vorbereiten, um Jobs wie AI Engineer, NLP Engineer, Machine Learning Engineer, Deep Learning Engineer und Data Scientist anzunehmen.
Weitere Fragen
Finanzielle Unterstützung verfügbar,