Ce cours fournit une introduction pratique à l'utilisation de modèles transformateurs pour des applications de traitement du langage naturel (NLP). Vous apprendrez à construire et à entraîner des modèles pour la classification de textes en utilisant des architectures basées sur des encodeurs comme Bidirectional Encoder Representations from Transformers (BERT), et explorerez des concepts de base tels que l'encodage positionnel, les word embeddings, et les mécanismes d'attention. Le cours couvre l'attention multi-têtes, l'auto-attention, et la modélisation causale du langage avec GPT pour des tâches telles que la génération de texte et la traduction. Vous acquerrez une expérience pratique de la mise en œuvre de modèles transformateurs dans PyTorch, y compris des stratégies de préformation telles que la modélisation du langage masqué (MLM) et la prédiction de la phrase suivante (NSP). Grâce à des laboratoires guidés, vous appliquerez des modèles d'encodeur et de décodeur à des scénarios du monde réel. Ce cours est conçu pour les apprenants intéressés par l'ingénierie de l'IA générative et nécessite des connaissances préalables de Python, PyTorch et de l'apprentissage automatique. Inscrivez-vous dès maintenant pour renforcer vos compétences en NLP avec des transformateurs !
Vente anticipée ! Débloquez plus de 10 000 cours de Google, Microsoft et autres pour 160 €/an. Économisez maintenant.
Modèle de langage IA génératif avec Transformateurs
Ce cours fait partie de plusieurs programmes.
Enseigné en Français (doublage IA)
Instructeurs : Joseph Santarcangelo
11 077 déjà inscrits
Inclus avec 
(85 avis)
Expérience recommandée
Ce que vous apprendrez
Expliquer le rôle des mécanismes d'attention dans les modèles de transformateurs pour saisir les relations contextuelles dans le texte
Décrire les différences dans les approches de modélisation du langage entre les modèles basés sur le décodeur comme le GPT et les modèles basés sur le codeur comme le BERT
Mettre en œuvre les composants clés des modèles transformateurs, y compris l'encodage positionnel, les mécanismes d'attention et le masquage, à l'aide de PyTorch
Appliquer des modèles basés sur des transformateurs pour des tâches NLP réelles, telles que la classification de textes et la traduction de langues, à l'aide des outils PyTorch et Hugging Face
Compétences que vous acquerrez
- Catégorie : PyTorch (Bibliothèque d'Apprentissage automatique)
- Catégorie : Grand modèle de langage (LLM)
- Catégorie : Exploration de texte
- Catégorie : Apprentissage automatique
- Catégorie : Traitement du langage naturel (NLP)
- Catégorie : Deep learning
- Catégorie : Apprentissage automatique appliqué
- Catégorie : IA générative
Détails à connaître
Ajouter à votre profil LinkedIn
6 devoirs
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise du sujet
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable
Il y a 2 modules dans ce cours
Dans ce module, vous apprendrez comment les transformateurs traitent les données séquentielles en cours d'utilisation et en utilisant les mécanismes d'encodage positionnel et d'attention. Vous explorerez comment mettre en œuvre l'encodage positionnel dans PyTorch et comprendrez comment l'attention aide les modèles à se concentrer sur les parties pertinentes des séquences d'entrée. Vous plongerez plus profondément dans l'auto-attention et l'attention de produit de point à l'échelle avec plusieurs têtes pour voir comment ils contribuent aux tâches de modélisation du langage. Le module explique également comment l'architecture du transformateur exploite efficacement ces mécanismes. Grâce à des travaux pratiques, vous mettrez en œuvre ces concepts et construirez des couches d'encodage de transformateurs dans PyTorch. Enfin, vous appliquerez des modèles transformateurs pour la classification de textes, y compris la construction d'un pipeline de données, la définition du modèle et son entraînement, tout en explorant également des techniques pour optimiser les performances d'entraînement des transformateurs.
Inclus
6 vidéos4 lectures2 devoirs2 éléments d'application1 plugin
Dans ce module, vous apprendrez comment les modèles basés sur les décodeurs comme GPT sont entraînés en utilisant la modélisation causale du langage et mis en œuvre dans PyTorch pour l'entraînement et l'inférence. Vous explorerez les modèles basés sur les encodeurs, tels que Bidirectional Encoder Representations from Transformers (BERT), et comprendrez leurs stratégies de pré-entraînement en utilisant la modélisation du langage masqué (MLM) et la prédiction de la phrase suivante (NSP), ainsi que les techniques de préparation des données dans PyTorch. Vous examinerez également comment les architectures de transformateurs sont appliquées à la traduction automatique, y compris leur mise en œuvre à l'aide de PyTorch. Grâce à des travaux pratiques, vous acquerrez une expérience concrète des modèles de décodeurs, des modèles d'encodeurs et des tâches de traduction. Le module se termine par une antisèche, un glossaire et une fiche récapitulative pour consolider votre compréhension des concepts clés.
Inclus
10 vidéos6 lectures4 devoirs4 éléments d'application2 plugins
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeurs
Offert par
En savoir plus sur Apprentissage automatique
DeepLearning.AI
Statut : Essai gratuit
Google Cloud
Statut : Essai gratuitVanderbilt University
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Avis des étudiants
85 avis
- 5 stars
75,58 %
- 4 stars
13,95 %
- 3 stars
3,48 %
- 2 stars
1,16 %
- 1 star
5,81 %
Affichage de 3 sur 85
Révisé le 17 nov. 2024
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
Révisé le 18 janv. 2025
Exceptional course and all the labs are industry related
Révisé le 30 déc. 2024
This course gives me a wide picture of what transformers can be.
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
Il ne vous faudra que deux semaines pour terminer ce cours si vous consacrez 3 à 5 heures d'étude par semaine.
Il serait bon que vous ayez une connaissance de base de Python et une familiarité avec l'apprentissage automatique et les concepts de réseaux neurones. Il serait avantageux que vous soyez familier avec les étapes de prétraitement de texte et les modèles N-gram, Word2Vec et séquence à séquence. La connaissance des métriques d'évaluation telles que la sous-évaluation de l'évaluation bilingue (BLEU) sera un avantage.
Ce cours fait partie de la spécialisation Essentiels de l'ingénierie de l'IA générative avec LLMs PC. Lorsque vous terminez la spécialisation, vous vous préparez avec les compétences et la confiance pour prendre des emplois tels que l'ingénieur IA, l'ingénieur NLP, l'ingénieur de l'apprentissage automatique, l'ingénieur de l'apprentissage profond et le scientifique de données.
Plus de questions
Aide financière disponible,