Comprendre et adapter un Large Language Model (LLM)
Objectifs pédagogiques
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
Programme détaillé
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations 3h
- L’aspect Language Model des LLMs
- L’aspect Large des LLMs
- L’aspect Foundation Model des LLMs
La mécanique des LLMs 3h
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
Pratique des LLMs par API 3h
- Les APIs pour LLMs
- Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
- Applications pratiques sur différentes tâches
Pratique des LLMs en local 3h
- Les enjeux hardware
- La « quantization »
- Utiliser un LLM en local
Les transformers et l’attention 2h
- Fonctionnement théorique des « transformers »
- Le mécanisme d’« attention »
Adapter un LLM au cas d’usage 2h
- Choix d’un modèle adapté à son cas d’usage
- La génération augmentée de récupération (RAG)
- Unsupervised/supervised fine-tuning
Implémenter un RAG 2h
- Implémenter un RAG pour différentes tâches de LLMs
- Considérations opérationnelles pour le RAG
Public visé
Développeurs, data scientists, ingénieurs, chefs de projet
Prérequis
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Approche pédagogique
Indicateurs de satisfaction
Calculés à partir de 37 avis recueillis depuis 04/07/2024, lors de 6 sessions de cette formation.
Qu'est ce qu'un LLM ?
Un Large Language Model (LLM) est un modèle de traitement automatique du langage naturel (NLP) qui est capable de comprendre et de générer du texte de manière semblable à celle des humains.
Ces modèles utilisent des réseaux de neurones profonds pour analyser et générer du langage naturel. Ils sont appelés “grands” (large) car ils ont une grande capacité à traiter et générer du texte, souvent en raison du grand nombre de paramètres et de couches dans leur architecture.
Les LLM sont généralement entraînés sur de vastes ensembles de données textuelles pour apprendre les structures et les modèles linguistiques. Ils peuvent être utilisés pour diverses tâches de traitement du langage naturel, telles que la génération de texte, la traduction automatique, la réponse aux questions, la compréhension du langage naturel, la résumé automatique, etc.
Des exemples célèbres de LLM incluent GPT (Generative Pre-trained Transformer) développé par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, et d’autres modèles développés par diverses institutions de recherche et entreprises technologiques. Ces modèles ont eu un impact significatif dans le domaine du traitement automatique du langage naturel et sont largement utilisés dans une variété d’applications.
