Comprendre et adapter un Large Language Model (LLM) NEW
Prochaine session
14, 15, 16 octobre 2024
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Développeurs, data scientists, ingénieurs, chefs de projet
Développeurs, data scientists, ingénieurs, chefs de projet
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations
- L’aspect Language Model des LLMs
- L’aspect Large des LLMs
- L’aspect Foundation Model des LLMs
La mécanique des LLMs
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
Pratique des LLMs par API
- Les APIs pour LLMs
- Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
- Applications pratiques sur différentes tâches
Pratique des LLMs en local
- Les enjeux hardware
- La « quantization »
- Utiliser un LLM en local
Les transformers et l’attention
- Fonctionnement théorique des « transformers »
- Le mécanisme d’« attention »
Adapter un LLM au cas d’usage
- Choix d’un modèle adapté à son cas d’usage
- La génération augmentée de récupération (RAG)
- Unsupervised/supervised fine-tuning
Implémenter un RAG
- Implémenter un RAG pour différentes tâches de LLMs
- Considérations opérationnelles pour le RAG
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations
- L’aspect Language Model des LLMs
- L’aspect Large des LLMs
- L’aspect Foundation Model des LLMs
La mécanique des LLMs
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
Pratique des LLMs par API
- Les APIs pour LLMs
- Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
- Applications pratiques sur différentes tâches
Pratique des LLMs en local
- Les enjeux hardware
- La « quantization »
- Utiliser un LLM en local
Les transformers et l’attention
- Fonctionnement théorique des « transformers »
- Le mécanisme d’« attention »
Adapter un LLM au cas d’usage
- Choix d’un modèle adapté à son cas d’usage
- La génération augmentée de récupération (RAG)
- Unsupervised/supervised fine-tuning
Implémenter un RAG
- Implémenter un RAG pour différentes tâches de LLMs
- Considérations opérationnelles pour le RAG
Qu'est ce qu'un LLM ?
Un Large Language Model (LLM) est un modèle de traitement automatique du langage naturel (NLP) qui est capable de comprendre et de générer du texte de manière semblable à celle des humains.
Ces modèles utilisent des réseaux de neurones profonds pour analyser et générer du langage naturel. Ils sont appelés “grands” (large) car ils ont une grande capacité à traiter et générer du texte, souvent en raison du grand nombre de paramètres et de couches dans leur architecture.
Les LLM sont généralement entraînés sur de vastes ensembles de données textuelles pour apprendre les structures et les modèles linguistiques. Ils peuvent être utilisés pour diverses tâches de traitement du langage naturel, telles que la génération de texte, la traduction automatique, la réponse aux questions, la compréhension du langage naturel, la résumé automatique, etc.
Des exemples célèbres de LLM incluent GPT (Generative Pre-trained Transformer) développé par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, et d’autres modèles développés par diverses institutions de recherche et entreprises technologiques. Ces modèles ont eu un impact significatif dans le domaine du traitement automatique du langage naturel et sont largement utilisés dans une variété d’applications.
Qu'est ce qu'un LLM ?
Un Large Language Model (LLM) est un modèle de traitement automatique du langage naturel (NLP) qui est capable de comprendre et de générer du texte de manière semblable à celle des humains.
Ces modèles utilisent des réseaux de neurones profonds pour analyser et générer du langage naturel. Ils sont appelés “grands” (large) car ils ont une grande capacité à traiter et générer du texte, souvent en raison du grand nombre de paramètres et de couches dans leur architecture.
Les LLM sont généralement entraînés sur de vastes ensembles de données textuelles pour apprendre les structures et les modèles linguistiques. Ils peuvent être utilisés pour diverses tâches de traitement du langage naturel, telles que la génération de texte, la traduction automatique, la réponse aux questions, la compréhension du langage naturel, la résumé automatique, etc.
Des exemples célèbres de LLM incluent GPT (Generative Pre-trained Transformer) développé par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, et d’autres modèles développés par diverses institutions de recherche et entreprises technologiques. Ces modèles ont eu un impact significatif dans le domaine du traitement automatique du langage naturel et sont largement utilisés dans une variété d’applications.
