Comprendre et adapter un Large Langage Model (LLM) NEW
Prochaine session
1er, 2, 3 juillet 2024
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Développeurs, data scientists, ingénieurs, chefs de projet
Développeurs, data scientists, ingénieurs, chefs de projet
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter (le « fine-tuner ») sur son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations
- Deep learning et LLM
- Cas d’usage
- Limites des LLM
Le deep learning pour le texte
- Tokenisation et embedding
- Entraînement, « fine-tuning » et inférence
- Utilisation de PyTorch
Considérations informatiques
- Les API avec python
- Les bases de données de texte
- Stockage des poids
Intégrer un LLM dans son environnement
- LLM pour des requêtes sur des data frames
- LLM pour du traitement automatique de texte
- L’« art » du prompt
- Gestion des « hallucinations »
Adapter un LLM à son corpus documentaire
- Le transfer learning
- LLM general purpose vs. specialised purpose
- Préparer les données pour le fine-tuning
- Evaluer la qualité du fine-tuning
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter (le « fine-tuner ») sur son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations
- Deep learning et LLM
- Cas d’usage
- Limites des LLM
Le deep learning pour le texte
- Tokenisation et embedding
- Entraînement, « fine-tuning » et inférence
- Utilisation de PyTorch
Considérations informatiques
- Les API avec python
- Les bases de données de texte
- Stockage des poids
Intégrer un LLM dans son environnement
- LLM pour des requêtes sur des data frames
- LLM pour du traitement automatique de texte
- L’« art » du prompt
- Gestion des « hallucinations »
Adapter un LLM à son corpus documentaire
- Le transfer learning
- LLM general purpose vs. specialised purpose
- Préparer les données pour le fine-tuning
- Evaluer la qualité du fine-tuning
Qu'est ce qu'un LLM ?
Un Large Language Model (LLM) est un modèle de traitement automatique du langage naturel (NLP) qui est capable de comprendre et de générer du texte de manière semblable à celle des humains.
Ces modèles utilisent des réseaux de neurones profonds pour analyser et générer du langage naturel. Ils sont appelés “grands” (large) car ils ont une grande capacité à traiter et générer du texte, souvent en raison du grand nombre de paramètres et de couches dans leur architecture.
Les LLM sont généralement entraînés sur de vastes ensembles de données textuelles pour apprendre les structures et les modèles linguistiques. Ils peuvent être utilisés pour diverses tâches de traitement du langage naturel, telles que la génération de texte, la traduction automatique, la réponse aux questions, la compréhension du langage naturel, la résumé automatique, etc.
Des exemples célèbres de LLM incluent GPT (Generative Pre-trained Transformer) développé par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, et d’autres modèles développés par diverses institutions de recherche et entreprises technologiques. Ces modèles ont eu un impact significatif dans le domaine du traitement automatique du langage naturel et sont largement utilisés dans une variété d’applications.
Qu'est ce qu'un LLM ?
Un Large Language Model (LLM) est un modèle de traitement automatique du langage naturel (NLP) qui est capable de comprendre et de générer du texte de manière semblable à celle des humains.
Ces modèles utilisent des réseaux de neurones profonds pour analyser et générer du langage naturel. Ils sont appelés “grands” (large) car ils ont une grande capacité à traiter et générer du texte, souvent en raison du grand nombre de paramètres et de couches dans leur architecture.
Les LLM sont généralement entraînés sur de vastes ensembles de données textuelles pour apprendre les structures et les modèles linguistiques. Ils peuvent être utilisés pour diverses tâches de traitement du langage naturel, telles que la génération de texte, la traduction automatique, la réponse aux questions, la compréhension du langage naturel, la résumé automatique, etc.
Des exemples célèbres de LLM incluent GPT (Generative Pre-trained Transformer) développé par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, et d’autres modèles développés par diverses institutions de recherche et entreprises technologiques. Ces modèles ont eu un impact significatif dans le domaine du traitement automatique du langage naturel et sont largement utilisés dans une variété d’applications.
