Comprendre et adapter un Large Language Model (LLM)
Objectifs pédagogiques
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire
Programme détaillé
Après une présentation des principaux concepts des LLM, la formation permet d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. Afin de faciliter l’apprentissage et la mise en pratique, toute la formation se fera sur le cluster de calculs de l’ENSAE.
Introduction et motivations 3h
- L’aspect Language Model des LLMs
- L’aspect Large des LLMs
- L’aspect Foundation Model des LLMs
La mécanique des LLMs 3h
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
Pratique des LLMs par API 3h
- Les APIs pour LLMs
- Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
- Applications pratiques sur différentes tâches
Pratique des LLMs en local 3h
- Les enjeux hardware
- La « quantization »
- Utiliser un LLM en local
Les transformers et l’attention 2h
- Fonctionnement théorique des « transformers »
- Le mécanisme d’« attention »
Adapter un LLM au cas d’usage 2h
- Choix d’un modèle adapté à son cas d’usage
- La génération augmentée de récupération (RAG)
Implémenter un RAG 2h
- Implémenter un RAG pour différentes tâches de LLMs
- Considérations opérationnelles pour le RAG
Public visé
Développeurs, data scientists, ingénieurs, chefs de projet
Prérequis
Pour suivre cette formation, le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python (ou avec R) doit être maîtrisé.
Approche pédagogique
Calculés à partir de 40 avis recueillis depuis 04/07/2024, lors de 7 sessions de cette formation.
LLM : de « Attention Is All You Need » à ChatGPT, comment sont nés les grands modèles de langage
En juin 2017, huit chercheurs, pour la plupart chez Google, publient « Attention Is All You Need ». L’article vise la traduction automatique ; il propose une architecture, le transformer, sur laquelle reposent tous les grands modèles de langage (LLM) actuels. Cinq ans et demi plus tard, le 30 novembre 2022, OpenAI ouvre ChatGPT au public.
2017-2018 : l’attention remplace la récurrence
Les réseaux récurrents lisaient une phrase mot après mot, ce qui interdisait de paralléliser les calculs. Le transformer abandonne cette lecture séquentielle : le mécanisme d’attention calcule d’un seul coup, pour chaque mot, le poids qu’il accorde à tous les autres. L’entraînement devient massivement parallèle, donc adapté aux GPU. Deux lignées en sortent dès 2018 : GPT, chez OpenAI en juin, qui ne conserve que le décodeur et apprend à prédire le mot suivant ; BERT, chez Google en octobre, qui ne conserve que l’encodeur et apprend à deviner des mots masqués. BERT excelle à classer ou à rechercher des textes, mais il ne génère pas de texte : les LLM conversationnels descendent de la lignée GPT.
Plus grand, puis mieux aligné
GPT-2 (février 2019) compte 1,5 milliard de paramètres, GPT-3 (mai 2020) 175 milliards. Ce dernier révèle l’apprentissage « en contexte » : quelques exemples placés dans la requête suffisent pour qu’il exécute une tâche nouvelle, sans modification de ses poids. En 2022, DeepMind montre avec Chinchilla que les modèles de l’époque étaient sous-entraînés : à budget de calcul égal, un modèle de 70 milliards de paramètres entraîné sur 1 400 milliards de tokens bat Gopher, quatre fois plus gros. La même année, InstructGPT ajoute une étape d’apprentissage à partir de préférences humaines (RLHF) : les réponses d’un modèle de 1,3 milliard de paramètres ainsi affiné sont préférées à celles de GPT-3. C’est la recette de ChatGPT.
Des modèles ouverts qui tiennent sur un poste de travail
En février 2023, Meta diffuse les poids de LLaMA à la communauté de recherche, puis en juillet ceux de Llama 2, sous une licence qui autorise, sous conditions, l’usage commercial. En septembre, la start-up parisienne Mistral AI publie Mistral 7B sous licence Apache 2.0. Faire tourner ces modèles en local pose d’abord une question de mémoire : 7 milliards de paramètres stockés sur 16 bits occupent environ 14 Go, contre 3,5 Go environ une fois quantifiés sur 4 bits, au prix d’une légère perte de précision. C’est ce que permettent depuis 2023 des outils comme llama.cpp.
Adapter un modèle à ses documents sans le réentraîner
Un LLM ne connaît que son corpus d’entraînement, figé à une date donnée, et il ne connaît pas vos documents internes. La génération augmentée de récupération (RAG), proposée en 2020 par Patrick Lewis et ses coauteurs chez Facebook AI Research, contourne le problème sans toucher aux poids : à chaque question, un moteur de recherche sélectionne les passages pertinents d’un corpus, que le modèle reçoit avec la question. Ses réponses deviennent vérifiables, puisqu’on sait de quels passages elles proviennent, et le corpus se met à jour sans réentraînement.
Les représentations du texte qui ont précédé les transformers sont présentées dans Python expert — Traitement du langage naturel ; la construction d’agents qui s’appuient sur un LLM, dans Construire des agents IA autonomes avec des outils Open Source.
