Comprendre et adapter un Large Vision Model (LVM)
Objectifs pédagogiques
- Comprendre les principes de l’analyse d’images grâce aux modèles de fondation
- Savoir utiliser un modèle de fondation
- Adapter un modèle de fondation pour les images
Programme détaillé
Après une présentation des principaux concepts, la formation permet d’acquérir les bonnes pratiques pour analyser les images à l’aide d’un large spectre de méthodes. La mise en pratique s’effectuera sur le cluster de calculs de l’ENSAE.
JOUR 1 : FONDAMENTAUX ET RÉUTILISATION DES MODÈLES DE CLASSIFICATION
Introduction au Deep Learning pour la Vision 2h
- Panorama du Computer Vision
- Les grandes tâches (classification, segmentation, détection, génération)
- Évolution des approches : du CNN au transformer
- Présentation des grands modèles open-source (CLIP, SAM, DINO, etc.)
- Tour d’horizon des principaux frameworks et hubs de modèles (PyTorch Hub, Hugging Face, Torchvision, OpenMMLab…)
Architecture des modèles de vision 2h
- Rappels sur les réseaux convolutionnels (très synthétique)
- Introduction aux Vision Transformers
- La notion de patch
- Le mécanisme d’attention et la multi-head attention
- Différences et complémentarités avec les CNN
Réutiliser un modèle pré-entraîné pour la classification 2h
- Chargement et test de modèles (Hugging Face)
- Ajout de tête de classification
- Comparaison de performances avec et sans fine-tuning
- Exploration de modules pour améliorer la méthode (ex. data augmentation, dropout, scheduler, etc. sans rentrer dans les détails théoriques)
JOUR 2 : SEGMENTATION, DÉTECTION D’OBJETS ET FONDATIONS DES MODÈLES AUTO-SUPERVISÉS
Segmentation 2h
- Présentation des principales approches modernes (U-Net, Mask R-CNN, SAM)
- Comprendre la logique des têtes de segmentation
TP : ajouter une tête de segmentation à un modèle pré-entraîné 1h
TP : Détection d’objet avec YOLOv8 1h
Au-delà du supervisé : introduction aux modèles de fondation visuels 2h
- Présentation conceptuelle du self-supervised learning
- Masked Image Modeling (MAE, iBOT, etc.)
- Contrastive learning (SimCLR, DINO, CLIP)
- Comment ces approches alimentent les grands modèles de vision modernes
- Liens avec les usages concrets (feature extraction, adaptation de modèles, multi-modalité)
Public visé
Développeurs, data scientists, ingénieurs, chefs de projet
Prérequis
Le contenu des formations Python intermédiaire et Les fondamentaux du Machine learning avec Python ou éventuellement avec R doit être maîtrisé.
Approche pédagogique
Modèles de fondation pour la vision : de ViT et CLIP à SAM, la vision par ordinateur a changé de méthode
Pendant dix ans, après la victoire d’un réseau convolutif au concours ImageNet en 2012, la recette de la vision par ordinateur a peu changé : réunir des milliers d’images étiquetées à la main, puis entraîner ou affiner un réseau convolutif pour une tâche précise. Depuis 2020, une autre approche s’impose : partir d’un grand modèle pré-entraîné sur des centaines de millions d’images, souvent sans étiquettes, et l’adapter à son problème.
Une image comme une phrase : les Vision Transformers
En octobre 2020, une équipe de Google publie « An Image is Worth 16x16 Words ». L’idée est d’appliquer à l’image le transformer conçu pour le texte : une image de 224 × 224 pixels est découpée en 196 carrés de 16 × 16 pixels, les patches, traités comme les mots d’une phrase. Le mécanisme d’attention relie chaque patch à tous les autres dès la première couche, là où un réseau convolutif ne voit qu’un voisinage local qui s’élargit de couche en couche. Contrepartie : le Vision Transformer (ViT) ne dépasse les réseaux convolutifs que pré-entraîné sur de très grands jeux d’images.
Apprendre sans étiquettes
Étiqueter des centaines de millions d’images est hors de portée ; les modèles de fondation visuels apprennent donc en grande partie sans étiquettes. En janvier 2021, CLIP, d’OpenAI, apprend à associer 400 millions d’images aux légendes qui les accompagnent sur le web. Sans avoir vu un seul des 1,28 million d’exemples d’entraînement d’ImageNet, il atteint 76,2 % de bonnes réponses sur ce jeu, autant qu’un ResNet-50 entraîné dessus : il suffit de lui proposer les noms des classes sous forme de texte. La même année, DINO (Facebook AI Research et Inria) apprend à un modèle à produire des représentations cohérentes de différentes vues d’une même image, et MAE (Meta) à reconstituer une image dont on a masqué 75 % des patches.
Des modèles prêts à l’emploi
En avril 2023, Meta publie Segment Anything (SAM), entraîné sur 11 millions d’images et 1,1 milliard de masques : il découpe un objet désigné par un simple clic ou un cadre, sans entraînement supplémentaire ; SAM 3, en novembre 2025, accepte aussi une désignation par un mot (« les voitures ») pour segmenter toutes les occurrences d’un concept. Ces modèles et leurs successeurs se téléchargent librement sur des hubs comme Hugging Face. Pour un projet, la question n’est plus d’entraîner un réseau de zéro, mais de choisir un modèle pré-entraîné, d’en extraire des représentations et d’y ajouter une tête adaptée à sa tâche : classification, segmentation ou détection.
L’histoire des réseaux de neurones jusqu’à ImageNet est racontée dans Les fondamentaux du Deep learning avec Python ; le transformer et l’attention, côté texte, dans Comprendre et adapter un Large Language Model (LLM).
