Les fondamentaux du Deep learning avec Python
Objectifs pédagogiques
- Comprendre et savoir mettre en œuvre les réseaux de neurones denses (DNN), à l’aide de l’algorithme de rétro-propagation (backpropagation)
- Comprendre et savoir mettre en œuvre les réseaux de neurones convolutifs (CNN) et le transfer learning
- Comprendre et savoir mettre en œuvre les réseaux de neurones récurrents (RNN)
- Comprendre et savoir mettre en œuvre les autoencoders (AE)
Programme détaillé
Réseaux de neurones denses – DNN 4h
- Neurone formel
- Perceptron multicouche (MLP)
- Fonctions d’activation
- Algorithme de retro-propagation
- Applications sur cas pratiques
Considérations informatiques 2h
- Frameworks TensorFlow, Keras et PyTorch
- GPU & cloud computing
Réseaux de neurones convolutifs – CNN 4h
- Convolution
- Architectures classiques de CNN
- Transfer learning
- Applications sur cas pratiques
Réseaux de neurones récurrents – RNN 4h
- Neurone récurrent
- Cellule récurrente
- LSTM
- Applications sur cas pratiques
Autoencoders – AE 3h
- Architecture
- Applications sur cas pratiques
Introduction aux modèles GAN 1h
Public visé
Data scientists
Prérequis
- Connaissances avancées en Machine learning (formation Machine learning : bagging, gradient boosting, SVM avec Python).
- Connaissances intermédiaires de Python (formation Python intermédiaire)
Approche pédagogique
Calculés à partir de 53 avis recueillis depuis 09/11/2017, lors de 8 sessions de cette formation.
Deep learning : du neurone formel au prix Nobel, quatre-vingts ans de réseaux de neurones
Le 8 octobre 2024, le prix Nobel de physique a été attribué à John Hopfield et Geoffrey Hinton pour des « découvertes et inventions fondamentales qui permettent l’apprentissage automatique avec des réseaux de neurones artificiels ». Il couronne une histoire commencée en 1943, faite de percées et de longues périodes de désaffection.
Du neurone formel au premier hiver (1943-1969)
En 1943, Warren McCulloch et Walter Pitts proposent le neurone formel : une unité qui additionne des entrées pondérées et s’active au-delà d’un seuil. En 1958, Frank Rosenblatt en tire le perceptron, capable d’apprendre ses poids à partir d’exemples. En 1969, Marvin Minsky et Seymour Papert montrent dans Perceptrons qu’un perceptron à une seule couche ne sépare les classes que par une frontière linéaire : il ne peut pas apprendre le « ou exclusif » (XOR). L’intérêt et les financements se tarissent pour une quinzaine d’années.
La rétropropagation et les premiers succès (1986-1997)
En 1986, David Rumelhart, Geoffrey Hinton et Ronald Williams popularisent dans Nature l’algorithme de rétropropagation du gradient, décrit dès 1974 par Paul Werbos. Il permet d’entraîner des réseaux à couches cachées, les perceptrons multicouches, qui lèvent l’objection de Minsky et Papert. En 1989, Yann LeCun, aux laboratoires Bell, applique un réseau convolutif à la lecture des codes postaux manuscrits. En 1997, Sepp Hochreiter et Jürgen Schmidhuber publient le LSTM, qui donne aux réseaux récurrents une mémoire de long terme. Les années 2000 restent pourtant dominées par d’autres méthodes, SVM et ensembles d’arbres en tête.
2012 : données, GPU et ImageNet
En 2012, le réseau convolutif d’Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton remporte le concours de reconnaissance d’images ImageNet avec un taux d’erreur (top 5) de 15,3 %, contre 26,2 % pour le deuxième. Les architectures n’étaient pas nouvelles ; ce qui change, ce sont des millions d’images annotées et l’entraînement sur des cartes graphiques (GPU). En 2014, Ian Goodfellow et ses coauteurs proposent les réseaux antagonistes génératifs (GAN). Yoshua Bengio, Geoffrey Hinton et Yann LeCun reçoivent le prix Turing 2018, remis en 2019, pour leurs travaux sur l’apprentissage profond.
Les frameworks, d’une génération à l’autre
La première génération d’outils est née dans les laboratoires : Theano, à Montréal dans l’équipe de Yoshua Bengio, dont la fin du développement a été annoncée en septembre 2017. Keras, écrit par François Chollet, est publié en mars 2015 ; Google rend TensorFlow libre en novembre 2015 ; PyTorch, développé chez Facebook, sort au début de 2017. Depuis Keras 3, fin 2023, la même syntaxe Keras peut s’exécuter au choix sur TensorFlow, JAX ou PyTorch : le choix du framework engage moins qu’il y a dix ans.
L’histoire des grands modèles de langage, qui part de l’architecture transformer (2017), est racontée dans Comprendre et adapter un Large Language Model (LLM).
