Statistique bayésienne
Objectifs pédagogiques
- Comprendre la construction de modèle par assemblage hiérarchique de modules conditionnellement liés sous l’approche bayésienne.
- Réaliser une inférence bayésienne, notamment par des méthodes de simulation de type Monte-Carlo, et si besoin par des algorithmes Monte Carlo par chaînes de Markov. En faire le scientific reporting.
- Présenter l’articulation entre la théorie de la décision statistique et l’analyse bayésienne des données.
- Donner un point de vue critique de l’approche classique des statistiques qui se focalise sur la situation d’information parfaite.
Programme détaillé
L’approche bayésienne de la statistique connaît à l’heure actuelle un essor considérable notamment grâce aux progrès de l’informatique et des méthodes numériques de type MCMC. Lorsque l’on réalise une étude en data science on a souvent des informations a priori, provenant d’études antérieures ou d’avis d’expert.
La statistique bayésienne permet d’utiliser ces connaissances a priori et de les combiner avec l’information apportée par les données pour obtenir une information a posteriori. La statistique bayésienne est également très utilisée dans les méta-analyses, c’est à dire les analyses qui mettent ensemble plusieurs études réalisées dans des conditions parfois différentes pour en extraire de l’information avec une meilleure précision. Au cours de la formation nous nous efforcerons de comparer les avantages et les inconvénients de l’approche bayésienne par rapport à l’approche classique (ou fréquentiste).
Une probabilité à interpréter comme un pari personnel et conditionnel 1 journée
- Modèle statistique à une inconnue. Rappels de lois de probabilité utiles
- La formule du révérend Thomas Bayes : un processeur d’assimilation de l’information pour une mise à jour séquentielle de la connaissance
- La formule de Tom Bayes et le langage du Bayésien: intérêt théorique et limites pratiques.
- Etablir la connaissance initiale : le problème de la loi a priori. Que faire lorsque l’on ne dispose pas d’un expert?
- Un miracle mathématique : la conjugaison. Que faire lorsqu’il n’a pas lieu?
- Loi prédictive : la seconde formule de Bayes
- Théorie de la décision en situation d’information imparfaite
Exemples d’application : performances binomiales les joueurs de baseball de Stein / contrôle de la qualité par attribut.
Le succès des méthodes computationnelles pour évaluer la loi a posteriori 1 journée
- Un algorithme ? Chaînes de Markov!
- Eviter une intégrale incalculable: les méthodes Monte-Carlo et Monte-Carlo par chaînes de Markov
- Les graphes acycliques orientés et le langage BUGS.
- Mise en oeuvre du moteur d’inférence Jags sous R.
- Un jeu de Lego pour la modélisation hiérarchique.
- Modèle à plusieurs inconnues. Retrouver et étendre les modèles classiques.
Exemples d’application : performances binomiales les joueurs de baseball de Stein / la loi de Poisson pour la prévision des résultats d’un tournoi de football.
Aller plus loin grâce à la vision conditionnelle du paradigme bayésien 1 journée
- Vérification et validation de modèles
- Facteur de Bayes et Comparaison de modèles
- Le prior pour aider à la sélection de variables pertinentes
- Typologie des sources d’incertitudes et constructions hiérarchiques non standards
- Mise en oeuvre du moteur d’inférence STAN sous R.
- Questions de modélisation des participants issues de leur champ d’intérêt professionnel
Exemples d’application : méta-analyse avancée pour le comparaisons de traitement médicaux / modèle dynamique de biomasse et analyse prédictive des stratégies de gestion de la ressource.
Public visé
Le cours cherche à dégager les éléments clés de la statistique bayésienne, en faisant l’hypothèse que le lecteur possède les bases de la théorie des probabilités et s’est déjà trouvé confronté à des problèmes ordinaires d’analyse statistique classique. Il s’adresse aux utilisateurs de traitements de données désireux de s’assurer de la pertinence des méthodes qu’ils emploient.
Le débutant, au prix d’un investissement intellectuel acceptable, aussi bien que le spécialiste, pourront y trouver les informations fondamentales pour comprendre et mettre en oeuvre des modèles répondant à leurs besoins spécifiques.
Prérequis
Bonne connaissance du formalisme des probabilités et de l’inférence statistique (formation Statistique inférentielle : estimation ponctuelle, intervalle de confiance et test statistique). Connaissance du logiciel R (formation R Initiation).
Approche pédagogique
Calculés à partir de 39 avis recueillis depuis 05/10/2017, lors de 7 sessions de cette formation.
Statistique bayésienne : de la formule de Bayes à Stan
La formule qui porte le nom du révérend Thomas Bayes a été publiée en 1763, deux ans après sa mort, par son ami Richard Price ; Pierre-Simon Laplace en a donné indépendamment une forme générale en 1774. Pourtant, l’approche bayésienne est restée pendant deux siècles d’un usage pratique limité. Ce n’était pas une question de principe, mais de calcul.
Un obstacle de calcul
La loi a posteriori s’obtient en combinant la loi a priori et la vraisemblance des données. Sauf dans les cas « conjugués », où la loi a posteriori appartient à la même famille que la loi a priori, ce calcul fait intervenir une intégrale qu’on ne sait pas évaluer, et dont la dimension croît avec le nombre de paramètres. Tout change avec les méthodes de Monte-Carlo par chaînes de Markov (MCMC) : plutôt que de calculer la loi a posteriori, on simule une chaîne dont elle est la loi stationnaire. Popularisées en statistique au début des années 1990, elles rendent traitables des modèles à des centaines de paramètres.
Des logiciels qui ont fait la diffusion
Le projet BUGS (Bayesian inference Using Gibbs Sampling), né à l’unité de biostatistique du Medical Research Council à Cambridge, a permis de décrire un modèle sous forme de graphe et d’en laisser l’estimation au logiciel. JAGS (Just Another Gibbs Sampler, Martyn Plummer, première version en 2007) reprend ce langage et se pilote depuis R. Stan, publié en 2012 par une équipe réunie autour d’Andrew Gelman à l’université Columbia, porte le nom de Stanislaw Ulam, l’un des pères des méthodes de Monte-Carlo ; il repose sur un autre algorithme, le Monte-Carlo hamiltonien, plus efficace sur les modèles complexes. JAGS et Stan sont les deux moteurs d’inférence au programme de la formation.
Ce que change la loi a priori : l’exemple du baseball
En 1975, Bradley Efron et Carl Morris prennent les moyennes au bâton de 18 joueurs après leurs 45 premiers passages de la saison 1970, et cherchent à prédire leur moyenne sur le reste de la saison. Ramener chaque moyenne individuelle vers la moyenne commune du groupe donne de bien meilleures prévisions que la moyenne de chaque joueur prise isolément : l’erreur quadratique est divisée par plus de deux. Lu en bayésien, c’est un modèle hiérarchique : le talent de chaque joueur est tiré d’une loi commune, estimée sur l’ensemble des joueurs, qui joue le rôle de loi a priori. Cet exemple, au programme, illustre l’intérêt de la modélisation hiérarchique dès que l’on estime beaucoup de quantités voisines sur peu de données chacune.
Une autre lecture des résultats
Un intervalle de crédibilité à 95 % se lit comme on aimerait lire un intervalle de confiance : compte tenu des données et de la loi a priori, le paramètre a 95 % de probabilité de s’y trouver. La contrepartie est le choix de cette loi a priori, qui doit être justifié et dont l’influence se vérifie par une analyse de sensibilité. Les deux approches ne s’opposent pas : la formation suppose acquis le cadre classique de la statistique inférentielle et les compare tout au long des trois jours.
