Évaluation d'impact des politiques publiques
Prochaine session
22, 23, 24 novembre 2023
- Comprendre les enjeux de l’évaluation d’impact des politiques publiques
- Mettre en œuvre les méthodes courantes développées pour répondre à ces questions d’évaluation
- Être en mesure de mettre en œuvre un protocole d’évaluation quantitative
- Identifier et évaluer les hypothèses nécessaires pour une évaluation causale
- Comprendre la portée et les limites des différentes méthodes d’évaluation
- Connaissances de base en économétrie (formation Économétrie 1)
- Maitrise des principes de la régression linéaire multiples et des tests d’hypothèses
- Chargés d’études statistiques (expertise en évaluation quantitative)
- Data scientist avec un intérêt pour les problématiques d’inférences causales
- Chargés d’études économiques dans les organisations publiques (ministères, collectivités locales) ou privées (entreprises, cabinets de conseil)
L’évaluation économétrique de l’impact d’un programme a pour objectif de quantifier les effets d’une intervention (politique publique, stratégie marketing, ou autre) sur un résultat (état de santé, salaire, emploi, dépenses, niveau de compétences, chiffres d’affaires, etc.) mesuré sur une population. L’exercice est particulier : les bénéficiaires possèdent des caractéristiques difficiles à mesurer (motivation, processus de sélection complexe, situation antérieure…). Une simple comparaison de la situation des bénéficiaires avec celle des non-bénéficiaires ne permet donc pas en général de séparer les effets propres du programme de ceux qui résultent de ces caractéristiques. Dès lors, le principal défi de l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation, fondamentalement inobservable, qui aurait prévalu en l’absence du programme. Cette formation propose une introduction aux principales méthodes développées pour répondre à ce problème.
Pour chacune d’elles, on explicitera les hypothèses sous-jacentes, les données requises pour leur application et on abordera les côtés pratiques de l’estimation. Ces différents aspects seront abordés au travers de l’examen de nombreux exemples d’évaluations récentes, et plus spécifiquement du traitement d’un cas concret en utilisant un logiciel statistique.
Les évaluations d’impact : Objectifs, enjeux et difficultés
- Définition de l’impact causal d’un programme : le cadre de Rubin
- Que cherche-t-on à évaluer? : définition de l’objet à évaluer (effet moyen du traitement, effet moyen du traitement sur les traités, effets distributifs, effets marginaux)
- Le problème fondamental de l’inférence causale : une illustration avec une politique publique de santé.
- L’hypothèse centrale de sélection sur données observées : l’hypothèse d’indépendance conditionnelle aux résultats potentiels
- Les expériences contrôlées comme cadre de référence
- Régression et hypothèse d’indépendance conditionnelle
- Présentation générale des méthodes sur données ex post
- Sélection sur observables : les méthodes de contrôle (régressions et appariement)
- Sélection sur non-observables
Les méthodes d’appariement
- Le principe des méthodes d’appariement
- Les différentes méthodes d’appariement (score de propension, plus proches voisins, caliper) : un compromis entre biais et précision
- Retour sur la régression : les méthodes de repondération (Inverse Probability Weighting)
Atelier pratique : évaluation de la formation professionnelle
Évaluation par les méthodes de différences de différence
- L’évaluation des effets d’un traitement en présence de données de panel
- Le principe des différences de différence
- Exemples classiques d’utilisation
- Principales limites et les réponses pratiques
Exemple d’application : effets de la couverture médicale sur l’emploi
Estimation par variables instrumentales
- Le principe des variables instrumentales : les doubles moindres carrés
- Une application fondamentale : rendements de l’éducation (Card - 1999)
- Variables Instrumentales et évaluations randomisées : Effets Locaux Moyens du Traitement (LATE – Angrist, Imbens, Rubin, 1996)
- Les tests de validité des instruments
- Problème des instruments faibles
Atelier pratique
Les régressions sur discontinuité
- Le principe des RDD
- Les conditions de validité « sharp » RDD : principes et applications
- « Fuzzy » RDD : principes et applications
- L’interprétation des RDD comme estimation par variable instrumentale
- Tester la validité des hypothèses d’identification : l’analyse graphique
Exemple d’application : Évaluation statistique du coût d’ « une vie sauvée » en néonatalité
Moyens pédagogiques
- Exposé théorique de concepts
- Démonstration
- Applications pratiques sur ordinateur
- Etude de cas concrets
- Échanges sur les pratiques et expériences des participants
- Débat
- Temps de questions / réponses
Méthodes pédagogiques