Évaluation d'impact des politiques publiques
Objectifs pédagogiques
- Comprendre les enjeux de l’évaluation d’impact des politiques publiques
- Mettre en œuvre les méthodes courantes développées pour répondre à ces questions d’évaluation
- Être en mesure de mettre en œuvre un protocole d’évaluation quantitative
- Identifier et évaluer les hypothèses nécessaires pour une évaluation causale
- Comprendre la portée et les limites des différentes méthodes d’évaluation
Programme détaillé
L’évaluation économétrique de l’impact d’un programme a pour objectif de quantifier les effets d’une intervention (politique publique, stratégie marketing, ou autre) sur un résultat (état de santé, salaire, emploi, dépenses, niveau de compétences, chiffres d’affaires, etc.) mesuré sur une population. L’exercice est particulier : les bénéficiaires possèdent des caractéristiques difficiles à mesurer (motivation, processus de sélection complexe, situation antérieure…). Une simple comparaison de la situation des bénéficiaires avec celle des non-bénéficiaires ne permet donc pas en général de séparer les effets propres du programme de ceux qui résultent de ces caractéristiques. Dès lors, le principal défi de l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation, fondamentalement inobservable, qui aurait prévalu en l’absence du programme. Cette formation propose une introduction aux principales méthodes développées pour répondre à ce problème.
Pour chacune d’elles, on explicitera les hypothèses sous-jacentes, les données requises pour leur application et on abordera les côtés pratiques de l’estimation. Ces différents aspects seront abordés au travers de l’examen de nombreux exemples d’évaluations récentes, et plus spécifiquement du traitement d’un cas concret en utilisant un logiciel statistique.
Les évaluations d’impact : Objectifs, enjeux et difficultés 2h
- Définition de l’impact causal d’un programme : le cadre de Rubin
- Que cherche-t-on à évaluer? : définition de l’objet à évaluer (effet moyen du traitement, effet moyen du traitement sur les traités, effets distributifs, effets marginaux)
- Le problème fondamental de l’inférence causale : une illustration avec une politique publique de santé.
- L’hypothèse centrale de sélection sur données observées : l’hypothèse d’indépendance conditionnelle aux résultats potentiels
- Les expériences contrôlées comme cadre de référence
- Régression et hypothèse d’indépendance conditionnelle
- Présentation générale des méthodes sur données ex post
- Sélection sur observables : les méthodes de contrôle (régressions et appariement)
- Sélection sur non-observables
Les méthodes d’appariement 4h
- Le principe des méthodes d’appariement
- Les différentes méthodes d’appariement (score de propension, plus proches voisins, caliper) : un compromis entre biais et précision
- Retour sur la régression : les méthodes de repondération (Inverse Probability Weighting)
Atelier pratique : évaluation de la formation professionnelle
Évaluation par les méthodes de différences de différence 4h
- L’évaluation des effets d’un traitement en présence de données de panel
- Le principe des différences de différence
- Exemples classiques d’utilisation
- Principales limites et les réponses pratiques
Exemple d’application : effets de la couverture médicale sur l’emploi
Estimation par variables instrumentales 5h
- Le principe des variables instrumentales : les doubles moindres carrés
- Une application fondamentale : rendements de l’éducation (Card - 1999)
- Variables Instrumentales et évaluations randomisées : Effets Locaux Moyens du Traitement (LATE – Angrist, Imbens, Rubin, 1996)
- Les tests de validité des instruments
- Problème des instruments faibles
Atelier pratique
Les régressions sur discontinuité 3h
- Le principe des RDD
- Les conditions de validité « sharp » RDD : principes et applications
- « Fuzzy » RDD : principes et applications
- L’interprétation des RDD comme estimation par variable instrumentale
- Tester la validité des hypothèses d’identification : l’analyse graphique
Exemple d’application : Évaluation statistique du coût d’ « une vie sauvée » en néonatalité
Public visé
- Chargés d’études statistiques (expertise en évaluation quantitative)
- Data scientist avec un intérêt pour les problématiques d’inférences causales
- Chargés d’études économiques dans les organisations publiques (ministères, collectivités locales) ou privées (entreprises, cabinets de conseil)
Prérequis
- Connaissances de base en économétrie (formation Économétrie 1)
- Maitrise des principes de la régression linéaire multiples et des tests d’hypothèses
Approche pédagogique
Calculés à partir de 54 avis recueillis depuis 10/06/2016, lors de 8 sessions de cette formation.
Évaluation d'impact : le problème du contrefactuel
Un programme de formation professionnelle améliore-t-il le retour à l’emploi de ses bénéficiaires ? Comparer leur taux d’emploi à celui des non-bénéficiaires ne répond pas à la question : les participants diffèrent des autres par leur motivation, leur parcours, ou la façon dont ils ont été sélectionnés. Il faudrait connaître ce qu’ils seraient devenus sans le programme. Cette situation, le contrefactuel, n’est par définition jamais observée.
Le problème fondamental de l’inférence causale
Le cadre utilisé aujourd’hui remonte à Jerzy Neyman (1923) pour les expériences agricoles et à Donald Rubin (1974) pour les données d’observation. Chaque individu a deux « résultats potentiels », avec et sans traitement, et l’on n’en observe jamais qu’un seul. En 1986, Paul Holland a baptisé ce constat « problème fondamental de l’inférence causale ». On ne peut donc estimer que des effets moyens, et seulement si l’on dispose d’un groupe de comparaison crédible.
L’expérience aléatoire comme étalon
Tirer au sort les bénéficiaires rend les deux groupes comparables en moyenne, y compris sur ce qu’on ne mesure pas. Le prix Nobel 2019, décerné à Abhijit Banerjee, Esther Duflo et Michael Kremer « pour leur approche expérimentale de la lutte contre la pauvreté », a consacré cette démarche. Mais une politique publique ne peut pas toujours être tirée au sort, pour des raisons éthiques, juridiques ou simplement parce qu’elle est déjà en place. Il faut alors reconstruire un contrefactuel à partir des données existantes.
Une méthode, une hypothèse
Chaque méthode ex post remplace le tirage au sort par une hypothèse, qu’il faut défendre :
- Appariement : comparer chaque bénéficiaire à des non-bénéficiaires qui lui ressemblent, par exemple via le score de propension (Rosenbaum et Rubin, 1983). Hypothèse : il n’existe pas de différence non observée qui influe à la fois sur la participation et sur le résultat.
- Doubles différences : en avril 1992, le New Jersey relève son salaire minimum. David Card et Alan Krueger (1994) comparent l’évolution de l’emploi dans les fast-foods de cet État à celle de l’est de la Pennsylvanie voisine, et ne trouvent pas la baisse attendue. Hypothèse : sans la réforme, les deux territoires auraient évolué en parallèle.
- Régression sur discontinuité : imaginée en 1960 par Donald Thistlethwaite et Donald Campbell pour mesurer l’effet d’une distinction scolaire attribuée au-delà d’un score, elle compare les individus juste au-dessus et juste en dessous du seuil. Hypothèse : personne ne manipule sa position par rapport au seuil.
- Variables instrumentales, qui identifient un effet local (LATE, Angrist, Imbens et Rubin, 1996) : voir aussi Économétrie 2.
Savoir laquelle de ces hypothèses est la plus plausible dans une situation donnée, et comment la tester quand c’est possible, fait toute la différence entre une évaluation convaincante et une simple corrélation.
