Évaluation d'impact des politiques publiques

L’évaluation économétrique de l’impact d’un programme a pour objectif de quantifier les effets d’une intervention (politique publique, stratégie marketing, ou autre) sur un résultat (état de santé, salaire, emploi, dépenses, niveau de compétences, chiffres d’affaires, etc.) mesuré sur une population. L’exercice est particulier : les bénéficiaires possèdent des caractéristiques difficiles à mesurer (motivation, processus de sélection complexe, situation antérieure…). Une simple comparaison de la situation des bénéficiaires avec celle des non-bénéficiaires ne permet donc pas en général de séparer les effets propres du programme de ceux qui résultent de ces caractéristiques. Dès lors, le principal défi de l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation, fondamentalement inobservable, qui aurait prévalu en l’absence du programme. Cette formation propose une introduction aux principales méthodes développées pour répondre à ce problème.

Pour chacune d’elles, on explicitera les hypothèses sous-jacentes, les données requises pour leur application et on abordera les côtés pratiques de l’estimation. Ces différents aspects seront abordés au travers de l’examen de nombreux exemples d’évaluations récentes, et plus spécifiquement du traitement d’un cas concret en utilisant un logiciel statistique.

Les évaluations d’impact : Objectifs, enjeux et difficultés (2h)

• Définition de l’impact causal d’un programme : le cadre de Rubin
• Que cherche-t-on à évaluer? : définition de l’objet à évaluer (effet moyen du traitement, effet moyen du traitement sur les traités, effets distributifs, effets marginaux)
• Le problème fondamental de l’inférence causale : une illustration avec une politique publique de santé.
• L’hypothèse centrale de sélection sur données observées : l’hypothèse d’indépendance conditionnelle aux résultats potentiels
• Les expériences contrôlées comme cadre de référence
• Régression et hypothèse d’indépendance conditionnelle
• Présentation générale des méthodes sur données ex post
• Sélection sur observables : les méthodes de contrôle (régressions et appariement)
• Sélection sur non-observables

Les méthodes d’appariement (4h)

• Le principe des méthodes d’appariement
• Les différentes méthodes d’appariement (score de propension, plus proches voisins, caliper) : un compromis entre biais et précision
• Retour sur la régression : les méthodes de repondération (Inverse Probability Weighting)

Atelier pratique : évaluation de la formation professionnelle

Évaluation par les méthodes de différences de différence (4h)

• L’évaluation des effets d’un traitement en présence de données de panel
• Le principe des différences de différence
• Exemples classiques d’utilisation
• Principales limites et les réponses pratiques

Exemple d’application : effets de la couverture médicale sur l’emploi

Estimation par variables instrumentales (5h)

• Le principe des variables instrumentales : les doubles moindres carrés
• Une application fondamentale : rendements de l’éducation (Card - 1999)
• Variables Instrumentales et évaluations randomisées : Effets Locaux Moyens du Traitement (LATE – Angrist, Imbens, Rubin, 1996)
• Les tests de validité des instruments
• Problème des instruments faibles

Atelier pratique

Les régressions sur discontinuité (3h)

• Le principe des RDD
• Les conditions de validité « sharp » RDD : principes et applications
• « Fuzzy » RDD : principes et applications
• L’interprétation des RDD comme estimation par variable instrumentale
• Tester la validité des hypothèses d’identification : l’analyse graphique

Exemple d’application : Évaluation statistique du coût d’ « une vie sauvée » en néonatalité