Évaluation d'impact des politiques publiques
Prochaine session
22, 23, 24 novembre 2023
- Comprendre les enjeux de l’évaluation d’impact des politiques publiques
- Mettre en œuvre les méthodes courantes développées pour répondre à ces questions d’évaluation
- Être en mesure de mettre en œuvre un protocole d’évaluation quantitative
- Identifier et évaluer les hypothèses nécessaires pour une évaluation causale
- Comprendre la portée et les limites des différentes méthodes d’évaluation
- Comprendre les enjeux de l’évaluation d’impact des politiques publiques
- Mettre en œuvre les méthodes courantes développées pour répondre à ces questions d’évaluation
- Être en mesure de mettre en œuvre un protocole d’évaluation quantitative
- Identifier et évaluer les hypothèses nécessaires pour une évaluation causale
- Comprendre la portée et les limites des différentes méthodes d’évaluation
- Connaissances de base en économétrie (formation Économétrie 1)
- Maitrise des principes de la régression linéaire multiples et des tests d’hypothèses
- Connaissances de base en économétrie (formation Économétrie 1)
- Maitrise des principes de la régression linéaire multiples et des tests d’hypothèses
- Chargés d’études statistiques (expertise en évaluation quantitative)
- Data scientist avec un intérêt pour les problématiques d’inférences causales
- Chargés d’études économiques dans les organisations publiques (ministères, collectivités locales) ou privées (entreprises, cabinets de conseil)
- Chargés d’études statistiques (expertise en évaluation quantitative)
- Data scientist avec un intérêt pour les problématiques d’inférences causales
- Chargés d’études économiques dans les organisations publiques (ministères, collectivités locales) ou privées (entreprises, cabinets de conseil)
L’évaluation économétrique de l’impact d’un programme a pour objectif de quantifier les effets d’une intervention (politique publique, stratégie marketing, ou autre) sur un résultat (état de santé, salaire, emploi, dépenses, niveau de compétences, chiffres d’affaires, etc.) mesuré sur une population. L’exercice est particulier : les bénéficiaires possèdent des caractéristiques difficiles à mesurer (motivation, processus de sélection complexe, situation antérieure…). Une simple comparaison de la situation des bénéficiaires avec celle des non-bénéficiaires ne permet donc pas en général de séparer les effets propres du programme de ceux qui résultent de ces caractéristiques. Dès lors, le principal défi de l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation, fondamentalement inobservable, qui aurait prévalu en l’absence du programme. Cette formation propose une introduction aux principales méthodes développées pour répondre à ce problème.
Pour chacune d’elles, on explicitera les hypothèses sous-jacentes, les données requises pour leur application et on abordera les côtés pratiques de l’estimation. Ces différents aspects seront abordés au travers de l’examen de nombreux exemples d’évaluations récentes, et plus spécifiquement du traitement d’un cas concret en utilisant un logiciel statistique.
Les évaluations d’impact : Objectifs, enjeux et difficultés
- Définition de l’impact causal d’un programme : le cadre de Rubin
- Que cherche-t-on à évaluer? : définition de l’objet à évaluer (effet moyen du traitement, effet moyen du traitement sur les traités, effets distributifs, effets marginaux)
- Le problème fondamental de l’inférence causale : une illustration avec une politique publique de santé.
- L’hypothèse centrale de sélection sur données observées : l’hypothèse d’indépendance conditionnelle aux résultats potentiels
- Les expériences contrôlées comme cadre de référence
- Régression et hypothèse d’indépendance conditionnelle
- Présentation générale des méthodes sur données ex post
- Sélection sur observables : les méthodes de contrôle (régressions et appariement)
- Sélection sur non-observables
Les méthodes d’appariement
- Le principe des méthodes d’appariement
- Les différentes méthodes d’appariement (score de propension, plus proches voisins, caliper) : un compromis entre biais et précision
- Retour sur la régression : les méthodes de repondération (Inverse Probability Weighting)
Atelier pratique : évaluation de la formation professionnelle
Évaluation par les méthodes de différences de différence
- L’évaluation des effets d’un traitement en présence de données de panel
- Le principe des différences de différence
- Exemples classiques d’utilisation
- Principales limites et les réponses pratiques
Exemple d’application : effets de la couverture médicale sur l’emploi
Estimation par variables instrumentales
- Le principe des variables instrumentales : les doubles moindres carrés
- Une application fondamentale : rendements de l’éducation (Card - 1999)
- Variables Instrumentales et évaluations randomisées : Effets Locaux Moyens du Traitement (LATE – Angrist, Imbens, Rubin, 1996)
- Les tests de validité des instruments
- Problème des instruments faibles
Atelier pratique
Les régressions sur discontinuité
- Le principe des RDD
- Les conditions de validité « sharp » RDD : principes et applications
- « Fuzzy » RDD : principes et applications
- L’interprétation des RDD comme estimation par variable instrumentale
- Tester la validité des hypothèses d’identification : l’analyse graphique
Exemple d’application : Évaluation statistique du coût d’ « une vie sauvée » en néonatalité
L’évaluation économétrique de l’impact d’un programme a pour objectif de quantifier les effets d’une intervention (politique publique, stratégie marketing, ou autre) sur un résultat (état de santé, salaire, emploi, dépenses, niveau de compétences, chiffres d’affaires, etc.) mesuré sur une population. L’exercice est particulier : les bénéficiaires possèdent des caractéristiques difficiles à mesurer (motivation, processus de sélection complexe, situation antérieure…). Une simple comparaison de la situation des bénéficiaires avec celle des non-bénéficiaires ne permet donc pas en général de séparer les effets propres du programme de ceux qui résultent de ces caractéristiques. Dès lors, le principal défi de l’évaluation est d’identifier le contrefactuel, c’est-à-dire la situation, fondamentalement inobservable, qui aurait prévalu en l’absence du programme. Cette formation propose une introduction aux principales méthodes développées pour répondre à ce problème.
Pour chacune d’elles, on explicitera les hypothèses sous-jacentes, les données requises pour leur application et on abordera les côtés pratiques de l’estimation. Ces différents aspects seront abordés au travers de l’examen de nombreux exemples d’évaluations récentes, et plus spécifiquement du traitement d’un cas concret en utilisant un logiciel statistique.
Les évaluations d’impact : Objectifs, enjeux et difficultés
- Définition de l’impact causal d’un programme : le cadre de Rubin
- Que cherche-t-on à évaluer? : définition de l’objet à évaluer (effet moyen du traitement, effet moyen du traitement sur les traités, effets distributifs, effets marginaux)
- Le problème fondamental de l’inférence causale : une illustration avec une politique publique de santé.
- L’hypothèse centrale de sélection sur données observées : l’hypothèse d’indépendance conditionnelle aux résultats potentiels
- Les expériences contrôlées comme cadre de référence
- Régression et hypothèse d’indépendance conditionnelle
- Présentation générale des méthodes sur données ex post
- Sélection sur observables : les méthodes de contrôle (régressions et appariement)
- Sélection sur non-observables
Les méthodes d’appariement
- Le principe des méthodes d’appariement
- Les différentes méthodes d’appariement (score de propension, plus proches voisins, caliper) : un compromis entre biais et précision
- Retour sur la régression : les méthodes de repondération (Inverse Probability Weighting)
Atelier pratique : évaluation de la formation professionnelle
Évaluation par les méthodes de différences de différence
- L’évaluation des effets d’un traitement en présence de données de panel
- Le principe des différences de différence
- Exemples classiques d’utilisation
- Principales limites et les réponses pratiques
Exemple d’application : effets de la couverture médicale sur l’emploi
Estimation par variables instrumentales
- Le principe des variables instrumentales : les doubles moindres carrés
- Une application fondamentale : rendements de l’éducation (Card - 1999)
- Variables Instrumentales et évaluations randomisées : Effets Locaux Moyens du Traitement (LATE – Angrist, Imbens, Rubin, 1996)
- Les tests de validité des instruments
- Problème des instruments faibles
Atelier pratique
Les régressions sur discontinuité
- Le principe des RDD
- Les conditions de validité « sharp » RDD : principes et applications
- « Fuzzy » RDD : principes et applications
- L’interprétation des RDD comme estimation par variable instrumentale
- Tester la validité des hypothèses d’identification : l’analyse graphique
Exemple d’application : Évaluation statistique du coût d’ « une vie sauvée » en néonatalité
Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?
Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons importantes :
Évaluation de l’efficacité : La mesure de l’impact des politiques publiques permet d’évaluer leur efficacité. Les politiques sont mises en place dans le but de résoudre des problèmes, d’atteindre des objectifs spécifiques ou d’améliorer la situation dans un domaine donné. En mesurant leur impact, on peut déterminer si elles ont atteint les résultats escomptés, si elles ont eu l’effet souhaité sur la société et si elles ont été efficaces dans la résolution des problèmes identifiés.
Justification de l’allocation des ressources : Les politiques publiques impliquent souvent des dépenses publiques considérables. Mesurer leur impact permet de justifier l’allocation des ressources limitées. En démontrant que les politiques ont un impact positif et bénéfique, on peut justifier les investissements publics et convaincre les parties prenantes, les décideurs politiques et le public de continuer à financer ces politiques.
Identification des ajustements nécessaires : Mesurer l’impact des politiques permet d’identifier les ajustements nécessaires pour les améliorer. En examinant les résultats et les effets de la politique, on peut déterminer les aspects qui fonctionnent bien et ceux qui nécessitent des modifications ou des améliorations. Cela permet d’adapter et de réorienter les politiques pour les rendre plus efficaces, plus efficientes et plus bénéfiques pour la société.
Responsabilité et transparence : La mesure de l’impact des politiques publiques contribue à la responsabilité et à la transparence du gouvernement. En rendant compte des résultats et des effets des politiques, les décideurs politiques et les gouvernements sont tenus responsables de leurs actions et de l’utilisation des ressources publiques. Cela renforce la confiance du public dans le processus décisionnel et permet d’assurer une utilisation efficace et responsable des fonds publics.
Amélioration des politiques futures : La mesure de l’impact des politiques aide à apprendre et à améliorer les politiques futures. En recueillant des données et des informations sur les résultats des politiques, on peut tirer des leçons pour orienter les politiques futures. Cela permet d’identifier les meilleures pratiques, d’éviter les erreurs passées et de prendre des décisions plus éclairées pour le développement et la mise en œuvre de politiques efficaces.
Cette évaluation méthodique des politiques publiques contribue donc à une gouvernance plus efficace, à des décisions politiques mieux informées et à une utilisation plus responsable des ressources publiques.
Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?
Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons importantes :
Évaluation de l’efficacité : La mesure de l’impact des politiques publiques permet d’évaluer leur efficacité. Les politiques sont mises en place dans le but de résoudre des problèmes, d’atteindre des objectifs spécifiques ou d’améliorer la situation dans un domaine donné. En mesurant leur impact, on peut déterminer si elles ont atteint les résultats escomptés, si elles ont eu l’effet souhaité sur la société et si elles ont été efficaces dans la résolution des problèmes identifiés.
Justification de l’allocation des ressources : Les politiques publiques impliquent souvent des dépenses publiques considérables. Mesurer leur impact permet de justifier l’allocation des ressources limitées. En démontrant que les politiques ont un impact positif et bénéfique, on peut justifier les investissements publics et convaincre les parties prenantes, les décideurs politiques et le public de continuer à financer ces politiques.
Identification des ajustements nécessaires : Mesurer l’impact des politiques permet d’identifier les ajustements nécessaires pour les améliorer. En examinant les résultats et les effets de la politique, on peut déterminer les aspects qui fonctionnent bien et ceux qui nécessitent des modifications ou des améliorations. Cela permet d’adapter et de réorienter les politiques pour les rendre plus efficaces, plus efficientes et plus bénéfiques pour la société.
Responsabilité et transparence : La mesure de l’impact des politiques publiques contribue à la responsabilité et à la transparence du gouvernement. En rendant compte des résultats et des effets des politiques, les décideurs politiques et les gouvernements sont tenus responsables de leurs actions et de l’utilisation des ressources publiques. Cela renforce la confiance du public dans le processus décisionnel et permet d’assurer une utilisation efficace et responsable des fonds publics.
Amélioration des politiques futures : La mesure de l’impact des politiques aide à apprendre et à améliorer les politiques futures. En recueillant des données et des informations sur les résultats des politiques, on peut tirer des leçons pour orienter les politiques futures. Cela permet d’identifier les meilleures pratiques, d’éviter les erreurs passées et de prendre des décisions plus éclairées pour le développement et la mise en œuvre de politiques efficaces.
Cette évaluation méthodique des politiques publiques contribue donc à une gouvernance plus efficace, à des décisions politiques mieux informées et à une utilisation plus responsable des ressources publiques.
