Evaluation des politiques publiques : une analyse des techniques d'estimation du contrefactuel

Journal of Economics, Finance and Management (JEFM) ISSN: 2958-7360 Vol. 4, No. 5, October 2025 This is an open access article under the CC BY-NC-ND license. http://journal-efm.fr 1279 Evaluation des politiques publiques : une analyse des techniques d’estimation du contrefactuel David DIONE Université Assane SECK Résumé : L’isolation des effets propre d’une politique publique qui repose sur le choix d’un contrefactuel consiste à déterminer et à estimer le résultat qui aurait été obtenu en l’absence de la politique ou du programme étudié, en le comparant au résultat réellement observé chez les bénéficiaires d’un programme. Ainsi, de nombreuses méthodes empiriques aux conditions d’application stricte ont été développées pour estimer dans ce contexte l’effet propre d’une intervention publique. A travers cet article, nous présentons les principes généraux de ces méthodes illustrés parfois à l’aide de graphiques. Mots clés : Evaluation, Politique publique, contrefactuel. Abstact Isolating the specific effects of a public policy based on the choice of a counterfactual involves determining and estimating the outcome that would have been achieved in the absence of the policy or program under study, comparing it with the outcome actually observed among the beneficiaries of a program. Thus, numerous empirical methods with strict conditions of application have been developed to estimate the net effect of a public intervention in this context. In this article, we present the general principles of these methods, sometimes illustrated with graphs. Keywords : Evaluation, Public policy, Counterfactual. Digital Object Identifier (DOI): https://doi.org/10.5281/zenodo.17259691 Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1280 Introduction Qu’est-ce que l’évaluation des politiques publiques ? Pourquoi évaluer une politique publique ? Quelles sont les approches d’évaluation d’une politique publique ? Voilà les questions auxquelles nous apporterons des éléments de réponse dans cette introduction et, plus généralement, dans cet article. L’évaluation des politiques publiques est un processus d’appréciation des actions de tout programme ou de toute politique publique, développé principalement par les collectivités ou par l’État, Vollet et Hadjab (2008). En effet, la qualité de l’action publique s’apprécie par l’estimation de sa valeur ajoutée 1 , c’est-à-dire des bénéfices qu’elle apporte à la collectivité, nets des coûts qu’elle engendre. Cette valeur ajoutée sociétale s’apprécie selon les critères de la pertinence, de l’efficacité, de l’efficience et de la cohérence des politiques publiques, Baslé et al (2019). L’évaluation vise à produire des connaissances en vue, pour les citoyens, d’apprécier la valeur d’une politique (d’un programme, d’un dispositif), notamment quant à ses effets, et, pour les décideurs, de les aider à en améliorer sa pertinence, son efficacité, son efficience, sa cohérence et ses impacts, Fouquet (2013). Selon Givord, (2014), il s’agit de déterminer si une mesure a rempli les objectifs qui lui étaient assignés : par exemple, évaluer si une politique d’aide aux retours à l’emploi s’est effectivement traduite par des sorties du chômage plus fréquentes ou si une politique de diminution de la taille des classes a permis d’augmenter le niveau scolaire. « Si l’on ne connaît ni les résultats de l’action administrative, ni les facteurs qui ont conduit à ces résultats, comment justifier l’utilisation de l’argent public ? Et comment motiver des fonctionnaires qui n’auraient pas la moindre idée de l’utilité ni de la pertinence de leurs actions ? S’est posé Trosa, (2004). Et Bozio, (2014) d’en rajouter « Au vu des fortes contraintes budgétaires dans lesquelles s’inscrit aujourd’hui l’action publique, connaître l’impact des politiques mises en œuvre semble une évidence. Comment sinon améliorer l’efficacité de la dépense publique ? Mieux gérer l’argent public et rendre des comptes sur son utilisation sont donc des impératifs prégnants en période de rigueur budgétaire, dans une société où les exigences de transparence se font plus pressantes, Perret, (2014). Dans un contexte où les décideurs et la société civile demandent des résultats et exigent que les responsables de programme rendent compte de la performance de leurs interventions, l’évaluation fournit des données solides et fiables qui indiquent si un programme donné a effectivement atteint les objectifs espérés. 1 Valeur ajouté = Services rendus – Coûts de la politique. Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1281 Encadré : activité de l’évaluation des politiques publiques L’augmentation du nombre de policiers diminue-t-elle effectivement la délinquance, ou ne sert-elle qu’à rassurer les citoyens ? Cette question, posée au début des années 70 par la municipalité de New York, a conduit les services d’évaluation de la ville à envisager une multiplicité d’hypothèses, dont certaines allaient à rebours du sens commun : la délinquance peut être plus efficacement combattue par une meilleure organisation des services de police que par la simple augmentation des effectifs ; en outre un trop grand nombre de policiers peut favoriser chez les citoyens un sentiment de déresponsabilisation dont pâtit finalement l’ordre public. C’est cette recherche des causalités qui est au cœur de l’activité d’évaluation 2 . Ainsi, pour contribuer à l’amélioration de la gouvernance publique, l’évaluation ne peut se contenter de mesurer les coûts et les effets des politiques, elle doit viser aussi à en éclairer les enjeux, la logique et les mécanismes afin de permettre à tous d’en devenir les acteurs informés et responsables, Baslé et al (2019). Les politiques et les programmes de développement sont généralement conçus pour améliorer des indicateurs de résultats, par exemple pour augmenter les revenus, faciliter l’apprentissage ou faire reculer la maladie. Savoir si les changements espérés se sont effectivement produits est une question de politique publique importante, et pourtant rarement considérée. Le plus souvent, les responsables de programme et les décideurs mettent l’accent sur le contrôle et la mesure des intrants et des produits immédiats (par exemple le montant d’argent dépensé et la quantité de livres distribués) plutôt que sur la question de savoir si les programmes ont atteint leurs objectifs en termes d’amélioration du bien-être des bénéficiaires. Etant donné que la mise en œuvre d’une technique d’évaluation dépend souvent du contexte de la politique publique et du type de biais (mesurable ou caché) Baslé et al (2019), l’isolation des effets propre d’une politique publique repose sur le choix d’un contrefactuel. Cela consiste à déterminer et à estimer le résultat qui aurait été obtenu en l’absence de la politique ou du programme étudié, en le comparant au résultat réellement observé chez les bénéficiaires. Ce contrefactuel n’étant pas observable, il est nécessaire de l’estimer, à partir d’un groupe de contrôle. Ce dernier correspond aux unités qui n’ont pas bénéficié de la politique mais qui sont 2 Trosa, S. (2004). L’évaluation des politiques publiques. L’Institut de l’entreprise. Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1282 par ailleurs comparables aux bénéficiaires, Givord, (2014). De nombreuses méthodes empiriques aux conditions d’application stricte ont été développées pour estimer dans ce contexte l’effet propre d’un programme. Nous avons par exemple l’assignation aléatoire, l’approche de différence de différences, l’approche de la régression sur discontinuité, l’approche de l’appariement par score de propension et enfin, la technique des variables instrumentales. Ces différentes techniques permettent de vérifier qu’une intervention publique est efficace ou non efficace en isolant ses effets propres. L’objectif de cet article est de faire une analyse détaillée des principales méthodes, illustrées parfois à l’aide de graphiques. La première partie de cet article s’articule autour de quelques définitions et concepts de bases liées au sujet mais également une analyse des critères et finalités de l’évaluation des politiques publiques. Dans la dernière partie, nous analysons les différentes approches évoquées plus hauts. Enfin, nous terminons par une conclusion. I. Définitions et concepts de base De façon schématique, on peut comparer l’évaluation, le contrôle, le contrôle de gestion et l’audit. En effet, l’évaluation des politiques est fréquemment confondue avec d’autres exercices également mis en œuvre dans les collectivités locales, Vollet et Hadjab, (2008). Cependant, avant d’en venir à la définition de ces mots, analysons d’abord ce qu’est une politique publique. 1. Politique publique La notion de politique publique fait l’objet de plusieurs définitions qui, au fil des ans, rendent compte de la complexité aussi bien de ce champ d’étude politique que de la pratique des politiques publiques elle-même. Une politique publique désigne les interventions d’une autorité investie de puissance publique et de légitimité gouvernementale sur un domaine spécifique de la société ou du territoire (Grawitz, Leca et Thoenig, 1985) cité par Thoenig, (2010). Turgeon et Savard (2012) retiennent dans leur définition qu’une politique publique peut être un document ou un processus. Elle est un document élaboré par les acteurs gouvernementaux pour présenter leur vision d’un enjeu susceptible d’une action publique. Cependant, de manière tout à fait secondaire, les aspects légaux, techniques et opérationnels d’une action publique peuvent être qualifiés de politique publique. Elle peut également être un processus au cours duquel les élus politiques décident d’une action publique sur un enjeu pour lequel certains décideurs publics (gouvernementaux ou non) exigent une action, Nyeck, (2014). On peut donc retenir qu’une politique publique est un ensemble d’actions coordonnées et financées par l’État ou une autorité publique pour répondre à un besoin ou un enjeu social, avec des objectifs définis et des moyens spécifiques (lois, budgets, personnel) pour atteindre ces buts. Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1283 Tableau 1: Effets d’une politique publique Type de politique Effets visés Externalités positives Externalités négatives Infrastructure ferroviaire Gain de temps, capacité et fiabilité accrue Croissance économique, réduction de la pollution générée par d’autres modes de transport Nuisances sonores, déséquilibre dans l’aménagement du territoire Traitement des déchets Minimiser la pollution Amélioration de la santé Nuisances sur les lieux de traitement Production d’électricité à partir d’énergies renouvelables Réduction des gaz à effets de serre Conservation des combustibles fossiles et autres sources d’énergies non renouvelables Nuisances sonores et esthétiques, recyclage (panneaux solaires, éoliennes) Aides à l’embauche Meilleure insertion des bénéficiaires Croissance économique Effet d’aubaine sur des embauches déjà prévues Parcs et forêts Avantages récréatifs, utilisation et transformation du bois Amélioration de la qualité environnementale, croissance du secteur touristique Pollution et surfréquen-tation des sites Source : Baslé et al, (2019). Evaluation des politiques publiques : guide pratique et citoyen. Page 18. Cependant une politique peut générer d’autres effets qui ne sont pas directement liés aux objectifs de la politique publique et qui affectent des tierces personnes (externalités). En effet, une externalité dans le cadre d’une politique publique est un coût ou un bénéfice qui affecte un tiers qui n’est pas directement impliqué dans la décision ou l’activité économique de cette politique, sans que ce tiers ne soit compensé ou payé pour ce coût ou ce bénéfice. Ces externalités peuvent être négatives (un coût pour la société) ou positives (un bénéfice pour la Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1284 société) et peuvent justifier l’intervention de l’État pour corriger les défaillances du marché en taxant ou en subventionnant les activités concernées. 2. Contrôle Contrôler une situation c’est être capable de la maîtriser et de la diriger vers le sens voulu. Le contrôle est une procédure de mise en œuvre en vue d’assurer de l’exactitude d’un enregistrement, du bon fonctionnement d’une structure, d’un service ou d’un système, Tremblay, (2012). Tout contrôle vise à mesurer les résultats d’une action et à comparer ces résultats avec les objectifs fixés à priori pour savoir s’il y a concordance ou divergence, Alazard et Separi, (2010) cité par Bencheikh, & Boutachkourt, (2021). Selon l’organisation internationale des institutions de contrôle des finances publiques , le contrôle des finances publiques est un processus systématique visant à obtenir et à évaluer des éléments probants de façon objective, afin de déterminer si les informations ou les conditions réelles remplissent des critères donnés. On entend par contrôle administratif les diverses démarches appliquées par les gestionnaires en vue d’encadrer la gestion publique sous l’angle de la légalité ou de la régularité, Albarello et al, (2016). Ces auteurs ajoutent que ces démarches poursuivent des objectifs classiques et essentiels pour gestion publique comme le respect des règles, des lignes hiérarchique et des délégations de pouvoir, la conformité aux budgets et à la fidélité des comptes. Le contrôle permet d’assurer le suivi de la politique : suivi systématique et permanent des informations en matière de gestion et de politique sans analyser le pourquoi de ce qui se passe ou ne se passe pas (évaluation). 3. Le contrôle de gestion Le contrôle de gestion naît entre 1850 et 1910 dans l’industrie américaine. Il comprend un aspect « contrôle » (maîtrise d’une situation) et « gestion » (optimisation des moyens rares mise à disposition », Leroy, (2018), cité par El Khattab, & Zouair, (2023). En en tant que mode de management il peut être défini comme le processus par lequel les dirigeants s’assurent que les moyens sont utilisés de manière efficace et efficiente pour atteindre les objectifs fixés » (Bescos et al, chapitre 1) cité par Löning et al (1998). Selon ces derniers, le contrôle de gestion peut être vu comme un processus, une boucle qui suppose l’enrichissement et l’apprentissage progressifs. Il s’agit en fait d’un cycle constitué de quatre étapes principales : fixation d’objectif, planification, budget, mise en œuvre, suivi des réalisations analyse des résultats, prise d’actions correctives. 4. Audit Les origines de l’audit remontent loin dans l’histoire. Au 3ème siècle avant Jésus-Christ, les gouvernements romains avaient pris l’habitude de designer des questeurs qui contrôlaient les Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1285 comptabilités de toutes les provinces, Barnia, 2015) cité par El Khattab, & Zouair, (2023). L’audit, selon l’Institut Français de l’Audit et du Contrôle Internes (IFACI), est une activité indépendante et objective qui apporte à une organisation une assurance sur la maîtrise de ses opérations, des conseils pour les améliorer, et contribue ainsi à créer de la valeur ajoutée. Il a donc pour objet de réduire les risques d’une organisation en référence à ce qui se fait dans la profession. L’audit et l’évaluation sont des processus d’analyse qui visent à améliorer les organisations, mais avec des objectifs distincts : l’audit vérifie la conformité et l’intégrité des processus et des données, souvent financièrement, tandis que l’évaluation apprécie l’efficacité et l’impact d’une politique, d’un programme ou d’un système, et formule des recommandations d’amélioration. L’audit est une démarche de contrôle axée sur la conformité et les risques, tandis que l’évaluation est une appréciation plus large de la performance et des résultats. Tableau 2 : Caractéristiques comparées des fonctions d’audit/vérification et évaluation Audit/vérification Evaluation Objet Cadre de gestion et processus Politiques et interventions Focalisation Mandat et cadre du contrôle Valeur et mérite des interventions Analyse Efficience des systèmes et procédures Multicritères Méthodologie Vérification financière/opérationnelle Approches et méthodes mixtes qui évoluent avec sa théorisation, ses pratiques et les contextes de mise en œuvre Disciplines Audit, ingénierie, management Sciences économiques et sociales Produit Vérification des contrôles de gestion Jugement des effets des interventions Conséquences Rectification et ajustement Changement transformationnel Source : Quesnel, et al (2022). L’évaluation en contexte de développement : Enjeux, approches et pratiques. Page 28. II. Finalités de l’évaluation des politiques publiques Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1286 On définit trois finalités à l’évaluation des politiques publiques : la finalité cognitive la finalité normative et la finalité instrumentale. - Apporter des connaissances nouvelles sur les interventions : finalité cognitive L’évaluation est l’occasion de faire un état des lieux, d’estimer en quoi et dans quels cas une intervention a eu les effets attendus sur les publics visés… et pourquoi. - Apprécier la valeur de l’action publique : finalité normative L’évaluation vous aidera à expliciter sur quels critères l’action doit être jugée, et fournira ensuite les éléments qui permettront in fine d’identifier les succès et les échecs de l’intervention. - Changer une politique publique : finalité instrumentale Les conclusions et les recommandations de l’évaluation permettront d’améliorer l’action publique, qu’il s’agisse d’adaptations à la marge ou bien de réformer en profondeur. L’évaluation s’attache toujours en amont à définir les critères sur lesquels l’action sera jugée. Ces critères sont généralement formulés sous la forme de questions, auxquelles le rapport d’évaluation répondra. Les questions auxquelles répond l’évaluation ressortent généralement de l’un des registres suivants : ➢ La pertinence : analyse en quoi la stratégie de l’action évaluée est bien adaptée au problème public qu’elle cherche à résoudre ou atténuer. ➢ L’efficacité : vérifie en quoi l’action menée a produit les effets attendus sur ses cibles. ➢ L’efficience : estime si les effets obtenus l’ont été à un coût raisonnable, par exemple en comparaison d’autres types d’intervention. ➢ L’utilité : vise à juger l’action eu égard non seulement à ses effets attendus, mais aussi à ses effets inattendus, que ceux-ci soient désirables ou indésirables. ➢ La cohérence interne : vérifie que les différents objectifs stratégiques et opérationnels d’une action vont dans la même direction ou se complètent. ➢ La cohérence externe s’assure que les objectifs des actions menées par d’autres acteurs sur le même champ que celui de la politique évaluée vont dans la même direction ou se complètent. Au final une évaluation permet d’identifier les changements du bien-être des individus qui peuvent être attribués à un projet, un programme ou une politique particulière. Le concept de l’attribution est au cœur des évaluations. De ce fait, le principal défi d’une évaluation d’une politique publique est d’identifier la relation causale entre une politique et les résultats à l’étude. III. Techniques d’estimation contrefactuelle Toutes les techniques de l’évaluation (ex post) consistent à construire statistiquement un contrefactuel, c’est-à-dire un scénario aussi proche que possible de ce qui se serait passé si la Journal of Economics, Finance and Management (JEFM) - ISSN: 2958-7360 http://journal-efm.fr 1287 politique étudiée n’avait pas été mise en place. La mesure de l’impact d’une politique publique compare l’application d’une politique publique à la population à ce scénario contrefactuel sur une population aux caractéristiques similaires ne bénéficiant pas de la politique publique. Si l’évaluation peut attribuer une partie d’un résultat ou un résultat, c’est-à-dire un supplément de valeur ajoutée sociétale, à une cause (l’intervention publique), alors la légitimité et la pertinence de la politique publique en seront prouvées. C’est ce qu’on appelle une évidence basée sur une preuve, Baslé et al (2019). 1. L’assignation aléatoire L’évaluation par assignation aléatoire permet d’évaluer les effets d’un programme ou d’un dispositif sur un groupe d’individus en s’appuyant sur le tirage au sort d’un groupe de bénéficiaires, Jatteau, (2014). Selon Bouguen et Seban, (2014), il s’agit de mener une expérimentation dans laquelle l’évaluateur sera en mesure d’allouer de façon aléatoire les bénéficiaires et les non bénéficiaires d’une politique. Par cette stratégie, dite « expérimentale » ou « contrôlée » (Randomized Controlled Trial en anglais), l’évaluateur pourra produire un estimateur non biaisé de l’effet de la politique, qu’on appelle aussi effet du traitement. Ces méthodes reposent sur le tirage au sort des individus dans les groupes de contrôle (non visés par le dispositif évolué) et de traitement (touchés par le dispositif évalué), garantissant l’intérêt de la comparaison du fait de la comparabilité des individus au regard des critères observables et inobservables. La méthode aléatoire permet ainsi de corriger les corrélations liées à des différences entre les deux groupes comparés et d’établir une causalité plus claire. L’évaluation par assignation aléatoire s’applique à de nombreux domaines et cherche à répondre à des questions relativement simples : est-ce que la distribution gratuite d’uniformes scolaires à des élèves d’une région d’un pays où ils sont obligatoires mais payants favorise leur taux de présence en classe ? Est-ce qu’un changement dans le message de prévention à l’égard des maladies sexuellement transmissibles a un impact sur leur diffusion ? Est-ce que les audits gouvernementaux réduisent la corruption? 2. La technique de différence de différences C’est une méthode quantitative quasi-expérimentale permettant de corriger les biais mesurables et cachés. Concrètement, cela consiste à observer les variations entre deux dates d’une variable au sein de deux groupes distincts. Le premier de ces groupes, appelé groupe traité, bénéficie d’une intervention ou d’une politique donnée, le second, appelé groupe de contrôle, n’en bénéficie pas. La politique est mise en place entre les deux dates considérées. La mesure de l’effet de l’intervention repose exclusivement sur la variation au cours du temps de la variable de résultat entre ces deux dates. Cette variation diffère dans les deux groupes, en