Evaluation et Design des politiques publiques : Coopérer et hybrider pour transformer l'action publique

» ÉVALUaTION ET DESIGN DES POLITIQUES PUBLIQUES COOPÉRER ET HYBRIDER POUR TRANSFORMER L’ACTION PUBLIQUE NUMERO 12 Cahier de la Société Française de l’Évaluation 2 Cahier de la Société Française de l’Évaluation N°12 | Évaluation et design des politiques publiques : Coopérer et hybrider pour transformer l’action publique Numéro coordonné par Thomas Delahais en collaboration avec Virginie Besrest, François Jégou, Karine Sage, Stéphane Vincent et Christophe Gouache Mise en page par Christophe Gouache et Nolwenn Huver, Strategic Design Scenarios Publié le 30/06/2025 Creative Commons Attribution 4.0 International Cette licence exige que les utilisateurs attribuent la paternité de l’œuvre à son créateur. Elle permet de distribuer, remixer, adapter et créer à partir du matériel, sur tout support ou format, y compris à des fi ns commerciales. 10.5281/zenodo.17258318 TABLE DES MATIÈRES AVANT PROPOS Pourquoi cet ouvrage ? Virginie Besrest - présidente de la société française d’évaluation Pourquoi des designers devraient-ils lire ça ? François Jégou - designer de politiques publiques INTRODUCTION Évaluation et design : Je t’aime, moi non plus ? Thomas Delahais - évaluateur de politiques publiques CHAPITRE I L’évaluation vue par le design : pourquoi on y pense, comment on la fait soi-même, est-ce forcément de l’évaluation ? Graphique - L’évaluation vue par les designers intégré·es Caroline Di Monte, Juliette Blond - designer Les pratiques d’évaluation des designers intégrés en collectivités Cécile de Besombes, Alice Martin - designer Une évaluation by design, Un design intégrant l’évaluation ? Dialogue entre praticiens de l’évaluation, du design et de l’innovation publique Nicolas Subileau - professeur et consultant en evaluation et prospective Christian Paul - maire de Lormes Grégoire Alix-Tabeling - designer Un kit pour outiller la rencontre entre design et évaluation Koaï Bouquet - designer P 6-7 P 9-11 P 12-19 P 24-25 P 26-29 P 30-34 P 35-37 3 4 CHAPITRE II L’évaluation pour renforcer le design ? L’évaluation pour faire évoluer la pratique du design dans l’administration Anne Pariente, Erwin Riclet - la fabrique à projets, ministères de l’aménagement du territoire et de la transition écologique Évaluer le design social, c’est possible ? Clément Lacouette-Fougère - évaluateur de politiques publiques Emma Keirle - designer Ceci n’est pas un outil d’évaluation Clara Herbert, Sabine Zadrozynski - designers Pauline Algier - évaluatrice de politiques publiques Utiliser l’évaluation évolutive au Solutions Lab de la Ville de Vancouver  Lindsay Cole - chercheuse Université de British Columbia Évaluation et conception centrée sur l’utilisation dans le secteur public en Suisse Dario Wellinger - maître de conférences en gestion publique Curdin Derungs - Professeur en gestion publique Expérimenter et évaluer en innovation : la notion de preuve transformative Mathias Béjean - professeur en sciences de gestion Stéphane Gauthier - consultant innovation CHAPITRE III Design et évaluation : apprendre à coopérer ? À l’insu de mon plein gré, ou comment le design est entré dans nos têtes d’évaluateurs Hélène Varlet, Hichem Ghouila - évaluateur/trice de politiques publiques Et si le problème des évaluations, c’était les recommandations… Dorig Bruno - évaluateur de politiques publiques Voisines de bureau ! Cohabitation entre designeuses et évaluatrices et ce qui s’ensuit Annabelle Berthaud - évaluatrice de politiques publiques Hélène Clot - directrice stratégie en innovation et relations citoyennes Nadia Wolff - chargée de mission en innovation et transformation Evaluation, design & co… Et si on soutenait un continuum d’approches ? Amandine Babarit - chargée de mission en innovation publique Cécile Gérard - chargée de mission évaluation particitive P 43-46 P 47-53 P 54-60 P 61-67 P 69-76 P 78-83 P 88-92 P 93-96 P 97-101 P 102-107 5 CHAPITRE IV Hybridation des pratiques, vers un nouveau métier ? Graphique - Designers et évaluateurs : un terrain de jeu commun Thomas Delahais, Christophe Gouache L’hypothèse hybride : saisir ensemble design et évaluation Thomas Delahais - évaluateur de politiques publiques Une nouvelle alliance à explorer Emmanuel Rivat - évaluateur de politiques publiques Les katas de l’hybridation Annexes François Jégou - designer de politiques publiques CHAPITRE V L’évaluation et le design ensemble face aux défis de la transition et des transformations de l’action publique Cartographie d’un processus de fabrique des politiques publiques transformative Lindsay Cole - chercheuse Université de British Columbia Le parcours des politiques publiques: un bidouillage ni maîtrisé ni formalisé ? Christophe Gouache - designer chercheur Design et évaluation, préparer le pari d’après Stéphane Vincent - expert en innovation publique Court abécédaire des cahiers de l’évaluation et du design Iris Aït Ouadda - évaluatrice de politiques publiques LISTE DES AUTEURS ET AUTRICES P 101 P 111-117 P 118-122 P 123-133 P 136-137 P 138-141 P 142-146 P 148-149 P 150-156 6 Depuis 25 ans, la Société Française de l’Évaluation (SFE) soutient le développement de l’évaluation des politiques publiques, comme un levier puissant pour la prise de décision, l’amélioration de l’action publique et le débat démocratique. À travers ses projets, l’association se veut un lieu ressource, favorisant l’interdisciplinarité et le partage des savoirs et des bonnes pratiques. Mais produire et diffuser du savoir est un défi de taille, et c’est précisément l’objectif des Cahiers et autres publications de la SFE. Au fil des années, une dizaine de Cahiers ont vu le jour, fruits du travail acharné des groupes, clubs et réseaux de la SFE, ainsi que de l’engagement exceptionnel de ses membres. Ces publications ont abordé des questions cruciales pour notre communauté : déontologie des évaluateurs et évaluatrices, différenciation avec l’audit de performance, prise en compte des publics, participation citoyenne, utilité sociale, ou méthodes d’évaluation des impacts, entre autres. La SFE est fière de relancer cette initiative, mise en veille depuis 2016, avec la sortie rapprochée de deux nouvelles publications. Le dernier Cahier, daté de fin 2024, explore le métier d’évaluateur et propose le premier référentiel français de compétences en évaluation. Ce Cahier nº 12, quant à lui, plonge dans l’univers du design. POURQUOI L’ÉVALUATION DEVRAIT-ELLE DAVANTAGE S’INTÉRESSER AU DESIGN ? La SFE a toujours cherché à créer des ponts entre différents mondes et disciplines. Les collaborations ont été nombreuses avec les acteurs de la statistique, la prospective, l’audit, la qualité, l’utilité sociale, la participation et plus récemment l’intelligence artificielle. Les tentatives de rapprochement avec la conception de politiques publiques, bien que précoces, n’ont, il faut bien l’avouer, rencontré qu’un succès limité. Nous avons ici une pensée émue pour cette journée organisée par la SFE à l’ENA sur ce sujet en 2005, qui avait suscité beaucoup d’espoirs, mais généré peu d’effets. Le monde de la conception a, il est vrai, été particulièrement bousculé ces dix dernières années par des crises successives (sociales, sanitaires, économiques, politiques et financières) menant à une accélération des processus de décision … face à des situations de plus en plus complexes, le tout dans un contexte d’appauvrissement des volonté et capacité à débattre. L’apparition du design de service puis du design de politique publique, beaucoup plus orienté usages et usagers, a permis d’apporter de nouvelles approches plus collaboratives et participatives pour aborder différemment la complexité des problèmes publics à résoudre. Elle a également favorisé le passage à l’acte rapide via des processus de tests itératifs. Cela nous amène à réinterroger l’utilité de l’évaluation, son rôle et sa capacité à améliorer les politiques publiques. AVANT PROPOS POURQUOI CET OUVRAGE ? Virginie Besrest, Présidente de la Société Française de l’Évaluation 7 de nouvelles perspectives et d’explorer de nouvelles formes d’alliance. Ce Cahier a pour ambition d’explorer ce qui nous distingue et ce qui nous rapproche afin de mieux comprendre nos complémentarités. Il s’agit de voir comment, ensemble, et conscient·es de nos profils et postures de départ ainsi que de nos forces respectives, nous pouvons coopérer, hybrider et enrichir nos métiers, voire en inventer de nouveaux. Je tiens à remercier ici les membres du comité éditorial et les 35 auteurs et autrices qui, à titre bénévole, soucieux/ ses d’améliorer les politiques publiques et l’habitabilité du monde, partagent ici leurs réflexions. Pour ce faire, nous avons choisi un nouveau format, pensé à la rencontre du design et de l’évaluation. Il s’agit d’une combinaison de textes courts, entre 2 et 6 pages, ponctués d’illustrations, pour respirer, saisir les messages clés ou simplement sourire. Vous pouvez les lire dans l’ordre ou le désordre, en fonction de vos préférences. L’idée est de voyager entre pratique et théorie pour vous permettre de picorer, de réfléchir et … de vous préparer à échanger lors des prochaines journées françaises de l’évaluation (JFE) prévues à Rennes fin octobre 2025. Bonne lecture à toutes et à tous et à bientôt pour en parler ! Quelle place pour l’évaluation dans une ère de post-vérité, où fournir des preuves objectivées n’est peut-être plus l’alpha et l’oméga de la politique et de l’action publique ? Nous sommes collectivement convaincu·es de l’utilité de l’évaluation, mais après plus de 30 ans de déploiement en France et 25 ans d’existence de la SFE, nous sommes encore souvent surpris·es par la difficulté des divers acteurs à s’en saisir et à en faire un outil d’apprentissage, d’amélioration et de partage. Quelle utilité si l’utilisation reste limitée ? Il est devenu crucial de réinventer les modes de faire, de mettre en œuvre et d’évaluer les politiques publiques, particulièrement si nous voulons être en mesure de faire face aux conséquences économiques, sociales et démocratiques du dérèglement climatique et des déséquilibres mondiaux, enclencher les transitions et faire évoluer les comportements. S’intéresser au design et aux designers, ces acteurs apparemment si différents des évaluateurs, permet de faire un pas de côté, de remettre en question nos certitudes, de revenir à la spécificité de la posture de l’évaluateur et de réfléchir à son utilité au-delà de son cadre habituel. UN CAHIER POUR S’OUVRIR, RÉFLÉCHIR ET INVENTER Réunir évaluateurs/rices, designers, chercheur·es, et élu·es permet d’ouvrir POURQUOI CET OUVRAGE ? V. Besrest 14 budgétaire, opaque, technocratique et axée sur les économies rapides. L’évaluation étatique à la française, associant diverses parties prenantes et à vocation démocratique, semble alors définitivement enterrée. Ce moment, très mal vécu par les agents de l’État et aux résultats contestables (Bondaz, 2012), s’est vite refermé, mais on peut tracer certaines de ses séquelles dans le poids actuel des grands cabinets de conseil et des outils du management privé dans la machine étatique (Gélédan, 2019). C’est aussi l’époque où l’évaluation est reprise en main par la micro-économie, avec la volonté de prouver « scientifiquement » l’efficacité des interventions publiques au travers d’essais contrôlés randomisés (Devaux-Spatarakis, 2014), avec là aussi un écart durable vis-à-vis de la dimension pluraliste et collaborative de l’évaluation, telle qu’elle transparaît de la charte de la SFE (2006). Peut-on considérer que le design reprend ce « flambeau pluraliste » dans les années 2000 et 2010, au côté d’autres innovations publiques telles que la participation citoyenne ? De fait, le design se répand largement dans les mêmes territoires qui ont développé une pratique évaluative, tels que le Nord-Pas-de-Calais, l’Ouest, ou le couloir rhodanien (Weller & Pallez, 2017). Avec La 27e Région, créée en 2007 pour soutenir l’innovation publique, il gagne un outil très puissant d’expansion et de professionnalisation. 10 ans plus tard, l’État reconnait également l’intérêt du design comme outil de transformation, à travers le soutien significatif apporté par la Direction Interministérielle de la Transformation Publique (DITP), tandis que le Centre National de la Fonction Publique Territoriale (CNFPT) intègre le design à son catalogue de formation. Une démarche ne remplace pas l’autre, pour autant. Les pratiques d’évaluation des collectivités et des administrations se sont en effet maintenues et diversifiées dans les années 2010. Cellesci ont vu le retour, certes bref, d’une évaluation des politiques publiques de l’État avec une volonté d’ouverture aux parties prenantes (KPMG & Quadrant Conseil, 2017), mais aussi le développement de l’expérimentation sociale (Conseil d’État, 2019). Dans cette dernière sphère, l’évaluation joue des rôles multiples, tantôt activité de recherche, tantôt soutien à l’apprentissage des innovateurs/rices, tantôt outil de redevabilité auprès des financeurs (Devaux-Spatarakis, 2021; Devaux-Spatarakis & Tevini, 2023), témoignant ainsi de sa versatilité. Pourtant, la sensation domine qu’au cours des années 2010, design et évaluation ont évolué dans des couloirs différents. Du côté de l’évaluation, largement une économie de marché (Matyjasik, 2013), la demande pour évaluer le design est peu présente – c’est aussi que le design se concentre alors largement sur des interventions ponctuelles au niveau des services, ou des actions d’innovation sociale qui ne sont pas dans le radar de l’évaluation. Il semble aussi que les sphères d’expansion de l’évaluation telles que l’expérimentation sociale, l’économie sociale et solidaire, qui développe alors une pratique propre d’évaluation « d’impact social » (Essec Business School, 2023), le développement international ou la philanthropie restent relativement étanches au design. Du côté du design, la relation est plutôt empreinte de méfiance. En 2015, La 27e Région décide de re-designer l’évaluation, « qui peine souvent à dépasser le rite gestionnaire » (La Pointeuse, 2015). Le résultat de ce processus, appelé « évaluation engagée » n’est pas dénué d’intérêt. Cependant, il méconnaît totalement les pratiques empiriques, démocratiques, participatives exis1 Citations tirées du site de La 27e Région. https://www.la27eregion.fr/agenda/evaluation-engagee/ 15 tantes dans le champ de l’évaluation. Les autres incursions dans ce domaine de la 27e Région resteront longtemps limitées. Bref, ces années-là, le design et l’évaluation, c’est je t’aime, moi non plus… DE L’INTÉRÊT MUTUEL À L’ALLIANCE ? Peut-on voir, ces dernières années, un réchauffement dans les relations ? Le monde de l’évaluation, comme le reste du monde du conseil, a marqué ces dernières années son intérêt pour le design. En 2016, la SFE y consacre une « journée nationale », puis invite régulièrement des designers aux Journées de la SFE ou lors d’autres évènements, comme le récent « Rendez-vous de l’évaluation » organisé conjointement par la SFE et le Conseil économique, social et environnemental (CESE), lors duquel les apports du design (créatif, inductif, qualitatif) à l’évaluation, voire certaines pratiques communes (d’entrée par les usagers, d’investigation) sont soulignés. Le monde du design et, plus généralement, de l’innovation publique, a lui aussi évolué. Après la promesse proclamée urbi et orbi d’un design « transformateur » sont venues les interrogations, en France comme ailleurs, et avec elles les craintes que le design ne relève d’une mode managériale (Weller & Pallez, 2017), bientôt suivie d’une autre, telle que les sciences comportementales. Victime de son succès, le design est souvent réduit par les administrations comme les cabinets de conseil à un design thinking, voire à du brainstorming post-it ou à l’inauguration de salles de créativité, au risque que les outils et méthodes du design, dépouillés d’une finalité de transformation et d’habitabilité du monde, ne renforcent finalement le statu quo (Iskander, 2018). Le design peine aussi à prouver ses effets transformateurs, soit que la nature exploratoire, voire intuitive du design, se prête mal à des évaluations conventionnelles, soit que ses effets diffèrent de ceux attendus de ses commanditaires (Delahais et al., 2019), soit encore qu’ils ne soient pas de la nature transformative initialement annoncée (Blomkamp, 2018). La fermeture, en France et ailleurs d’un certain nombre de laboratoires d’innovation publique, pourtant tenus jusque-là comme preuve d’une institutionnalisation réussie du design(Guay, 2019; Lewis, 2020), a poussé le secteur à l’introspection, jusqu’à la tenue d’Assises du design réunissant les acteurs du métier. Les Cahiers qui en sont issus, s’ils ne parlent pas encore d’évaluation, se demandent tout haut comment « mesurer l’impact du design sur les politiques », voire « mesurer [son] impact économique » (2019). Ces cahiers témoignent ainsi d’un « souci de soi », pour reprendre la formule de Philippe Bezes (2009), au titre duquel le design se prend pour son propre objet de réforme, et s’inquiète ainsi de son évaluation. Les professionnel·les de l’évaluation, du design, et plus généralement de l’innovation publique, se découvrent enfin des préoccupations communes, sur la nécessité de réaffirmer la dimension politique de leurs métiers respectifs et leur rapport au pouvoir (Lewis et al., 2020; Mathison, 2018) ; sur évaluation et design : je t’aime , moi non plus ? T. Delahais 16 2 Voir le site des Labonautes. https://leslabonautes.la27eregion.fr leur rôle face aux problèmes super épineux (Levin et al., 2012) et dans les transitions écologiques et sociales, la lutte contre l’injustice ou les transformations de la démocratie (Delahais et al., 2020; Jégou, 2020) ; ou encore sur la prise en compte de la complexité et du changement social. C’est ainsi que professionnel·les du design et de l’évaluation ont renforcé leurs échanges, ces dernières années, à l’initiative des praticien·nes des deux bords, qui développent des collaborations nouvelles (Delahais et al., 2019) ; des collectivités et des administrations publiques et parapubliques, qui construisent une demande mixte mêlant design et évaluation (et autres métiers), à l’image des métropoles de Lille, Rennes, Nantes ou Grenoble ; et enfin de la sphère de l’innovation publique et tout particulièrement de La 27e Région, par exemple dans le cadre de son programme « Les Labonautes », qui « explore l’avenir des laboratoires d’innovation publique »2 – jusqu’à se demander si « après tout, l’évaluation, c’était cool ? » (Vincent, 2023). ÉVALUATION ET DESIGN : (PASSÉ), PRÉSENT, FUTUR Ces cahiers de la SFE, renouvelés, visent à faire un état des lieux partagé de cette relation entre évaluation et design, après 20 ans de cohabitation, mais aussi à tracer des perspectives d’avenir. Ils sont organisés en quatre parties. L’ÉVALUATION VUE PAR LE DESIGN Delahais, Gouache et Vincent (2019) avaient proposé de distinguer : évaluation du produit du design – le nouvel accueil d’une mairie, par exemple –, évaluation de ce qu’apporte le processus caractéristique du design, et enfin et peut-être surtout, l’évaluation des transformations de l’action publique amenées par le design. Un des axes initiaux de ces cahiers était d’explorer ce programme et les éventuelles tensions qu’il apportait. En particulier, comment rentrer dans l’évaluation sans se soumettre à des logiques extérieures de performance, qui s’imposent trop souvent aux travailleurs/ses de terrain (Baron & Monnier, 2003; Fetterman et al., 2014)? Cependant, et malgré la préoccupation montante de l’évaluation dans le design, cette démarche reste assez abstraite pour les designers. C. de Besombes, J. Blond, C. di Monte et A. Martin, toutes quatre designers, ont enquêté auprès des designers travaillant en collectivité pour faire l’état des lieux de la relation. Elles relèvent que près des deux tiers des designers interrogés disent faire de l’évaluation, mais que pour 42 % d’entre eux, c’est un concept plutôt flou. N. Subileau (évaluateur), C. Paul (homme politique) et G. Alix-Tabeling (designer) explorent quant à eux l’opportunité pour les designers de renforcer l’interaction avec l’évaluation. K. Bouquet, enfin, propose un « kit » pour outiller la rencontre entre les deux pratiques. L’ÉVALUATION AU SERVICE DU DESIGN Des expériences pilotes cependant se dessinent d’une évaluation mise au service du design, qui dressent un champ des possibles dans ce domaine. C. Lacouette-Fougère et E. Keirle parlent d’une « méthode en alliance » pour évoquer leur collaboration entre évaluateur et design social. De même, C. Herbert, S. Zadrozynski et P. Algier décrivent la façon dont l’évaluation contribue à augmenter l’expérimentation d’un dispositif en ligne, l’Accueillette – les unes et les autres terminant sur la façon dont elles ont personnellement vécu la coo- 17 pération. L. Cole raconte quant à elle l’expérience du SLab de Vancouver, dans lequel l’évaluation est un « rôle » intégré dans l’équipe de design, tandis que D. Wellinger et C. Derungs parlent d’une possible évaluation du design en Suisse. Deux articles se détachent enfin. Le premier, d’A. Pariente et E. Riclet, revient sur l’expérience d’évaluer systématiquement des opérations de design dans une grande administration française. L’autre, de M. Béjean et S. Gauthier, évoque les différents types de preuve qui peuvent être mobilisés pour rendre compte des effets des expérimentations, et de la spécificité des preuves pour le design. DESIGN ET ÉVALUATION : APPRENDRE À COOPÉRER ? La troisième partie réunit 4 articles de collectivités qui ont appris à combiner, selon les besoins, design et évaluation. A. Berthaud, H. Clot et N. Wolff, de Grenoble, décrivent la façon dont l’évaluatrice et l’innovatrice déteignent l’une sur l’autre, tout en gardant chacune leur pré carré. A. Babarit et C. Gérard, de Nantes, expliquent comment elles choisissent, selon les cas, de faire appel à du design ou à de l’évaluation – toujours dans une approche d’abord participative. D. Bruno, à Rennes, donne à voir l’imbrication de l’évaluation et du design pour passer des recommandations évaluatives à l’action concrète. H. Varlet et H. Ghouila (Hauts-de-France), enfin, expliquent comment leur pratique évaluative s’infuse progressivement de design – même s’il est bien difficile de recruter une designer dans leur service… HYBRIDATION DES PRATIQUES, VERS UN NOUVEAU MÉTIER ? Le 4e chapitre évoque des approches du design et de l’évaluation plus entremêlées. T. Delahais et F. Jégou, dans leurs articles respectifs, passent en revue ce qui rend possible la coopération et l’hybridation, mais aussi les formes concrètes qu’elles peuvent prendre. E. Rivat y ajoute une dimension critique, et souligne l’importance des sciences sociales pour tirer vers le haut et le design, et l’évaluation. I. Aït Ouadda, enfin, évoque les mots communs au design et de l’évaluation. DESIGNER DES CAHIERS… N’EST PAS UNE MINCE AFFAIRE Ces cahiers de la SFE comprennent de nombreuses représentations graphiques – outre celles déjà citées ci-dessus, on nommera notamment les propositions de C. Lacouette-Fougère, T. Delahais et C. Gouache, et F. Jégou. La mise en forme de ces cahiers a quant à elle été réalisée par C. Gouache, F. Jégou, N. Huver et M. Landry. évaluation et design : je t’aime , moi non plus ? T. Delahais 18 Archibald, T., & Moussavou, L. O. (2016). La « pensée évaluative » : Une activité mystérieuse et quotidienne. Éducation permanente, 208, 33-40. Baron, G., & Monnier, É. (2003). Une approche pluraliste et participative : Coproduire l’évaluation avec la société civile. Informations sociales, 110, 1-7. Baslé, M. (2009). Révision générale des politiques publiques et activités évaluatives en France : Différences, complémentarités ? In S. Trosa (Éd.), Évaluer les politiques publiques pour améliorer l’action publique : Une perspective internationale (p. 61-80). Institut de la gestion publique et du développement économique. https://doi.org/10.4000/books. igpde.1284 Bezes, P. (2009). Réinventer l’État. Presses Universitaires de France. https://doi.org/10.3917/puf. bezes.2009.01 Blomkamp, E. (2018). The Promise of Co-Design for Public Policy. Australian Journal of Public Administration., 1-19. https://doi.org/10.1111/14678500.12310/full Bondaz, M. (2012). Bilan de la RGPP et conditions de reussite d’une nouvelle politique de reforme de l’État (L. D. française, Éd.). Paris. Chanut, V. (2002). L’évaluation : Affaire d’Etat ou question d’organisation? Politiques et Management public, 20(4), 1-32. Collectif. (2019). Cahiers des assises du design. https://www.assisesdudesign.com/doc_root/Ressources/cahiers/5df0f362ada9d_Cahiers_AssisesDuDesign_2019_pages.pdf Conseil d’État. (2019). Les expérimentations : Comment innover dans la conduite des politiques publiques ? La Documentation française. https://www. conseil-etat.fr/actualites/ameliorer-et-developper-les-experimentations-pour-des-politiques-publiques-plus-efficaces-et-innovantes Delahais, T. (2021). Les évaluations participatives : Plus facile à dire qu’à faire ? LeGes, 1(32), 16. https://doi.org/10.38023/265714d6-463d-4ae3-80ef5588489d0ec3 Delahais, T. (2023). La ROSACE de la posture évaluative. Quadrant Conseil. https://www.quadrant-conseil.fr/ressources/QC_Posture_evaluative. pdf Delahais, T., Gouache, C., & Vincent, S. (2019). Le design de l’action publique : Vers une hybridation entre culture design et culture de l’évaluation. Sciences du Design, n°10(2), 83. https://doi. org/10.3917/sdd.010.0083 Delahais, T., Sage, K., & Honoré, V. (2020). Evaluators in Transition. Zeitschrift für Evaluation (ZfEv), 2020(2), 239-260. https://doi.org/10.31244/ zfe.2020.02.03 Devaux-Spatarakis, A. (2014). La méthode expérimentale par assignation aléatoire : Un instrument de recomposition de l’interaction entre sciences sociales et action publique en France? [Centre Emile Durkheim–science politique et sociologie comparatives, UMR5116]. https://halshs.archives-ouvertes. fr/tel-01196335/ Devaux-Spatarakis, A. (2021). Chapitre 2. Concilier les différents intérêts d’apprentissage d’une expérimentation à Mayotte : Retour d’expérience sur le rôle de l’évaluateur pour favoriser les usages de l’évaluation. INJEP Notes et rapports, INJEPR-2021/14. https://injep.fr/wp-content/ uploads/2021/11/rapport-2021-14-NT-Evaluationssur-mesure.pdf Devaux-Spatarakis, A., & Tevini, M. (2023). Comment apprendre des expérimentations sociales ?: Informations sociales, n° 209-210(5), 126-133. https:// doi.org/10.3917/inso.209.0126 Duran, P., Monnier, E., & Smith, A. (1995). Evaluation a la francaise : Towards a New Relationship between Social Science and Public Action. Evaluation, 1(1), 45-63. https://doi. org/10.1177/135638909500100104 Epstein, R. (2007). L’évaluation en développement? Retour sur vingt ans d’évaluation de la politique de la ville. Bouquet B., Sainsaulieu I., Jaeger M., Les défis de l’évaluation en action sociale et médicosociale, Paris: Dunod. http://www.irev.fr/sites/www. irev.fr/files/epstein-r-evaluation-en-developpement. pdf Essec Business School. (2023). Panorama de l’évaluation d’impact social en France 2002. https:// centre-innovation-sociale-ecologique.essec.edu/ index.php/panorama-de-levaluation-dimpact-social/ Fetterman, D., Rodríguez-Campos, L., & Wandersman, A. (2014). Collaborative, participatory, and empowerment evaluation : Building a strong conceptual foundation for stakeholder involvement approaches to evaluation A Response to Cousins, Whitmore, and Shulha, 2013). American Journal of Evaluation, 35(1), 144-148. https://doi. org/10.1177/1098214013509875 BIBLIOGRAPHIE 19 * Findeli, A. (2016, mars 24). Le Design Social. Journée nationale d’études sur le Design de la Société française d’évaluation. Gauthier, P., Proulx, S., & Vial, S. (2015). Manifeste pour le renouveau social et critique du design. Que sais-je?, 120-122. Gélédan, F. (2019). Les cabinets de conseil dans la Révision générale des politiques publiques (RGPP). In N. Matyjasik & M. Guenoun (Éds.), En finir avec le New Public Management (p. 77-93). Institut de la gestion publique et du développement économique. https://doi.org/10.4000/books.igpde.5814 Guay, J. (2019, septembre 27). Public innovation labs are closing – here’s why. Apolitical. https:// apolitical.co/solution_article/public-innovation-labsaround-the-world-are-closing-heres-why/ Iskander, N. (2018). Design thinking is fundamentally conservative and preserves the Status Quo. Harvard Business Review. https://doi.org/10.1111/ caim.12023 Jégou, F. (2020). Design Haute Qualité Démocratique. SDS publishing. https://www.strategicdesignscenarios.net/wp-content/uploads/2020/10/ HDQ_light-3.pdf KPMG & Quadrant Conseil. (2017). Évaluation de la démarche globale d’évaluation des politiques publiques menée dans le cadre de la modernisation de l’action publique. SGMAP. http://www.modernisation.gouv.fr/laction-publique-se-transforme/ en-evaluant-ses-politiques-publiques/levaluation-des-politiques-publiques-evaluee-a-son-tour La Pointeuse. (2015). L’évaluation engagée. Levin, K., Cashore, B., Bernstein, S., & Auld, G. (2012). Overcoming the tragedy of super wicked problems : Constraining our future selves to ameliorate global climate change. Policy Sciences, 45(2), 123-152. https://doi.org/10.1007/s11077-012-9151-0 Lewis, J. M. (2020). The limits of policy labs : Characteristics, opportunities and constraints. Policy Design and Practice, 1-10. https://doi.org/10.1080/2 5741292.2020.1859077 Lewis, J. M., McGann, M., & Blomkamp, E. (2020). When design meets power: Design thinking, public sector innovation and the politics of policymaking. Policy & Politics, 48(1), 111-130. https://doi.org/10.1 332/030557319X15579230420081 Mathison, S. (2018). Does Evaluation Contribute to the Public Good? Evaluation, 24(1), 113-119. Matyjasik, N. (2013). Des évaluations de politiques publiques et des consultants. Émergence d’un champ professionnel et segmentation des rôles. Revue française d’administration publique, 4, 907-921. Monnier, É. (2001). État des pratiques d’évaluation dans les pays européens. In C. de Visscher & F. Varone (Éds.), Evaluer les politiques publiques : Regards croisés sur la Belgique. Academia-Bruylant. SFE. (2006). Charte de l’évaluation des politiques publiques et des programmes publics. http://www. sfe-asso.fr/sites/default/files/sfe-plaquette-charte. pdf Silvent, F., Dureau, G., & Guillaume, H. (2002). Gestion publique. L’État et la performance. Presses de Sciences Po et Editions Dalloz. http://www. editions-dalloz.fr/gestion-publique-l-etat-et-la-performance.html Vincent, S. (2023, juin 20). Et si, après tout, l’évaluation c’était cool ? La 27e Région. https://www.la27eregion.fr/et-si-apres-tout-levaluation-cetait-cool/ Viveret, P. (1989). L’évaluation des politiques et des actions publiques; Propositions en vue de l’évaluation du revenu minimum d’insertion : Rapports au Premier Ministre. https://jean-jaures.org/sites/default/files/redac/commun/1989_rapport_viveret.pdf Weller, J.-M., & Pallez, F. (2017). Les formes d’innovation publique par le design : Un essai de cartographie. Sciences du Design, n° 5(1), 32-51. Wildavski, A. (1979). Speaking Truth to Power. The Art and Craft of Policy Analysis (Transaction Publishers). CHAPITRE I CHAPITRE I L’évaluation vue par le design : pourquoi on y pense, comment on la faIT soimême, est-ce forcément de l’évaluation ? éVALUATION VS DESIGN DE SERVICE [l’instant illustration] Evaluation Vs. Design de service Evaluation Vs. Design de service Clément Lacouette-Fougère « 22 « » J’ai l’impression de faire de l’évaluation, mais cheap, parce que je n’ai pas tous les outils. UNE DESIGNER [l’instant citation] 23 30 « AVEZ-VOUS DÉJÀ PRATIQUÉ DE L’ÉVALUATION BY DESIGN DE FAÇON MÉTHODIQUE, Y A-T-IL DES DEMANDES OU DES PROPOSITIONS EN CE SENS ? » Nicolas Subileau : Déjà la forme de la question est très design ! Je pense que je suis un peu comme Monsieur Jourdain. Si on appelle ainsi une évaluation qui intègrerait des dimensions de design, alors j’ai déjà pratiqué l’évaluation by design, mais sans trop le savoir et pas nécessairement de façon méthodique. En effet, les écrits et manuels d’évaluation des politiques publiques recommandent très fortement de démarrer une évaluation par l’analyse des parties prenantes pour notamment se poser la question de la place des différents acteurs dans le processus d’évaluation ainsi que dans la collecte et l’analyse de l’information. Cela amène nécessairement à se poser la question des méthodes et approches à utiliser pour associer au mieux les usagers et bénéficiaires. Très souvent, nous les évaluateurs restons sur des approches assez « classiques » des sciences sociales et de gestion de projet pour collecter l’information (entretiens, questionnaires, focus groups…), d’une part, et pour conduire/piloter les exercices d’évaluation (comités de pilotage plus ou moins élargis, groupes techniques…), d’autre part. Cependant, il nous arrive de mobiliser d’autres outils et adopter d’autres postures plus impliquantes et innovantes dans les exercices pour mieux prendre en compte les contextes et attentes : diagnostic en marchant, observation participante, sprint créatif, cartographie de processus, personas… « QUELS PEUVENT ÊTRE LES APPORTS DU DESIGN AUX PRATIQUES D’ÉVALUATION ? » Nicolas Subileau : Je suis convaincu que le design peut apporter, et apporte déjà, des contributions significatives aux pratiques d’évaluation des poliChristian Paul, maire de Lormes Grégoire Alix-Tabeling, designer, Vraiment Vraiment Nicolas Subileau, Professeur associé, Sciences Po Lyon et consultant en évaluation des politiques publiques et prospective Une évaluation by design, Un design intégrant l’évaluation ? Dialogue entre praticiens de l’évaluation, du design et de l’innovation publique Entretien réalisé le vendredi 28 juin 2024. Les échanges ont été édités et complétés par souci de clarté et de concision. 31 tiques publiques en introduisant des approches centrées sur l’utilisateur, en favorisant la créativité dans la résolution de problèmes et en promouvant une compréhension plus holistique des contextes d’intervention. Je trouve notamment intéressants les outils du design (cartographies de processus, prototypage, tests utilisateurs) qui offrent de nouvelles manières de capter et visualiser les effets des politiques, en se concentrant sur les retours en temps réel notamment. Enfin, un apport très important selon moi est de permettre aux évaluations, au moment de travailler sur les recommandations, de sortir du sillon tracé par le passé. Sur ce point, je suis convaincu que les méthodes et approches issues du design peuvent permettre d’expérimenter et d’adapter des solutions en cours de mise en œuvre, facilitant une évaluation formative et continue qui s’adapte aux changements de contexte. Cette capacité à itérer rapidement peut aider les décideurs à ajuster les politiques et à évaluer l’impact de petites modifications avant de les généraliser, notamment. Cependant, il me semble important de souligner que de nombreux acteurs ont cherché à innover et ont adopté des pratiques très diversifiées dans la manière de conduire des démarches d’évaluation depuis son développement en France au début des années 90. Par exemple, des démarches d’évaluation participatives ont été initiées dès cette époque. C’est bien dans cette dynamique que le design peut être une richesse et un apport. Au final, le design peut selon moi enrichir des pratiques d’évaluation des politiques publiques, déjà riches et diversifiées, en les rendant plus centrées sur les besoins des usagers, plus visuelles, participatives et adaptatives, tout en ouvrant la voie à l’innovation dans la manière de concevoir et d’interpréter les résultats d’évaluation. Grégoire : Le design a aussi le pouvoir d’aller repérer ce qui n’est pas ciblé au départ. Les externalités positives, ou les effets rebonds sont à prendre en compte. Le design peut-être très utile pour les rendre visibles et évaluables. « PERCEVEZ-VOUS UNE DEMANDE CROISSANTE DE LA PUISSANCE PUBLIQUE D’INTÉGRER UNE DÉMARCHE D’ÉVALUATION DANS DES EXERCICES DE DESIGN DE SERVICES / POLITIQUE PUBLIQUE ? » Nicolas : En tant que consultant, j’ai vu apparaître, ces derniers mois, des appels d’offre publics formulant une demande explicite d’intégration d’une démarche d’évaluation dans des exercices de design de services ou de politiques publiques. Des équipes spécialisées en design nous ont également sollicité pour intégrer des équipes sur notre expertise en évaluation. Je pense que le design vit ce que l’évaluation a vécu suite à son développement au début des années 1990, quand certaines administrations ont lancé des exercices de méta-évaluation afin de faire l’évaluation de l’évaluation ! Il me semble assez naturel et légitime de s’interroger sur ce que produisent les exercices de design sur le court et moyen terme dans la fabrique des politiques publiques et dans les réponses apportées aux usagers et citoyens. Ces évaluations peuvent être apprenantes et également aider à la décision. 32 Christian : Parmi les difficultés à évaluer la contribution du design, il y a d’abord l’aspect éphémère de la contribution quand les designers en mission doivent partir du terrain avant même la mise en œuvre du projet. Encore faut-il que l’on ait impliqué sur le chantier de véritables designers, formés et qualifiés. Le design washing a fait des ravages. Il existe beaucoup d’exemples du fait que les designers considèrent que le travail se clôt après leur intervention, que la mise en œuvre appartient aux administrations, aux élu·es. Or, il pourrait y avoir un droit (un devoir ?) de suite. Dans ce cas, l’évaluation, l’étude d’impact trouve sa place. Le design pousse à la mobilisation, à aller de l’avant, à l’intelligence collective ; et l’évaluation du design n’est pas du tout conceptualisée, d’autant plus qu’il y a dans cette discipline « jeune » (au moins pour l’action publique) de l’inhibition face à l’évaluation. Parfois les clients publics eux-mêmes la redoutent. « COMMENT LES DESIGNERS PEUVENT-ILS OU ELLES RÉPONDRE À LA DEMANDE, VOIRE À L’INJONCTION À L’ÉVALUATION ? » Grégoire : Cette injonction d’intégrer l’évaluation dans les démarches de design et le design dans les démarches d’évaluation est tout à fait pertinente. Concernant l’évaluation des démarches de design, nous n’en demandons pas moins. En effet, le design est en pleine transformation. Ce qui était autrefois une pratique confidentielle et subversive, parfois perçue comme un antidote au conseil traditionnel, cherche aujourd’hui à se généraliser dans le secteur public, tout comme à étendre les fruits des démarches qu’il a portées. Pour cela, nous devons prouver, à grande échelle, les bénéfices que nous avons observés sur des projets à petite échelle. Deux obstacles se dressent sur ce chemin. Le premier est que nous travaillons par petites touches en fonction des commandes (par exemple l’accueil d’un service, sur un territoire donné). Le second est qu’une fois déployé le dispositif sur lequel nous avons travaillé, nous ne sommes souvent plus impliqués dans la mission, et nous n’avons même plus accès aux données. Il nous est donc impossible d’évaluer le dispositif ou la politique publique sur laquelle nous avons travaillé. Pourtant, nous n’attendons que cela. Mais nous ne pouvons pas le faire sans la collaboration avec nos donneurs d’ordres. Nous faisons donc appel aux commanditaires de missions de design de services : accordez une place conséquente à l’évaluation dans toute démarche de design. Ce sera le moyen de prouver que les designers contribuent non seulement à rendre l’action publique plus désirable, mais également plus efficace. C’est donc aussi une requête que nous adressons à nos commanditaires ! « QUELS ENSEIGNEMENTS PEUTON DÉGAGER SUR L’ARTICULATION ENTRE UNE DÉMARCHE DE DESIGN ET UNE DÉMARCHE D’ÉVALUATION ? » Christian : Démarche d’évaluation et recours au design sont des interventions complémentaires, coopératives, et non concurrentes. Les deux peuvent servir un projet, mais ici, surtout sa poursuite, son renouvellement ou sa reconduction. La première nait des sciences sociales, la seconde est un art créatif, parfois rebaptisée « science du projet. » L’alliance peut donc constituer, entre les 33 Les pratiques d’évaluation des designers intégrés en collectivités Une évaluation by design, Un design intégrant l’évaluation ? Dialogue entre praticiens de l’évaluation, du design et de l’innovation publique C. Paul, G. Alix-Tabeling, N. Subileau mains de professionnels complices, un alliage puissant. Ce sont des métiers différents. Les designers sont formés en cinq ans le plus souvent. Si des méthodes inspirées du design sont utilisées par des non-designers dans le cadre de démarches d’évaluation, il importe de faire la clarté sur les compétences à l’œuvre. Cela dit, évaluation et design peuvent faire appel à des pratiques proches, de l’enquête à l’atelier participatif, une sorte de tronc commun méthodologique. « L’évaluation ne se pense bien qu’à partir des usages qu’on en attend !», affirme justement Stéphane Vincent1. Stratégie, pilotage, dialogue, amélioration en continu… L’apport du design sur un process de cette nature sera d’être à l’écoute des usagers de l’évaluation : financeurs, managers et agents publics, élu·es… Il lui appartient non pas d’évaluer « en doublon », mais de s’assurer que la démarche d’évaluation répond aux besoins de tous, qu’elle n’est pas une mesure routinière et sans lendemain, à l’heure du gouvernement par les nombres. Nicolas : Il me semble important de souligner qu’il existe plein de formes d’évaluations. Tout n’est pas quanti ou chiffres. Il y a beaucoup d’expériences, notamment sur le champ de la participation ou sur des évaluations embarquées sur des démarches d’expérimentation. Le monde du design manque peut-être de visibilité sur ce qui relève des méthodes collaboratives et qualitatives qui sont mobilisées sur des exercices évaluatifs. […] « QUELS SERAIENT LES APPORTS ET LIMITES D’UNE ÉVALUATION D’UNE DÉMARCHE DE DESIGN ? » Nicolas : Je me suis interrogé sur les spécificités d’une évaluation d’une démarche de design. Je liste simplement 3 points qui me viennent à l’esprit mais qui mériteraient chacun d’être développés… et, bien entendu, qui ne sont pas exhaustifs : • La nature itérative et évolutive du processus d’expérimentation implique une démarche d’évaluation continue, intégrée et flexible pour s’adapter aux changements et ajustements constants qui sont propres aux démarches de design • L’ambition d’une implication importante des parties prenantes dans les démarches de design doit nécessairement être prise en compte et avoir des répercussions sur les exercices d’évaluation qui doivent, eux aussi, être collaboratifs ou participatifs. • Des expérimentations apportant des innovations de différentes natures nécessitent d’adopter des questions et des approches évaluatives adaptées. Par exemple, évaluer comment la créativité a été encouragée et intégrée dans le processus de design. 1 Vincent, S. (2024). Innovation publique : Et si on « dépliait » l’évaluation ? Blog de la 27e Région, 17 juillet. https://www.la27eregion.fr/innovation-publique-et-si-on-depliait-levaluation/ 34 Christian : De même que le design peut muscler l’évaluation, la démarche d’évaluation n’est pas interdite pour le design. Il n’y a pas de tabou. Il est bien de vouloir et de pouvoir porter un jugement sur un programme public, sur sa valeur et sur la façon dont le design y a contribué. Mais il n’est pas simple de mesurer l’effet d’une démarche qualitative, créative, démocratique. Créer de la confiance, donner du pouvoir d’agir, de l’engagement pour la cité ou le service public, mobiliser du bénévolat, ce n’est pas aisé à transcrire sur Excel. Or, c’est souvent ce qu’on attend d’une démarche de design dans l’action publique, en plus de dessiner un espace, un service, une instance. L’évaluateur/rice, dans ce cadre, doit moins mesurer des écarts entre des objectifs de départ et les indicateurs à l’arrivée que de mettre en avant ce qui est mieux à la fin. Et souvent, en s’éloignant des objectifs initiaux sous la pression du monde réel, on obtient des résultats plus utiles pour les usager·es. C’est souvent l’apport du design, il faut l’analyser en continu. C’est donc une des zones de réinvention de l’évaluation, qui ne saurait nous satisfaire si elle privilégie les seuls indicateurs chiffrés. Pour réussir avec le design engagé dans la conception des politiques et des espaces publics, l’évaluation doit se reconnecter à toutes les réalités, la mobilisation, l’émotion, l’intelligence collective… Ici, pour le design, l’évaluation doit faire du sur-mesure, plutôt que du prêt-à-porter. Et comme tous ceux qui ont réfléchi à l’emploi croisé de l’évaluation et de du design pour transformer l’action publique2, nous conclurons à leur nécessaire hybridation. Une évaluation by design, Un design intégrant l’évaluation ? Dialogue entre praticiens de l’évaluation, du design et de l’innovation publique C. Paul, G. Alix-Tabeling, N. Subileau 2 Delahais, T., Gouache, C., & Vincent, S. (2019). Le design de l’action publique : Vers une hybridation entre culture design et culture de l’évaluation. Sciences du Design, n°10(2), 83. https://doi.org/10.3917/ sdd.010.0083 35 Un kit de rencontre design et évaluation Koaï Bouquet, Designer l’autre. Par exemple, l’évaluation aura pu être perçue par le/la designer comme étant complexe et rigide, et le design perçu à son tour par l’évaluateur/rice comme peu rigoureux et réalisant un travail de surface. Pour contrer ces perceptions, il a été nécessaire de clarifier les termes et les méthodes de chaque approche, afin de mettre en valeur leurs intérêts et leur pertinence respectives. Sur la base de trois ateliers de co-construction, j’ai donc élaboré un « kit de rencontre » afin de permettre aux membres d’une nouvelle équipe de designers et d’évaluateurs/trices de poser les bases d’une bonne collaboration. Cet outil propose une déconstruction des préjugés que peuvent avoir évaluateur/rice et designer sur leur discipline respective en ouvrant le dialogue, et de mettre en lumière les intérêts d’un travail commun. Tout cela vise à amorcer la collaboration avec une meilleure connaissance des qualités et du rôle de chacun.e. Ce kit se présente sous la forme d’un dossier numérique à télécharger puis à imprimer, contenant quatre outils ainsi qu’une notice d’utilisation. Voici ce que propose cette dernière : “Prévoir un temps d’une journée ou d’une demi-journée (entre designers et évaluateurs/trices) pour se rencontrer et faire équipe. Commencer par utiliComme le montrent Cécile Besombes et Alice Martin dans leur article (p. 26), des designers et des évaluateurs/ rices expérimentent d’ores et déjà des collaborations dans l’action publique. Pourtant, la première rencontre entre ces deux pratiques n’est pas toujours évidente, en raison de logiques disciplinaires différentes. J’ai pu explorer ces questionnements en 2023 à l’occasion d’une recherche de mémoire intitulée « Outiller la rencontre entre design et évaluation » 1. Cette recherche s’est inscrite dans un projet de la Région Occitanie. L’objectif de ce projet était de mieux évaluer l’action régionale, en enrichissant les travaux d’évaluation via des approches qualitatives innovantes. Sous l’impulsion de la Direction Générale, une « évaluation centrée usager » a ainsi été expérimentée. L’évaluation de l’appel à projets « Génération Santé » a été un premier terrain de jeu pour évaluer un dispositif régional et tester la complémentarité entre le design et l’évaluation. Elle a réuni une équipe pluridisciplinaire, composée notamment de designers, d’une chargée d’évaluation et d’un chargé de projet, dont la mission commune a été d’accompagner les agents en charge du dispositif. Au fil du projet, l’équipe a pu constater la complémentarité des disciplines et la nécessité de travailler ensemble, mais également des difficultés de mise en œuvre. Ces dernières portaient sur des différences de postures, d’approches mais aussi de méthodes, amenant parfois à se confronter l’un·e à 1 Bouquet, K. (2024). Nîmes Université. En effet, un temps d’apprivoisement est nécessaire pour travailler ensemble. 36 Ce kit a été testé en janvier 2025 lors du séminaire annuel du master « Évaluation et pilotage des politiques publiques : l’amélioration de l’impact de l’évaluation et du design de politiques publiques par l’hybridation des deux démarches ». Ce test a mis en lumière la nécessité d’apprendre à se connaître pour être en mesure de travailler ensemble sans se faire de l’ombre. Mais aussi l’importance de constituer une équipe d’un nombre proportionnel de designers et d’évaluateurs/rices, de sorte à ne pas créer un rapport de force de l’un.e sur l’autre. Il est disponible gratuitement et sous licence Creative Commons CC-by-nc-sa 4.0 sur le site du Lab de la Région Occitanie2. ser le jeu d’interconnaissance « Design et évaluation faisons connaissance ! » au moment du café. Suivre les indications présentes dans le jeu de cartes. Faire une partie plus ou moins courte en fonction du temps disponible. Ensuite, sortir le poster «les bases de la collaboration ». Prendre connaissance ensemble du poster déjà rempli, en discuter, et établir ses propres bases ainsi que les points importants de chaque discipline sur la fiche « notre collaboration ». Enfin, prendre un temps pour remplir la frise « établir les prochaines étapes », pour commencer à réfléchir à la forme que prendra le projet, les méthodes à utiliser, le rôle de chacun, les dates, etc.” K. Bouquet Un kit de rencontre design et évaluation 2 Lab’ de la Région Occitanie : https://lelab.laregion.fr/Les-outils-sous-licence-creative-commons 37 K. Bouquet [l’instant illustration] kit de rencontre design et évaluation THOMAS DELAHAIS "LES ÉVALUATEURS AIMENT AVOIR UNE COMPRÉHENSION HOLISTIQUE DE L'ACTION PUBLIQUE, LES DESIGNERS S'ACCOMmODENT ASSEZ BIEN DE L'INTUITION." [l’instant citation] 38 FRANÇOIS JÉGOU "LES DESIGNERS SONT ASSEZ À L'AISE AVEC LE MYSTÈRE, LE FLOU... LES ÉVALUATEURS EUX, BEAUCOUP MOINS." [l’instant citation] 39 46 de notre laboratoire à leurs collègues proches, même autour d’un café ou en déjeunant. Face à ce constat, depuis 2023, nous complétons nos appuis longs avec des appuis plus ponctuels (déblogage de projet, appui à la conception d’atelier, conception d’outils sur mesure, acculturation flash à l’intelligence collective et au design) pour toucher plus d’équipes, de manière continue et régulière, et rester impactant tout en limitant notre investissement en temps. Ces accompagnements flash viennent compléter les accompagnements plus structurants que nous menons sur des durées de 6 mois à 1 an. LA DIFFICULTÉ À AMENER DES INNOVATIONS DE RUPTURE Dernier élément d’interrogation, les agents qui participent à nos actions ont souvent des profils techniques très marqués. Professionnellement, ils sont très disciplinés : en atelier, ils sont donc coopératifs pour « jouer le jeu » et faire un pas de côté, et ils acceptent volontiers les aspects ludiques de l’approche design (couper, dessiner, réaliser des prototypes…). Il faut cependant que les outils que nous mobilisons restent proches de leur sphère de compétence. Dès que notre approche est un peu plus éloignée, que le lien est plus flou entre le sujet de départ et les objets à produire, les évaluations sont moins bonnes. L’innovation de rupture est néanmoins possible, mais cela nécessite de la part du laboratoire un accompagnement et une mise en scène encore plus cadrée pour bien faire comprendre en amont les tenants et les aboutissants des exercices proposés. Un des risques pour le laboratoire serait de chercher à satisfaire les participants pour avoir de bonnes évaluations en sortie d’atelier et, au final, de faire émerger peu de matériaux innovants et catalyseurs aux projets. CONCLUSION L’évaluation de la fabrique à projets, telle qu’elle a été conduite depuis plusieurs années, a montré que l’accompagnement de la fabrique était souvent comme une « parenthèse enchantée » par les services du ministère : un moment agréable, utile pour générer des idées nouvelles, mais pas toujours compris par les parties prenantes et trop éphémère pour engendrer des transformations profondes. Pour remédier à cela, nous avons développé dès 2023 des accompagnements « flash », mais nous avons aussi voulu approfondir nos soutiens. Initialement, l’équipe de la fabrique était composée d’agents publics sans formation académique en design. Nos accompagnements pouvaient s’avérer ainsi limités par nos compétences propres sur certains aspects (exploration et enquête, conceptualisation/ prototypage, utilisation d’outils graphiques). Le recrutement de designers professionnels a permis à la fabrique de franchir un cap décisif, d’envisager plus systématiquement une phase d’exploration plus poussée et, nous l’espérons, de mieux appuyer dans un futur proche les équipes accompagnées dans les phases de prototypage de solutions – et passer ainsi d’une parenthèse à des pratiques mieux diffusées au sein du pôle ministériel. A. Pariente, E. Riclet L’évaluation pour faire évoluer la pratique du design dans l’administration ? 47 UNE EXPERIMENTATION MOBILISANT LE DESIGN SOCIAL ET L’EVALUATION Soutenue par la Caisse Nationale Solidarité et Autonomie (CNSA), le réseau associatif UNAPEI a porté en 2022 et 2023 un projet original et ambitieux visant à renforcer le pouvoir d’agir chez les publics jeunes présentant une déficience intellectuelle dans un service d’éducation spéciale (SESSAD) à La Rochelle. En mettant un groupe de jeunes « ambassadeurs » du SESSAD en situation de choix sur des dimensions liées à leur vie quotidienne dans la structure et sans influence externe excessive, l’expérimentation visait à développer concrètement les concepts d’autodétermination et d’autoreprésentation, entendus comme la capacité des personnes en situation de handicap à devenir ce qu’elles ont envie d’être et à participer à la société en tant que citoyen. Pour cela, le projet s’est appuyé sur la méthode du design social1 afin de concevoir et tester un dispositif de participation des jeunes au fonctionnement du service. Conformément au cahier des charges de la CNSA, une évaluation « embarquée » du projet a été confiée à un tiers indépendant pour apprécier les résultats de l’expérimentation et en valoriser les enseignements en vue d’un éventuel essaimage. Parmi les questions qui structuraient l’évaluation, l’une portait sur le caractère reproductible du projet et plus spécifiquement l’apport du design social pour mener à bien ce type d’actions. Pour y répondre, l’évaluation a été calée sur plusieurs temps forts de la démarche, soit par de l’observation directe du travail des designeuses, soit par l’analyse de leurs compte rendus et productions (rapport d’immersions, bilan des sessions de formations, questionnaires de test…). Sur les deux années qu’a duré sa mise en œuvre, le projet s’est concrétisé par la mobilisation active d’un noyau dur de 7 jeunes, accompagnés par un binôme de professionnel·les. Il a abouti à la promotion d’une idée en lien avec la gouvernance du service : celle de fournir aux jeunes un lieu dédié leur permettant de se réunir sans les éducateurs et éducatrices. À partir de cette expérience originale dans sa conception comme dans son déploiement, nous souhaitons revenir, dans cette contribution, sur la façon dont a pu être évaluée, à travers le projet, la démarche de design social. UNE DEMARCHE DE DESIGN ADAPTEE AUX JEUNES EN SITUATION DE HANDICAP MENTAL Au démarrage du projet, les principes et méthodes du design social constituaient une énigme pour les porteurs. L’équipe a eu le souci d’adapter son approche au secteur du handicap : Emma Keirle, Designeuse, Open Communities Clément Lacouette-Fougère, Evaluateur de politiques publiques, Sciences Po Évaluer le design social, c’est possible ? Retour sur une expérimentation dans le champ du handicap mental 1 Pour la CNSA, le design social « consiste à élaborer collectivement une organisation, un environnement de soins, un service, un produit ou encore une application numérique ayant vocation à répondre à des besoins sociaux ». 48 un travail d’appropriation, fondé sur une revue de littérature et l’organisation d’un atelier de « design inclusif » a conduit à mettre de côté des outils habituels du design (par exemple la production de persona, les outils numériques ou des phases plus accélérées comme les (« sprints créatifs ») et à privilégier les supports ludiques, le recours aux images et au photolangage, les prototypes simples d’utilisation à partir d’objets concrets. Les interactions avec les jeunes ont été construites autour de leurs références partagées, notamment leurs goûts musicaux. LES IMMERSIONS Les designeuses se sont ensuite immergées dans le quotidien du SESSAD. En dépit de réticences initiales des professionnelles accompagnant les jeunes à voir leur travail « observé », voire « contrôlé », ces immersions se sont déroulées dans un climat de confiance. La posture et le professionnalisme des designeuses qui ont su faire preuve de patience, adopter une position adaptée et gagner la confiance des équipes comme des jeunes, ont été des atouts dans cette séquence. Les immersions ont mis en avant plusieurs points importants pour la bonne mise en œuvre du projet tels que la nécessité d’être concret et de proposer des « preuves » tangibles (objets, supports, rendus...), la prise en compte des perturbations occasionnées par la présence des familles dans les interactions avec les jeunes et le besoin d’adapter le langage en abandonnant par exemple le champ lexical du « travail ». Elles ont également permis d’approfondir la compréhension des leviers mobilisables pour favoriser la participation des jeunes au fonctionnement du service, en prenant en compte la perception et le vécu des jeunes ainsi que les routines de fonctionnement du service et les habitudes des jeunes. LES ATELIERS D’IDÉATION ET LE PROTOTYPAGE DES SOLUTIONS Quatre ateliers d’idéation ont ensuite été organisés avec des jeunes volontaires. Ces ateliers ont permis d’imaginer collectivement des solutions pour renforcer la participation des jeunes au fonctionnement du service, les prioriser puis d’organiser la concertation autour d’un premier prototypage. L’organisation et l’animation d’ateliers créatifs représentaient un défi important s’agissant de publics jeunes en situation de handicap. Le travail en amont, le recours au photolangage et la multiplication des techniques d’ice breaking (par exemple en faisant des références aux artistes que connaissaient les jeunes) se sont avérés des leviers précieux pour déclencher le travail. L’effet de groupe a aussi joué un rôle important : il a permis de souder un petit groupe de 7 ambassadeurs et ambassadrices, qui a réuni les personnes les plus actives dans le projet. Les deux éducatrices sont aussi restées très guidantes tout au long de cette démarche de co-construction. Ces ateliers ont abouti à la conception de 7 objets formant un parcours de participation des jeunes. Ces objets ont ensuite été testés par les éducatrices qui ont renseigné chemin faisant un livret d’évaluation permettant d’apprécier l’adéquation des objets à leurs usages et de proposer des pistes d’amélioration. Il a également donné lieu à une mise en situation avec les jeunes, qui a permis de les faire « manipuler » les objets. En « jouant à la marchande », les jeunes ont pu donner leur avis sur la qualité et l’utilité des objets et formuler des propositions pour les améliorer. À l’issue de ce dernier atelier, aucun objet n’a été supprimé ou ajouté dans le parcours, mais plusieurs ont évolué vers une plus grande adéquation avec leurs usages projetés. 49 DÉPLOIEMENT Ce parcours comprenant ateliers d’idéation puis prototypage de solutions a été itéré à plusieurs reprises. La première cohorte d’ambassadeurs a identifié plusieurs idées par les jeunes. Ces idées étaient d’ordre très divers – et parfois éloignées des enjeux de fonctionnement du SESSAD – mais correspondaient bien aux envies et convictions des jeunes de leur génération : « aller en boîte de nuit », « repeindre le SESSAD », « déconnecter les jeunes des écrans », « avoir une PS4 », « arrêter de polluer la planète » ... Finalement, le processus de vote a permis de sélectionner une idée commune au groupe : « être au SESSAD sans éducateurs pour se retrouver ». Cette idée a été justifiée par le besoin de liberté et d’autonomie des jeunes mais aussi leur attachement au service. Une fois approuvée et acceptée par l’ensemble du groupe d’ambassadeurs, cette idée a été restituée à l’équipe de direction du SESSAD et au conseil d’administration (CA). Cette présentation était génératrice de stress pour les jeunes. Pour les préparer, les éducatrices ont répété avec les jeunes en utilisant des masques représentant les visages des interlocuteurs et interlocutrices de la direction et du CA. Les jeunes ont pu prendre confiance en eux et ainsi présenter avec fierté leur proposition. Celle-ci a été accueillie positivement par le CA et la direction. Cependant, cette dernière a rapidement fait savoir qu’il ne lui était pas possible juridiquement, de confier les clés d’un local du SESSAD aux jeunes. Cette explication détaillée aux jeunes n’a pas suscité de frustration et a pu être considérée comme formatrice à certains égards : elle a entrainé la poursuite du dialogue entre les jeunes et la direction dans la recherche d’une solution de remplacement, en se tournant vvers un autre lieu d’accueil comme un centre social. ENTRE PERTINENCE DU DESIGN SOCIAL ET EXIGENCE DES CONDITIONS DE REPRODUCTIBILITE Parce qu’elle a permis de rendre tangibles des concepts d’auto-représentation et d’auto-détermination habituellement difficiles à appréhender, la démarche de design social a été pertinente pour accompagner l’encapacitation des jeunes du SESSAD. La désignation formelle d’ambassadeurs, les mises en situation autour d’actions de la vie quotidienne ou de restitution à des grands groupes tout comme la co-production d’outils structurants ont contribué à développer les capacités d’attention, d’abstraction et de généralisation des jeunes. Au-delà de leurs compétences techniques (observation, visualisation, maquettage), le succès de la mise en œuvre a reposé sur les compétences transversales des designeuses : la pédagogie, le souci d’amélioration continue et la posture d’accompagnement. Ce succès doit aussi beaucoup aux pratiques des éducatrices qui appliquaient déjà des méthodes agiles d’animation et disposaient d’un sens de l’observation et de la créativité. C. Lacouette-Fougère, E. Keirle Évaluer le design social, c’est possible ? Si donc l’évaluation montre que les démarches de design social sont possibles dans le champ du handicap, elle donne aussi des clés pour comprendre pourquoi elles sont au final rares et peu reproductibles. 50 C. Lacouette-Fougère, E. Keirle Évaluer le design social, c’est possible ? du projet. Une première hypothèse, optimiste, insiste sur le niveau initial des jeunes et le degré d’exigence initial du projet et montre, par un raisonnement a fortiori, que si le projet a marché pour ce type de public il pourra marcher à plus forte raison pour des publics en institution, plus autonome ou ayant déjà des pratiques d’auto-détermination et d’auto-représentation. Une seconde hypothèse, plus pessimiste, couple les apports du projet au contexte dans lequel il a été déployé et met en garde contre une probable dissipation des effets positifs du projet dès lors que les jeunes seraient amenés à quitter cet environnement favorable. Loin de remettre en question le bien fondé et l’apport du design social dans le projet, ces conclusions doivent permettre d’ouvrir la discussion sur les conditions à réunir pour la généralisation de ce type d’apport, et de s’interroger sur les gains d’efficience dans le développement de telles méthode. Le projet, fortement construit autour de l’apport du design social dans un contexte et sur un sujet complexe, doit être considéré comme un « démonstrateur ». Sa conception et sa mise ont en effet reposé sur des ressources humaines et techniques importantes, qui ne sont pas la norme dans le champ médico-social. Le temps dédié au projet et le temps long de la démarche paraissent aussi difficiles à reproduire dans le fonctionnement ordinaire de ce type de service spécialisé. La démarche s’est d’abord avérée chronophage, nécessitant deux fois plus de temps d’intervention par les designeuses par rapport à ce qui était initialement prévu. Le caractère plus itératif que prévu du projet et la nature « diffuse » du public a nécessité de nombreuses répétitions afin de limiter les discontinuités et de faciliter la réminiscence des étapes du projet par les jeunes. Ensuite, la multiplication des outils créés ainsi que le résultat final de l’expérimentation interrogent aussi l’efficience du recours au design. Le nombre important d’objets produits et testés, au cœur de la démarche de design, a été source de complexité et de confusion pour les jeunes. L’expérimentation illustre ainsi l’équilibre délicat à trouver entre l’innovation et la créativité du design et la réalité des capacités d’appropriation des utilisateurs/rices, a fortiori dans les contextes où les designers sont sommés d’apporter la preuve de leur utilité. L’absence de concrétisation de l’idée finale présentée par les jeunes (disposer d’un lieu à eux et en détenir les clés) souligne, enfin, le caractère non totalement abouti du parcours imaginé. Certes cette idée s’est heurtée à des freins règlementaires, mais cette difficulté à convertir l’idée en action contribue à affaiblir la portée transformatrice de la démarche de design social appliquée à un univers institutionnel particulièrement cadré. Au bout du compte, l’évaluation de la démarche ne peut qu’émettre des hypothèses sur la reproductibilité Design et évaluation, une méthode en alliance A partir du retour d’expérimentation mise en oeuvre pour l’UNAPEI croisant le design social et l’évaluation, la proposition graphique ci-après donne à voir ce qui pourrait constituer des méthodes en alliance de ces deux démarches. Sont uniquement représentés dans ce schéma les étapes pouvant utilement croiser le design et l’évaluation dans un projet complexe. [l’instant illustration] C. Lacouette-Fougère, E. Keirle 52 LES OBJETS DE L’EXPÉRIMENTATION [l’instant illustration] C. Lacouette-Fougère, E. Keirle [l’instant illustration] Le designer sera satisfait s’il constate que le manche du marteau qu’il a créé est ergonomique et qu’il permet ainsi de planter un clou sans effort. L’évaluateur vous dira que d’autres y voient un outil parfait pour briser des vitrines. [l’instant citation] UN ENSEMBLE DE PERSONNES ÉCLAIRÉES 54 55 d’accueil physique. En décembre 2022, le projet connaît un nouveau départ sous l’impulsion de Benoit Vallauri et Elise Després, alors respectivement directeur et directrice adjointe du Ti Lab. L’équipe projet de l’Accueillette s’entoure alors d’une équipe cœur3, c’est-à-dire un groupe de professionnel·les travaillant dans différentes structures accueillant du public pour co-concevoir une seconde version au format numérique du prototype précédemment testé. Ce groupe cœur doit permettre à l’équipe projet de mieux comprendre les besoins, les attentes, les futurs usages de l’outil mais aussi de le tester et d’améliorer sa nouvelle version numérique. L’ACCUEILLETTE AU SERVICE DU POUVOIR D’AGIR DES AGENT·E·S DE TERRAIN L’amélioration de l’accueil est rarement un axe de travail et de réflexion collective au sein d’un territoire et voir même, au sein d’une structure et repose sur des initiatives isolées et solitaires. Or, l’accueil est le premier point de contact avec le service public. Investir ce sujet pose donc la question de la relation souhaitée avec les usager.eres-citoyen.nes, mais aussi celle de la prise en compte INTRODUCTION Créé en 2017, le Ti Lab est le laboratoire d’innovation dans les politiques publiques porté par la Région et la Préfecture de Bretagne. Au travers de ses projets, de son équipe, de ses collaborateur·rices et complices, le Ti Lab vise à transformer l’action publique en partant des besoins des territoires. En juin 2020 s’achevait en son sein l’écriture de Zone à inventer : Recettes publiques pour un accueil qui dépasse les bornes, la documentation d’une expérimentation menée en 2018-2019 dans le cadre du projet de Recherche-Action LabAccès1, « Accès aux droits et lutte contre le non-recours dans un contexte de dématérialisation ». Cet ouvrage aborde le sujet de l’accueil avec un regard à 360°: posture, aménagement, encapacitation des usager·es-citoyen·nes, etc. En plus des articles, il propose des outils, dont la grille des « 100 points à vérifier pour un accueil physique attentionné »2. De cet outil est née L’Accueillette : une démarche expérimentale permettant à des professionnel·les de terrain de réaliser un autodiagnostic, en se positionnant du point de vue de l’usager·e-citoyen·ne, sur leur(s) lieu(x) Clara Herbert, designeuse, Ti Lab Sabine Zadrozynski, designeuse indépendante Pauline Algier, évaluatrice de politiques publiques, Quadrant Conseil Ceci n’est pas un outil d’évaluation LE CAS CONCRET DE L’ACCUEILLETTE 1 labacces.fr 2 Outil inspiré par le travail de Nicolas Beudon sur l’expérience utilisateur en bibliothèque. 3 L’équipe cœur réunit : un Espace France Service, un centre social, un centre médico-social, une bibliothèque, un centre de documentation interne, une association de médiation et une association qui œuvre pour l’accès aux droits en territoire rural. 62 QU’EST-CE QUE L’ÉVALUATION ÉVOLUTIVE ? En bref, l’EE est une approche d’évaluation qui vise avant tout à être utile aux innovateurs et aux innovatrices3. Elle s’applique à deux domaines distincts : 1. soutenir l’exploration et l’innovation avant qu’il n’y ait un modèle stable d’intervention à améliorer et à tester ; 2. soutenir l’apprentissage dans des situations dynamiques, quand l’objectif est de continuer à expérimenter, à innover et à s’adapter, et où l’évaluation est là pour soutenir les décisions en temps réel vis-à-vis de ce qui est en train de se produire. L’évaluation évolutive est particulièrement adaptée aux contextes complexes, ambigus, incertains et en évolution rapide, où les évaluateurs/rices travaillent aux côtés des innovateurs/ rices sociaux/les pour créer, tester et adapter des innovations prometteuses par le biais de cycles d’expérimentation et d’apprentissage. Plutôt que de juger de la valeur, de la preuve ou de l’impact final et des résultats d’une intervention, l’EE pose la question suivante: qu’est-ce qui est en train d’émerger? Pourquoi est-ce important ? Qu’apprenons-nous sur l’intervention dans ce système complexe ? Quelles sont les options pour la prochaine itération, que pouvons-nous faire ensuite ? Qui doit être informé, dans quel but et à quel moment ?4 POURQUOI ET COMMENT NOUS AVONS UTILISÉ L’EE AU SLAB ? L’EE nous a fourni un processus rigoureux et structuré nous permettant d’agir, de réfléchir, d’apprendre et de réessayer en continu dans le cadre de nos efforts de transformation. Dans notre travail, nous utilisons de nombreuses théories et approches différentes en matière d’innovation sociale et de design systémique. Nous abordons des défis compliqués et complexes et nous collaborons avec différents types de parties prenantes – souvent en parallèle et en superposition. Les utilisateurs/rices et les utilisations des résultats de notre évaluation et de notre apprentissage ont varié d’un projet à l’autre et au fur et à mesure que le SLab se développait au fil du temps. Le rôle d’évaluateur/rice a toujours été tenu par une ou plusieurs personnes intégrées à l’équipe du SLab, qui avaient également d’autres responsabilités et/ou qui jouaient un rôle de recherche-action au sein de notre équipe. Cette approche était également financièrement avantageuse, compte tenu de notre budget limité. L’EE nous a également aidé·es à faire le récit de nos changements et de notre impact, ce qui constituait l’une des activités clés de notre théorie du changement. Dans notre contexte, il n’est pas courant de partager publiquement les résultats de projets et de processus comme ceux-ci. Cependant, le SLab partage souvent ses expériences avec les autres acteurs du secteur de l’innovation publique. D’ailleurs, nous avons pris l’engagement éthique de partager nos processus, nos pratiques et nos connaissances, car nous pensons qu’il s’agit là d’un rôle essentiel des innovateurs du secteur public. Nous le faisons par différents canaux, de façon 3 L’évaluation évolutive (developmental evaluation) et l’évaluation axée sur l’utilisation (utilization-focused evaluation) sont deux approches qui ont été proposées par Michael Q. Patton. Plus d’informations à propos de ces approches en français ici : https://www.editionsjfd.com/static/uploaded/Files/9782897993016_v18_int.pdf#page=170 4 Gamble, J.A.A., McKegg, K., & Cabaj, M. 2021. A Developmental Evaluation Companion. McConnell Family Foundation. https://mcconnellfoundation.ca/the-developmental-evaluation-companion-now-available/ De cette manière, le travail d’évaluation a été envisagé comme une activité systémique supplémentaire dans le cadre de notre travail d’innovation et non comme quelque chose de différent ou d’extérieur aux activités de SLab. 63 informelle et non conventionnelle. Cela garantit que les enseignements de nos travaux peuvent être diffusés au-delà de nos contextes spécifiques et aide le secteur à mieux faire son travail, ensemble. Dans cet esprit, nous partageons quelques-unes des façons dont l’EE a été utilisée par le SLab à travers deux brefs exemples. L’ÉVALUATION ÉVOLUTIVE EN TANT QU’APPROCHE POUR DONNER DU SENS DANS LE TRAVAIL DU SLAB La première itération de SLab s’est déroulée d’avril 2017 à juin 2018 et s’est fortement appuyée sur une équipe de consultants externes. Nous nous sommes concentrés sur la conception et la mise en œuvre de quatre processus d’innovation séparés et limités dans le temps, s’appuyant chacun sur un groupe de 15 à 20 personnes composé d’agents de la Ville et de partenaires locaux pour travailler sur un défi complexe spécifique. En s’appuyant sur la théorie du changement qui émergeait de ces premières tentatives, L’EE a fait apparaître cinq réorientations possibles de notre approche : 1. passer de laboratoires individuels au développement d’une infrastructure d’innovation ; 2. passer de processus dirigés par des experts à une communauté de pratique ; 3. intégrer pleinement la décolonisation, l’inclusion et l’équité dans la manière dont l’innovation est comprise et pratiquée ; 4. passer d’une focalisation sur des questions et des défis de laboratoire isolés à une orientation de transformation plus large ; 5. passer d’un laboratoire dirigé par la Ville à une collaboration multipartenariale. Ces suggestions étaient en décalage avec ce qui se faisait par les LISP à cette époque5. À la fin de cette itération, il est également devenu évident que les ressources consacrées spécifiquement au SLab resteraient limitées et fluctuantes. Il était peu probable que la Ville investisse davantage dans ce travail, et il fallait donc penser différemment le laboratoire si l’on voulait accroître son impact et son influence et qu’il continue à exister. À ce stade, l’EE a joué un rôle essentiel dans la détermination de la contribution spécifique que le SLab pourrait apporter à l’innovation transformative dans notre contexte. SLab 2.0 a débuté à l’été 2018, s’appuyant sur l’évaluation de la première itération et les réorientations proposés pour : cristalliser une première théorie du changement, faire évoluer notre approche de la conception et de la mise en œuvre de processus d’innovation et enfin mettre en place des logiques d’apprentissage transformatif au sein d’une communauté de pratique (CdP), de façon à approfondir l’impact des actions engagées (scale deep)6. La CdP visait à renforcer les compétences et les capacités d’innovation de ses membres. Dans ce cadre, l’EE a soute5 City of Vancouver (2018). Navigating Complexity: The Journey of the City of Vancouver Solutions Lab (so far). https:// vancouver.ca/files/cov/navigating-complexity-solutions-lab.pdf 6 Cole, L., & Hagen, P. (2023). Scaling deep through transformative learning in public sector innovation labs – experiences from Vancouver and Auckland. Public Management Review, 26(7), 2094–2121. L. Cole Utiliser l’évaluation évolutive pour soutenir des cycles d’expérimentation-apprentissage dans le laboratoire de solutions de la ville de Vancouver 64 nu un processus continu visant à apprendre des actions menées et adapter notre approche d’approfondissement par l’apprentissage transformatif, en s’appuyant sur les quatre questions/ hypothèses suivantes : 1. Cette approche pourrait avoir des impacts plus durables, plus interconnectés et plus étendus que des expérimentations isolées, à court terme et dirigés par le seul SLab. 2. Les processus d’innovation menés et la CdP pourraient faire naître des réseaux d’acteurs. Les compétences, capacités et liens que ces acteurs tissent pourraient se poursuivre, s’étendre et se développer au-delà des limites du travail du SLab. 3. Le travail mené pourrait aboutir au développement d’un langage commun, d’une vision, d’une ambition pour l’innovation et d’une échelle pour accroître l’engagement des acteurs dans les processus d’innovation des LISP. 4. Les activités d’apprentissage transformatif engagées, et en particulier la CdP, pourraient aboutir au développement de relations pérennes entre les secteurs, transversales aux services et aux équipes, et cocréer des capacités plus fortes, ou des conditions favorables, pour leur travail d’innovation individuel et partagé. En 2022, nous avons rassemblé et partagé les idées générées par la démarche d’EE au cours de cette deuxième itération du SLab7, dont quelques-unes sont présentées ici. Nous avons utilisé l’EE pour nous aider à établir et à codifier les théories et les pratiques fondamentales de l’apprentissage transformatif qui fonctionnaient bien dans notre communauté de pratique. C’était important, car nous savons bien que les approches innovantes transformatives mettent du temps à porter leurs fruits, que ces effets ne sont pas linéaires et qu’il est impossible d’attribuer directement les impacts aux activités du SLab. Enfin, en passant du SLab 2.0 au SLab 3.0 (en cours actuellement), nous voulions devenir encore plus radicaux dans nos conceptions et nos pratiques d’innovation publique transformative. Nous y sommes parvenus, en partie, en nous inspirant beaucoup plus fortement des approches non occidentales du gouvernement/de la gouvernance dans notre compréhension et notre pratique de la transformation (par exemple, les approches décoloniales, anti-oppressives, antiracistes, féministes, queer et autres). En nous inspirant des méthodes de design, nous avons identifié cinq questions d’évaluation puissantes, inspirées par les thématiques les plus difficiles à faire évoluer lors de cette itération 2.0, dans le but de nourrir nos activités et notre apprentissage dans la version 3.0 : 1. Et si nous imaginions ce à quoi une innovation transformative, émergente et résurgente8 pourrait ressembler dans le secteur public ? 2. Et si nous mettions en œuvre une 7 City of Vancouver (2022). Tending to What We Want to Grow: Continuing on the Journey of Vancouver’s Solutions Lab. https://vancouver.ca/files/cov/tending-to-what-we-want-to-grow-solutions-lab.pdf L’EE nous a également aidé.es à identifier des signes de transformation aux niveaux des personnes, des organisations et des systèmes, à la fois dans les expérimentations engagées et dans la CdP. 65 distinct depuis 2019 sur ce sujet, avec à chaque fois des équipes différentes, des itérations dans la formulation de la question créative qui oriente le travail, ainsi que dans les processus utilisés pour y répondre. Le premier, appelé Grocery Retail Lab, portait sur la façon dont les épiceries pourraient influencer l’adoption à long terme de comportements qui élimineraient les déchets alimentaires évitables et contribueraient aux objectifs de la Ville en matière de zéro déchet. Il s’agit d’un domaine sur lequel la Ville n’a que très peu d’influence. Ce laboratoire était donc aussi une expérience visant à utiliser les moyens plus souples de la Ville en matière de mobilisation, de mise en réseau, de fourniture de ressources et d’échange d’informations pour relever ce défi. L’équipe engagée dans cette expérimentation était principalement composée de représentants d’épiceries de différentes tailles. Après chaque atelier, l’équipe a utilisé l’EE pour comprendre ce qui se passait et planifier la prochaine étape du proversion ambitieuse de l’innovation dans tout ce que nous faisons ? 3. Et si nous concevions notre travail et notre impact comme une façon d’approfondir notre impact (scaling deep) ? 4. Et si nous encouragions et aidions les gens à exploiter pleinement leur potentiel et à assumer la responsabilité de donner le meilleur d’euxmêmes, chaque jour ? 5. Et si nous axions nos pratiques d’innovation sur la réciprocité et l’épanouissement mutuel ?9 L’EE COMME PROCESSUS D’EXPÉRIMENTATION ET D’APPRENTISSAGE SUR DES SUJETS ET ACTIVITÉS D’INNOVATION SPÉCIFIQUES L’un des domaines de travail spécifiques du SLab a été le développement de la circularité et la réduction des déchets dans les systèmes alimentaires locaux. Nous en sommes aujourd’hui au troisième processus d’innovation 8 La résurgence est un concept complexe aux origines multiples, auquel il est impossible de rendre justice dans une note de bas de page. Je citerai ici le chercheur cherokee Jeff Corntassel comme point de départ. « La résurgence indigène consiste en fin de compte à se détourner de l’État pour s’engager plus pleinement dans les relations complexes entre la terre et l’eau, les langues indigènes et les pratiques culturelles qui revigorent les actes quotidiens de renouvellement et de régénération. La résurgence a une longue généalogie qui s’inspire des écrits antérieurs de Frantz Fanon, du chercheur sioux de Standing Rock Vine Deloria Jr, du chef Secwepemc George Manuel, de l’écrivain Sto:lo Lee Maracle, de la chercheuse maori Linda Tuhiwai Smith et de bien d’autres. Elle est enracinée dans les luttes contre-coloniales visant à revitaliser les langues, les arts tels que la sculpture et le tissage, les pêches et la récupération des terres. La résurgence est multiple et les jeunes indigènes la réinventent et la renouvellent en permanence par le biais de « Land Back » et d’autres mouvements centrés sur la communauté » (p.27-28). Corntassel, J. (2022). L’art de récupérer, de renommer et de réoccuper : Inspiring Everyday Acts of Resurgence (L’art de récupérer, renommer et réoccuper : inspirer des actes quotidiens de résurgence). Rooted : A Publication on Indigenous Law. Article disponible ici : https://www.academia.edu/97567709/The_Art_of_Reclaiming_Renaming_and_Reoccupying_Inspiring_Everyday_Acts_of_Resurgence. L’universitaire anishnaabe Leanne Betasamosake Simpson affirme que « ...la résurgence doit se préoccuper du rattachement de nos esprits, de nos corps et de nos esprits au réseau de relations et de pratiques éthiques qui génère une normativité ancrée. Cela signifie le rattachement de nos corps à nos terres, que ces terres soient rurales, de réserve ou urbaines » (p.44). Simpson, L. (2017). Comme nous l’avons toujours fait : Indigenous Freedom Through Radical Resistance. University of Minnesota Press. 9 Le livre de Robin Wall Kimmerer Braiding Sweetgrass est une bonne référence à ce sujet pour celles et ceux qui ne seraient pas familier·es de ces idées. L. Cole Utiliser l’évaluation évolutive pour soutenir des cycles d’expérimentation-apprentissage dans le laboratoire de solutions de la ville de Vancouver 66 avec la question posée. De cette manière, l’EE a fourni un cadre structuré dans lequel les réflexions étaient engagées à plusieurs niveaux : celui des prototypes développés, des différents membres de l’équipe, du sujet de l’expérimentation et plus largement du système alimentaire. L’EE a permis d’organiser ces idées en configurations (patterns) généralisables qui ont pu être partagées, testées, répétées, et qui ont eu un impact sur la réflexion et la pratique pendant et après ce laboratoire. CONCLUSION En conclusion, je voudrais partager quatre façons dont j’ai utilisé l’EE et que je considère comme des contributions particulièrement puissantes à ma pratique de la transformation du secteur public. 1. L’évaluation évolutive est pour nous une fonction permanente, intégrée à notre activité, et engagée pour soutenir le travail de transformation du secteur public. Ceci est fondamentalement différent de la position courante de l’évaluateur/ion indépendant·e, externe, neutre, qui porte des jugements et/ou qui n’intervient qu’à la fin d’un processus ou d’un projet. 2. L’EE privilégie l’utilité des travaux, ce qui suppose que les utilisateurs/rices et les utilisations des résultats des activités d’évaluation soient clairement définis. J’ai constaté que cela augmente considérablement la probabilité que l’évaluation soit utilisée et qu’elle ait un impact positif sur les efforts de transformation. Cela m’a également aidé à concentrer mes questions et mes efforts d’évaluation là où ils cessus de manière très pratique. À la fin de cette première itération, qui a duré plusieurs mois, nous avons rassemblé les idées générées par l’EE tout au long du processus afin de synthétiser ce que nous avions appris sur la mobilisation des acteurs. Nous avons accordé une attention particulière à la manière de mieux formuler ce défi complexe afin qu’il soit convaincant et qu’il ait plus de chances de déboucher sur des interventions systémiques ; à la manière dont la Ville pourrait continuer à développer et à renforcer ses relations avec les organisations de ce secteur ; et aux différentes manières dont le personnel de la Ville pourrait travailler sur ce défi en dépit de ses compétences limitées sur ce sujet. La deuxième expérimentation, appelée Circular Food Innovation Lab10, a réuni un groupe plus large d’acteurs du système alimentaire pour travailler ensemble sur une question recadrée et plus ambitieuse : Comment pouvons-nous travailler ensemble pour accroître la circularité dans le système alimentaire de Vancouver afin que la nourriture ne soit pas perdue ou gaspillée, que l’accès à la nourriture soit nourrissant, équitable et culturellement approprié, et que les habitats soient protégés pour les générations actuelles et futures d’humains et non-humains? Cette fois-ci, l’équipe s’est élargie pour inclure une agence de développement économique et une université de design locale, y compris un groupe d’étudiant·es en master de design, et l’accent a été mis davantage sur le prototypage. Au cours de la phase de prototypage actif, l’équipe a effectué des cycles hebdomadaires d’EE afin de recueillir, discuter et partager des informations sur les enseignements tirés des prototypes spécifiques et sur les idées/modèles générés par l’ensemble des prototypes en relation 10 Plus d’information ici: https://vancouver.ca/green-vancouver/circular-food-innovation-lab.aspx 67 L. Cole Utiliser l’évaluation évolutive pour soutenir des cycles d’expérimentation-apprentissage dans le laboratoire de solutions de la ville de Vancouver notre travail de se propager au-delà des interventions systémiques réalisées par le SLab et de s’étendre à d’autres initiatives de la Ville de Vancouver, ainsi qu’à d’autres efforts d’innovation du secteur public en général, car ces informations ne restent pas cachées. 4. L’EE est une approche flexible et adaptable. Il n’y a pas qu’une seule bonne façon de faire. Elle peut être un objectif et une posture d’évaluation, ainsi qu’un cadre structuré permettant de mélanger différents paradigmes, méthodologies et méthodes au service des efforts d’expérimentation et d’apprentissage dans l’innovation transformative du secteur public. ont le plus de chances d’être utilisés dans un environnement où les ressources sont limitées. 3. L’EE est une stratégie d’innovation en soi. Elle contribue à des activités telles que l’apprentissage, la création de sens et l’intégration des résultats de l’évaluation dans les futures itérations de notre travail au sein du SLab. J’utilise également l’EE pour soutenir une narration solide et rigoureuse des leçons apprises, des impacts et des résultats dans un environnement où le partage honnête et transparent de la finalité, des approches et des impacts des programmes de travail peut s’avérer très difficile à rendre public. Cela permet à « » De même que le design peut muscler l’évaluation, la démarche d’évaluation n’est pas interdite pour le design. Il n’y a pas de tabou. CHRISTIAN PAUL 68 [l’instant citation] 69 »Les administrations publiques et les institutions souhaitent de plus en plus placer leurs bénéficiaires au cœur du développement de nouveaux services. Elles s’inspirent de la conception centrée sur l’usager, qui influence aujourd’hui la recherche d’innovation dans les start-ups et suscite également l’intérêt des grandes entreprises privées. Dès lors, il est pertinent de se demander quelles répercussions cette orientation vers une plus grande focalisation sur l‘utilisateur, pourrait avoir sur l‘évaluation des politiques publiques. Cet article, présenté dans la revue suisse LeGes, illustre cette dynamique à travers une étude de cas. SITUATION INITIALE En réponse à la demande d’un État plus innovant, les autorités suisses, comme celles de nombreux pays, ont commencé à expérimenter des approches de conception créative telles que le design (notamment Blomkamp, 2018, 730). Ces pratiques impliquent une méthode de travail plus flexible, mais aussi moins planifiable et donc plus incertaine pour le développement de solutions et d’offres politiques ou administratives (Lewis et al., 2020, 114). Cela suscite (encore), en Suisse, du scepticisme dans la pratique. La recherche reconnaît le sens et l’utilité de l’utilisation du design thinking dans le secteur public (Mintrom/Luetjens, 2016, 391), notamment pour le développement d’innovations sociales dans le domaine de la santé (Valentine et al., 2017, 763). En particulier, une meilleure compréhension de la problématique et de la perspective des usager·es (ou des citoyen·nes) est considérée comme un grand avantage du design thinking (Chambers, 2003; Fung, 2006, 68). Il reste à déterminer comment cette approche centrée sur l’utilisateur peut être concrètement mise en œuvre dans l’administration publique (et en politique) (Ruhe et al., 2022, 393) et quelles en sont les conséquences pour l’évaluation de ces services. FOCUS SUR L’UTILISATEUR DANS L’ADMINISTRATION PUBLIQUE Selon le principe de légalité, toute action de l’État doit être fondée sur une base légale. Les services publics, et par conséquent l’orientation vers le marché ou vers les usager·es, sont donc encadrés par des normes légales. Certains services sont imposés comme des « consommations obligatoires » Pour d’autres, notamment ceux à caracÉvaluation et conception centrée sur l’utilisateur dans le secteur public Dario Wellinger, Maître de conférences en gestion publique, Centre de gestion administrative, Haute école spécialisée des Grisons Prof. Dr. Curdin Derungs, Professeur en gestion publique, Centre de gestion administrative, Haute école spécialisée des Grisons. Cet article a été publié dans une version initiale élargie dans la revue LeGes. PAR EXEMPLE, LES REDEVANCES D’EAU ET D’ASSAINISSEMENT 70 Processus de Design basé sur ME 310, 2010. [l’instant illustration] 71 prototypes pour tester une idée. Comprendre les usagers et leurs besoins est au cœur de la démarche. Pour cela, le secteur public vise à analyser et comprendre les points de vue des parties prenantes (groupes d’intérêt, expert·es administratifs, citoyen·nes et responsables politiques…) en utilisant différentes méthodes. Une collaboration étroite au sein d’équipes interdisciplinaires, sans hiérarchies strictes, permet à tou·tes les participant·es de contribuer avec leurs perspectives au processus de développement. Cela augmente la diversité des points de vue sur de nouvelles idées et, par conséquent, les opportunités d’innovation. LE CAS « PLUS 65 – RENFORCEMENT DE LA PARTICIPATION DES SENIORS » Le projet de recherche « Plus 65 » de la Haute école spécialisée des Grisons (FH Graubünden) examine l’engagement civique des seniors, leurs besoins, tout en approfondissant particulièrement le rôle des communes. Dans ce cadre, une boîte à outils a été développée pour les communes : un ensemble d’outils permettant aux communes de développer de manière ciblée leur politique en faveur des personnes âgées. Cette boîte à outils « Plus 65 » vise à aider les communes à concevoir leur politique pour les seniors de manière plus créative et axée sur les potentiels à exploiter, grâce à un modèle d’intervention flexible. La boîte à outils repose sur un modèle d’intervention composé de quatre ateliers. Le processus de développement tère plus économique, des marges de manœuvre importantes existent quant à leur mise en œuvre concrète, ce qui ouvre des opportunités sur les modes de faire. En particulier, la numérisation a transformé de nombreux services, offrant ainsi des alternatives aux prestations classiques de l’État. En outre, les attentes des citoyens en matière de qualité de service et de prestations des administrations évoluent, en raison notamment des changements démographiques et des tendances économiques et sociales (société des services, économie numérique) (Dietrich et al., 2018, 81). Dans la concurrence des territoires pour attirer des talents mobiles et des entreprises, la valeur ajoutée des services publics peut être décisive (Brüesch et al., 2017, 18). Tout cela souligne l’importance d’examiner les opportunités et les défis liés à une administration orientée vers les usagers et à l’approche centrée sur l’utilisateur du design thinking. L’approche centrée sur l’utilisateur du design se caractérise par les éléments suivants (Brenner et al., 2016, 8f.; Brown, 2008) : • un accent mis sur les besoins humains ; • une pensée non conventionnelle dans une équipe (projet) aussi interdisciplinaire que possible ; • l’expérimentation et l’acceptation de l’échec rapide et l’utilisation de Évaluation et conception centrée sur l’utilisateur dans le secteur public D. Wellinger, C. Derungs PAR EXEMPLE, LES PLATEFORMES EN LIGNE DE RECRUTEMENT ; GRAF/STERN, 2018, 43SS 78 Mathias Béjean, professeur en sciences de gestion, université Paris-Est Créteil Stéphane Gauthier, consultant innovation, Proofmakers Expérimenter et évaluer en innovation : la notion de preuve transformative INTRODUCTION Dans les pratiques d’évaluation et d’expérimentation, la notion de preuve occupe une place centrale. Les preuves servent à valider les concepts, les prototypes ou les stratégies, tout en assurant que les interventions sont fondées sur des éléments solides et fiables. Toutefois, les types de preuves mobilisées varient selon les objectifs de l’évaluation et le contexte dans lequel elle est réalisée. Traditionnellement, on distingue quatre types de preuves : rétrospective, prospective, expérimentale et formelle. Ces preuves classiques, bien qu’indispensables dans de nombreux contextes, présentent certaines limites dans les projets où l’innovation ne vise pas uniquement à connaître ou prédire une situation, mais à la transformer. La preuve transformative, s’inspirant des principes issus des « sciences de l’artificiel », notamment du design, émerge pour surmonter ces limites. Elle offre la possibilité de tester des « inducteurs de transformation » au sein d’environnements dynamiques et complexes. L’importance d’adopter une approche adaptée aux projets de transformation est illustrée par le cas de la City of London1. En 2008, dans le cadre des préparatifs pour les Jeux Olympiques de 2012, la City lance un projet ambitieux de réaménagement du parvis de la Cathédrale St Paul et des espaces publics environnants. Ce projet visait à créer des espaces plus inclusifs, durables et adaptés aux nouveaux usages urbains dans un contexte de mutations rapides. Les tentatives initiales d’évaluation ont recours aux méthodes classiques, mais elles échouent à produire un consensus. C’est à ce moment que le collectif Urban Experiments introduit une approche différente, dont nous verrons qu’elle est fondée sur la preuve transformative, pour répondre aux défis posés par la diversité des parties prenantes et la complexité des usages urbains. Cet article explore les types de preuves classiques, leurs forces et leurs limites, avant de présenter la preuve transformative comme une approche adaptée aux projets où l’innovation vise à reconfigurer profondément les situations existantes. À travers l’exemple de la City of London, nous montrerons comment les preuves peuvent être mobilisées dans les projets de transformation et pourquoi la preuve transformative se révèle particulièrement pertinente dans ce contexte. Nous établirons également un lien avec la notion d’évaluation évolutive (developmental evaluation), en intégrant des dispositifs capables de produire des apprentissages dans des environnements complexes. 1 Ce cas a été publié ailleurs (Béjean et al. 2022). Nous remercions Michael Hayman pour le partage de son expérience au sein du collectif Urban Experiments. 79 LES PREUVES CLASSIQUES ET LEURS LIMITES POUR LES PROJETS DE TRANSFORMATION Une manière de présenter les preuves classiques est de considérer leur rapport à la temporalité. Considérer le temps permet de distinguer quatre types de preuve : la preuve rétrospective, concernant un événement passé ; la preuve expérimentale, concernant un événement étudié à un instant t ou sur une période donnée ; la preuve prospective, concernant un événement à venir ou inachevé ; la preuve formelle, concernant des choses et des symboles manipulés dans la permanence d’un éternel présent et reposant sur des modèles abstraits et des déductions logiques. Ces quatre preuves classiques occupent une place importante dans les pratiques d’innovation. Chacune de ces preuves se distingue par sa temporalité et sa méthode de validation, mais toutes visent à établir un certain niveau de vérité ou de certitude sur un événement ou un phénomène. Dans le cas du réaménagement de la City of London, ces quatre types de preuves ont été utilisés à différents moments du projet, chacune avec ses apports et ses contraintes. 1. LA PREUVE RÉTROSPECTIVE La preuve rétrospective intervient dans l’analyse d’événements passés via l’usage de données du présent. Reposant sur un raisonnement analytique et régressif remontant d’effets observables vers leurs causes, elle s’appuie sur la collecte d’indices (traces, témoignages) permettant de reconstruire une réalité passée. En innovation, cette approche est souvent utilisée pour établir un diagnostic ou évaluer un existant avant de formuler des hypothèses pour le futur. Cependant, les indices collectés fournissent rarement de preuve définitive et dépendent également de la question posée initialement. Dans le cadre de la City of London, les premières études ont cherché à analyser les usages historiques du parvis de la Cathédrale St Paul à partir de données existantes et d’archives. Dans une démarche proche d’un projet culturel, cette phase a permis d’analyser l’histoire et la mémoire du lieu afin d’élaborer une compréhension partagée de la situation actuelle. Cependant, bien que ces données aient été utiles pour dresser un portrait de la situation, elles se sont révélées insuffisantes pour répondre aux défis contemporains posés par les mutations rapides des pratiques urbaines. Les changements démographiques, les nouvelles attentes en matière d’espace public et les transformations liées à l’urbanisme durable échappent souvent aux analyses rétrospectives, car ces dernières sont limitées par la nature des données disponibles et leur capacité à capter des dynamiques en évolution rapide. 2. LA PREUVE PROSPECTIVE Contrairement à la preuve rétrospective, la preuve prospective se projette vers l’avenir en tentant d’organiser des signes présents pour prédire des événements futurs. Elle procède de façon progressive, des causes vers leurs effets, pour tenter d’appréhender un événement futur ou encore inachevé. Très utilisée dans les activités d’innovation et d’anticipation, elle permet 80 d’évaluer des scénarios prospectifs qui visent à éclairer la prise de décision au présent. Toutefois, elle présente une incertitude élevée liée à l’imprévisibilité de l’avenir, rendant difficile l’évaluation des hypothèses dans le temps d’un projet. Dans le cas de la City of London, une démarche de concertation publique a été mise en place pour recueillir les attentes des habitant·es et des usager·es du parvis de St Paul, afin de mieux anticiper les futurs usages de cet espace. Cette démarche participative s’inscrit dans une logique de preuve prospective, cherchant à faire émerger puis évaluer des scénarios futurs à partir des perceptions et besoins exprimés par les parties prenantes. Toutefois, cette approche a montré ses limites, notamment parce qu’elle n’a pas réussi à capter les usages informels ou occasionnels des visiteurs/ ses et des travailleurs/ses qui fréquentaient la zone. Les données recueillies étaient partielles, et l’imprévisibilité des pratiques futures dans un environnement aussi dynamique rendait difficile une évaluation précise des scénarios proposés. La preuve prospective, bien qu’utile pour éclairer les orientations futures, souffre d’un niveau d’incertitude élevé lorsque les innovations visent à répondre à des transformations sociales et culturelles rapides. 3. LA PREUVE EXPÉRIMENTALE La preuve expérimentale, quant à elle, est centrée sur l’évaluation d’effets causaux dans des situations contrôlées. Elle consiste à tester des hypothèses dans des conditions précises, souvent en laboratoire et, de plus en plus, dans des contextes réels grâce à des protocoles de contrôle. En innovation, cette méthode est valorisée pour sa capacité à confronter des hypothèses spéculatives à la réalité. Cependant, son application dans des environnements réels pose souvent des défis en raison de la complexité et de la diversité des facteurs impliqués, réduisant parfois sa pertinence pour l’évaluation des innovations les plus radicales. Dans le cadre de la City of London, cette méthode aurait pu être utilisée pour tester différents scénarios d’aménagement à travers des simulations ou des expériences sur le terrain. Cependant, les difficultés liées à la complexité des interactions entre les usagers et leur environnement ont rendu cette approche peu adaptée. Les expériences contrôlées, bien qu’efficaces dans certains contextes, risquaient de manquer de « validité externe », c’est-à-dire d’aide à la décision pour l’applicabilité directe aux situations réelles et imprévisibles des espaces publics. En effet, dans des projets de transformation comme celui de St Paul, la multiplicité des facteurs influençant l’usage des espaces publics – climat, interactions sociales, comportements spontanés – complique la mise en place d’expériences suffisamment représentatives pour tester des hypothèses strictes et souvent restreintes. La preuve expérimentale, bien que rigoureuse sur le plan méthodologique (« validité interne » élevée), présente donc des défis lorsqu’il s’agit d’évaluer des innovations en milieu réel, où les variables sont nombreuses et interconnectées. 4. LA PREUVE FORMELLE Enfin, la preuve formelle repose sur des raisonnements logiques et abstraits, visant à établir la validité d’énoncés ou de modèles. Utilisée principalement dans les sciences démonstratives comme la logique et les mathématiques, elle permet de manipuler des symboles et des concepts abstraits 81 M. Béjean, S. Gauthier Expérimenter et évaluer en innovation : la notion de preuve transformative évaluer des innovations dans des milieux complexes et dynamiques où les transformations sont recherchées. C’est dans ce cadre que la preuve transformative trouve sa pertinence. LA PREUVE TRANSFORMATIVE : CARACTÉRISTIQUES ET SPÉCIFICITÉS Face aux limites des preuves classiques, la preuve transformative offre une alternative plus adaptée aux projets où l’innovation vise non pas à mieux comprendre une situation, mais à la transformer en profondeur. Cette approche, issue des « sciences de l’artificiel » comme l’architecture, l’ingénierie ou le design, repose sur l’idée que l’expérimentation et l’évaluation doivent générer des artefacts particuliers, nommés « artefacts probants », pour induire et soutenir des processus de transformation. Les artefacts probants jouent en effet un rôle central. Incluant des storyboards, des prototypes évolutifs ou des dispositifs scénarisés, ils se distinguent des preuves traditionnelles par leur capacité à induire et soutenir des dynamiques de transformation. En tant qu’artefact, ils incarnent les hypothèses de transformation et permettent de tester la capacité d’une innovation à reconfigurer la situation initiale. En un certain sens, leur rôle fait écho aux « cultural probes» en design, définis par Bill Gaver2, où des objets tangibles sont utilisés pour susciter des pour arriver à des conclusions valides. En innovation, elle intervient souvent dans les phases d’analyse, où elle aide à structurer la réflexion autour de systèmes complexes ou pour générer des hypothèses. Cependant, sa nature abstraite et décontextualisée limite souvent son application directe aux situations réelles. Dans le cas du réaménagement du parvis de la Cathédrale St Paul, certains urbanistes ont tenté de formaliser des scénarios d’aménagement en se basant sur des principes d’urbanisme durable et inclusif. Ce type de scénarios programmatiques, fondés sur des déductions logiques à partir de principes généraux, offre généralement un cadre conceptuel solide pour penser les aménagements. Il s’est accompagné ici d’esquisses paysagères, dont la structure est par définition plus ouverte. Toutefois, dans le contexte considéré, ces déductions se sont heurtées à la réalité des pratiques et des comportements des usager·es. Les formalisations théoriques, bien qu’utiles pour structurer la réflexion dans ce type de projet, sont souvent trop abstraites pour rendre compte à elles seules de la diversité des usages réels, rendant leur application directe limitée. Ces quatre types de preuves, bien que robustes pour certains contextes, présentent donc des limites pour 2 Gaver, B., Dunne, T., & Pacenti, E. (1999). Design: cultural probes. interactions, 6(1), 21-29. 82 évolutive, c’est de chercher à dépasser une logique purement évaluative pour embrasser une dynamique de transformation active. Conceptuellement, la preuve transformative repose sur une temporalité de la maturation, où le temps n’est pas simplement un « temps qui passe » mais aussi un « temps qui fait ». Cette temporalité est « transductive », selon le concept développé par le philosophe des techniques Gilbert Simondon, ce qui signifie que chaque étape d’une transformation sert de base à la suivante, créant un processus de transformation progressif et interdépendant. Contrairement à la preuve expérimentale, où l’incertitude est souvent probabiliste et mesurable, la preuve transformative se confronte à une incertitude radicale : les transformations induites sont, par nature, indéterminées et imprévisibles. Dans le cadre de la City of London, cette approche a permis de révéler des usages inattendus, comme l’engouement des habitant·es et des touristes pour les installations artistiques ou l’importance du jardin pour les enfants. Ces résultats, qui n’auraient probablement pas été anticipés dans une preuve expérimentale classique, montrent la capacité de la preuve transformative à générer des inducteurs de transformation qui, lorsqu’ils sont identifiés et saisis, peuvent réorienter les pratiques et les perceptions des usagers. La preuve transformative valorise donc les artefacts intermédiaires (maquettes, prototypes, storyboards) qui, au cours du projet, soutiennent la démarche de démonstration en incarnant les hypothèses de transformation. Ces artefacts ne sont pas simplement des représentations, mais des éléments retours qualitatifs sur des pratiques émergentes. Cependant, dans le cadre de la preuve transformative, ces artefacts ne se limitent pas à recueillir des données, mais visent à agir comme des inducteurs de transformation en euxmêmes. En termes d’évaluation, c’est d’ailleurs leur pouvoir de reconfiguration qui est étudié de façon prioritaire. Dans son travail sur l’évaluation évolutive, Michael Quinn Patton met en avant l’importance de tels dispositifs d’évaluation qui ne se contentent pas de valider des interventions, mais qui accompagnent activement l’apprentissage et l’adaptation en contexte complexe et incertain. Ces dispositifs doivent permettre d’explorer ce qui se développe, d’en comprendre la signification et d’orienter les prochaines étapes stratégiques. La preuve transformative s’inscrit parfaitement dans cette logique : elle valorise une approche itérative et évolutive, où les dispositifs de preuve ne sont pas figés mais continuellement ajustés pour répondre à des environnements dynamiques. Contrairement aux approches classiques, elle ne cherche pas à établir une réalité définitive, mais à révéler des options d’action et à soutenir des décisions éclairées en temps réel. Dans le cas du réaménagement de la City of London, le collectif Urban Experiments a mis en œuvre des interventions expérimentales, telles que l’installation temporaire de mobiliers urbains et la création de parcours participatifs afin d’explorer les usages émergents des espaces publics. Ces dispositifs expérimentaux ont agi comme des artefacts probants, c’est-à-dire non seulement en produisant des connaissances nouvelles, mais aussi en transformant les pratiques qu’ils interrogent. En somme, ce qui rapproche la preuve transformative des démarches d’évaluation 83 M. Béjean, S. Gauthier Expérimenter et évaluer en innovation : la notion de preuve transformative transformation dans des environnements complexes et incertains. La preuve transformative, par nature, s’éloigne donc des cadres traditionnels d’évaluation pour se concentrer sur l’impact de l’innovation dans son milieu, en prêtant une attention particulière aux usages et expériences qu’elle génère. Contrairement aux autres types de preuves, son objectif n’est pas de mieux comprendre les situations existantes, mais de les transformer profondément. Elle ne vise pas à apporter une connaissance plus précise ou une compréhension plus fine des phénomènes, mais à créer des changements significatifs dans les pratiques, les comportements, ou les environnements. Dans ce processus, les « artefacts probants» – qu’il s’agisse de prototypes, de nouveaux outils ou de dispositifs – ne sont pas conçus pour fournir des mesures exactes mais pour enrichir les expériences et donner de nouvelles significations aux interactions entre les individus et leur milieu. actifs du processus de transformation, capables de révéler des potentiels innovants inattendus. Ces éléments correspondent à des inducteurs de transformation, c’est-à-dire à des éléments émergeant d’une situation en ayant le pouvoir de la reconfigurer. CONCLUSION En conclusion, la preuve transformative n’a pas pour but de démontrer une vérité universelle, mais de tester et d’évaluer la capacité de ces inducteurs à reconfigurer des situations spécifiques. Il s’agit ainsi d’apprécier la valeur des orientations nouvelles qu’un inducteur permet de révéler. Cette approche nécessite une flexibilité méthodologique et une ouverture à l’imprévu, qui sont souvent absentes des approches plus rigides des preuves classiques. Se rapprochant des démarches d’évaluation évolutive, elle s’inscrit donc dans une vision de l’évaluation et de l’expérimentation comme des processus créatifs, capables de guider les projets de CHAPITRE III CHAPITRE III Design et évaluation : apprendre à coopérer ? Vos recommendations, ca vous gêne pas qu’elles ne servent à rien ? Elles servent à éclairer la décision ! Même si c’est vrai qu’on est rarement là pour la suite... Évaluateur Gouache, HUVER Designer [l’instant illustration] « 86 87 « » Les designers revendiquent une certaine impertinence. Les évaluateurs, eux, font attention à leur jugement. CHRISTOPHE GOUACHE [l’instant citation] 94 Et si le problème des évaluations, c’était les recommandations... Dorig Bruno, chargé d’évaluation, Ville de Rennes & Rennes Métropole Après des années à faire de l’évaluation, une question subsiste pour les services en fin de processus : « comment faisons-nous avec toutes ces recommandations ? » Il est vrai que le processus évaluatif, parfois long, amène généralement à poser des recommandations volontaristes, ambitieuses et souvent difficiles à appréhender pour des services qui sont déjà en prise avec le quotidien. Comment remettre à plat une stratégie, tout en repensant un plan d’actions et généralement à moyens constants ? À Rennes, pour faire face à cette problématique, nous avons décidé d’innover sur un sujet prédestiné : l’évaluation du soutien à l’enseignement supérieur et la recherche (ESR). L’évaluation de ce sujet n’est pas une nouveauté. Déjà évaluée en 2012, cette politique publique avait su muter à l’issue des recommandations, en proposant un nouveau cadre stratégique permettant à l’ensemble de l’écosystème de se retrouver dans un cadre structuré avec des orientations claires. Dix ans après, était venu le temps d’en faire un bilan et d’enclencher une réflexion sur son utilité et sa pertinence au regard des nombreuses mutations contextuelles, à la fois au niveau local et national. Après une importante démarche de collecte de données et un processus rythmé par de vastes comitologies regroupant l’ensemble des parties prenantes, la conclusion fatidique (mais néanmoins classique) de l’évaluation tomba : « il faut revoir la stratégie de soutien à l’ESR pour la réadapter aux enjeux du territoire tout en conservant des dispositifs appréciés et générant des effets leviers et/ou accélérateurs ». Ainsi, de nombreuses questions se sont posées : comment rendre légitime et participative cette démarche de refonte de stratégie ? Comment éviter le processus « top down » (et parfois effrayant) de l’arbre des objectifs, dans lequel on décline l’objectif stratégique en une myriade d’objectifs spécifiques et opérationnels, jusqu’aux actions ? Comment développer de nouvelles actions qui répondraient à ces enjeux ? … Sur la base de cette réflexion nous avons lancé, en décembre 2022, une démarche participative de (re)design de la politique publique de soutien à l’ESR avec l’appui d’une agence de design de politiques publiques. Directeurs/rices de laboratoires, enseignant·es-chercheurs/ses, post-doctorant·es, agents de Rennes Métropole, BIATSS1, agent·es de la Ville de Rennes, CCAS, représentant·es de structures d’innovation, élu·es, etc. ont ainsi pu contribuer, directement ou indirectement à l’esquisse d’une nouvelle stratégie pour l’ESR. 1 Les BIATSS sont les personnels de Bibliothèque, Ingénieurs, Administratifs, Techniques, de Santé, Sociaux. 95 aux objectifs stratégiques, plutôt que l’inverse). Cette nouvelle stratégie officialise un nouveau mode de faire en passant d’une politique de « soutien à l’ESR » à une politique de « coopération avec» les acteurs de l’enseignement supérieur, de la recherche et de l’innovation. Cette logique de coopération, de « faire avec» a été mise en avant par l’évaluation, et le design l’a illustrée avec des actions concrètes. Elle est une condition sine qua non à la réussite des multiples transitions qu’il faut entreprendre. L’urgence nous oblige à agir ensemble, à chercher des solutions, et à mêler les expertises, les points de vue et les disciplines entre elles : sociologie, physique, biologie, anthropologie, intelligence artificielle, mathématique, informatique, droit, chimie, économie, médecine, philosophie, etc. Au total, l’évaluation et le design ont mobilisé plus de 250 personnes et ont largement rempli l’objectif participatif d’accompagner un changement progressif, justifié et partagé de la politique publique. Il n’empêche que cette symbiose apparente nécessite encore de trouver ses marques. Ainsi, plusieurs problématiques ont émergé au cours de la mise en œuvre de cette nouvelle phase : • Un risque de cannibalisme du design sur l’évaluation. Le design pourrait avoir tendance à intégrer les seuls retours de sa démarche en faisant abstraction des résultats et des recommandations de l’évaluation. Piste de solution : associer en amont le designer et pas seulement à la phase de reconception pour qu’il puisse intégrer pleinement les conclusions et recommandations. • Le design de politiques, une matière Non seulement les acteurs du territoire ont pu contribuer à l’esquisse globale de cette nouvelle politique, mais ils ont également permis de dessiner des potentiels futurs dispositifs métropolitains, tout à fait concrets, opérationnels. Pour pouvoir explorer ce que pourrait contenir une politique publique, il convient d’inventer les effets que ces dispositifs/actions pourraient avoir pour ses parties prenantes et ses usager·es. Autrement dit, il convient de penser une politique publique par le prisme de ceux qui en bénéficient, de ceux qui la mettent en œuvre, de ceux qui seraient susceptibles d’en subir les effets. Pourquoi ? Se mettre à la place des usagers permet d’expliciter les besoins auxquels une politique publique répond, mais elle permet de donner du sens à l’action publique, et d’exprimer la politique par ce qu’elle contribue à changer, à modifier, à générer pour les habitants du territoire (ou les acteurs d’un système). Je deviens ainsi alternativement Léa, 12 ans, collégienne qui a l’opportunité de découvrir des travaux de chercheurs, ou bien Hassan, 37 ans, chef de projet à Rennes Métropole ou encore Ayako, 40 ans, chercheuse en sciences comportementales... En racontant des récits à travers la parole d’usager·es, la politique publique devient incarnée, mais aussi, et surtout tangible et appréhendable. C’est ainsi, qu’en janvier 2023, pendant une semaine, plus de 150 parties prenantes ont été mobilisées dans un exercice créatif et spéculatif de design fiction. Cette intense tournée des parties prenantes a permis d’élaborer plus de 50 récits-fictions, et de récolter plus de 500 commentaires visant à la fois à explorer le champ des possibles mais également à nourrir la réflexion et la décision de Rennes Métropole en remontant la chaine habituelle de la stratégie à contre-courant (des actions 96 D. Bruno Et si le problème des évaluations, c’était les recommandations... les nombreuses actions qui ont découlé de la phase d’idéation ont fait émerger le problème de l’aide à la décision (Quelle action retenir ? Quels moyens humains et financiers à mettre en œuvre ?) et donc de la priorisation des actions à mener. Piste de solution : Le retour de l’évaluateur. Par ses connaissances et notamment en matière d’évaluation ex-ante (même si ce n’est pas très courant), il pourrait accompagner la lecture des actions et des effets attendus. En conclusion, le design est un outil nécessaire pour dépasser la continuité latérale de l’action publique et permettre à l’évaluation de remplir son rôle d’amélioration des politiques publiques. Néanmoins, nous sommes qu’aux prémices d’une idylle qui a besoin de se renforcer à travers une certaine structuration (formation, partenariat...), qui reste encore à trouver. pas forcément prise au sérieuse. Si l’évaluation est considérée plus souvent sous le prisme d’une certaine rigueur scientifique qui vient abonder le fond des sujets, le design est quant à lui perçu comme un outil « cosmétique » qui s’attacherait uniquement à la forme. Piste de solution : Développer un référentiel métier. À ce jour, aucune charte, ni organisation ne permet de définir clairement les différents courants qui traversent le design. À l’instar de l’évaluation qui a su clarifier sa posture à travers la Société Française de l’Evaluation et de sa charte, il serait intéressant que le design se structure pour harmoniser les pratiques et clarifier les logiques d’intervention notamment entre le design de service et le design de politiques publiques. • Une difficile gestion de la surabondance des récits fictifs, des intentions.... Si la créativité est au cœur de la démarche de design, elle peut en être la difficulté. En effet, Le design sort l’évaluation de ses rails : on attendait une transformation des outils, on se retrouve avec un changement de posture. [l’instant citation] ANNABELLE BERTHAUD 97 98 souhaite proposer un ambitieux programme visant à réduire la production de déchets et il a besoin d’en sonder l’acceptabilité et la faisabilité, tant auprès des citoyen·nes que des élu·es et des services. Ce sera la première expérience croisant évaluation et design. Car l’équipe métropolitaine choisit de garder les rails bien établis de l’évaluation, qui vont de la formulation des questions au rapport final, tout en faisant appel à un designer externe. Ainsi, l’évaluation prépare le sujet en objectivant et qualifiant la situation des filières de tous les déchets collectés à partir des données d’observation et d’activité. Quels sont les déchets les plus problématiques, dangereux, impactants ? Ce premier ordonnancement devient le point de départ pour la démarche design. Cinq filières sont alors choisies et passées au crible : idéation avec les agents concernés, du ripeur au responsable, immersion orientée par des cartes à réaction, expérimentation via cinq prototypes pour tester un nouveau service, un nouveau parcours. Naissent ainsi un point d’apport volontaire pour les biodéchets, un espace de dépôt d’encombrants temporaires dans un quartier populaire de la méL’ENTRÉE DU DESIGN À LA MÉTROPOLE À la métropole de Grenoble, le design est clairement entré par la porte de l’évaluation : quelle chance, une discipline cousine – même capacité à enquêter, questionner, mêmes objectifs de comprendre pour faire mieux – qui viendrait renouveler, « augmenter » la pratique évaluative ! La promesse du design est alors celle de l’évaluation participative : se décentrer du commanditaire pour s’ancrer dans les pas de l’usager. Et cette promesse, sur le papier, se traduit, dans les faits, par une « boîte à outils » qui sert autant la phase de diagnostic évaluatif (ah, enfin une phase terrain digne de ce nom, au contact avec les bénéficiaires !), que celle des préconisations (ah, enfin des précos bien opérationnelles, passées par les fourches caudines du test et de l’expérimentation !). Aussi en 2015, lorsque le nouveau vice-président aux déchets sollicite le service évaluation pour « mettre à plat » les services de collecte et de traitement des déchets, l’opportunité d’un test grandeur nature du design se fait vite jour. Car en réalité, sa demande est plus prospective que rétrospective : il Voisines de bureau ! Croiser les pratiques du design et de l’évaluation Annabelle Berthaud, chargée de mission en évaluation de politiques publiques, Grenoble Alpes Métropole Hélène Clot, directrice stratégie, Innovation et Relations citoyennes, Grenoble Alpes Métropole Nadia Wolff, chargée de mission en innovation et transformation, Grenoble-Alpes Métropole. [l’instant photo] Voisines de bureau ! - A chaque extrémité du V, il y a deux bureaux. D’un côté, Ph. à l’observation et C. à la prospective, de l’autre A. à l’évaluation et N. à l’innovation. Depuis 4 ans, ces deux dernières se racontent leurs projets et, naturellement, hybrident leurs méthodes. HUVER bureau de Ph. bureau de C. bureau de A. bureau de N. 99 100 tropole, une analyse sociologique des comportements… mais aussi et surtout, une culture orientée usagers, qui prend plaisir à aller sur le terrain, chercher en circuits courts des réponses aux questions et aux hypothèses. Car une des réussites clés de cette première démarche aura été la transmission : designers et évaluateurs/ rices sont dans la même équipe, alors nous devenons ensemble des « prestanaires » ou « partataires ». Dans le cahier des charges, il est prévu des séquences de formation des agents aux techniques du design pour poursuivre ces pratiques au-delà du marché. Le design sort l’évaluation de ses rails : on attendait une transformation des outils, on se retrouve avec un changement de posture. L’évaluation est outillée pour ne plus seulement intervenir « ex post » mais gagne ses galons « ex ante », pour intervenir dans les phases de conception des politiques publiques. Cette longue mission de design laisse des traces, aussi bien au service des déchets que dans l’équipe évaluation qui mobilisent dès que possible parcours usagers et expérimentation. Preuve de concept, elle contribue ainsi à la création en 2018, du poste « innovation publique », au sein de l’équipe évaluation. Le binôme évaluation-design s’installe dès lors dans la durée, pour répondre, à façon, aux sollicitations, en proposant un accompagnement ajusté aux besoins. PLONGÉE DANS LE QUOTIDIEN DE NOTRE BUREAU PARTAGÉ C’est un bureau en V vitré. Il donne sur l’immense hall d’accueil de la Métropole de Grenoble. On y entend le bruit des gens qui vont et viennent. A chaque extrémité du V, il y a deux bureaux. D’un côté, Ph. à l’observation et C. à la prospective, de l’autre A. à l’évaluation et N. à l’innovation. Depuis 4 ans, ces deux dernières se racontent leurs projets et, naturellement, hybrident leurs méthodes. Au quotidien, les échanges se font autour du café, à travers le partage (forcé !) des visios et des questionnements partagés, mais aussi parce que A. évalue des dispositifs sur lesquels N. a accompagné l’équipe projet : la refonte du temps de travail, le télétravail, la zone à faibles émissions, … et parfois, de plus en plus souvent, elles se « filent un coup de main » sur leurs missions respectives. Si N. organise un événement en pieds d’immeuble pour parler ZFE en s’appuyant sur des outils d’aller vers, conçus par des designers, A. la pousse à travailler ses questions évaluatives, « qu’est-ce que tu cherches à vérifier ? ». Quand A. cherche à entrer en contact avec les propriétaires pour comprendre ce qui les empêche de louer leurs logements à des tarifs sociaux en contrepartie d’une compensation, A. s’inspire des méthodes d’immersion du design et s’installe à la foire d’automne pour cueillir la parole des gens. Quand l’une conduit une démarche design sur la rénovation énergétique des maisons, et l’autre évalue la rénovation énergétique des entreprises, c’est la même méthode qui est répliquée et la préconisation de l’évaluation prend la forme d’un parcours usager. La boîte à outil devient collective : N. l’innovatrice apprend à maitriser le diagramme logique d’impacts pour mettre au clair les logiques d’intervention. Elle outille ses immersions grâce 101 A. Berthaud, H. Clot, N.Wolff Voisines de bureau ! Croiser les pratiques du design et de l’évaluation c’est-à-dire à simplifier en assumant une approche pragmatique des politiques publiques là où l’évaluation est gourmande de mots et de lourds rapports. N. l’innovatrice: Parmi les points qui font choisir le design par rapport à une autre démarche, il y a sa capacité à passer très vite à l’action, à se confronter aux tests de terrain à petite échelle, d’en tirer des enseignements, voire de faire une V2 d’un prototype, avant de penser son déploiement. Mais souvent, l’équipe embarquée veut tellement que son test fonctionne, qu’elle a du mal à sortir la tête du guidon et d’accepter que l’énergie qu’elle a déployée pour tester, aboutisse à un constat que « ce n’était pas la bonne solution ». C’est alors qu’on a besoin du recul et de l’expertise de l’évaluatrice. Bref, designer sans évaluer, ou évaluer sans designer n’a souvent plus beaucoup de sens pour nous aujourd’hui. Entre un·e évaluateur/rice à qui l’on reproche parfois d’être « trop loin » ou à distance de son objet, et un·e designer qui peut avoir tendance à être trop embarqué·e, l’hybridation ou le jumelage de ces deux méthodes peuvent aider à être à la « bonne » distance de son objet. Donc rapprochez vos bureaux, racontez-vous vos projets et au boulot ! à la maitrise d’un logiciel d’enquête et peut ainsi enrichir son approche avec des données quantitatives. A. l’évaluatrice fait toujours appel à N. pour tester ses questionnaires et les rendre fluides. Et elle recycle les outils d’intelligence collective pour faire, des évaluations, de vraies démarches de transformation. C’est toute la puissance d’une proximité quotidienne de travail : la capacité à se relayer, à interfacer les savoir-faire sans perdre ni son identité métier propre, ni la plus-value de chaque discipline. AU-DELÀ DU PARTAGE DES OUTILS, DES MÉTIERS QUI ÉVOLUENT Car la proximité n’a pas généré de confusion, pas « d’innovaluatrices ». Les métiers gardent leurs spécificités et les services « clients » savent à qui s’adresser. Les missions pilotées par le design ou l’évaluation garde une coloration distinctive mais les métiers se sont bonifiés au contact l’un de l’autre. A. l’évaluatrice: Dans « le propre » de l’évaluation, il y a des méthodes, un cadre, des référentiels, des outils de questionnement et d’analyse. Le point de jonction avec le design se situe sans doute dans cette obsession : apporter des réponses pertinentes à ceux qui nous les posent. Le design m’a apporté de nouvelles méthodes pour décortiquer les problèmes, en se donnant les moyens d’aller faire du terrain, d’oser formuler tôt des hypothèses pour stimuler la parole. L’autre énorme apport ce sont les parcours usagers, tant dans les phases de diagnostic que dans les préconisations. Et enfin, l’invitation au dessin, « » Il paraît fructueux de favoriser la complémentarité des disciplines dans le temps plutôt que leur mise en concurence au gré d’effets de mode. AMANDINE BABARIT, CÉCILE GÉRARD [l’instant citation] 102 103 Amandine Babarit, chargée de mission en innovation publique, Nantes Métropole Cécile Gérard, chargée de mission évaluation participative, Nantes Métropole Évaluation, design et co... Et si on soutenait un continuum d’approches ? Pour accompagner les dynamiques de transition, qu’elles soient internes à l’administration, guidées par les politiques publiques, incarnées dans des projets, ou encore portées par le territoire, ses acteurs et habitants, la Direction Générale Dialogue et Transformation de l’Action Publique (DGDTAP) de Nantes Métropole développe et capitalise sur des formes d’ingénieries porteuses de transformation. L’idée: mettre en synergie plusieurs approches, historiquement l’évaluation, plus récemment le design… mais aussi le dialogue citoyen, la prospective, ou encore l’expérimentation pour aborder autrement les questions publiques avec les directions de la Ville et de la Métropole de Nantes, en réponse aux enjeux du territoire. Il parait fructueux de favoriser la complémentarité des disciplines dans le temps plutôt que leur mise en concurrence au gré d’effets de mode. Dans l’idée d’un « continuum d’approches », deux partis pris et principes portés par les élus et la DGDTAP guident l’ensemble des démarches nantaises : • Le dialogue et la mise en débat avec les parties prenantes (citoyen·nes, acteurs/rices du territoire, agents) comme impératif, • Le diagnostic d’opportunité, comme préalable à toute démarche. 1. LA MISE EN DÉBAT : FIL ROUGE DE LA TRANSFORMATION PUBLIQUE À NANTES Depuis plusieurs années, la collectivité explore différents modes de faire, ayant en commun une volonté de forte coproduction du service public et des politiques publiques avec les parties prenantes. Organiser les bonnes conditions du délibératif (dialogue avec les citoyens·nes, les acteurs/rices du territoire, les agents) comme aide à la décision constitue un fil rouge, avec la conviction que la transformation est un chemin et que, ce faisant, elle met en mouvement ceux et celles qui s’y engagent. Le rôle de la DGDTAP est de garantir les conditions d’un débat pluriel, inclusif, sincère et transparent qui prend en compte les expertises d’usages (le vécu, les besoins et les contraintes) et l’évolution des modes de vie pour accompagner les transitions (les aspirations et les craintes). C’est ainsi que les démarches d’évaluation comme de design ont en commun de s’arrimer à des processus délibératifs pour influer sur l’action publique. Plus que la production d’indicateurs, de matières sensibles ou de rapports, l’important c’est la mise en débat des données collectées, des expériences dans leur diversités (y compris contradictoires) et de la pluralité des connaissance (controverses) pour produire un avis collectif. 110 [l’instant illustration] Designers et évaluateurs : un terrain de jeu commun Delahais et gouache APPORTS ÉVALUATION APPORTS DESIGN Insolence assumée, déranger l’action publique Production d’objets, d’outils, de visuels ‘‘autoportants’’ Empathie par défaut pour les acteurs Compréhension pratique (et intuitive) de l’action publique Valorisation de l’intuition Souci de l’esthétique, du beau,de l’agréable, du plaisir A l’aise avec le mystère, le fl o u volonté de solutions, créativité tous azimuts Entrée par les besoins Entrée par les problèmes Attention aux valeurs, clarifi cation des critères de jugements Volonté d’explication Dimension systématique des analyses Mise en hypothèses de l’action publique, analyse causale Compréhension holistique de l’action publique Valorisation de la robustesse des constats, des analyses Appui sur la connaissance existante 111 Thomas Delahais, évaluateur de politiques publiques, Quadrant Conseil L’hypothèse hybride : saisir ensemble Design et Évaluation « La notion d’hybride nous encourage à enquêter » (Zeldin, 2016) Y a-t-il une place pour des hybrides entre design et évaluation des politiques publiques ? En 2019, nous appelions « à multiplier les expériences dans lesquels les designers sont intégrés dans l’évaluation et les évaluateurs impliqués dans le design, plutôt que de designer l’évaluation ou d’évaluer le design, [dans une] hybridation constructive» (Delahais, et al, 2019). En 6 ans, les exemples d’interventions qui ne sont ni de l’évaluation, ni du design, et pas tout à fait réductibles à l’une ou à l’autre se sont en effet multipliées, sur toute une série de sujets épineux : pour ce qui nous concerne, l’hébergement d’urgence, la vie nocturne, les usages de l’eau, la participation citoyenne ou les systèmes alimentaires locaux — mais beaucoup d’autres sont abordés dans ces Cahiers. Que peut-on en dire ? L’hybridation est-elle une réalité, ou bien un simple gimmick ? Une chimère, ou un monstre prometteur ? (Latour, 2003) Nous ne nous risquerons pas ici à trancher cette question, mais nous proposons de partir d’une « hypothèse hybride », c’est-à-dire de prendre la relation entre design et évaluation, par ce qui les relie et ce qui les éloigne ; sans essayer de dire ce que sont le design et l’évaluation et de les définir nettement, mais plutôt : par leur milieu (Latour, 2010). S’appuyant sur 10 ans de coopération entre les évaluateurs et évaluatrices de Quadrant Conseil et les designers de Strategic Design Scenarios, ainsi que les expériences relatées par les auteurs et autrices réunies dans ces cahiers, cet article vise à analyser cette relation au travers des espaces communs, atomes crochus, décalages fertiles et tensions structurantes entre les deux pratiques, avant d’identifier les conditions et formes possibles de leur hybridation. DES ESPACES EN COMMUN Pour pouvoir travailler ensemble, il faut déjà des espaces où se rencontrer. Ils et elles partagent une même croyance dans l’action publique et ce qu’elle peut – on ne fait pas ces métiers si on croit que la société ou le marché seuls peuvent résoudre les problèmes. Sur les sujets qu’ils et elles investissent, tels que l’urbanisme, l’eau, les transports, l’alimentation, les déchets, l’éducation… designers et évaluateurs/ rices partagent parfois une vision du monde, des convictions sur des façons de faire, ou bien des chemins de changement possible, qu’il s’agisse de l’accès aux droits ou de la sobriété. Lorsqu’ils ou elles sont du secteur privé, designers et évaluateurs/rices partagent également l’expérience de la relation contractuelle et commerciale. En France, le design s’est initialement positionné comme « alternative au consulting classique » (Groupe de travail, 2019). Et pourtant, il suit comme l’évaluation une logique du conseil, Designers et évaluateurs/rices ont de fait beaucoup en commun, et en premier lieu, un objet, l’action publique ; et une finalité affichée, l’intérêt général. 112 • L’évaluation comme le design rentrent dans l’action publique par les acteurs qui la peuplent : (non-) usager·es, (non-)bénéficiaires, destinataires, parties prenantes… • Les deux démarches commencent par un constat d’incertitude (sur les problèmes ou les besoins ; sur ce qui marche ou pas, sur ce qu’il faudrait faire). Pour réduire cette incertitude, elles posent des questions plutôt que de donner des solutions. • Pour y répondre, elles donnent une place prépondérante au terrain et à l’interaction avec les acteurs, en opposition (peut-être) à d’autres démarches qui parlent en théorie, qui réfléchissent en termes de conformité ou qui rejettent les perspectives des personnes concernées par l’action publique, jugée subjective. « Sans enquête, pas de droit à la parole » (Renault, 2015). Au travers de ces différents points d’entrée, l’évaluation comme le design se distinguent de l’expertise technique, de la recherche qui vise d’abord à produire de la connaissance, ou des pratiques d’audit ou de performance. Mais le sens et la portée de ces points d’entrée communs ouvre des champs importants de négociation, voire de controverse. On peut en effet les voir comme autant d’« objets-frontières » (Star et al, 1989), au sens où l’interprétation qu’on peut en faire est suffisamment flexible pour ouvrir un champ de négociation entre professionnel·les. Dit autrement, on n’est pas forcément d’accord, mais on a de quoi discuter. Négocier ces points d’entrée, c’est s’ouvrir à la possibilité de faire évoluer ses pratiques. En demandant « qui sont les (non)usager·es » (au sens du design), et « qui sont les (non)bénéficiaires », (au sens de l’évaluation), les deux démarches portent des questions qui dans lequel « il y a toujours un problème à traiter, une difficulté à surmonter, une situation à faire évoluer ; le consultant est supposé maîtriser des savoirs, des outils, une expérience, une compétence que le client ne possède pas ; la demande formulée par le client est toujours une demande d’aide, quelle qu’en soit la nature ; la consultation débouche toujours sur des actions à réaliser […]. » (Alain Bercovitz, 2001). Cette relation commerciale s’accompagne d’enjeux multiples, relatifs à la légitimité des consultant·es à « faire » l’intérêt général (Ridde et al, 2025), la tension entre volonté d’indépendance et d’utilité des travaux, la création d’une relation de confiance, mais aussi l’équilibre économique des missions qui leur sont dévolues. Dans le secteur public, d’autres tensions existent, que partagent les professionel·les, entre devoir de réserve, de discrétion et de neutralité, et enjeux d’information des publics, par exemple. Ces objets et expériences communes rendent possibles la relation entre design et évaluation, mais ils expliquent aussi que ces pratiques se côtoient plus qu’elles n’échangent. L’action publique sur laquelle travaille le design (le service, le site web, l’accueil…) n’est souvent pas celle sur laquelle travaille l’évaluation (le projet, le programme, la politique…) : l’échelle, les enjeux, les interlocuteurs/rices ne sont pas les mêmes. La commande publique qui réunirait demande en design et demande en évaluation est globalement inexistante aujourd’hui, ou bien reste théorique. SE TROUVER DES ATOMES CROCHUS Au-delà de ces espaces communs, le design et l’évaluation ont donc besoin de se trouver des atomes crochus pour pouvoir engager une discussion. Si l’on n’a rien à partager, la discussion s’arrête vite. Voici trois de ces points d’entrée communs1 : 1 Pour le design, voir notamment Kernin, A.-B., Curtabbi, G. (2024). Enquête design des politiques publiques. https://cloud.la27eregion.fr/s/QyRTM5EyE5TENzm. Pour l’évaluation, voir Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Ridde, V. (2021). Évaluation. Fondements, Controverses et Perspectives (Sciences du Bien Commun). https://www.editionscienceetbiencommun.org/evaluation-fondements-controverses-perspectives/ 113 T. Delahais L’hypothèse hybride : saisir ensemble Design et Évaluation sont proches, mais ne se recouvrent pas totalement, et qui ouvrent des possibilités d’une vision plus complexe des publics : que faire des usager·es qui ne bénéficient pas du service public, des bénéficiaires non-usagers ? De même, poser la question des « besoins » (comme le design) et des « problèmes publics » (comme l’évaluation), c’est changer de focale, et pouvoir progresser du micro au macro… et inversement. EXPLOITER LES DÉCALAGES Si l’évaluation et le design travaillent sur des objets similaires, c’est cependant avec des différences dans les postures et les approches – parfois subtiles, et parfois plus importantes. En voici cinq: 1. Temps : • Les designers sont tournés vers l’avenir, mais s’intéressent au présent pour poser leur diagnostic. • Les évaluateurs/rices regardent le présent et le passé, mais ils en retirent des enseignements pour l’avenir. 2. Échelle : • Les designers travaillent essentiellement à une échelle micro, celle du projet. • Les évaluateurs/rices travaillent à différentes échelles, parfois simultanément (le programme et les projets financés). 3. Visée : • Les designers donnent à voir un potentiel de changement. • Les évaluateurs/rices cherchent à rendre compte de la réalité des changements. 4. Analyse : • Les designers privilégient des approches inductives, qui partent d’observations spécifiques pour arriver à une conclusion générale, ou abductives, qui partent généralement d’une exploration qualitative du terrain ou y reviennent par itération successive. • Les évaluateurs/rices sont souvent déductifs, et partent alors d’objectifs officiels, de théories ou d’hypothèses qu’ils ne confronteront qu’ensuite au terrain ; mais peuvent aussi être inductifs ou abductifs. 5. Posture : • Les designers se placent en posture ouverte, d’écoute, « naïve », ou bien de médiation, mais aussi de trublion ou d’insolence pour remettre en cause l’existant (Kernin et al, 2024). • Les évaluateurs/rices peuvent se placer en posture ouverte, d’écoute, « naïve » ou de médiation, mais aussi d’indépendance ou au contraire de soutien pragmatique aux équipes ; mais rarement d’insolence. Un dernier élément de différenciation renvoie à l’élaboration de formes, d’objets qu’il faut manipuler pour vérifier s’ils répondent au besoin, et à la recherche du beau (un design doing et pas seulement thinking) (Juelsbo et al, 2017), qui n’ont pas de réel équivalent côté évaluation. Ces décalages sont parfois suffisants pour que la rencontre n’ait pas lieu. Il est difficile d’avoir une communication riche entre une évaluation très déductive, et alors plus à l’aise lorsqu’elle commence par la connaissance existante, et un design très inductif qui 114 sion créative. L’évaluation tire sa dimension systématique de sa filiation aux sciences sociales et c’est un élément essentiel de sa légitimité. Un·e évaluateur/rice ne va se permettre de dire quelque chose que si cette chose a été triangulée, recoupée, saturée (Olivier de Sardan, 2013), c’est-à-dire si suffisamment de précautions méthodologiques ont été prises pour assurer la robustesse d’un constat. Ses propres opinions ou convictions ne valent qu’à travers le prisme de l’enquête : autrement dit, la qualité professionnelle des évaluateurs/rices se juge à leur capacité à se garder d’eux-mêmes. Non seulement cette logique n’est pas familière aux designers, mais elle y est même opposée, dans une certaine mesure. Il est essentiel pour les designers de s’inspirer du terrain (avec des pratiques d’immersion, des observations, des entretiens…), mais il lui est tout autant essentiel de garder une liberté créatrice qui serait contrainte par une information systématique (sur, par exemple, ce qui constitue le problème ou les solutions). L’article d’E. Rivat, dans ces Cahiers, illustre bien cette tension forte sur, finalement, ce qui constitue l’enquête. Le deuxième, c’est le rapport aux acteurs de terrain. Les designers revendiquent leur empathie pour celles et ceux qui sont au guichet, mais aussi les destinataires de l’action publique, les personnes en non-recours… voire les gens en général. Ils sont « du côté de ». Les évaluateurs/rices peuvent exprimer leur préférence ou leur sympathie pour ces publics, mais ils et elles se méfient généralement de leurs « biais d’empathie » (envers les publics comme envers les commanditaires) et vont dans tous les cas vouloir prendre en compte l’ensemble des points de vue pour aboutir à une perception équilibrée de la situation. choisirait de l’ignorer. Rien n’est automatique, il y a des terrains communs à trouver. Mais ces décalages sont cependant aussi riches d’échanges et de complémentarités possibles, comme le montrent bien les exemples des différentes collectivités qui ont témoigné dans ces Cahiers. Dans notre expérience, l’exploitation des décalages donne lieu par exemple à des cartographies des problèmes ou des controverses (SDS et al, 2022) qui permettent d’identifier des points névralgiques propices à une intervention de design ; au repérage des obstacles à la diffusion d’une innovation à partir d’une théorie du changement, comme dans le cas du Ti Lab évoqué dans ces Cahiers ; à un backcasting des solutions (un outil prospectif du design visant à relier une vision d’avenir durable à des actions concrètes) (SDS, 2015) qui se mélange avec une théorie du changement pour rendre plus plausible la projection ; à des processus et des produits évaluatifs qui épousent des formes nouvelles, favorisant la manipulation et l’interaction; à des évaluations participatives, notamment « plus faciles à dire qu’à faire » (Delahais, 2021), à la hauteur de leurs promesses ; ou encore à l’adoption d’approches évaluatives telles que la récolte des incidences (Blundo, 2023) ou l’évaluation évolutive dans le cas du SLab de Vancouver, comme vecteurs d’itération du design. IDENTIFIER LES TENSIONS Il y a enfin des oppositions fortes entre design et évaluation, qui sont parfois de nature duale : c’est-à-dire qu’on ne peut pas être l’un et l’autre à la fois, ou bien que l’excès de l’un empêche l’autre de bien fonctionner. Nous proposons trois exemples de ces oppositions. Le premier, c’est l’opposition entre la dimension systématique et la dimen- 115 T. Delahais L’hypothèse hybride : saisir ensemble Design questions de posture, de valeurs ou de croyances différentes, profondes et intimes. Pourtant, on peut aussi exploiter ces tensions et les rendre productives, en particulier dans le cadre expérimental. L’évaluation peut certes tuer dans l’œuf une opération de design (ou alors s’avérer totalement inadaptée) en l’enfermant trop tôt dans des hypothèses sur les besoins et les solutions. Mais elle peut aussi poser très tôt la question des valeurs : sur quels critères jugera-t-on l’intervention en cours de conception ? (Quadrant Conseil, 2020) Elle peut élaborer une théorie du changement social qui soit utile à l’opération de design (que se passe-t-il sur ce domaine, au-delà du projet en place, et qu’il faudrait prendre en compte ?) ; elle peut aider à repérer les espaces d’innovation possible ou les fausses bonnes idées, et elle peut aider le design à expliciter ses idées et à les stabiliser progressivement, notamment grâce à un travail d’enquête un peu plus détaché de l’action, qui travaille à charge et à décharge. Dans tous ces cas, l’évaluation agit plutôt comme un sparring partner - un rôle dans l’équipe, comme le dit L. Cole - que comme un juge extérieur (SDS et al, 2022). Dit autrement, le cadre du design offre aux évaluateurs/rices la possibilité de travailler avec leur posture évaluative plutôt qu’avec une démarche classique d’évaluation (Delahais, 2023), mais aussi potentiellement une opportunité d’assumer leur empathie, n’être pas tout à fait critique, voire apporter des idées dans un processus de conception. Ce sont cependant à chaque fois des chemins Le troisième, enfin, c’est le rapport au jugement. Cette notion est consubstantielle à l’évaluation, et c’est elle qui oriente le travail évaluatif. Quels critères choisir pour juger une intervention ? En quoi un résultat est-il « bon » ou non et dans quels cas ? Comment amener les parties prenantes à partager ce jugement ? Les évaluateurs/ rices placent leur capacité à faire une critique pertinente des interventions tout en haut de la liste de leur utilité potentielle. Les designers cependant se méfient profondément du jugement ; ils préfèrent souvent faire le pari du concret qui rassemble plutôt que d’exprimer les différences ; et ils sont susceptibles de valoriser les façons de faire (le beau, la nouveauté, la participation, la satisfaction des participant·es…) et pas les résultats de l’action, alors que ce sont ces derniers qui concentrent l’attention des évaluateurs/rices. Tant que l’évaluation est une étape séparée de l’action de design, ce n’est peut-être qu’un désagrément. Mais il n’en est pas de même quand design et évaluation coexistent, comme dans le cadre d’une expérimentation par exemple. Pire, l’intégration du jugement et de la critique dans un projet de design peut le faire capoter, en détruisant des idées fragiles ou en créant de l’anxiété évaluative (qui a envie de se faire évaluer ? (Vincent, 2023). Ces oppositions créent des tensions qui peuvent affecter profondément les coopérations, ou au moins les rendre peu probantes : désaccord sur le diagnostic, sur l’opportunité de changer, sur la pertinence et la généralisation des solutions, méfiance mutuelle… Les tensions peuvent être d’autant plus importantes qu’elles touchent à des 116 T. Delahais L’hypothèse hybride : saisir ensemble Design et Évaluation de négociations approfondies entre évaluateurs/rices et designers, voire de postures particulières, notamment : une évaluation sensible aux approches inductives ou abductives et capable de se placer en positionnement d’accompagnement et pas seulement critique ; un design attentif à la complexité des politiques publiques et à leurs effets. Ces conditions ne sont pas si aisément reproductibles et il y a des habitudes à prendre, comme le signale F. Jégou avec ses « katas de l’hybridation », et des moments à favoriser, comme l’indique C. Gouache avec son « parcours enrichi des politiques publiques ». On peut préférer, comme à Nantes, choisir en amont la bonne prestation, ou bien organiser leur succession comme à Rennes, et s’éviter ainsi des échecs. Mais on pourrait aussi viser à multiplier les expériences dans la commande publique. Quel rôle pour les commanditaires expérimenté·es pour faire advenir des expériences nouvelles ? Faut-il que les designers amènent les évaluateurs/rices dans leurs opérations, et vice-versa, pour trouver l’occasion d’explorer plus avant des décalages fertiles ? Faut-il sortir de la commande publique et des expériences ponctuelles pour construire une offre de service ou des partenariats nouveaux, qu’évoquent F. Jégou et S. Vincent dans ces pages ? Comment ouvrir nos référentiels de compétences à des perspectives différentes et qui pourtant nous interrogent ? La question de la réplication des hybrides — autre point d’entrée commun aux un·es et aux autres — reste ouverte. un peu difficiles à suivre, et qui ne sont pas exempts d’échec : il peut être utile de pouvoir se rabattre sur une bonne évaluation ou un bon design le cas échéant. VERS PLUS D’HYBRIDES ? On peut toujours imaginer des croisements entre pratiques et métiers, mais encore faut-il, pour que l’hybride soit cultivé, que le produit de ce mélange en vaille la peine, voire dépasse les « variétés » originelles (Rey, 2016). Sans même aborder les collaborations où chacun travaille côte à côte à faire ce qu’il fait le mieux, ces exemples de coopérations abondent aujourd’hui, en particulier dans le cadre d’expérimentations guidées par le design. Évaluation et design ont notamment un potentiel commun à traiter des controverses, à naviguer dans des problèmes épineux, construire des collectifs pérennes, apprendre de l’expérimentation… autant d’enjeux essentiels aux problèmes systémiques auxquels nous faisons face aujourd’hui. Comme le rappelle S. Vincent, on a tout intérêt dès maintenant à préparer « le pari d’après » en matière d’action publique. Ces coopérations ne sont pas si faciles cependant. Elles dépendent aujourd’hui En prenant la relation design évaluation par le milieu, c’est-à-dire par ce qui les relie, les décale ou les met en tension, on peut aussi imaginer des choses nouvelles qui, potentiellement, réussissent là où le design ou l’évaluation seuls auraient échoué. * Zeldin, T. (2016). Préface. in “L’hybridation des mondes. Territoires et organisations à l’épreuve de l’hybridation”. Ouvrage collectif sous la direction éditoriale de Luc Gwiazdzinski. Elya Editions. Delahais, T., Gouache, C., & Vincent, S. (2019). Le design de l’action publique : Vers une hybridation entre culture design et culture de l’évaluation. Sciences du Design, n°10(2), 83. https://doi.org/10.3917/ sdd.010.0083 Latour, B. (2003). L’impossible métier de l’innovation technique – PROTEE une nouvelle méthode d’évaluation des projets fortement incertains. in P. Mustar et H. Penan, Encyclopédie de l’innovation (p. 9-26). Economica. Latour, B. (2010). Nous n’avons jamais été modernes : Essai d’anthropologie symétrique. Editions La Découverte. Groupe de travail. (2019). Design des politiques publiques. Ministère de l’Économie et des finances. Ministère de la Culture. https://www.assisesdudesign.com/doc_root/Ressources/contributions/5e7486ace4439_Document-analyse_pilotes_ GT_design_et_politiques_publiques.pdf Définition donnée par Alain Bercovitz. Stern, P., Tutoy, P. (2001). Le métier de consultant. Principes, méthodes, outils. Éditions d’organisation. p. 28. Ridde, V, Béland, D. (2025, janvier 20). Experts privés pour l’action publique : Quelle responsabilité ? - AOC media. https://aoc.media/analyse/2025/01/20/experts-prives-pour-laction-publique-quelle-responsabilite/ Kernin, A.-B., Curtabbi, G. (2024). Enquête design des politiques publiques. https://cloud.la27eregion.fr/s/ QyRTM5EyE5TENzm. Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Ridde, V. (2021). Évaluation. Fondements, Controverses et Perspectives (Sciences du Bien Commun). https://www.editionscienceetbiencommun.org/evaluation-fondements-controverses-perspectives/ Renault, E. (2015). Qui n’a pas fait d’enquête n’a pas droit à la parole ? In R. Descendre & J.-L. Fournel (Éds.), Langages, politique, histoire. Avec Jean-Claude Zancarini. ENS Éditions. https://doi.org/10.4000/ books.enseditions.5370 Star, S. L., & Griesemer, J. R. (1989). Institutional ecology, translations’ and boundary objects: Amateurs and professionals in Berkeley’s Museum of Vertebrate Zoology, 1907-39. Social studies of science, 19(3), 387-420. Kernin, A.-B., Curtabbi, G. (2024). op. cit. Juelsbo, T., Tanggaard, L., Glaveanu, V.P. (2017). From Design Thinking to Design Doing. In: DarbelBIBLIOGRAPHIE 117 lay, F., Moody, Z., Lubart, T. (eds) Creativity, Design Thinking and Interdisciplinarity. Creativity in the Twenty First Century. Springer, Singapore. https:// doi.org/10.1007/978-981-10-7524-7_10 SDS, Quadrant Conseil, Casus Ludi (2022). Renouveler la vie nocturne parisienne. https://www. strategicdesignscenarios.net/renouveler-la-politique-de-la-vie-nocturne-parisienne/ SDS (2015). Visions+21. Boîte à outils de co-construction de visions souhaitables à destination des territoires. Ministère de l’écologie, du développement durable et de l’énergie. Avec ETD et 4D. https://wiki. resilience-territoire.ademe.fr/wiki/Boite_à_outils_visions_%2B21 Delahais, T. (2021). Les évaluations participatives : Plus facile à dire qu’à faire ? _LeGes_, _1_(32), 16. https://doi.org/10.38023/265714d6-463d-4ae3-80ef5588489d0ec3 Delahais, T. (2021). Les évaluations participatives : Plus facile à dire qu’à faire ? LeGes, 1(32), 16. https:// doi.org/10.38023/265714d6-463d-4ae3-80ef5588489d0ec3 Blundo, G. (2023). Récolte d’incidences. _LIEPP Fiche Méthodologique n°46_. https://sciencespo.hal. science/LIEPP-METHOD/hal-04160770v1 Delahais, T. (2022). Le choix des approches évaluatives. In Rey, L., Quesnel, JS. Sauvain, S. L’évaluation en contexte de développement (p. 155-180). JLD Éditions. https://www.editionsjfd.com/static/uploaded/ Files/9782897993016_v18_int.pdf#page=157 Olivier de Sardan, J.-P. (2013). La rigueur du qualitatif : Les contraintes empiriques de l’interprétation socio-anthropologique. Chapitre IV : La politique du terrain. Academia Bruylant. Vincent, S. (2023). Évaluer l’innovation publique, session du 2 février 2023. Les Labonautes. https://leslabonautes.la27eregion.fr/2023/02/23/evaluer-linnovation-publique-session-7-du-2-fevrier-2023/ Quadrant Conseil. (2020). Évaluation du programme VILCO. Innov’Iris. https://www.quadrant-conseil.fr/ ressources/documents/VILCO.pdf SDS, & Quadrant Conseil. (2022). Et si on consommait moins d’eau ? https://www.dropbox.com/scl/ fi/b2jsuohkxn5eqzdmkqorh/230222_Auto-Publication_EN.pdf?rlkey=n1irrp9nh1iiybav0odyyowrj&dl=0 Delahais, T. (2023). La ROSACE de la posture évaluative. Quadrant Conseil. https://doi.org/10.5281/ zenodo.15131321 Rey, A. (2016) Les mots de l’hybridation. in “L’hybridation des mondes”, op.cit. « » L’apport du design pour l’évaluation est plus que graphique : il est méthodologique Emmanuel Rivat [l’instant citation] 118 119 »tant aujourd’hui propices, parce que la commande publique les incite de plus en plus à travailler conjointement». Les démarches de design sont également de plus en plus évaluées. Et les préconisations des évaluations n’ont de sens que si elles sont testées. Surtout, des apports mutuels peuvent exister. Côté évaluation, la mobilisation et la valorisation des sciences sociales permet de mieux prendre en compte le poids des environnementaux (sociaux, politiques) et des déterminants qui en découlent. Côté design, le regard porté sur les usages concrets des solutions permet à l’évaluation de sortir d’une lecture surplombante du réel. Cet article propose une lecture équilibrée des apports réciproques du design et de l’évaluation en rappelant la force de l’interdisciplinarité et en déconstruisant certains a priori. LES APPORTS DU DESIGN POUR L’ÉVALUATION J’ai pu, dans ma pratique de l’évaluation, être bousculé dans certaines certitudes théoriques par l’importance accordée aux usages par des partenaires designers. Au cours d’une mission d’évaluation commanditée par l’État, j’ai été étonné, par exemple, par la manière dont des designers posaient la question du lien entre l’information et l’orientation éducative et professionnelle des jeunes. Alors que la plupart du temps, la politique de l’orientation est «Les études permettant d’aller plus loin dans le diagnostic, cela aurait dû, en principe, nous donner davantage de possibilités d’agir. Mais le pari a été raté. (...). Le monde des études et de la transformation sont trop différents »1. INTRODUCTION Depuis plus d’une dizaine d’années, les mondes du design et de l’évaluation se mobilisent en faveur de l’intérêt général au cœur de la construction de l’action publique. Ils sympathisent, et collaborent de plus en plus. Cependant la rencontre de ces deux mondes sociaux n’a rien d’une évidence. L’évaluation vise à produire des connaissances pour porter un jugement sur un projet, un programme, ou une politique publique et élaborer des préconisations. Le design propose de mobiliser l’expérience des usager·es pour prototyper des solutions concrètes. À cette complexité opérationnelle s’ajoute une complexité culturelle. Les socles de formation, les codes, les imaginaires et le vocabulaire de l’évaluation et du design diffèrent fortement. Si bien que l’évaluation et le design ont tendance à fonctionner comme deux sphères qui s’ignorent et qui questionnent peu, frontalement, leurs pratiques. Les conditions d’un dialogue renforcé entre design et évaluation sont pourUne nouvelle alliance à explorer Emmanuel Rivat, politiste et évaluateur, Agence Phare 1 Constat réalisé par le fondateur de l’agence Okoni suite à une tentative de rapprochement avec l’institut de sondage BVA. Brice Jehanno, “Okoni joue la carte Change”. Interview du site Admirable Design. 15 octobre 2023 consulté le 26 mars 2025. Les objectifs et les méthodes sont d’abord bien différents. CONSTRUIRE UN DIALOGUE ET DES PONTS ENTRE SCIENCES SOCIALES, DESIGN, ET ÉVALUATION 126 En reprenant la métaphore développée dans l’article précédent, on peut voir les katas comme le fruit d’une évolution progressive, née de la pratique et du dialogue entre design et évaluation. Les quatre schémas en annexe illustrent les premiers gestes, les balbutiements d’enchaînements qui deviendront plus fluides dans la vision des katas. Ils témoignent de nos réflexions en cours aujourd’hui sur l’articulation entre ces deux champs, et des bases sur lesquelles s’est construite la vision présentée dans l’article. Nous les partageons ici à la fois pour éclairer cette genèse et pour nourrir la discussion entre designeuses, designers, évaluatrices et évaluateurs. Les modalités d’hybridation entre design et évaluation et la manière d’enchaîner les 2 disciplines ne sont pas les mêmes selon la nature des relations au sein du système d’acteurs en jeu : il faut prendre la « température du terrain » pour régler au mieux la chorégraphie entre design et évaluation ! Certains domaines d’intervention du design et de l’évaluation sont relativement consensuels sur les problèmes et les solutions, mais la plupart sont assez tendus, voire très conflictuels, ce qui affecte les possibilités de coopération avec les acteurs. Si l’on se situe sur ce thermomètre de la conflictualité, dans un terrain tempéré où les acteurs sont enclins à la coopération, un processus de co-construction peut être enclenché immédiatement, un diagnostic collectif se nourrit de pistes d’inspiration, un scénario est co-élaboré en toute transparence, expérimenté et évalué avec la contribution continue des acteurs. En revanche, si la température du terrain sur le thermomètre est plus élevée et les acteurs en tension, expliciter trop clairement les problèmes, pointer les antagonismes, mettre à vif les controverses peut rendre le terrain peu actionnable pour la co-construction. Une autre chorégraphie entre design et évaluation doit être mise en place: on préférera des entretiens individuels pour identifier des points de convergence susceptibles de restaurer le dialogue. On travaillera en tâche de fond une cartographie des controverses et son double – une cartographie des convergences – pour en tirer un premier scénario consensuel. On pourra alors passer au grand jour et réamorcer la coopération : le design pour commencer à co-construire dans des zones moins conflictuelles, l’évaluation en montrant la variété des points de vue, explicitant les divergences pour faire baisser la tension entre les acteurs. Dans notre hypothèse de métier hybride, design et évaluation alternent position frontale et travail en toile de fond pour fluidifier au mieux le jeu d’acteurs, construire la confiance et (r)établir la coopération. ANNEXE F. Jégou s’adapter au climat du terrain s’adapter au climat du terrain F. JÉGOU [l’instant illustration] Consensus 127 128 L’évaluation travaille sur la compréhension des problèmes à traiter. À travers l’arbre à problèmes, elle demande : quels sont les problèmes auxquels il faudrait trouver des solutions ? Elle dessine les racines des problèmes jusqu’à leurs causes ultimes, détecte les interstices actionnables, les effets multiplicateurs, déjoue les effets rebond, etc. Le design, à l’inverse, se concentre sur la recherche de solutions. Il explore les solutions qui pourraient répondre aux problèmes et dessine pour cela ce que l’on pourrait appeler un arbre à solutions, pendant de l’arbre à problèmes, dont les branches explorent les terrains les plus fertiles, les cas inspirants existants, les solutions nouvelles, etc. L’approche hybride évaluation et design construit une forme de dialogue entre problèmes et solutions. Plutôt que de rester coincée dans le messy middle (cette phase intermédiaire lors de laquelle on a identifié les bons problèmes, mais sans réussir à les résoudre ou à l’inverse, trouvé des solutions fertiles mais qui agissent peu sur les problèmes), elle s’attaque simultanément aux problèmes et aux solutions. Elle négocie « par le milieu » entre les problèmes jugés les plus pertinents et prioritaires et ceux pour lesquels il semble que l’on puisse trouver des solutions. ANNEXE Faire dialoguer problèmes et solutions F. Jégou Faire dialoguer problèmes et solutions F. JÉGOU [l’instant illustration] 129 130 Le design excelle dans les pas de côté, l’ouverture de nouvelles voies, etc. mais moins dans le fait de s’assurer que ces voies mènent bien quelque part, qu’elles sont carrossables et qu’il existe des acteurs susceptibles de s’y engager… A l’inverse, l’évaluation construit des chemins de changement en réaction aux problèmes identifi és. Elle pointe les écueils, prévient les eff ets rebond, etc. mais sans trop chercher à savoir où elle va, à défi nir à quoi ces chemins vont aboutir… Ensemble design et évaluation dépassent les boucles d’ajustement progressif entre projection (forecasting) et retrojection (backcasting). Le design construit facilement des visions désirables et plausibles au sens des « coupes synchroniques » qui en prospective permettent de vérifi er la cohérence et la consistance d’une vision. Il force l’évaluation à remettre en question la vision initiale et à imaginer le futur, ou mieux : plusieurs futurs. Sa stratégie de changement cherche à ébranler l’existant (vision tendancielle), à dépasser la résolution des problèmes nécessaire à maintenir cet existant pour proposer à la délibération des visions alternatives (visions alternatives désirables)… mais il tend à souvent parier naïvement sur leur seule attractivité pour les faire advenir. L’évaluation force le design à dépasser ces disruptions créatives (dans lesquelles il se complait parfois…) pour interroger quels chemins pourraient y mener et à quelles conditions (chemins praticables et crédibles) on peut s’approcher de là où l’on souhaite aller. En s’autorisant à explorer simultanément plusieurs visions alternatives, design et évaluation maximisent les chances de trouver des visions désirables et atteignables tout en réduisant le temps d’exploration nécessaire… ANNEXE F. Jégou VOIR PLUS LOIN QUE LE BOUT DU PROJET... VOIR PLUS LOIN QUE LE BOUT DU PROJET... F. JÉGOU [l’instant illustration] 131 132 L’hybridation design-évaluation permet de minimiser les eff orts nécessaires en maximisant la pertinence des solutions obtenues. Analyse documentaire, revue de littérature, défi nition de critères, cartographie des acteurs et du système, etc. le processus porté par l’évaluation permet au démarrage, avec un niveau d’eff ort consenti raisonnable, d’avancer rapidement dans la défi nition de la problématique visée. Là où le design s’épuiserait en explorations créatives à 360°, recherches-action exploratoires, le premier cadrage apporté par l’évaluation lui permet de focaliser ses eff orts créatifs et de formuler des premières hypothèses prometteuses. Le schéma répond à la loi de Pareto dans le cadre de la relation design-évaluation : 20-30% d’eff ort de cadrage par l’évaluation permet d’améliorer de 70-80% le ciblage de l’action de design. Un point de bascule s’opère alors en termes d’économie du dialogue design-évaluation. Une analyse fi ne du système, une compréhension en profondeur de la problématique, etc. demande des eff orts importants à l’évaluation et ne semble plus aider la recherche de solutions par le design. Voire, une analyse trop fi ne du système peut aussi empêcher l’innovation de se faire et donc être contre-productive aussi en termes d’effi cience. À l’inverse, expérimenter l’hypothèse prometteuse proposée par le design, focaliser les eff orts de l’évaluation sur sa compréhension et son amélioration permet de gagner en pertinence des solutions dans une économie d’eff ort consenti. C’est un pari : l’hypothèse prometteuse pourrait s’avérer être une impasse. C’est un risque à prendre pour gagner en effi cacité et un risque limité grâce à la capacité de l’innovation de cibler très vite les défi cits d’innovation et construire une théorie du changement. La recherche du point de bascule entre continuer à approfondir la compréhension de la problématique et commencer à affi ner une solution prometteuse détermine un « triangle de l’effi cience » de l’hybridation design-évaluation dont la surface doit être minimum. ANNEXE F. Jégou LE TRIANGLE DE L’EFFICIENCE 133 LE TRIANGLE DE L’EFFICIENCE [l’instant illustration] F. JÉGOU CHAPITRE V L’évaluation et le design ensemble face aux défis de la transition et des transformations de l’action publique STÉPHANE VINCENT "Evaluateurs et designers : est-ce qu’on est les idiots utiles d’une démocratie en carafe ?“ [l’instant citation] 142 143 Stéphane Vincent, expert en innovation publique, La 27e Région À juste titre, la transdisciplinarité est de plus en plus encouragée. Mais sa mise en œuvre n’est pas toujours une sinécure. Il y a plus de quinze ans, dans le cadre d’une résidence créative, j’ai passé plusieurs heures à réconcilier un designer et une sociologue qui ne parvenaient pas à ajuster leurs interventions respectives… Plus tard j’ai assisté au même phénomène entre un designer et un architecte participatif, mais aussi entre un designer et des artistes. Faire interagir deux disciplines exige un effort simultané de modestie qu’elles ne sont pas toujours prêtes à accorder. Mais quand l’alchimie se produit, c’est toujours une bonne nouvelle, car celle-ci est de nature à renforcer l’une et l’autre. C’est tout particulièrement le cas du rapprochement qui s’opère actuellement entre design et évaluation: en hybridant conception créative et recherche d’impact, il redonne du sens aux deux disciplines. Il y a quelques mois, au terme d’une formation à l’évaluation, une collègue designer a eu cette réaction : « Finalement, l’évaluation, c’est une méthode créative… ». On entendait rarement pareille remarque il y a quelques années ! Tout en célébrant les noces, il faut tout de même prendre conscience de l’effroyable pauvreté du contexte dans lequel nous le faisons : une situation politique et budgétaire délétère, un retour de bâton sur tous les sujets progressistes, une incapacité structurelle de nos nations à affronter les conséquences du dérèglement climatique et de l’érosion de la biodiversité…Il y a certes une demande en design des politiques publiques et en évaluation, mais dans le climat de post-vérité actuel, ce sont des expertises qui portent le risque de susciter le désintérêt et plus encore la défiance, comme les institutions, les sciences et la démocratie dont elles se réclament. Ce problème n’est pas entièrement nouveau : maintes fois espéré, le grand soir de l’évaluation n’est pourtant jamais arrivé, comme le rappelle dans sa thèse le chercheur Paul Cotton1. Pas sûr qu’il en aille si différemment pour le design… Nous croyons très fort en nos pratiques, mais que faire si les personnes concernées n’en veulent pas autant que nous ? Maintenant que nous avons fait le pari de l’hybridation entre design et évaluation, nous devons nous appliquer à le mettre en œuvre en continuant à combiner nos expériences de mille façons sur le terrain, et à les documenter comme le fait cet ouvrage, peut-être à publier des guides pratiques à l’attention des acheteurs publics, comme nous l’avons fait dans le passé sur le design des politiques publiques, ou l’assistance à maîtrise d’usage. Mais si nous voulons franchir de nouveaux cols, il nous faut en même temps préparer les paris d’après. Posons-nous la question: quels changements d’approches nous permettraient de sortir des pièges structurels dans lesDesign et évaluation, préparer le pari d’après 1 Cotton, P. (2025). Les « perdants magnifiques » de la réforme de l’action publique : Entre marché et administrations, la révolution permanente des répertoires d’évaluation des politiques en France (19902024). Thèse de doctorat en science politique. Lyon 2 144 quels le design, l’évaluation et d’autres pratiques comparables sont prises, tels que les effets de mode, la difficulté à institutionnaliser ces pratiques, ou encore, last but not least, le baiser de la mort des grands cabinets de conseil ? OUVRIR GRAND PORTES ET FENÊTRES Voulons-nous faire le pari de l’ouverture? S’ouvrir, c’est mettre en place des relations entre des personnes, des communautés, des territoires qui ne travaillent pas ensemble, pour changer des rapports de force, ouvrir de nouvelles possibilités quand les choses sont bloquées. Un bon exemple est l’international : il existe un gisement inépuisable d’inspirations, de ressources, de financements largement sous-utilisés par la communauté française de l’innovation et de la transformation publique. Nous avons souvent une vision trop franco-française des problèmes. Nous passons à côté d’un certain nombre de communautés d’échanges et de débats qui ont lieu un peu sans nous, comme c’est par exemple le cas actuellement au sujet de l’innovation “par mission” dans le secteur public. Dans un projet partenarial, l’expérience montre qu’avoir un partenaire étranger permet d’accueillir plus facilement de nouvelles perspectives, de rééquilibrer les rapports de force à l’échelle nationale et locale, voire de faire levier sur de nouvelles sources de financement. Une fois débloqué le problème trivial de la langue, tout cet univers sera accessible. Bien entendu, l’exemple de l’ouverture fonctionne aussi avec d’autres contextes, comme l’ouverture à la communauté scientifique, aux élu-es, entre les innovateurs sociaux du public et ceux du privé, entre les laboratoires d’innovation publique et les acteurs de l’ESS, ou encore entre les acteurs d’un même territoire. Ouvrir les portes et les fenêtres est un pari souvent gagnant... AGIR SUR LES CROYANCES Préférons-nous agir sur les représentations et les croyances ? Ici, par exemple, l’objectif pourrait consister à encourager les expériences émotionnelles de nature à faire évoluer les points du vue des personnes qui ne sont pas convaincues par nos pratiques... L’exemple le plus connu, c’est l’impact généré par certains documentaires devenus des succès populaires comme Demain (2015, plus d’un million d’entrées en France) qui a propulsé Cyril Dion et sonné l’alerte sur les limites planétaires, ou plus récemment des films comme Je n’oublierai jamais vos visages (2023) de la réalisatrice Jeanne Henry, qui a fait évoluer les regards sur la justice réparatrice. Alors bien sûr, spontanément on se demande comment un documentaire sur le design, l’évaluation ou même l’innovation publique pourrait faire vibrer les foules ! Et pourtant…Le 22 juin 2009, nous avons projeté dans l’un des salons de l’Assemblée Nationale le documentaire Us Now en présence de son auteur, le designer et réalisateur britannique Ivo Gormley. Le documentaire portait sur le pouvoir des foules et de l’innovation sociale comme levier de transformation de l’État. Coup du sort : le jour même, le président Sarkozy réunissait tout le Parlement au Congrès de Versailles pour s’exprimer sur la crise économique, privant notre séance de tou·tes les député·es. Dommage... On peut toujours rêver, et imaginer ce qui se serait passé si ne serait-ce que quelques dizaines de parlementaires avaient participé à la séance? Un déclic aurait pu s’opérer chez certain·es, ouvrant la porte à des prises de parole en séance, à des réactions du gouverne- 145 S. Vincent Design et évalution, préparer le pari d’après ment de l’époque, peut-être à de futurs amendements, projets de lois et à tout le moins, une mise en débat au sein de la représentation nationale ? On pourrait aussi imaginer une campagne sur les réseaux sociaux, mobiliser l’humour et la dérision... Nous aurions tort de ne pas faire ce type de pari, car pendant ce temps d’autres s’en chargent pour nous! CHANGER DES ÉLÉMENTS STRUCTURELS DU SYSTÈME Reconnaissons que le cadre actuel n’est pas propice à ce que nous sommes nombreux·ses à souhaiter : des projets plus ambitieux, plus expérimentaux, à plus long terme, financés de façon pluriannuelle. Maintenir à flot des activités d’intérêt général comme celle de la 27e Région devient de plus en plus difficile. Certaines agences de design montrent les premiers signes de fatigue, du fait de leur dépendance à un marché volatile et complexe. Devenir designer dans l’administration n’est pas (encore) la voie royale, en tout cas si l’on espère siéger dans un comité de direction un jour. On ne peut pas traiter toutes ces difficultés sans chercher à changer la structure sous-jacente du système. Concernant le besoin de modèles économiques plus expérimentaux, une action parmi d’autres à mener pourrait consister à défendre lors d’une prochaine loi de finances un système de financement adapté, par exemple celui défendu par un collectif réunit autour de la coopérative de recherche Ellyx, basé sur un Crédit d’Impôts « wRecherche Social ». Il faudrait aussi construire une gouvernance plus équilibrée entre l’État et les collectivités locales dans la fixation des priorités de transformation publique. Au sein des administrations, il serait plus facile de créer une culture expérimentale sur la durée d’un mandat si les plans d’administration comprenaient dès en amont un volet « design et recherche ». Il pourrait également s’agir de modifier les rapports de force entre les « petits acteurs très transformateurs » et les « grands acteurs ayant besoin de se transformer » (par exemple le Cerema, le CNFPT, les agences de l’État, etc). Il est souvent étonnant de constater le gisement de possibilités activables pour changer les cadres en place… RESYNCHRONISONS-NOUS Le secteur est marqué par une très forte dispersion, l’absence d’une codification et d’une grammaire commune qui nous empêche de progresser de façon décisive, de monter collectivement en maturité. Comme dans une course de petits chevaux, chacun fait avancer sa marotte, à travers sa propre communauté : ici le design, là l’évaluation, ailleurs les sciences comportementales, la facilitation, l’IA, la participation, etc… Les formations sont plus ou moins bien synchronisées avec les réalités de terrain, mais aussi avec l’état de l’art théorique et scientifique. Finalement, chacun tient un bout du problème, mais personne ne semble vraiment en mesure de mener des transformations complexes à leur terme. Nous ne pouvons plus nous contenter de raisonner avec un coup d’avance, il nous faut penser deux à trois coups plus tôt, porter un regard plus systémique sur les écosystèmes dans lesquels nous évoluons. 146 Design et évalution, préparer le pari d’après S. Vincent Nous pourrions par exemple lancer des expéditions apprenantes pour nous remettre collectivement à jour, en re-synchronisant les pratiques de terrain, l’état actuel des connaissances, et les programmes de formation dispensés dans les écoles ou les organismes de formation. Nous pourrions mieux cartographier et relier les espaces d’apprentissage existants. Une meilleure répartition des rôles pourrait également être organisée entre les lieux de recherche et d’enseignement, à partir d’une liste priorisée d’enjeux difficiles à atteindre. Il faudrait faire en sorte que tout financement public engage à partager la documentation, les évaluations, les apprentissages d’un projet en licence libre de droit, et à les publier en ligne et sans restriction. Il ne s’agit là que d’une série d’idées, combinables entre elles et avec d’autres à venir. Le contexte nous invite à être encore plus créatif, plus audacieux, et à sortir de nos zones de confort. Et vous, quel pari êtes-vous prêt.e à faire? « 147 « » Une fois débloqué le problème trivial de la langue, tout cet univers sera accessible. Stéphane Vincent [l’instant citation] 148 dans le cadre de la convergence entre le design et l’évaluation, décline ainsi principalement des formes de positionnements face à sa pratique. (Définition inspirée des articles de H. Varlet, H. Ghouila ; M. Béjean, S. Gauthier ; A. Berthaud, H. Clot, N.Wolff) HYBRIDATION (30 occurrences) : hybridation des pratiques, hypothèses d’hybridation, modalités d’hybridation, hybridation constructive L’hybridation au cœur de ces Cahiers dessine, au-delà du dialogue entre les disciplines et de leurs transformations respectives, la naissance d’une pratique nouvelle, « un pari ». Issue de la combinaison entre design et évaluation, l’hybridation est un futur, dont la forme et les conditions sont questionnées et restent à explorer. (Définition inspirée des articles de Stéphane Vincent ; François Jégou ; Thomas Delahais) INTUITION, INTUITIVE (20 occurrences) Si l’intuition est à la fois un outil du designer, pierre angulaire de sa pratique, qui caractérise sa méthode, sa logique, sa ligne de conduite, voire sa grille de lecture de l’action publique ; c’est l’intuition de l’évaluateur·rice qui inaugure la place de ce mot dans ces Cahiers, une intuition de ce qui se cache derrière… le refus d’évaluer ! Ce (court) abécédaire propose d’explorer la convergence entre deux univers conceptuels et sémantiques au prisme de leurs lexiques, respectifs et partagés. Il invite à (re)parcourir les Cahiers en interrogeant l’usage des mots qui partagent et que partagent les champs disciplinaires de l’évaluation et du design. Les six termes sélectionnés ont ainsi été choisis pour leur rôle en tant que frontière, ressource ou pont entre les disciplines. APPROCHE (103 occurrences) : approche par le terrain, approche sensible/flexible/adaptée, approche purement intuitive, approche expérimentale, approches non occidentales/décoloniales Mot-valise, mais mot qui tour à tour, décline les ambitions, assène les fondements et dessine les frontières des disciplines des praticiens et praticiennes du design et de l’évaluation. L’(es) approche(s) renvoie(nt) tantôt à un ensemble d’usages que les practicien·nes confrontent à des pratiques nouvelles, comme lorsqu’il s’agit de mieux intégrer certaines expertises ; tantôt à un ensemble d’usages marquant un tournant conceptuel, comme l’approche usager. Il s’agit alors de positionner et d’inscrire sa pratique au sein d’un tournant dont découlent les « nouveaux enjeux » de la discipline. Au-delà des usages, l’approche incarne une posture ; « rigide », « flexible », ou à « assumer » (voir l’approche pragmatique) qui dépasse le choix méthodologique et l’inscrit davantage comme un processus. L’approche, Iris Aït Ouadda consultante en évaluation de politiques publiques, Quadrant Conseil. Court Abécédaire des Cahiers de l’Evaluation et du Design 149 (Définition inspirée des articles de C. Herbert, S. Zadrozynski, P. Algier ; A. Martin, C. de Besombes ; François Jégou ; Thomas Delahais) MESURE (24 occurrences) : sur mesure, à mesure, mesurables, mesures exactes, résultats mesurés, mesurer réellement, mesurer les effets/les écarts/les impacts. La mesure première (de ces Cahiers) liant design et évaluation est la mesure (de l)’impact, mobilisée en tant que forme initiatique ou initiale d’évaluation dans le monde du design. Avant ou sans « parler d’évaluation », c’est une dynamique d’introspection des designer·euses. La mesure peut alors être un outil d’analyse de leur pratique « sur les politiques » ; ou un outil intégré, s’indexant aux protocoles déployés au service de « la démarche du design pour itérer ». Lorsque cette mesure du design incombe à l’évaluateur·rice, on questionne sa méthode, ses indicateurs : comment évaluer une démarche « qualitative, créative, démocratique » et surtout itérative ? Il s’agit alors d’innover, de proposer du « sur-mesure », une mesure de l’écart dans le continu, entre les objectifs de départs et les indicateurs d’arrivée, alimentant une « zone de réinvention de l’évaluation ». (Définition inspirée des articles de C. Paul, G. Alix-Tabeling, N. Subileau ; C. Gouache ; A. Martin, C. de Besombes ; Thomas Delahais) RIGUEUR, RIGOUREUX/SE, RIGIDE (17 occurrences) : Perception des designer·euses de la pratique évaluative, associée à un ensemble de caractéristiques : « scientifique, pragmatique, objective ». Elle décline une opposition ou une distance à la perception de leur propre pratique : « souple, intuitive, sensible ». Comme compétence, la rigueur fait écho aux mots clés que les designeur·euses associent à l’évaluation « indicateur », « mesure » ; mais aussi aux méthodes de l’évaluation qu’ils mobilisent le moins : « analyse d’impact », « définition d’indicateurs ». Cependant, cette rigueur est également reconnue comme un potentiel complément à l’approche de design. Elle peut, dans une visée persuasive, rassurer les décideur·euses en venant appuyer l’intuitif, mais aussi contribuer à faire émerger des retours sur les outils du design– indispensable à son approche itérative. (Définition inspirée des articles de K. Bouquet ; A. Martin, C. de Besombes ; C. Herbert, S. Zadrozynski, P. Algier) TRANSVERSAL, TRANSVERSALITÉ (6 occurrences) : compétences transversales, créer de la transversalité, approche plus transversale, relations transversales, politique publique transversale La transversalité est double le long de ces Cahiers. Elle est d’abord déclinée comme un résultat escompté de la mise en place de logiques d’apprentissage transformatives et d’accompagnement aux changements de pratiques professionnelles des acteurs implémentant les politiques publiques. Mais elle incarne aussi une compétence ressource des designer·euses et évaluateur·ices face à des politiques et projets complexes nécessitant « pédagogie, posture d’accompagnement » ou face à des « démarches mixtes ». (Définition inspirée des articles de A. Pariente, E. Riclet ; H. Varlet, H. Ghouila ; L. Cole ; C. Lacouette-Fougère, E. Keirle; A. Babarit, C. Gérard) 150 À PROPOS DES AUTEUR.ICES 151 Alice Martin est designer de service au Lab’ de la Région Occitanie. Docteure en design, son travail de recherche porte sur la collaboration et l’usage de la démarche de design pour co-concevoir des politiques publiques territoriales. Elle consacre du temps à l’enseignement en intervenant en particulier au Master Design, Innovation et Société de l’Université de Nîmes. Elle est également une membre active de Dessein Public, le réseau des designers intégrés en collectivités et secrétaire de cette association. Amandine Babarit est chargée de mission innovation à Nantes Métropole et à la Ville de Nantes au sein de la Direction Générale Dialogue et Transformation de l’Action Publique (DGDTAP) . Après un parcours tourné vers le dialogue citoyen, elle contribue aujourd’hui aux transformations internes par et pour les agent·e·s (instruments, mécanismes, cadre d’action, pratiques et postures professionnelles…) par le pilotage et l’animation de démarches collectives et transversales en interne et d’un dispositif «osons le design» visant à soutenir le recours au design dans la collectivité. Annabelle Berthaud est chargée de mission « Évaluation des politiques publiques » au sein de la Direction stratégie innovation et relations citoyennes (D-SIR) de Grenoble-Alpes Métropole. Elle occupe ce poste depuis un peu plus de 10 ans et a ainsi pu accompagner de nombreuses directions dans leurs démarches d’évaluation. Issue des sciences sociales, elle intègre régulièrement des approches sensibles à ses évaluations pour rendre compte du regard usagers et plus largement habitants sur les services publics. Anne Pariente occupe le poste d’adjointe responsable de la Fabrique à Projets, aux ministères de l’aménagement du territoire et de la transition écologique. Avec un parcours dans la fonction publique dans les domaines de l’environnement et de l’agriculture, Elle s’est spécialisée dans la gestion des impacts sur l’environnement et dans le management des projets et des organisations. Actuellement en poste au ministère de la transition écologique et solidaire, elle accompagne des équipes du ministère pour favoriser la co-construction et l’agilité des services et mieux contribuer aux transitions écologiques, énergétiques, numériques et sociétales. Convaincue de l’importance d’un développement humain durable et de l’intégration de l’éthique dans la vie professionnelle, elle est responsable de la plateforme environnement du Centre Ethique International. Caroline Di Monte est designer de services à la Direction Innovation et Participation de la Ville de Clermont-Ferrand. Diplômée du master Design Innovation Société (DIS) de l’université de Nîmes, elle rejoint la collectivité en 2021. Elle s’intéresse particulièrement à la manière dont les organisations publiques évoluent face aux enjeux de transition. Son intérêt pour la transformation organisationnelle la conduit à explorer des sujets allant du stratégique à l’opérationnel, en questionnant les ressources mobilisées et l’impact humain. Cécile de Besombes est en charge du design stratégique et du management de l’innovation au Conseil départemental du Val-d’Oise depuis 2018. Son rôle implique un travail transversal avec l’ensemble des équipes, des agents de terrain jusqu’aux membres de la direction, afin d’améliorer les pratiques de collaboration et d’optimiser le travail en équipe au cours des différents projets. Auparavant, elle a travaillé en tant que designer consultante au sein de son propre studio et une dizaine d’années au sein de la Maison Hermès. Cécile Gérard est chargée de mission évaluation participative à Nantes Métropole et à la Ville de Nantes au sein de la Direction Générale Dialogue et Transformation de l’Action Publique (DGDTAP). Après un parcours dans la Politique de la ville et la démocratie participative, elle s’est tournée vers l’évaluation participative des politiques publiques, convaincue de la nécessité de mieux prendre en compte la parole citoyenne dans le débat publique et d’accompagner les transitions. Christian Paul, ancien député de la Nièvre, est maire de Lormes et co-fondateur du Festival des idées à La Charité-sur-Loire. En 2000, il devient secrétaire d’État à l’Outre-mer dans le gouvernement Jospin, auprès de Daniel Vaillant. Il soutient la proposition de loi de Christiane Taubira reconnaissant l’esclavage comme crime contre l’humanité. Réélu député en 2002 et 2007, il siège