Fonds de recherche du Québec (FRQ) - Plan d'action CoARA Action Plan - V1 bilingue-bilingual - Juin/June 2025

Fonds de recherche du Québec Nature et technologies Santé Société et culture Évolution de l’évaluation de l’excellence en recherche (E3R) PLAN D’ACTION DU FONDS DE RECHERCHE DU QUÉBEC PRÉSENTÉ À LA COALITION COARA (JUIN 2025) L'ANGLAIS SUIT / ENGLISH FOLLOWS Réalisation et rédaction : groupe de coordination de l’Évolution de l’Évaluation de l’Excellence en Recherche (E3R) Nous remercions toutes les personnes du Fonds de recherche du Québec ayant collaboré à cette publication, ainsi que les membres du comité intersectoriel étudiant (CIÉ) ayant pris part aux consultations. Contact: [email protected] Site Web: www.frq.gouv.qc.ca Fonds de recherche du Québec 500, Sherbrooke Ouest, bureau 800 Montréal (Québec) H3A 3C6 Creative Commons Attribution Utilisation non commerciale 4.0 Internationale Version 1.0 Juin 2025 Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 1 TABLE DES MATIÈRES TABLE DES MATIÈRES ............................................................................................................. 1 1. MESSAGE DU SCIENTIFIQUE EN CHEF ............................................................................. 3 2. MESSAGE DU GROUPE DE COORDINATION E3R - COARA ................................................. 4 3. SOMMAIRE EXECUTIF ...................................................................................................... 5 4. MISE EN CONTEXTE / QUI SOMMES-NOUS / LA DEMARCHE .............................................. 7 4.1 LE FONDS DE RECHERCHE DU QUEBEC ................................................................................... 7 4.2 L’EVALUATION DE LA RECHERCHE AU FRQ............................................................................... 8 4.3 LIENS AVEC COARA ET MISE EN PLACE DU CHANTIER DE L’ÉVOLUTION DE L’ÉVALUATION DE L’EXCELLENCE EN RECHERCHE (E3R) ............................................................................................ 9 5. PROCESSUS .................................................................................................................. 11 5.1 UN PROCESSUS ITERATIF POUR CONCEVOIR ET IMPLANTER LE PLAN D’ACTION E3R ......................... 11 FORMALISATION DU CHANTIER E3R ............................................................................................... 11 IDEATION ET CONCEPTION ........................................................................................................... 12 DIALOGUE AVEC LE MILIEU DE LA RECHERCHE ET LES PARTENAIRES ......................................................... 12 PARTICIPATION ACTIVE AUX TRAVAUX DE LA COALITION COARA............................................................. 12 5.2 LES GROUPES DE TRAVAIL ET CHAMPS D’ACTION PRIORITAIRES AU FRQ ........................................ 13 6. PLAN D’ACTION ............................................................................................................. 14 6.1 ENGAGEMENT 1 ........................................................................................................... 14 6.2 ENGAGEMENT 2 ........................................................................................................... 18 6.3 ENGAGEMENT 3 ........................................................................................................... 20 6.4 ENGAGEMENT 4 ........................................................................................................... 21 6.5 ENGAGEMENT 5 ........................................................................................................... 22 6.6 ENGAGEMENT 6 ........................................................................................................... 24 6.7 ENGAGEMENT 7 ........................................................................................................... 28 6.8 ENGAGEMENT 8 ........................................................................................................... 30 6.9 ENGAGEMENT 9 ........................................................................................................... 31 6.10 ENGAGEMENT 10 ....................................................................................................... 32 7. MISE EN ŒUVRE ET ECHEANCIERS ................................................................................ 33 Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 2 8. INDICATEURS DE SUCCES ............................................................................................. 35 9. TABLEAU SYNOPTIQUE DES ACTIONS ............................................................................ 37 Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 3 1. Message du scientifique en chef C'est avec un grand enthousiasme que je vous présente le plan d'action du Fonds de recherche du Québec (FRQ) à la Coalition CoARA. Ce document témoigne de notre engagement déterminé envers l'évolution de l'évaluation de l'excellence en recherche (E3R), un pilier essentiel pour le dynamisme scientifique de notre société. Dans un monde en constante mutation, confronté à des défis complexes et multidimensionnels, la science se révèle plus que jamais être un levier essentiel de compréhension, d'innovation et de transformation sociétale. Au Québec, nous avons la chance de compter sur une communauté scientifique d'une richesse exceptionnelle, dont la créativité et la rigueur sont des atouts précieux. Afin d'amplifier les retombées de leurs découvertes et de leurs travaux, notre démarche est de favoriser une science toujours plus ouverte, collaborative et ancrée dans les réalités de notre société. Cela implique de favoriser les approches intersectorielles et les collaborations audacieuses entre disciplines, essentielles pour relever les grands défis contemporains. Nous croyons également fermement que la science doit être un bien commun, accessible et coconstruit. C'est pourquoi nous valorisons la recherche participative qui permet d’enrichir les perspectives et d’assurer une meilleure adéquation entre la science et la société. Ce plan d'action s'inscrit dans cette vision. Il reflète notre volonté de faire évoluer nos pratiques d'évaluation pour qu'elles valorisent pleinement la diversité des contributions scientifiques, l'impact sociétal de la recherche, et l'engagement des chercheurs dans des approches collaboratives et transdisciplinaires. En alignant nos actions avec les principes de CoARA, nous réaffirmons notre engagement à soutenir une recherche reconnue ici et ailleurs, accessible, engagée à comprendre le monde et porteuse de solutions concrètes pour le bien-être de toutes et de tous. Rémi Quirion Scientifique en chef du Québec Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 4 2. Message du groupe de coordination E3R - CoARA Nous sommes ravies de vous présenter la première version du Plan d'action en matière d'évolution de l'évaluation de l'excellence en recherche (E3R) 2025-2028. Ce plan est le fruit d'un travail collaboratif avec l'ensemble du personnel du FRQ visant à traduire en actions notre adhésion aux principes de la Coalition for Advancing Research Assessment (CoARA). Notre ambition : créer un cadre d'évaluation inclusif et transparent, qui valorise la diversité des parcours et des contributions en proposant des évaluations mixtes alliant indicateurs qualitatifs et utilisation responsable d’indicateurs quantitatifs. Le plan d'action servira de feuille de route au groupe de coordination pour la mise en œuvre multiforme d'une évaluation responsable de l'excellence en recherche et pour la sensibilisation de toutes les parties prenantes de l'écosystème de la recherche québécois. Ce document présente un ensemble de mesures concrètes et de recommandations stratégiques qui sont déjà en cours de déploiement ou qui seront poursuivies. Il propose également de nouvelles actions, en cohérence avec les dix engagements de CoARA, afin de guider nos efforts pour les années à venir. Chaque action, même minime, nous rapproche de notre objectif. En rejoignant la coalition CoARA, le FRQ s'engage dans une transformation progressive des pratiques d'évaluation de la recherche, visant un changement culturel profond. Nous remercions l'engagement essentiel de tous nos collègues et collaborateurs FRQ dans ce processus. Bonne lecture. Le Groupe de coordination E3R-CoARA Katell Colin Mylène Deschênes Isabelle Gandilhon Carole Jabet Leira Retamal Covarrubias Gabrielle Wilson Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 5 3. Sommaire exécutif Le Fonds de Recherche du Québec (FRQ) s’est employé, depuis sa création, à assurer une évaluation de la recherche par les pairs rencontrant les plus hauts standards de rigueur et intégrité. Ainsi, il s’est employé à faire évoluer ces processus. La démarche de recherche évolue, avec une diversité de formes de recherche (fondamentale, appliquée, participative, créative, citoyenne, etc.), une interdisciplinarité et une intersectorialité croissantes, le FRQ pose des gestes depuis plusieurs années, contribuant à une amélioration continue de l’évaluation de l’excellence en recherche : - Signature de la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) en 2020; - Membre de la cOAlition S (2021); - Adoption de politiques et plans d’actions structurants (Libre accès – science ouverte, conduite responsable en recherche, responsabilité environnementale, EDI); - Engagements spécifiques en faveur des recherches autochtones et participatives. L’adhésion du FRQ à CoARA (Coalition for Advancing Research Assessment) en 2023 est une suite logique qui formalise l’engagement du FRQ dans l’évolution de l’évaluation de l’excellence en recherche (E3R). Le plan d’action E3R-CoARA propose une transformation progressive, concertée et systématique des pratiques d’évaluation au FRQ. Son élaboration s’appuie sur une mobilisation interne de même qu’une participation active aux réflexions nationales et internationales. L’approche choisie privilégie la coordination de chantiers existants au FRQ, évitant ainsi l’augmentation du nombre de priorités, et multiplication des actions, au profit d’un meilleur alignement organisationnel. L’objectif est de reconnaître la qualité de la recherche sous toutes ses formes, en valorisant la diversité des contributions (types de recherche; parcours de carrière; diffusion des connaissances; impacts; etc.). Une attention particulière est portée à la transition vers des évaluations qualitatives, contextualisées, tout en encadrant de façon stricte l’utilisation d’indicateurs quantitatifs. Le plan d’action E3R-CoARA du FRQ se synthétise sous 4 grands objectifs : Valoriser la diversité des contributions : reconnaissance et déclinaison des différents types de contributions, intégration de la diversité de parcours, adaptation des statuts et des critères de financement. Renforcer la portion qualitative de l’évaluation : mise en place d’un CV descriptif, révision de la formulation des critères d’évaluation, usage encadré et responsable des indicateurs quantitatifs. Former et accompagner les membres de comités d’évaluation et le personnel : programmes de formation ciblés, outils adaptés pour valider l’alignement avec les engagements CoARA, sensibilisation aux différents et multiples biais. Assurer un dialogue permanent avec l’écosystème : consultations récurrentes, collaborations nationales et internationales, mesure de l’état d’avancement et échanges de pratiques et transparence sur les essais-erreurs. L’évolution de l’évaluation de l’excellence en recherche est un changement de culture qui demande temps, rigueur et systématisme, engagement collectif. Ce plan constitue notre feuille de route pour Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 6 y parvenir, avec l’ambition de faire du Québec un acteur reconnu pour le développement de pratiques d’évaluation qui positionne la qualité scientifique et de recherche non plus comme un cumul d’indicateurs quantitatifs (manquant trop souvent de contexte), mais bien comme une appréciation nuancée de la contribution des chercheuses et chercheurs à la génération et mobilisation des connaissances. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 7 4. Mise en contexte / qui sommes-nous / la démarche 4.1 Le Fonds de recherche du Québec Le Fonds de recherche du Québec (FRQ) est une organisation gouvernementale dédiée au développement stratégique et cohérent de la recherche scientifique au Québec, une des 10 provinces du Canada. Il est dirigé par le Scientifique en chef du Québec, épaulé par quatre viceprésidences, responsables des opérations, programmes et secteurs de recherche, qui ensemble soutiennent une vaste gamme de disciplines : • Nature et technologies (NT) : inclut les sciences naturelles, les mathématiques, les technologies, le génie et les sciences de l’environnement. • Santé (S) : couvre les sciences médicales, cliniques, l’épidémiologie, la santé publique, les services de santé et la santé durable. • Société et culture (SC) : englobe les sciences sociales et humaines, l’éducation, la gestion, le droit, les arts et les lettres. À noter qu’une emphase est apportée aux grands défis de société (changements climatiques ; changements démographiques ; entrepreneuriat scientifique ; etc.) via un département dédié. Le FRQ a pour mission de promouvoir la formation de la relève en recherche et l’excellence en recherche afin de contribuer à l’avancement des connaissances et à l’élaboration de solutions en réponse aux défis de société auxquels est confronté le Québec. Il concourt au développement durable de la société, en stimulant le développement d’innovations sociales et technologiques. Il favorise, à l’égard de chacun des secteurs le constituant, le rayonnement de la recherche et de ses résultats au Québec, ailleurs au Canada et à l’étranger. Les initiatives et programmes de financement du FRQ permettent : • de promouvoir et d’aider financièrement : • la recherche libre, fondamentale ou appliquée dans les trois secteurs de recherche; • la formation des étudiants et des étudiantes pour et par la recherche, de même que le développement de carrières de chercheurs et chercheuses ; • la mobilisation des connaissances ; • les activités de recherche intersectorielle ; • de soutenir la concertation des initiatives de recherche menées au sein des ministères et organismes gouvernementaux et la gestion d’appels à projets en découlant ; • d’établir tout partenariat, tant sur le plan national qu’international ; • de contribuer au soutien et au rehaussement de la recherche et de la science en français. En plus de son adhésion aux cinq valeurs de l’administration publique québécoise que sont la compétence, l’impartialité, l’intégrité, la loyauté et le respect, le FRQ promeut bien sûr l’excellence en recherche, en s’appuyant sur les trois valeurs supplémentaires suivantes : la collaboration, l’ouverture et la rigueur. En adéquation avec la langue officielle du Québec (le français), le Fonds valorise tout particulièrement la science en français par le biais de diverses actions. Le budget total du FRQ pour l’année 2023-2024 s’élevait à 323 M$ CAD. Environ 80 % des budgets annuels sont consacrés à la recherche fondamentale, avec 40 % spécifiquement pour le soutien à la formation des étudiant·es et aux carrières de chercheur·ses. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 14 6. Plan d’action 6.1 ENGAGEMENT 1 Reconnaître la diversité des contributions à la recherche et des carrières dans la recherche, en fonction des besoins et de la nature de la recherche Un des objectifs du plan stratégique du FRQ est de valoriser la diversité des parcours de carrières des chercheuses et chercheurs en actualisant la notion d’excellence en recherche. Axe 1 : Diversité des parcours et des types de recherche / reconnaissance des contributions en recherche Ce que nous faisons et poursuivrons • Mise en place de statuts spécifiques pour reconnaître tous les acteurs et toutes les actrices de la recherche : la notion de cochercheur·se est élargie, ce qui permet de reconnaître plusieurs types de recherche et la valeur de diverses formes de contributions. Le FRQ offre une diversité de programmes qui reconnaissent divers apports à la recherche tels que ceux des chercheuses et chercheurs en milieu collégial (statut 3), des patients partenaires, des proches aidants, des personnes et partenaires des milieux de pratiques, des artistes, des personnes représentant des communautés autochtones, et des personnes retraitées ou sous octroi (statut 4). Des moyens spécifiques sont déployés pour s’assurer que leurs contributions respectives et différenciées sont reconnues à leur juste valeur (création de statuts spécifiques, règles de composition des équipes, types de financement ou de dépenses admissibles, modalités d’évaluation spécifiques pour les programmes autochtones, etc.) ; • Poursuivre la reconnaissance de la valeur des collaborations de divers types de recherche (pratiques de recherche collaborative, participative, recherche-action, recherche-création, recherche fondamentale, etc.) dans l’évaluation de l’excellence en recherche ; • Création du programme Audace : ce programme intersectoriel de recherche sans thématique ciblée vise à soutenir des projets audacieux à fort potentiel de retombées. Il fait place à des projets atypiques et innovants qui prennent le risque de se placer en rupture avec les cadres et schèmes de pensées établis, des projets à vocation exploratoire qui ont le potentiel de transformer radicalement la recherche et la création ; • Mise en place du Prix Étoile montante basé sur les principes DORA et CoARA : ce prix permet de reconnaître la diversité des contributions et des carrières en recherche. Les critères d’évaluation sont largement orientés vers l’évaluation qualitative des dossiers (secteur NT ; 2024) ; • Création des programmes de bourses et de mentorat pour la relève autochtone ; Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 15 • Promotion de la diversité et de l’intersectorialité dans la composition des comités d’évaluation : pratiques visant une diversité en matière de genre, d’institution, de stade de carrière, et représentation de différents secteurs d’activité. Ce que nous prévoyons faire • Déployer graduellement un nouveau CV descriptif : alors que le CV « conventionnel » actuel met l’accent sur l’exhaustivité et les réalisations quantifiables, le CV descriptif que le FRQ met en place par phases successives, privilégie une vision qualitative et contextualisée des contributions ; • Analyser la diversité des contributions : analyse de la diversité des productions de recherche présentées par les personnes candidates dans le nouveau format du CV, tant qualitatives que quantitatives et leur pertinence au regard des objectifs des appels à projets ; • Poursuivre et faire évoluer les programmes intersectoriels diversifiant les sources des sujets de recherche et intégrant des personnes non chercheuses ou en provenance d’autres domaines que celui du programme ; • Établir une liste de principes directeurs pour la composition des comités d’évaluation de l’ensemble des secteurs et des initiatives du bureau du scientifique en chef ; • Favoriser la présence de personnes externes au domaine du programme, lorsque pertinent pour favoriser l’intersectorialité ; • Créer un collège des personnes évaluatrices (avec le consentement des personnes) pour l’ensemble du FRQ, ce qui facilitera la représentation interdisciplinaire et intersectorielle lorsque requis dans les comités d’évaluation. Axe 2 : Structuration et financement de la recherche Ce que nous faisons et poursuivrons • Promotion de la diversité des contributions, de la recherche inter et trans-disciplinaire et de la recherche interordre dans les regroupements FRQ (centres de recherche, réseaux thématiques, regroupements stratégiques, équipes, observatoires, etc.) ; • Chef de file dans l’évaluation de la recherche-création : le FRQ a développé une définition 2 de la recherche-création en cohérence avec le développement des programmes de financement et reconnue par la communauté de recherche-création du Québec ; • Création du Programme Engagement : le FRQ a créé un programme de sciences participatives en 2021. Il permet aux citoyens et citoyennes de proposer une idée de recherche, et de la réaliser en étroite collaboration avec un chercheur ou une chercheuse ; 2 La recherche-création peut être définie comme toutes les démarches et approches de recherche favorisant la création qui visent à produire de nouveaux savoirs esthétiques, théoriques, méthodologiques, épistémologiques ou techniques. Toutes ces démarches doivent impliquer de façon variable (selon les pratiques et les temporalités propres à chaque projet) : 1) des activités créatrices ou artistiques (conception, expérimentation, technologie, prototype, etc.) ET 2) la problématisation de ces mêmes activités (saisie critique et théorique du processus de recherche-création, de création ou artistique, conceptualisation, etc.). Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 16 • Poursuivre le déploiement des programmes qui permettent une recherche en partenariat avec une diversité de milieux (notamment des milieux de pratiques), en facilitant leur intégration à la programmation scientifique ; • Poursuivre le développement de lignes directrices et règles de programmes pour favoriser l’implication de citoyen·nes (programme Engagement) et le financement des recherches à haut risque (programme Audace). Ce que nous prévoyons faire • Poursuivre et intensifier la sensibilisation des membres de comités d’évaluation à prendre en compte l’ensemble de l’information du CV, autre que la partie publications pour qualifier l’expérience et des réalisations des personnes candidates ; • À moyen terme, développer un programme de recherche sur la recherche participative (facteurs de succès, facteurs de risques, impacts, etc.). Axe 3 : Recherche inclusive Ce que nous faisons et poursuivrons • Mise en œuvre de la Stratégie en matière d’équité, de diversité et d’inclusion 2021-2026 avec 4 objectifs clés : 1) Faire de l’EDI des valeurs phares au sein de l’organisation du FRQ ; 2) Assurer l’équité dans l’accès au financement du FRQ ; 3) Soutenir la démarche du milieu de la recherche en matière d’EDI ; 4) Accélérer l’avancement et le partage des connaissances en matière d’EDI ; • Création d’un programme de recherche sur l’équité, la diversité et l’inclusion dans le milieu de la recherche postsecondaire au Québec (2024) ; • Lancement, en partenariat avec le Conseil de recherches en sciences naturelles et en génie du Canada, d’un programme de chaires pour l’inclusion en sciences naturelles et en génie au Québec (2024) ; • Mise en place d’un questionnaire d’auto-identification pour recueillir des données sociodémographiques concernant les personnes candidates et les membres de comités d’évaluation (printemps 2021) ; • Soutien à des initiatives visant à augmenter la représentation de groupes marginalisés ; • Création d’un groupe de travail pour assurer le leadership des Peuples autochtones en recherche et développement d’une programmation de financement adaptée aux réalités des peuples autochtones ; • Consultation de personnes en situation de handicap membres de la relève étudiante et postdoctorale et du corps professoral, sur les obstacles rencontrés dans l’accès aux bourses et subventions du FRQ (2025) ; • Prise en compte des parcours atypiques : les personnes candidates ont des parcours diversifiés et vivent une gamme variée d’expériences professionnelles et personnelles pouvant mener à des interruptions ou des ralentissements dans les études, les activités de recherche ou la carrière pour diverses raisons (congés parentaux, congés pour des raisons de santé, obligations familiales majeures, situation de handicap, deuil, période hors du milieu de la recherche). Celles qui le souhaitent peuvent en faire part dans leur demande de financement, pour en informer les comités d’évaluation. Cette mesure vise à ce que les Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 17 personnes dont les activités ont été ralenties ou interrompues par des circonstances particulières ne soient pas pénalisées en raison des impacts que cela a pu avoir sur leurs réalisations ou leur parcours. Ce que nous prévoyons faire • Soutenir financièrement des projets de recherche sur l’EDI (financement octroyé dans le cadre du programme de soutien à la recherche sur l’équité, la diversité et l’inclusion dans le milieu de la recherche postsecondaire au Québec) ; • Soutenir financièrement les titulaires de chaires sur l’inclusion en sciences naturelles et en génie ; • Diffuser un portrait annuel de la diversité parmi les personnes candidates, les récipiendaires d’octrois et les membres de comités d’évaluation ; • Se doter d’un premier plan d’action à l’égard des personnes en situation de handicap ; • Améliorer l’accessibilité de la documentation nécessaire à la présentation d’une demande de financement, pour les personnes vivant avec un handicap. Axe 4 : Promotion de la science en français, une composante importante de la diversité des contributions Ce que nous faisons et poursuivrons • Soutien financier à plus de 60 revues scientifiques francophones : des revues dans le secteur des sciences humaines et sociales, des arts et des lettres. Ces revues sont soutenues par le biais d’un programme qui existe au FRQ depuis plusieurs décennies ; • En octobre 2024, le FRQ lançait un concours pour la création de trois nouvelles revues, en sciences de la santé et en sciences naturelles et génie et une revue intersectorielle pour favoriser la diffusion de connaissances en français dans des domaines où la presque totalité des publications se fait en anglais ; • Soutien à des chaires lancé en 2024, notamment pour la nouvelle Chaire en découvrabilité des contenus scientifiques francophones ; • Financement du réseau de revues CIRCÉ ; • Octroi de prix mensuels pour une publication en français : chaque secteur décerne un prix pour une publication en langue française. Ce que nous prévoyons faire • Poursuivre et faire évoluer les actions et investissements en matière de science en français, notamment des forums ou colloques, remise de prix et soutien aux chaires (développement de programmes); Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 18 6.2 ENGAGEMENT 2 Fonder l’évaluation de la recherche principalement sur une évaluation qualitative, dans laquelle l’examen par les pairs joue un rôle central, soutenue par l’utilisation responsable d’indicateurs quantitatifs Le FRQ réaffirme son engagement à faire évoluer les pratiques d’évaluation de la recherche en mettant en place des pratiques innovantes et adaptées aux réalités contemporaines de la recherche. À l’écoute des besoins sociétaux et de la communauté scientifique, nous favorisons une approche qui valorise l’analyse de la qualité des contributions scientifiques et de leurs retombées, pour qualifier la production de recherche. L’examen par les pairs demeure au cœur de nos processus, et nous veillons à utiliser les indicateurs quantitatifs de manière responsable afin de garantir une appréciation juste et nuancée. Nous nous engagerons également dans tout effort qui vise une meilleure définition et une utilisation plus responsable d’indicateurs quantitatifs (considérant que l’utilisation de tels indicateurs demeurera). Ce que nous faisons et poursuivrons • Mise en place d’une grille de signification des notes dans les boîtes à outils et guides d’évaluation, afin d’assurer un cadre d’évaluation uniforme ; • Révision de la pondération des critères d’évaluation pour que l’appréciation repose principalement sur la qualité de la recherche présentée : o Dans certains programmes d’infrastructures, les critères d’évaluation mettent l’accent sur la qualité, le potentiel d’avancement et la pertinence dans l’écosystème, plutôt que sur des indicateurs quantitatifs ; o Dans certains programmes, les personnes candidates ne sont pas tenues de fournir une liste exhaustive de leurs réalisations, mais doivent privilégier un nombre restreint de contributions directement liées au projet soumis ; • Révision des documents exigés pour l’évaluation afin de s’assurer que chaque pièce jointe serve réellement aux évaluateurs et évaluatrices et que tout document non pertinent pour l’évaluation soit retiré (limitation des biais) ; • Fonctionnement de certains comités d’évaluation par consensus sur la note et les commentaires à transmettre, avec un rôle clé du président ou de la présidente ou de la personne assurant la coordination du comité pour assurer une évaluation équilibrée et pertinente et mise en place, dans certains programmes, d’une fiche de rétroaction traduisant le consensus du comité d’évaluation, envoyée aux personnes candidates ; • Adaptation des rapports de progrès et des rapports finaux de projets pour plusieurs programmes, pour privilégier la qualité des actions entreprises et leurs retombées dans l’écosystème ainsi que l’adéquation aux objectifs de programmes, en s’éloignant d’une approche purement quantitative (publications, subventions, nombre d’étudiant·es formé·es, etc.). Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 19 Ce que nous prévoyons faire • Mettre en place un CV descriptif permettant une évaluation plus qualitative du parcours des chercheurs et chercheuses ; • Standardiser les pratiques et exigences en matière de contenu qualitatif et quantitatif selon les catégories de programmes (bourses, subventions, infrastructures), en privilégiant autant que possible le qualitatif et en utilisant le quantitatif de manière responsable (voir section 3.6) ; • Identifier les indicateurs quantitatifs que nous souhaitons conserver et ceux que nous ne souhaitons plus utiliser, car ne répondant pas aux engagements DORA / CoARA (voir section 3.6) ; • Élaborer une ligne directrice pour l’utilisation responsable des indicateurs quantitatifs ; • Passer en revue les gabarits des rapports de suivi afin de vérifier si la diversité des productions de recherche et la nature des informations demandées sont alignées avec les principes de CoARA et les règles et objectifs des programmes ; • Observer (et éventuellement corriger par la suite) les pratiques des comités d’évaluation pour : o analyser dans quelle mesure des indicateurs comme le Journal Impact Factor (JIF) et le H-index seraient encore utilisés ; o évaluer l’intégration des principes de CoARA par les membres des comités d’évaluation dans leur travail ; • Accompagner les parties prenantes de l’écosystème de la recherche québécois dans l’utilisation d’indicateurs qualitatifs et dans la définition et l’utilisation responsable d’indicateurs quantitatifs ; • S’assurer qu’en tant qu’organisme, nous favorisons et priorisons également une approche qualitative lorsque nous rendons compte à nos bailleurs de fonds, tout en utilisant les indicateurs quantitatifs de manière responsable. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 20 6.3 ENGAGEMENT 3 Abandonner les usages inappropriés des métriques basées sur les publications et les revues dans l’évaluation de la recherche, notamment les usages inappropriés du facteur d’impact des revues (JIF) et du h-index Le FRQ décourage l’utilisation des indicateurs quantitatifs relatifs aux journaux, revues et publications, en particulier le facteur d’impact et le h-index dans l’ensemble de ses activités, notamment les comités d’évaluation. Cependant les biais individuels sont tenaces, ce que le FRQ souhaite changer. Ce que nous faisons et poursuivrons • Le FRQ décourage depuis longtemps, l’utilisation des facteurs d’impacts des revues ou du h-index dans ses activités ; toutefois, une évaluation adéquate et responsable de la production de publications demeure ; • Promouvoir tous les formats de diffusion de connaissance, et pas seulement les publications ; • Promotion du libre accès, en premier lieu, sans égard des facteurs d’impacts, afin de donner accès aux publications scientifiques gratuitement à tous les publics, plutôt que de mettre la priorité sur l’indice d’impact des revues. Ce que nous prévoyons faire • Utiliser le passage du CV conventionnel au CV descriptif pour ne retenir, entre autres, qu’un nombre limité de références de publications sans mention des facteurs d’impact et de citations ; • Observer les pratiques de comités d’évaluation (voir section 3.2) pour s’assurer qu’il n’est plus fait ni mention ni utilisation des facteurs d’impact (journaux, revues et facteurs type facteurs h) ; • Mentionner spécifiquement dans les guides, webinaires ou autres outils destinés aux comités d’évaluation que les utilisations inappropriées des indicateurs sur les revues et publications sont prohibées. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 21 6.4 ENGAGEMENT 4 Éviter l’utilisation des classements d’établissements de recherche dans l’évaluation de la recherche Bien que l’écosystème de la recherche soit (trop) souvent influencé par les indicateurs quantitatifs, le FRQ s’engage à poursuivre la non-utilisation des classements des établissements académiques du type de ceux publiés par Research Infosource ou autres, en particulier par les comités d’évaluation ou par d’autres partenaires. Ces classements font en effet courir le risque de minimiser la contribution des chercheurs et chercheuses d’établissements de plus petites tailles ou d’établissements régionaux à l’excellence en recherche. Ce que nous faisons et poursuivrons • Le FRQ n’utilise aucunement les classements d’établissements académiques dans les évaluations faites pour l’octroi de ses financements ; • S’assurer que le classement des établissements et organisations de recherche est bien décrit comme biais dont il faut avoir conscience, dans les formations et la sensibilisation offertes aux comités d’évaluation. Ce que nous prévoyons faire • Poursuivre la non-utilisation des classements dans les évaluations du FRQ ; • Mentionner spécifiquement dans les guides, webinaires ou autres outils destinés aux comités d’évaluation que les utilisations des classements des établissements sont prohibées ; • Promouvoir une diversité de contributions pour décrire l’excellence en recherche, de manière à reconnaître équitablement l’apport de toute organisation académique, quelle que soit sa nature (collégiale, universitaire), sa taille, sa localisation ou encore les secteurs de recherche soutenus. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 22 6.5 ENGAGEMENT 5 Allouer les ressources nécessaires pour réformer l’évaluation de la recherche, afin de permettre les changements organisationnels requis L’évolution des pratiques d’évaluation de la recherche influence l’ensemble des secteurs et des corps de métier du Fonds de recherche du Québec. Elle touche particulièrement le travail des responsables de programmes, qui sont en première ligne dans le processus d’élaboration d’appels d’offre, d’évaluation et d’octroi en collaboration avec les comités de pairs. Cela dit, d’autres directions telles que la direction Planification-Performance ; le bureau de projets ou encore la direction des affaires éthiques et juridiques sont impliqués dans les différents champs d’action priorisés (voir section 2.2). Plus spécifiquement, une cellule de coordination a été mise en place pour maintenir le cap sur l’évolution de nos pratiques d’évaluation de l’excellence en recherche (E3R), cellule qui agit comme point de contact pour CoARA. Ce que nous faisons et poursuivrons • Implication de ressources internes spécifiques et largement dédiées à E3R / CoARA : engagement de deux ressources à temps partiel afin de soutenir la mise en place du chantier et la promotion des principes de E3R/CoARA à l’interne (organisation de rencontres d’échanges, webinaires, etc.). Implication des secteurs et des services partagés internes pour assurer une adhésion et une coordination efficace ; • Présence internationale autant que possible : contribution active aux groupes de travail de CoARA et collaboration avec d’autres agences subventionnaires ayant adhéré à cette initiative, notamment l’Agence nationale de la recherche (ANR). Participation aux groupes de travail (ERIP, ACA, Multilinguisme, etc.) et échanges de bonnes pratiques avec des partenaires internationaux ; • Engagement au niveau provincial : collaboration avec les responsables universitaires et des collèges et les instances de recherche du Québec afin de promouvoir et favoriser l’évolution des pratiques d’évaluation de la recherche ; • Soutien au leadership autochtone en recherche : mise en place d’un groupe de travail dédié, composé des trois vice-présidences à la recherche du FRQ, du scientifique en chef, ainsi que de chercheurs et chercheuses autochtones, de personnes représentant des organismes communautaires et de commissions scolaires autochtones, et d’étudiant·es autochtones. Ce groupe contribue à orienter les programmes en recherche autochtone et à définir une approche de l’excellence adaptée à cette réalité. Ce que nous prévoyons faire • Maintenir la mise à disposition des ressources spécifiques pour assurer la coordination des chantiers ; intégrer au groupe de coordination, les membres du FRQ identifiés comme leaders de changement ; Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 23 • Soutenir la mise en œuvre des réformes et renforcer la représentation du FRQ sur la scène provinciale, nationale et internationale ; • Poursuivre les travaux sur la notion d’excellence en recherche autochtone et consolider les réflexions et initiatives visant à mieux définir et intégrer l’excellence en recherche autochtone dans nos pratiques. • Augmenter la communication et les mises à jour régulières sur la vue d’ensemble et l’avancement des travaux, avec l’ensemble du personnel du FRQ pour renforcer la mise en capacité de chacun et maintenir ainsi l’effort sur le changement de culture et de pratique ; le développement de formations thématiques sera encouragé (tant pour usage interne qu’externe) ;. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 30 6.8 ENGAGEMENT 8 Échanger des pratiques et des expériences pour permettre un apprentissage mutuel au sein et au-delà de la Coalition L’échange de pratiques et d’expériences est essentiel pour enrichir les réflexions et assurer une mise en œuvre efficace des réformes en évaluation de la recherche. Le FRQ s’engage activement dans des initiatives collaboratives aux niveaux national et international afin de partager son expertise et d’apprendre des approches développées par d’autres organisations. Ce que nous faisons et poursuivrons • Participation aux groupes de travail de CoARA : engagement au sein de sept groupes de travail de CoARA qui favorisent l’échange de pratiques et d’expériences ; • Collaborations avec d’autres agences subventionnaires ayant signé CoARA : partage d’expertises et de bonnes pratiques, notamment avec l’Agence nationale de la recherche (ANR) ; collaborations au niveau canadien ; autres ; • Échanges au-delà du cadre de CoARA : participation à d’autres initiatives et groupes de réflexion sur l’évaluation de la recherche, incluant les trois conseils fédéraux canadiens et le CHSPRA (Canadian Health Services and Policy Research Alliance). Participation à plusieurs réflexions du Research on Research Institute (RORI). Ce que nous prévoyons faire • Poursuivre de la participation aux groupes de travail de CoARA et renforcement de la présence du FRQ au sein des organes collaboratifs internationaux ; • Développer des collaborations plus fréquentes et structurées avec les agences de financement nationales (agences fédérales) et internationales, en s’appuyant en priorité sur les liens établis avec l’ANR ; • Mettre en place des espaces d’échange réguliers (sous forme de communauté de pratique) entre les chercheurs, les chercheuses, les membres de la relève en recherche et les instances décisionnelles afin de mieux aligner les pratiques aux besoins du milieu. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 31 6.9 ENGAGEMENT 9 Communiquer les progrès réalisés en matière d’adhésion aux principes et de mise en œuvre des engagements Le FRQ s’engage à assurer une communication transparente et continue sur l’évolution de ses pratiques en lien avec les principes de CoARA, tant au sein de ses équipes qu’auprès de l’écosystème de recherche québécois. Ce que nous faisons et poursuivrons • Sensibilisation interne et mobilisation des directions et services du FRQ pour assurer une compréhension commune des principes de CoARA et leur intégration dans les pratiques d’évaluation. Ce que nous prévoyons faire • Intégrer des sections dédiées ou références explicites à l’E3R dans les documents institutionnels (rapports annuels, plans stratégiques et autres documents officiels du FRQ) ; • Définir des échéanciers clairs et préciser les impacts pour chaque service et direction du FRQ, afin d’assurer une mise en œuvre progressive et cohérente des engagements ; • Déployer un plan d’intégration pour tester l’application des principes de CoARA dans certains programmes, en assurant une communication ciblée et proactive auprès des clientèles concernées ; • Engager l’ensemble de l’écosystème de recherche par des actions de sensibilisation auprès des parties prenantes (chercheur·ses, établissements, organismes subventionnaires) afin de favoriser une adhésion collective aux principes d’évaluation responsable ; • Favoriser un dialogue structuré entre la communauté de recherche et les instances décisionnelles responsables de l’évaluation, en facilitant les échanges sur les enjeux et les évolutions des pratiques ; • Accompagner les universités et collèges dans l’alignement de leurs politiques institutionnelles de recrutement et d’évaluation des personnes professeures et chercheuses, à tous les stades de leur carrière, avec les principes et engagements de l’évolution de l’évaluation en recherche. Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 32 6.10 ENGAGEMENT 10 Évaluer les pratiques, les critères et les outils à partir de données probantes solides et de l’état de l’art dans le domaine de « la recherche sur la recherche », et rendre les données accessibles (libre accès) pour la collecte de preuves et les travaux de recherche Le FRQ s’engage à évaluer régulièrement ses programmes et ses procédures afin d’assurer une amélioration continue et une cohérence avec les principes de l’évaluation responsable. Ce que nous prévoyons faire • Définir des jalons pour le déploiement du plan d’action et mesurer leur atteinte, en impliquant l’ensemble du personnel FRQ ; • Mener un examen continu des pratiques d’évaluation afin d’identifier les améliorations possibles et d’assurer leur alignement avec les meilleures pratiques internationales ; • Réviser les gabarits et le contenu des rapports de suivi afin de s’assurer que la diversité des productions scientifiques et la nature des informations demandées sont conformes aux principes de CoARA et aux orientations des programmes ; • Évaluer les retombées de la Stratégie du FRQ en matière d’équité, de diversité et d’inclusion 2021-2026 en réalisant un bilan de sa mise en œuvre et en identifiant des pistes d’amélioration ; • Étudier la possibilité de mener une analyse annuelle ou biennale sur l’état de l’évaluation de la recherche (revue bibliographique), en s’appuyant sur des indicateurs pertinents et des données probantes ; • Exercer une vigie lors du déroulement des comités d’évaluation afin d’assurer une mise en œuvre cohérente et systématique des principes d’évaluation responsable tout au long du processus (tel que proposé dans la section 3.6). Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 33 7. Mise en œuvre et échéanciers Le plan d’action que nous proposons est complexe en raison du grand nombre de parties prenantes et de sa portée : définition de programmes, critères d’évaluations, processus d’évaluations, formations, etc. Sa complexité est augmentée du fait que le succès de certaines actions est directement dépendant des efforts du FRQ alors que pour d’autres, le succès dépend de l’appropriation par des tiers, notamment les organisations académiques. Pour tenter de maîtriser cette complexité, nous proposons deux types d’échéanciers. Le premier balise nos efforts de coordination et de communication, tandis que le second établit nos jalons essentiels. Bien entendu, ces échéanciers resteront dynamiques et seront adaptés au fur et à mesure de nos progrès. Échéancier 1: Coordination et communications du plan d'action E3R/CoARA Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 34 Échéancier 2: Principaux jalons du plan d'action E3R - CoARA 8. Indicateurs de succès Nous avons établi des indicateurs de succès afin de suivre de manière équilibrée et nuancée à la fois la progression opérationnelle du plan d’action E3R (mise en œuvre des activités) et son influence réelle sur les pratiques d’évaluation de la recherche au FRQ. Ils sont déclinés dans 4 sphères d’action : 2 Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 36 Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 37 9. Tableau synoptique des actions E3R – FRQ - ENGAGEMENTS PRINCIPAUX ENGAGEMENT 1 : Reconnaître la diversité des contributions à la recherche et des carrières, en fonction des besoins et de la nature de la recherche Diversité des parcours et des types de recherche / Évaluation et reconnaissance des contributions en recherche • Assurer la transition harmonieuse d’un CV conventionnel à un CV descriptif • Favoriser l’intersectorialité dans la composition des comités de personnes évaluatrices et dans les programmes de financement de la recherche (projets et regroupements) et des individus (bourses), lorsque pertinent • Poursuivre la reconnaissance de la valeur des collaborations de divers types de recherche (dont recherche participative, recherche-création et recherche en milieu autochtone, entre autres) et la reconnaissance des parcours atypiques • Diffuser un portrait annuel de la diversité parmi les personnes candidates et poursuivre le soutien financier aux projets de recherche sur l’EDI • Favoriser une recherche inclusive et combattre les biais dans les comités d’évaluation Structuration et financement de la recherche • Sensibiliser les membres de comité d’évaluation à prendre en compte d’autres parties du CV que les publications ou indicateurs purement quantitatifs • Poursuivre les programmes qui permettent des configurations en partenariat Promotion de la science en français, une composante importante de la diversité des contributions • Poursuivre et faire évoluer les actions et investissements en matière de sciences en français (développement de programmes) ENGAGEMENT 2 : Fonder l’évaluation de la recherche principalement sur une évaluation qualitative, dans laquelle l’examen par les pairs joue un rôle central, soutenue par l’utilisation responsable d’indicateurs quantitatifs • S’assurer de l’adéquation du CV descriptif avec les processus et valoriser son intégration dans les demandes de financement et dans les évaluations • Poursuivre la révision des pondérations et reformuler / uniformiser certains critères d’évaluation • Élaborer une ligne directrice pour l’utilisation responsable d'indicateurs quantitatifs • Standardiser les pratiques et exigences en matière de contenu qualitatif et quantitatif selon les catégories de programmes (bourses, projets, regroupements) ENGAGEMENT 3 : Abandonner les usages inappropriés des métriques basées sur les publications et les revues dans l’évaluation de la recherche, notamment les usages inappropriés du facteur d’impact des revues (JIF) et du h-index • Observer les pratiques de comités d’évaluation et mentionner dans les outils pertinents que l’utilisation inappropriée des indicateurs est prohibée • Accompagner les parties prenantes de l’écosystème de la recherche québécois dans sa modernisation et dans l’utilisation responsable des facteurs d’impact ou du h-index ENGAGEMENT 4 : Éviter l’utilisation des classements d’établissements de recherche dans l’évaluation de la recherche • Poursuivre la non-utilisation des classements dans les évaluations du FRQ et mentionner dans les outils pertinents que l’utilisation des classements d’établissements de recherche dans l’évaluation de la recherche est prohibée • Renforcer la mention que les classements d’établissements de recherche génèrent des biais Plan d’action FRQ E3R – CoARA – Juin 2025 – version 1 p. 38 E3R – FRQ - ENGAGEMENTS DE SOUTIEN ENGAGEMENT 5 : Allouer les ressources nécessaires pour réformer l’évaluation de la recherche, afin de permettre les changements organisationnels requis • Renforcer les ressources internes en matière d’évaluation responsable • Augmenter la communication et les mises à jour régulières sur la vue d’ensemble et l’avancement des travaux, avec l’ensemble des membres du personnel du FRQ pour renforcer la mise en capacité de chaque personne et maintenir ainsi l’effort sur le changement de culture et de pratiques • Assurer une présence nationale et internationale en la matière ENGAGEMENT 6 : Revoir et développer les critères, outils et processus d’évaluation de la recherche • Créer des outils (liste de conformité, gabarit de programmes (objectifs et critères), règles générales communes) conformes aux exigences CoARA • Faire évoluer les règles, statuts et critères d’octroi • Faire évoluer les pratiques des comités d’évaluation et poursuivre la lutte aux préjugés et aux utilisations inappropriées d’indicateurs quantitatifs ENGAGEMENT 7 : Sensibiliser à la réforme de l’évaluation de la recherche et fournir une communication transparente, des orientations et une formation sur les critères et les processus d’évaluation ainsi que sur leur utilisation • Renforcer la sensibilisation des membres des comités d’évaluations et de l’ensemble du personnel du FRQ (consultations, webinaires, etc.) • Sensibiliser la communauté de la recherche à l’évolution des pratiques et favoriser le dialogue avec l’ensemble des parties prenantes • Agir comme chef de file de l’évolution de l’évaluation de l’excellence en recherche ENGAGEMENT 8 : Échanger des pratiques et des expériences pour permettre un apprentissage mutuel au sein et au-delà de la Coalition • Partager les bonnes pratiques sur diverses tribunes nationales et internationales • Participer aux activités de la Coalition, développer des collaborations avec d’autres agences subventionnaires et évaluer la pertinence d’un chapitre national ENGAGEMENT 9 : Communiquer les progrès réalisés en matière d’adhésion aux principes et de mise en œuvre des engagements • Favoriser un dialogue structuré entre la communauté de recherche et les instances décisionnelles responsables de l’évaluation, en facilitant les échanges sur les enjeux et les évolutions des pratiques • Accompagner les universités et collèges, dans l’alignement de leurs politiques institutionnelles de recrutement et d’évaluation des chercheur·ses, à tous les stades de leur carrière, avec les principes et engagements de CoARA ENGAGEMENT 10 : Évaluer les pratiques, les critères et les outils à partir de données probantes solides et de l’état de l’art dans le domaine de « la recherche sur la recherche », et rendre les données accessibles (libre accès) pour la collecte de preuves et les travaux de recherche • Pratiquer un examen continu des pratiques d’évaluation • Réviser les gabarits et le contenu des rapports de suivi afin de s’assurer que la diversité des productions scientifiques et la nature des informations demandées sont conformes aux principes de CoARA et aux orientations des programmes • Étudier la possibilité de mener une analyse annuelle ou biennale sur l’état de l’évaluation de la recherche (revue bibliographique) Fonds de recherche du Québec Nature et technologies Santé Société et culture Evolution of the evaluation of excellence in research (E3R) ACTION PLAN OF FONDS DE RECHERCHE DU QUÉBEC PRESENTED TO CoARA (JUNE 2025) FRQ E3R Action Plan - CoARA - June 2025 – version 1 6 The evolution of the evaluation of excellence in research is a cultural change that requires time, rigor, systematization and collective commitment. This plan is our roadmap for getting there, with the ambition of making Quebec a recognized player in the development of evaluation practices that position scientific and research quality no longer as an accumulation of quantitative indicators (too often lacking in context), but as a nuanced appreciation of the contribution of researchers to the generation and mobilization of knowledge. FRQ E3R Action Plan - CoARA - June 2025 – version 1 7 4. Setting the scene / who we are / our approach 4.1 Fonds de recherche du Québec The Fonds de recherche du Québec (FRQ) is a government organization dedicated to the strategic and coherent development of scientific research in Québec, one of Canada’s ten province of Canada. It is headed by the Chief Scientist of Québec, supported by four vice presidencies, responsible for operations, programmes and research sectors which together support a wide range of disciplines: • Nature and Technology (NT): includes natural sciences, mathematics, technology, engineering and environmental sciences. • Health (S): covers medical and clinical sciences, epidemiology, public health, health services and sustainable health. • Society and culture (SC): encompasses the social sciences and humanities, education, law, management, arts and humanities. Please note that an emphasis is given to major societal challenges (climate change; demographic change; scientific entrepreneurship; etc.) via a dedicated department. The FRQ's mission is to promote the training of the next generation of researchers and excellence in research, to contribute to the advancement of knowledge and the development of solutions to the social challenges facing Quebec. The FRQ contributes to the sustainable development of society, by stimulating the development of social and technological innovations. In each of its sectors, it promotes research and its results in Québec, elsewhere in Canada and abroad. The FRQ's funding programs and initiatives enable : • to promote and financially support: • free, fundamental or applied research in the three research sectors; • the training of students for and through research, as well as the development of careers in research; • knowledge mobilization; • intersectoral research activities. • support the coordination of research initiatives carried out within government departments and agencies, and the management of calls for projects; • to establish partnerships at both national and international level; • contribute to the support and enhancement of research and science in French. In addition to adhering to the five values of Québec public administration - competence, impartiality, integrity, loyalty and respect - the FRQ naturally promotes excellence in research, supported by three additional values: collaboration, openness and rigor. In keeping with Quebec's official language (French), the FRQ promotes science in French through a variety of initiatives. The total FRQ budget for 2023-2024 was CAD 323 M$. Approximately 80% of the annual budgets are devoted to basic research, with 40% specifically dedicated to supporting student training and research careers. FRQ E3R Action Plan - CoARA - June 2025 – version 1 8 4.2 Research Evaluation at the FRQ The FRQ applies rigorous principles to ensure the integrity and transparency of the research proposal evaluation process, with the result defining the level of excellence: 1. Common general rules: The FRQ's common general rules provide an essential framework for ensuring that our actions are consistent with the organization's fundamental values. This framework, revised on a regular basis, ensures responsible and equitable management of public resources, while contributing to high-quality, ethical research oriented towards the common good. These rules: a) Respect academic freedom, supporting the intellectual independence of researchers. b) Supervise the use of public funds, setting strict conditions for their allocation and management in a spirit of rigor, transparency and compliance with current standards and legislation. c) Promote the accessibility and valorization of research results, mentioning their dissemination as an expectation. d) Encourage the protection of intellectual property, while promoting its use for the benefit of the community. e) Protect personal and confidential information filed with the FRQ, in compliance with the Act respecting Access to documents held by public bodies and the Protection of personal information (RLRQ, chapter A-2.1). f) Reaffirm the importance of ethics in research, by placing ethical principles at the heart of the activities we support. g) Ensure the integrity of evaluation processes and award decisions, emphasizing rigor and fairness. 2. Peer review: projects are analyzed by experts recognized for their contribution to the field covered by the program in question, according to criteria and rules duly established in advance, and rigourously and transparently applied 3. Organizational structure: each sector (under the responsibility of the research vicepresidencies) is supported by external scientific committees whose mandates are stipulated in law, academic scientific advisors and a network of university and college partners 1 . The organization is therefore very active in all national and international efforts to promote open, accessible, responsible and rigorous research, capable of producing new and innovative ideas that contribute to the advancement of knowledge and the resolution of social, economic and environmental problems. Rather than attempting to provide a clear and absolute definition of excellence, which may appear futile and debatable, the FRQ has chosen to understand and express excellence in relative terms, based on the results obtained during evaluation processes according to multiple criteria, and defined by program. 1 Quebec's higher education system is unique in that it has two levels (college and university) at which publiclyfunded research is carried out. FRQ E3R Action Plan - CoARA - June 2025 – version 1 9 4.3 Links with CoARA and implementation of the Evolution of the Evaluation of Excellence in Research (E3R) project. Quebec has enacted its own Act respecting academic freedom in the university sector (RLRQ, chapter L-1.2), one of the first in the world. It is in this context, which recognizes the value of academic freedom, acknowledges the diversity of scientific contributions and promotes an open, responsible and pluralist research environment, that the FRQ pursues its actions. The FRQ is a leading and evolving organization dedicated to increasing the added value of research for society. It has endorsed various initiatives and declarations that embrace and share these notions, such as: o DORA signature (2020) ; o Member of cOAlition S (2021) ; o Signing of the Declaration on the sharing of COVID results; o Joining the ORCID-CA consortium (December 2022). Already advanced in terms of responsible research assessment, and in addition to adhering to these international or national statements, the FRQ has aligned its intentions with its actions by putting in place several mutually reinforcing policies to promote responsible, inclusive research in the public interest, and evolve the standards that define research excellence: o Open Access Policy (2019, updated June 2022) o Equity, Diversity and Inclusion Strategy 2021-2026 (updated Winter 2024) o Policy on Responsible Conduct in Research (updated November 1st, 2022) and internal rules for its application o Common general rules (updated June 2024) o Action plan on environmental responsibility in research (2021) Several factors are prompting the FRQ to accelerate its process of reviewing its actions to evaluate excellence in research: 1. Changing societal priorities and increasingly complex problems to solve. Evaluation criteria must therefore reflect these new realities; 2. Increasing interdisciplinarity/intersectorality: traditional evaluation methods, often focused on specific disciplines, must evolve to better appreciate this multiplicity; 3. New types of research: massive data, artificial intelligence, but also participatory research and citizen sciences; 4. Societal impact: there is a growing demand to qualify the tangible impact of research and therefore contributions to be better described; 5. Transparency and accountability: how to ensure the continued responsible and effective use of public funds. 6. And many more... It is therefore essential for the FRQ to be able to reflect this new contemporaneity of research. It is in this context of modernity and continuous effort that the FRQ became a member of the CoARA coalition in November 2023. FRQ E3R Action Plan - CoARA - June 2025 – version 1 10 The action plan requested by the Coalition is based, of course, on the 10 guiding principles of the The Agreement on Reforming Research Assessment (ARRA) of CoARA, to which the FRQ fully adheres, with a focus on designing and proposing robust, responsible, flexible and adaptable evaluation systems to recognize and support the plural character of quality research. It builds on the actions undertaken over the last few years, and those to be pursued in the coming years. As the commitments are interrelated, the actions taken and those to come may affect several of them. This concept is extremely important in a context where resources are limited. The success of a company like the Evolution of the Evaluation of Excellence in Research (E3R) lies in the FRQ's ability to: • Mobilize the entire research community (individuals and organizations) in the process of change that CoARA represents; • Provide a clear and concise vision of CoARA, the FRQ action plan, and how this plan fits into everyone's activities; • Make everyone in the FRQ organization committed and accountable to the action plan; • Encourage bottom-up approaches, contributions and actions from employees, collaborators and the research community • Co-develop and give appropriate tools to FRQ staff to "talk, think, develop", according to CoARA principles; • Communicate clearly, frequently and individually, with ecosystem stakeholders; involvement of everyone in the organization; • Establish and maintain clear, strong coordination capable of linking FRQ actions, the action plan, and representation to the Coalition; • Respect CoARA's principles and commitments as an institution in its own activities. FRQ E3R Action Plan - CoARA - June 2025 – version 1 11 5. Process An action plan built internally by the FRQ and with the Quebec research community. Building on the foundations to pave the way for culture change, by relying on an open, iterative and coordinated process. 5.1 An iterative process to design and implement the E3R action plan The process for deploying and implementing the action plan aimed at the continuous evolution of research evaluation practices and the establishment of excellence benchmark is organized into 4 phases: 1. Formalize the E3R project: launch the CoARA project, i.e. understand the CoARA structure and ecosystem (set up the project) / coordinate the project on the evolution of the evaluation of excellence in research (E3R) at the FRQ / publicize the Coalition and the project within the FRQ / draw up and have approved an initial version of the action plan for CoARA; 2. Ideation and design: reflect - collect - design, i.e. draw the formal framework of E3R according to sub-themes (thematic groups); 3. Dialogue, collaboration and consultation with the research community and partners; 4. Active participation in CoARA's work. Formalizing the E3R project • Hiring a part-time resource • Preliminary analyses (including assessment of priority commitments for the FRQ) • Data collection from FRQ employees • Identification of the main internal and external challenges and obstacles • Participation in CoARA activities (Annual General Assembly, working groups, thematic webinars, etc.). • Internal awareness and the Comité intersectoriel étudiant (CIÉ) • Meeting with external partners (ANR) • Internal working meetings (management, program managers, relevant committees) • Management coordination • Creating buy-in for the project: webinars and involving colleagues in the reflection process • Set up working groups according to the sub-themes MarchDecember 2024 July 2024 - March 2025 Spring 2025 FRQ E3R Action Plan - CoARA - June 2025 – version 1 12 • Identify a desired common accountability framework and guidelines for assessing research excellence • Draw up an initial version of an action plan and have it approved by the FRQ and uploaded to CoARA's Zenodo platform. May 2025 Ideation and design • Draw on global best practices in terms of responsible research assessment and prioritize CoARA action plans from other funding agencies. • Imagine and design E3R in line with institutional priorities and work already underway (notably the FRQ's new strategic plan). • Monitor action plans submitted by CoARA signatories; • Plan implementation steps in current FRQ fields of action (see chapter 2.2 priority fields of action) Last half of 2024 an First quarter 2025 Dialogue with the research community and partners • Building relationships with all stakeholders (institutions; research community; student community; other funders) to encourage their positive engagement in the future. • Organize a consultation (format and modalities to be determined) with the research community and certain identified stakeholders (e.g. FRQ groups, Student intersectoral committee (CIÉ in French), etc.) to understand the opportunities and challenges related to the desired/desirable evolution of research evaluation. • Collaborate with other federal and international funding agencies (ANR and other European funding agencies, federal CV change within the three federal research funding agencies: Canadian Institutes of Health Research (CIHR), Natural Sciences and Engineering Research Council of Canada (NSERC) and Social Sciences and Humanities Research Council (SSHRC), others) Summer - Fall 2025 Active participation in the work of the CoARA Coalition • Participation in CoARA general meetings • Analysis of CoARA working groups (WGs) to reach those most relevant to the FRQ • Participation in certain CoARA working groups (ERIP - ACA - TIER - Multilingualism, etc.). • International collaboration with other funding agencies 20242025 Note: the dates indicated are valid for the first iteration; they will be updated as the action plan progresses. FRQ E3R Action Plan - CoARA - June 2025 – version 1 13 5.2 FRQ workgroups and priority action areas As a result of its strategic plan, several working groups / efforts are already organized around priority fields of action. Instead of creating a new "E3R" working group, we have opted for E3R coordination, aimed at capturing the actions and results of these groups and articulating them in line with E3R's overall vision. This approach avoids duplication or inconsistency and is more conducive to a lasting change of culture within the organization, and in turn with the scientific community. • Research evaluation: rules, forms, criteria, committees, training, culture and intersectorality • Inclusive research • Identify and define types of research: participatory research, creative research, etc. • Science in French and multilingualism • CV: transition from Canadian CV (CCV) to a descriptive CV • Disciplinary classification and intersectorality • Open science and open access FRQ E3R Action Plan - CoARA - June 2025 – version 1 14 6. Action plan 6.1 COMMITMENT 1 Recognize the diversity of contributions to, and careers in, research in accordance with the needs and nature of the research One of the objectives of the FRQ's strategic plan is to enhance the diversity of researchers' career paths by updating the notion of research excellence. Axis1: Diversity of paths and types of research/ recognition of research contributions What we are doing and will pursue • Introduction of specific FRQ statuses to recognize all research contributors: the notion of coinvestigator has been broadened to recognize several types of research and the value of various forms of contribution. The FRQ offers a variety of programs that recognize diverse contributions, such as college researchers (status 3), patient partners, caregivers, practice partners, artists, representatives of indigenous communities, and retired individuals (status 4). Specific means are deployed to ensure that their respective and differentiated contributions are recognized at their fair value (creation of specific statuses, team composition rules, types of funding or eligible expenses, specific evaluation procedures for indigenous programs, etc.); • Continue to recognize the value of collaborations of different types of research (collaborative, participatory, action research, research-creation, basic research, etc.) in the assessment of research excellence; • Creation of Audace Program: this intersectoral research program, with no specific theme, aims to support bold, projects with high potential for spin-offs. It makes room for atypical, innovative projects that take the risk of breaking with established frameworks and ways of thinking, exploratory projects that have the potential to radically transform research and creation. • Introduction of the Rising Star Award based on the DORA and CoARA principles: this award recognizes the diversity of research contributions and careers. Evaluation criteria are largely oriented towards qualitative assessment of applications (2024); • Creation of scholarship and mentoring programs for the next generation of Indigenous researchers; • Promoting diversity and intersectorality in the composition of evaluation committees: practices aimed at diversity in terms of gender, institution, career stage and representation of different activity sectors; FRQ E3R Action Plan - CoARA - June 2025 – version 1 15 What we intend to do • Progressively deploy a new descriptive CV (a hybrid narrative CV): whereas the current "conventional” CV emphasizes exhaustiveness and quantifiable achievements, the descriptive CV, introduced in successive phases by the FRQ, favors a qualitative and contextual vision of contributions • Analyze the diversity of contributions: analysis of the diversity of research contributions presented by applicants in the new CV format, both qualitative and quantitative; its relevance to program objectives • Pursue and develop intersectoral programs that diversify the sources of research subjects and include non-researchers or people from fields other than that of the program; • Establish a list of guiding principles for committee composition across all sectors and initiatives of the Office of the Québec Chief Scientist; • Encourage the presence of people from outside the program field, where appropriate, to promote intersectorality; • Create a college of reviewers (with the consent of the individuals) for the entire FRQ, which will facilitate interdisciplinary/intersectoral representation when required on evaluation committees (if applicable and in 2027-2028). Axis 2: Structuring and financing research What we are doing and will pursue • Promotion of diverse contributions, intersectoral and transdisciplinary research and crossorder research in FRQ clusters (research centers, thematic networks, strategic clusters, teams, observatories, etc.); • A leader in the evaluation of research-creation: the FRQ has developed a definition 2 of research-creation consistent with the development of funding programs and recognized by research-creation community of Québec; • Creation of the Engagement Program: the FRQ has created a participatory science program in 2021. It allows citizens to propose a research idea and carry it out in close collaboration with a researcher. • Continue to roll out programs that enable research to be carried out in partnership with a diversity of contributors, by facilitating their integration into the scientific program; • Continue to develop program guidelines and rules to encourage citizen involvement (Engagement Program) and funding for high-risk research (Audace Programme). 2 Research-creation can be defined as all research approaches that promote creation and aim to produce new aesthetic, theoretical, methodological, epistemological or technical knowledge. All these approaches must involve, to varying degrees (depending on the practices and temporalities specific to each project): 1) creative or artistic activities (design, experimentation, technology, prototyping, etc.) AND 2) the problematization of these same activities (critical and theoretical grasp of the research-creation, creative or artistic process, conceptualization, etc.). FRQ E3R Action Plan - CoARA - June 2025 – version 1 22 6.5 COMMITMENT 5 Commit resources to reforming research assessment as is needed to achieve the organisational changes committed to The evolution of research evaluation practices is having an impact on all sectors and professions of the FRQ. It particularly affects the work of program managers, who are on the front line in the process of developing calls, evaluation and grants awards in collaboration with peer committees. That said, other departments such as the Planning-Performance Division, the Project Office and the Ethical and Legal Affairs Division are also involved in the various prioritized fields of action (see section 2.2). More specifically, a coordination unit has been set up to keep abreast of developments in our research excellence assessment practices (E3R), acting as a point of contact for CoARA. What we are doing and will pursue • Involvement of specific internal resources largely dedicated to E3R / CoARA: commitment of two part-time resources to support the implementation of the project and the promotion of E3R/CoARA principles internally (organization of exchange meetings, webinars, etc.). Involvement of sectors and internal shared services to ensure effective buy-in and coordination; • International presence whenever possible: active contribution to CoARA working groups and collaboration with other funding agencies that have signed up to this initiative, notably the French National Research Agency (ANR). Participation in working groups (ERIP, ACA, Multilingualism, etc.) and exchange of best practices with international partners; • Involvement at provincial level: collaboration with university, colleges and research authorities in Quebec to promote and encourage the evolution of research evaluation practices; • Support for Indigenous leadership in research: a dedicated working group has been set up, made up of the FRQ's three Vice-Presidents for Research, the Chief Scientist, Indigenous researchers, representatives of indigenous community organizations and school boards, and Indigenous students. This group helps to guide programs in Indigenous research and to define an approach to excellence adapted to this reality. What we intend to do • Maintain the availability of specific resources to ensure coordination of the workstreams; integrate FRQ members identified as leaders of change into the coordination group; • Support the implementation of reforms and strengthen the FRQ's representation on the provincial, national and international scene; • Continue work on the notion of excellence in Indigenous research and consolidate reflections and initiatives aimed at better defining and integrating excellence in Indigenous research into our practices. FRQ E3R Action Plan - CoARA - June 2025 – version 1 23 • Increase communication and regular updates on the overview and progress of work, with all FRQ employees to reinforce everyone's empowerment and thus maintain the focus on culture and practice change; the development of thematic training courses will be encouraged (both for internal and external use); FRQ E3R Action Plan - CoARA - June 2025 – version 1 24 6.6 COMMITMENT 6 Review and develop research assessment criteria, tools and processes Efforts for this commitment are focused on harmonizing granting rules and criteria, valuing the diversity of contributions (see also Commitment 1), combating unconscious bias and continuously improving processes. Measures have already been taken to ensure that atypical career paths are better considered, to encourage the mobilization of knowledge and to promote open science. The main objective of this commitment will be to ensure that the rules, program objectives and evaluation criteria are in line with the CoARA principles, with a view to reformulating some of these elements to bring them into line. Finally, the evaluation committees, the cornerstone of the evaluation carried out by the FRQ in its funding awards, are at the heart of this approach, with an emphasis 1) on the diversity of their composition (reflecting a diversity of contents, methodologies, disciplines, etc.), 2) on the various training courses on offer that meet the needs of our community in the principles of CoARA, and 3) the improvement of the tools provided to reviewers Axis 1: Rules and criteria What we are doing and will pursue • On-going review of the Common General Rules (RGC in French); • Promotion of open access in program rules; • Assessment of more atypical career paths and exceptional measures in program rules to correct certain obstacles that different groups may unduly face in their research career (possibility of deferring payments and extending the admissibility period in the case of parental, health or disability-related leaves; possibility of using the postdoctoral fellowship at the same institution as for doctoral studies in the case of major family obligations, a medical condition or a disability that restricts mobility in an exceptional way); • Harmonization of final reports and review, while ensuring coverage of a diversity of research outputs; • Harmonization of evaluation criteria for regular training scholarship programs (master's, doctorate and postdoctorate) between the three FRQ sectors, in consultation with the Student intersectoral committee (CIÉ in French) and members of evaluation committees; • Withdrawal of weighting on evaluation sub-criteria in 2021-2022: the FRQ's evaluation grids for scholarship grant programs enable us to take a holistic view of the application, without placing too much emphasis on any one indicator. Thus, the weighting given to each evaluation criterion allows a range of sub-criteria to be considered; • Withdrawal of the evaluation criterion "Quality of the director's publication record in relation to student training" (2021-2022): replaced by an evaluation of the type of supervision offered to the candidate and the material resources made available to him/her for carrying out his/her research; • In grant funding programs, for the evaluation criterion on team quality, emphasis is placed on the expertise of each member and their complementarity, leadership, etc. The FRQ E3R Action Plan - CoARA - June 2025 – version 1 25 evaluation also recognizes the diversity of research contributions and careers, ensuring equity of access according to career stage. The evaluation also recognizes the diversity of research contributions and careers, ensures equity of access according to career stage, and emphasizes consistency between the CV and the project submitted. This modification puts the emphasis on the above aspects rather than on the publications of each team member, for example. These changes have made it possible to recognize the contribution of a diversity of participants, such as patient partners, practice environments, citizens, etc., in the teams; • Revision of criteria in certain programs (notably for career grants): an initial review and correction of the evaluation criteria has been carried out to remove any quantitative aspect and any aspect based on the performance of funding organizations. In this program, a section is devoted to the most important publications in a career. These adjustments make it possible to place less emphasis on the quantity of publications; • Continuous improvement process, incorporating feedback from committee members, the scientific community and best practices in the field, where possible. • Customized briefings for several evaluation committees, particularly for atypical programs such as Audace (high-risk - high-potential) or Engagement et Transformation (citizen programs). What we intend to do • Revise CV content for applicants to postdoctoral fellowship programs and grants (see section 3.1); • Map and identify existing CoARA-compliant programs, develop a directory of program models by type (grants, scholarships for individuals (emerging and career), clusters) and review the evaluation criteria for certain programs considering CoARA commitments; • Improve processes and Common General Rules (RGC) in line with CoARA commitments; • Monitor the formulation of criteria in various funding agencies (national and international) • Develop and propose a checklist of CoARA commitments for program writers, covering the "objectives", "rules" and "evaluation criteria" sections of programs: this checklist, distributed internally, would highlight the CoARA commitments and the criteria formulations deemed compliant to be used; • Revise the research statuses in a comprehensive and coherent way in the Common General Rules; • Review funding application forms for all our programs to ensure that the applicant's requirements match the eligibility and evaluation criteria; • When developing program guides, include a paragraph clearly indicating the FRQ's adherence to DORA / CoARA and its commitment to developing the evaluation of research excellence • Transparently communicate rules, criteria and processes modified or being modified in E3R, drawing attention to the underlying reasons for the adjustments; disseminate major rule adjustments in FRQ newsletters and ensure that the research community is informed widely and on an ongoing basis of the adjustments; • Provide FRQ staff with training on CoARA commitments, to equip them to prepare calls for proposals (objectives and criteria), to encourage reviewers to issue qualitative assessments: FRQ E3R Action Plan - CoARA - June 2025 – version 1 26 the aim would be to raise staff awareness of CoARA commitments (their existence, purpose, implications) and to equip them to prepare calls for proposals related to funding programs and initiatives. Axis 2: Assessment committees What we are doing and will pursue • -Continue to integrate diversity of gender, institution and career stage into committee membership (where possible);) ; • Production of evaluation guides ((manuscripts, capsules) for scholarship program evaluation committee members: o Addition of an awareness-raising paragraph on CoARA (2024): the aim is to make committee members aware of the changes coming in connection with CoARA; o Addition of a paragraph explaining to evaluation committee members why there is no weighting on the evaluation sub-criteria and the impact on their evaluation (2024). The aim is to remind evaluation committee members that it is not desirable for them to create an evaluation grid with a score on the evaluation sub-criteria; • Training on unintentional bias: members of evaluation committees are invited to take the training module on unintentional bias developed by the three federal funding agencies before evaluating files; • Committee briefings: pre-assessment meetings are generally organized. They are accompanied by documentation (e.g., e-mails presenting the process, guides for reviewers). The purpose of these meetings is to provide members with a single source of information on program rules and evaluation processes (procedure, criteria, content of application files, etc.). • Raising evaluators' awareness of the importance of all sections of an application, and of the diversity of contributions (beyond publications) to take into account the candidate's overall experience and achievements. What we intend to do Setting up committees • Establish a list of guiding principles for the composition of committees in intersectoral programs based on all sectors and on initiatives of the Office of the Chief Scientist to represent a diversity of profiles and sectors; Create a college of assessors (with the consent of the assessors) for the entire FRQ. (see paragraph 3.1); Raising awareness and training committees • Continue, or even modify, the tools used to make committee members aware of the unconscious prejudices and biases highlighted in this review of research evaluation; • Ensure that the use of institution rankings is prohibited in evaluations, and that this is one of the subjects covered in current training and awareness-raising campaigns on bias; • Review program evaluation guides in the light of CoARA commitments and identify models; FRQ E3R Action Plan - CoARA - June 2025 – version 1 27 • Standardize and ensure continuous improvement of guides for committee members: review and harmonize guides and related documents (scoring grid, feedback form for candidates) to ensure that they are up to date and consistent with CoARA principles; • Make committee members aware of the importance of all sections of an application, and of the diversity of contributions (beyond publications) to consider the candidate's overall experience and achievements; • Raise awareness among committee members and scientific advisors of the need to change culture: check roles according to sectors, raise awareness of CoARA's various commitments and create winning conditions to turn scientific advisors into ambassadors; • Provide training for on the content and suitability of the new descriptive CV, in line with the evaluation criteria set out in the various programs. • Train and raise awareness among program managers so that they can intervene with committee chairs when peer reviewers deviate from CoARA's principles. Committee management and follow-up • Ensure that different sources of information and contributions coexist harmoniously in the evaluation of research: descriptive CV and ORCID, for example; • Exercise “E3R” vigilance during the course of assessment committees to ensure consistent and systematic implementation of responsible appraisal principles throughout the process (temporary measure, while the culture change is being installed and monitored). FRQ E3R Action Plan - CoARA - June 2025 – version 1 28 6.7 COMMITMENT 7 Raise awareness of research assessment reform and provide transparent communication, guidance and training on assessment criteria and processes as well as their use. The FRQ, the only CoARA signatory in Canada in April 2025, is committed to promoting a more balanced and qualitative approach to research evaluation, and to providing the Quebec research community with clear, transparent and widely communicated explanations of the evaluation reform it is undertaking. What we are doing and will pursue • Training of FRQ staff on several policies and orientations that are pillars of E3R/CoARA (research integrity, bias, inclusion, open access, etc.); • Internal information webinar dedicated to CoARA and the evolution of the evaluation of research excellence (E3R; recorded for later distribution); • Drafting of a paragraph on CoARA and the commitments made by the FRQ in the guides for members of evaluation committees; • Consultations and meetings with the Student Intersectoral Committee (CIÉ) to obtain the opinion of the next generation of researchers on the reform of the evaluation of research excellence • Discussions with scientific advisors, evaluation committee members, committee chairs, program managers and employees (NB: some peer review committees are supervised by a scientific advisor whose role varies according to the sector); • Open access training for the scientific community; • Broad community consultation on the new descriptive CV: conducted among the FRQ public (mainly grant and scholarship recipients and members of evaluation committees), a consultation was held at the end of 2024 to sound out members of the community on the evolution of the CV requested by the FRQ. The same consultation was also launched with staff members; • Integration of references to E3R in assessment committee tools (guides, webinars, preliminary meetings, etc.). What we intend to do • Organize a consultation (format and modalities to be determined) of the research community and certain identified stakeholders (e.g. FRQ clusters, CIÉ, etc.) to survey the challenges and opportunities of E3R in relation to CoARA commitments (generic survey based on the desired / desirable evolution of research evaluation) • Set up a reference page dedicated to CoARA and the evolution of the evaluation of research excellence (E3R) on the FRQ website, explaining the general orientations and new practices in this area; FRQ E3R Action Plan - CoARA - June 2025 – version 1 29 • Organize regular webinar series or co-creationmeetings on E3R internally for FRQ staff and externally for ecosystem stakeholders; • Systematize pre-evaluation meetings of committee members (before each reviewer begins his or her assessment) and devote mandatory time in these meetings to explaining E3R; • Be among the leaders for in the evolution of the evaluation of research excellence (FRQ ambassador role); • Evaluate the relevance of proposing a national Quebec or even Canadian chapter, or move closer to a national Francophone chapter; • Raise awareness among higher education institutions (colleges and universities) so that their institutional policies for recruiting and evaluating researchers at all career stages reflect CoARA's principles and commitments; • Establish or maintain ongoing channels of communication on the subject with all stakeholders to explain the reform and help partners commit to their own reform of the assessments they carry out; • Share learning about E3R practices and processes in a variety of forums. FRQ E3R Action Plan - CoARA - June 2025 – version 1 30 6.8 COMMITMENT 8 Exchange practices and experiences to enable mutual learning within and beyond the Coalition The exchange of practices and experiences is essential to enrich thinking and ensure effective implementation of research evaluation reforms. The FRQ is actively involved in collaborative initiatives at national and international levels to share its expertise and learn from the approaches developed by other organizations. What we are doing and will pursue • Participation in CoARA working groups: involvement in seven CoARA working groups that promote the exchange of practices and experiences; • Collaboration with other funding agencies that have signed CoARA: sharing expertise and best practices, especially with the French National Research Agency (ANR); Canadian collaborations; other; • Exchanges beyond the CoARA framework: participation in other initiatives and think tanks on research evaluation, including the three Canadian federal councils and CHSPRA (Canadian Health Services and Policy Research Alliance). Participation in several Research on Research Institute (RORI) think tanks. What we intend to do • Continue to participate in working groups and strengthen the FRQ's presence in international collaborative bodies; • Develop more frequent and structured collaborations with national (federal agencies) and international funding agencies, building on established links with ANR as a priority; • Set up regular exchange forums (in the form of communities of practice) between researchers, members of the next generation of researchers and decision-making bodies, to better align practices with community needs. FRQ E3R Action Plan - CoARA - June 2025 – version 1 31 6.9 COMMITMENT 9 Communicate progress made on adherence to Principles and implementation of the Commitments The FRQ is committed to ensuring transparent and ongoing communication on the evolution of its practices in line with the CoARA principles, both within its teams and with the Quebec research ecosystem. What we are doing and will pursue • Internal awareness-raising and mobilization of FRQ departments and services to ensure a common understanding of CoARA principles and their integration into assessment practices. What we intend to do • Include dedicated sections or explicit references to E3R in institutional documents (annual reports, strategic plans and other official FRQ documents); • Define clear deadlines and specify impacts for each FRQ department and division, to ensure progressive and consistent implementation of commitments; • Deploy an integration plan to test the application of CoARA principles in certain programs, ensuring targeted and proactive communication with the clienteles concerned; • Engage the entire research ecosystem by raising awareness among stakeholders (researchers, institutions, funding agencies) to encourage collective support for the principles of responsible evaluation; • Encourage structured dialogue between the research community and the decision-making bodies responsible for evaluation, by facilitating exchanges on issues and changes in practices; • Support universities and colleges in aligning their institutional policies for recruiting and evaluating professors and researchers, at all stages of their careers, with E3R principles and commitments. FRQ E3R Action Plan - CoARA - June 2025 – version 1 38 E3R - FRQ - SUPPORT COMMITMENTS COMMITMENT 5: Commit resources to reforming research assessment as is needed to achieve the organisational changes committed to • Strengthening internal resources for responsible assessment • Increase communication and regular updates on the overview and progress of work, with all FRQ employees to reinforce the empowerment of each individual and thus maintain the focus on changing culture and practices. • Ensuring a national and international presence in this field COMMITMENT 6: Review and develop research assessment criteria, tools and processes • Create tools (compliance list, program template (objectives and criteria), common general rules) in line with CoARA requirements • Develop rules, statutes and award criteria • Change the practices of assessment committees and continue to combat prejudice and inappropriate use of quantitative indicators. COMMITMENT 7: Raise awareness of research assessment reform and provide transparent communication, guidance and training on assessment criteria and processes as well as their use. • Increase awareness among members of assessment committees and all FRQ staff (consultations, webinars, etc.). • Raise awareness of changing practices within the research community and encourage dialogue with all stakeholders • Leading the evolution of the evaluation excellence in research COMMITMENT 8: Exchange practices and experiences to enable mutual learning within and beyond the Coalition • Share best practices in national and international forums • Participate in Coalition activities, develop collaborations with other funding agencies and assess the relevance of a national chapter COMMITMENT 9: Communicate progress made on adherence to Principles and implementation of the Commitments • Foster a structured dialogue between the research community and the decision-making bodies responsible for evaluation, by facilitating exchanges on issues and changes in practices. • Support universities and colleges in aligning their institutional policies for recruiting and evaluating researchers, at all stages of their careers, with CoARA's principles and commitments. COMMITMENT 10: Evaluate practices, criteria and tools based on solid evidence and the state of the art in research on research, and make data openly available for evidence gathering and research • Continuous review of assessment practices • Revise the templates and content of monitoring reports to ensure that the diversity of scientific productions and the nature of the information requested are in line with CoARA principles and program orientations. • Examine the possibility of conducting an annual or biennial analysis of the state of research evaluation (literature review).