State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum

State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum Arbeitspapier 1-2025 der Arbeitsgruppe Bewertung von Qualitäten transdisziplinärer Forschung der Gesellschaft für transdisziplinäre und partizipative Forschung e.V. Autor*innen: Gabriela Michelini, Matthias Bergmann, Thomas Jahn, Alexandra Lux für die Redaktionsgruppe des State-of-the-Art der GTPF-AG Bewertung von Qualitäten transdisziplinärer Forschung Die Redaktionsgruppe des State of the Art: Tamara Avellan, Matthias Bergmann, Bettina Brohmann, Peter Dietrich, Bert Droste-Franke, Dominik Düber, Thomas Jahn, Silke Kleihauer, Alexandra Lux, Gabriela Michelini, Jessica Nuske, Sara Saba, Roman Seidl, Katja Treichel-Grass. Wir danken auch weiteren Kommentator*innen aus der Arbeitsgruppe: Maria Busse. Mai 2025 AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 2 Arbeitspapier 1-2025 State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum Zusammenfassung Im vorliegenden Papier wird ein Überblick über den aktuellen Wissensstand (State-of-the-Art) zu Qualitätskriterien transdisziplinärer Forschung gegeben. Aufgrund der regionalen Ausrichtung der GTPF wurde hierbei der Fokus auf den deutschsprachigen Diskurs gelegt. Zur Erstellung dieses Stateof-the-Art wurde eine Literaturrecherche durchgeführt, die eine systematische Durchsuchung in SCOPUS sowie eine Untersuchung der Literatursammlungen des Projekts SHAPE-ID und der Datenbank INTERSECTIONS kombiniert. Aus diesen Quellen wurden ausschließlich Texte von Autor*innen berücksichtigt, die an Institutionen in Deutschland, Österreich und der Schweiz tätig sind. Die ausgewählten Dokumente wurden den 14 Expert*innen der StoA-Redaktionsgruppe zur Verfügung gestellt, die an der Erstellung dieses Berichts beteiligt waren, um sie anhand der folgenden Auswertungskategorien einzuordnen: - Analytische Dimension: Was macht transdisziplinäre Forschung besonders? - Normative Dimension: Wonach wird bewertet? - Praktische Dimension: Wie wird bewertet? Zu den Ergebnissen zählen einige zentrale Elemente, die in der ausgewählten Literatur über die von uns definierten Auswertungskategorien hinaus identifiziert werden konnten: 1. Die Forderung und der „Ruf“ nach transdisziplinärer Forschung (TdF) nimmt stetig zu. 2. Die bisherigen Logiken und Verfahren des Wissenschaftssystems sind oft schwer mit den Anforderungen und Besonderheiten von TdF vereinbar. 3. Unterschiedliche und konkurrierende Verständnisse von Wissenschaft und wissenschaftlichem Arbeiten treffen aufeinander, was erhebliche Auswirkungen auf Karrieren und Fördermöglichkeiten von Forschungsprojekten, Arbeitsgruppen und einzelnen Wissenschaftler*innen hat. 4. Die Unzulänglichkeit indexbasierter Bewertungen mit Leistungsindikatoren zur Bewertung von TdF erfordert eine kritische Auseinandersetzung mit bestehenden Standards. 5. Ein weiterer Fokus im deutschsprachigen Diskurs über die Qualitäten von TdF liegt auf den Wirkungen transdisziplinärer Forschung. Ferner stellt dieser State-of-the-Art die verschiedenen Anwendungsbereiche, Akteure und Felder dar, die sich seit längerem mit Qualitätsbewertungen beschäftigen, und präsentiert die wichtigsten Ergebnisse der recherchierten Literatur zu den Qualitäten von TdF sowie zu den Kriterien und Verfahren ihrer Bewertung. Auf Grundlage dieser Bestandsaufnahme soll ein Positionspapier zu den Qualitäten transdisziplinärer Forschung und deren Bewertung erarbeitet werden, verbunden mit praxisorientierten Empfehlungen für Förderinstitutionen und Leitungen von Forschungseinrichtungen. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 3 Abstract1 This paper provides an overview of the current state of knowledge (State-of-the-Art) regarding quality criteria in transdisciplinary research. Due to the regional focus of the GTPF, the emphasis was placed on the German-speaking discourse. To create this State-of-the-Art, a literature review was conducted, combining a systematic search in SCOPUS with an examination of the literature collections from the project SHAPE-ID and the database INTERSECTIONS. From these sources, only texts authored by individuals affiliated with institutions in Germany, Austria, and Switzerland were considered. The selected documents were distributed to the 14 experts of the StoA editorial group, who were involved in the preparation of this report, in order to categorize them according to the following evaluation categories: - Analytical Dimension: What makes transdisciplinary research special? - Normative Dimension: What is being evaluated - Practical Dimension: How is it evaluated? The results include several key elements identified in the selected literature beyond the evaluation categories we defined: 1. The demand and "call" for transdisciplinary research (TdF) are steadily increasing. 2. The existing logics and procedures of the scientific system are often difficult to reconcile with the requirements and peculiarities of TdF. 3. Different and competing understandings of science and scientific work collide, with significant implications for careers and funding opportunities for research projects, working groups, and individual researchers. 4. The inadequacy of index-based evaluations with performance indicators for assessing TdF necessitates a critical examination of existing standards (Krainer und Winiwarter 2016; Bergmann und Schramm 2008). 5. Another focus in the German-speaking discourse on the qualities of TdF is on the impacts of transdisciplinary research. Furthermore, this State-of-the-Art presents the various application areas, actors, and fields that have long been engaged with quality evaluations, and it outlines the most important findings from the researched literature regarding the qualities of TdF, as well as the criteria and methods for their evaluation. Based on these results, a position paper on the qualities of transdisciplinary research and their evaluation is to be developed, accompanied by practice-oriented recommendations for funding institutions and the leadership of research organizations. DOI: https://doi.org/10.5281/zenodo.15535513 1 Die sprachliche Überarbeitung der Zusammenfassung und Übersetzung wurde mit FHPgpt durchgeführt, basierend auf GPT-4, abgerufen am 28.05.2025 AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 4 State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum Inhalt Einleitung ................................................................................................................................................ 5 Methode ................................................................................................................................................. 5 1. Aktualität und Problemstellung (Eckpunkte zur Rahmung des Diskurses im deutschsprachigen Raum) ...................................................................................................................................................... 7 2. Anwendungsbereiche, Akteure und Bewertungsfelder ................................................................ 10 3. Qualitäten von TdF sowie Kriterien und Verfahren ihrer Bewertung ........................................... 12 3.1. Analytische Dimension: Was macht TdF besonders? ................................................................ 12 3.2. Normative Dimension: Wonach wird bewertet? ....................................................................... 13 3.3. Praktische Dimension: Wie wird bewertet? .............................................................................. 15 Quellen ................................................................................................................................................. 18 Impressum ............................................................................................................................................ 21 AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 5 State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum Einleitung Die AG Bewertung von Qualitäten transdisziplinärer Forschung der Gesellschaft für transdisziplinäre und partizipative Forschung (GTPF) widmet sich der Aufgabe, Bewertungskriterien für Transdisziplinarität als Forschungsmodus breit in den Blick zu nehmen – von Forschungsprojekten, bis hin zu Förderprogrammen und Wissenschaftseinrichtungen. Im vorliegenden Papier wird hierfür ein Überblick über den aktuellen Wissensstand (State-of-the-Art) zu Qualitätskriterien transdisziplinärer Forschung gegeben. Hierzu wurde aufgrund der regionalen Ausrichtung der GTPF auf den deutschsprachigen Diskurs fokussiert. Als Orientierung für die Literaturauswertung hat die GTPF-AG „Bewertung von Qualitäten transdisziplinärer Forschung“ einen vorläufigen Vorschlag für eine Arbeitsdefinition von Transdisziplinarität entwickelt: „Transdisziplinarität ist ein Forschungsmodus, der zur Behandlung von komplexen und strittigen gesellschaftlichen Problemen eingesetzt wird. Dieser Modus zeichnet sich durch Kooperation und einen gemeinsamen Lernprozess zwischen verschiedenen wissenschaftlichen Disziplinen sowie zwischen Wissenschaftler*innen und Praxisakteur*innen aus dem Untersuchungsfeld aus. Durch die Integration verschiedener Perspektiven und Praktiken der Wissensproduktion (d.h. verschiedenen Wissensformen und Epistemologien) soll neues Wissen generiert werden. Das in diesem Prozess neu entstandene Wissen kann einen wichtigen Beitrag für die Transformationen zur Überwindung komplexer gesellschaftlicher und wissenschaftlicher Probleme (im Sinne von "Gestaltung") leisten und auch zur Erweiterung von fachspezifischen Theorien, Methoden und Konzepten beitragen. Integrationsprozesse stellen sowohl auf kognitiver, sozialer, organisatorischer als auch kommunikativer Ebene eine wesentliche Herausforderung dar.” (GTPF-AG „Bewertung von Qualitäten transdisziplinärer Forschung“, Juni 2024) Dieses Dokument dient als Grundlage für die Arbeit der Arbeitsgruppe sowie der GTPF, um eine Position zu Qualitäten der transdisziplinären Forschung (TdF) und ihrer Bewertung zu entwickeln und Empfehlungen für Förderinstitutionen, Leitungen von Forschungseinrichtungen und Forschende auszuarbeiten. Ziel dieses Dokuments ist es, den ermittelten Wissensstand zu beschreiben, darauf aufbauend eine gemeinsame Position der Arbeitsgruppe zu formulieren und zu evaluieren, ob dieser Stand als zufriedenstellend angesehen werden kann. Methode Um diesen State-of-the-Art zu erstellen, wurde eine Literaturrecherche auf der Grundlage von drei Daten-Quellen durchgeführt. Erstens erfolgte eine systematische Literaturrecherche in SCOPUS, die sich auf Qualitätskriterien für transdisziplinäre Forschung zwischen 2011 und 2022 konzentrierte. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 6 Zweitens wurden relevante Informationen aus den Quellen des Projekts SHAPE-ID Toolkit (SHAPE-ID 2021) und der Datensammlung „INTERSECTIONS Literature Review: Bibliography on Intersections between Cultures, Practices and Policy in IDR/TDR“ ergänzt (Schaltegger et. al. 2024; Schaltegger et al. 2023; Schaltegger & Vienni-Baptista 2023).2 Aus diesen Quellen wurden ausschließlich Texte berücksichtigt, die von Autor*innen verfasst wurden, die an Institutionen in Deutschland, Österreich und Schweiz tätig sind. Diese Abgrenzung wurde mit dem Ziel vorgenommen, die wesentlichen Elemente des deutschsprachigen Diskurses über Qualität und Bewertung transdisziplinärer Forschung zu identifizieren. Denn dies ist auch die Community, die sich in der GTPF trifft. Darüber hinaus wurden noch Texte aufgenommen, die Mitglieder aus der Redaktionsgruppe als relevant einstufen, aber in den genannten Quellen nicht gelistet waren. Die initiale Auswahl umfasste 38 Dokumente, die in unserer Arbeitsgruppe diskutiert und schließlich (v.a. aufgrund von Redundanzen) auf 19 Dokumente reduziert wurde. Diese Dokumente wurden auf die genannten 14 Expert*innen der StoA-Redaktionsgruppe verteilt, die an der Erstellung dieses Berichts beteiligt waren, um sie anhand der folgenden Auswertungskategorien einzuordnen:3 • Analytische Dimension: Was macht transdisziplinäre Forschung besonders? • Normative Dimension: Wonach wird bewertet? (Normative Ansprüche an transdisziplinäre Forschung) • Praktische Dimension: Wie wird bewertet? (Verfahren) • Kontext der Autor*innen Die Ergebnisse der ersten Auswertung wurden in einer Gruppendiskussion der AG vorgestellt und erneut geprüft. Durch diese Diskussion konnten Kernaspekte eines im Wesentlichen in der Literatur geteilten Grundverständnisses identifiziert werden. In einem weiteren Schritt sind die Ergebnisse zu den analytischen, normativen und praktischen Dimensionen systematisiert, die anschließend von Expert*innen der Arbeitsgruppe ergänzt wurden (s. Abschnitt 3.). Elemente, die in mehreren der ausgewerteten Texte beschrieben wurden (z. B. zum Thema Integration), wurden nicht mehrfach aufgeführt. Die Sammlung umfasst Texte aus verschiedenen Institutionen und Ländern, darunter Forschungseinrichtungen in Deutschland (9), Österreich (2) und der Schweiz (7). Vertreten sind unterschiedliche Arten von Einrichtungen wie außeruniversitäre Forschungsinstitute, Hochschulen und ihre teils explizit transdisziplinär ausgerichteten Institute, Akademien der Wissenschaften sowie Netzwerke. Die Autorinnen stammen aus unterschiedlichen institutionellen Rollen: wissenschaftliche Mitarbeitende oder Leitende von Projekten und Einrichtungen sowie Professor*innen. Zusätzlich gibt es institutionelle Quellen, wie die VolkswagenStiftung. 2 Die Datensätze sind unter hGps://www.shapeidtoolkit.eu/wp-content/uploads/2021/03/Guide-AnnotatedBibliography-Academic.pdf bzw. hGps://doi.org/10.3929/ethz-b-000632756 abzurufen (letzte Prüfung der Links am 05.02.2025. 3 Während des Bearbeitungsprozesses wurden zwei weitere Texte hinzugefügt, die zum Zeitpunkt der ersten Überprüfung noch nicht verfügbar waren: Marg und Theiler (2023) und Wiefek et al. (2024), und außerdem noch Bergmann et al. (2005), weil dieser Text häufig von anderen Texten zi]ert wurde. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 7 Die Forschungsschwerpunkte der Autor*innen sind nicht einem einzigen disziplinären Kontext zuzuordnen. Diese fokussieren sich auf Themen wie beispielsweise die Gestaltung inter- /transdisziplinärer Prozesse, Wissenschaftstheorie, transdisziplinäre Methoden und Konzepte sowie die Zusammenarbeit von Wissenschaft und Gesellschaft. Zudem gibt es Autor*innen, die Transdisziplinarität als Thema ihrer Promotionsarbeit gewählt haben. Darüber hinaus stellen andere Texte die Frage nach den Qualitätskriterien aus einem breiten Spektrum von Bereichen, darunter Ökologie und Nachhaltigkeit, natürliche Ressourcen, nachhaltige Entwicklung, Agrarwissenschaften, Umweltwissenschaften u. a. Dieses Dokument präsentiert die identifizierten Kernaspekte des geteilten Grundverständnisses in den Abschnitten 1 und 2, die drei Dimensionen im Abschnitt 3. 1. Aktualität und Problemstellung (Eckpunkte zur Rahmung des Diskurses im deutschsprachigen Raum) In diesem einleitenden Abschnitt stellen wir zentrale Elemente vor, die in der ausgewählten Literatur über die von uns definierten Auswertungskategorien hinaus identifiziert werden konnten. Diese Elemente verstehen wir als konstitutive Bestandteile des Qualitätsdiskurses, die einen Rahmen für den Zugang zu und das Verständnis der analytischen, normativen und praktischen Dimensionen bieten. Im Folgenden sind diese fünf Elemente näher erläutert: 1.1. Die Forderung und der „Ruf“ nach transdisziplinärer Forschung (TdF) nimmt stetig zu: Die Expertise in und die Förderung von TdF zeigt sich an der wachsenden Gemeinschaft sowie an der Zunahme von Projekten und Programmen, die in der ausgewerteten Literatur thematisiert werden. Ausgangspunkt ist die Annahme, dass die Zusammenarbeit und Kollaboration zwischen wissenschaftlichen und gesellschaftlichen Akteuren sowie die Integration unterschiedlicher Perspektiven und Wissensbestände zur Generierung von “sozial robustem” Wissen (Nowotny 1999, Hoffmann et al. 2019) führt. Transdisziplinäre Forschung zielt darauf ab, umsetzbare Lösungsalternativen für realweltliche, komplexe Probleme zu entwickeln (Lang et al. 2012; Moser und Wolf 2023) und gleichzeitig den wissenschaftlichen Erkenntnisgewinn voranzutreiben (Lux et al. 2019, Jahn et al. 2012, Marg und Theiler 2023). In der analysierten Literatur wird dies als eine gekoppelte Perspektive betrachtet, da transdisziplinäre Forschung in der Regel auch eine wissenschaftliche Problematik enthält und sowohl wissenschaftliche als auch praxisbezogene Wirkungen intendiert und hervorruft (Lux et al. 2019; Bergmann und Schramm 2008; Walter et al. 2007). Diese Anforderungen sind zentral, um die Auswahl der für die Qualitätssicherung (mit-)verantwortlichen Akteure und die Art ihrer Kooperation zu bestimmen (Jahn und Keil 2015). Gleichzeitig ergibt sich daraus eine doppelte Normativität in der TdF: Einerseits zeigt sich Normativität in der Problemstellung (in der Formulierung eines komplexen gesellschaftlichen Problems), wenn sie beispielsweise als Gemeinwohloder Nachhaltigkeitsproblem beschrieben wird. Diese Normativität betrifft auch die Zielvorstellungen, die die beteiligten Akteure in den Prozess der Problembearbeitung einbringen und die einer Aushandlung sowie Integration bedürfen. Da transdisziplinäre Forschungsprozesse letztlich auch zur Generierung AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 8 von Zielund Transformationswissen führen, ist zudem zu analysieren, inwieweit normative Zielsetzungen aus wissenschaftlicher Perspektive überhaupt formuliert, vertreten und legitimiert werden können bzw. sollten. Andererseits führt die Charakteristik des transdisziplinären Forschungsmodus zu einer normativen Orientierung in der Art und Weise der Forschung, insofern sie als partizipativ, integrativ bezüglich des heterogenen und pluralen Wissens, und wirkungsorientiert beschrieben wird. 1.2. Die bisherigen Logiken / Verfahren des Wissenschaftssystems sind mit den Anforderungen und Besonderheiten von TdF oft schwer vereinbar. Die Integration verschiedener Wissensbestände ist kein Selbstzweck, sondern ein Prozess, der darauf abzielt, die spezifischen Ziele von TdF-Projekten zu erreichen. Daher umfasst die Bewertung von TdF auch die Analyse der unterschiedlichen Wissensquellen, ihrer Integration sowie der reflexiven Prozesse, die zur Zielerreichung eingesetzt werden (Radinger-Peer et al. 2022; Maag et al. 2018; Pohl et al. 2011; Edler und Kuhlmann 2008). Im etablierten akademischen System fehlt jedoch sowohl die Anerkennung für diese Art von Expertise als auch die Unterstützung zur Entwicklung entsprechender Kompetenzen. Lawrence et al. (2022) warnen vor potenziellen Vereinfachungen von TdF bezüglich der Interaktion zwischen Forschenden und nicht-akademischen Partner*innen. Ein häufiges Missverständnis in diesem Zusammenhang ist die Annahme, dass TdF lediglich darin besteht, verschiedene Akteurinnen zusammenzubringen, um in Gesprächen automatisch wertvolle Erkenntnisse oder Lösungen zu generieren. Während eine Einbindung nicht-akademischer Akteur*innen in TdF-Projekten häufig vorkommt, sind aktive Beteiligung und Empowerment deutlich seltener. 1.3. Strukturen des Wissenschaftssystems: Es treffen unterschiedliche und konkurrierende Verständnisse von Wissenschaft und wissenschaftlichem Arbeiten aufeinander mit erheblichen Auswirkungen für Karrieren und Fördermöglichkeiten von Forschungsprojekten, Arbeitsgruppen und einzelnen Wissenschaftler*innen. Der Wert disziplinärer Forschungsoutputs wird im etablierten Wissenschaftssystem bevorzugt, während die Leistungsund Qualitätskriterien transdisziplinärer Forschungsprozesse häufig ignoriert oder als additiv angesehen werden. Diese erfordern jedoch Grenzüberschreitungen auf struktureller, sozio-kultureller und disziplinärer Ebene. Entsprechend der Erwartungen an TdF wird ihre Qualität neben dem problemorientierten Erkenntnisgewinn auch an ihrem Erfolg gemessen, Dialogund Lernprozesse zwischen Wissenschaft und Gesellschaft sowie innerhalb der akademischen Gemeinschaft zu fördern (Jahn und Keil 2015). 1.4. Kriterien, Verfahren und Anwendungsbezug: Die Unzulänglichkeit indexbasierter Bewertungen mit Leistungsindikatoren zur Bewertung von TdF (Krainer und Winiwarter 2016; Bergmann und Schramm 2008) macht eine kritische Auseinandersetzung mit bestehenden Standards erforderlich. Diese müssen erweitert und durch Bezugnahme auf spezifische Anforderungen der TdF ergänzt werden (z. B. Moser und Wolf 2023). Darüber hinaus sollten etablierte Exzellenzkriterien – wie primär AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 9 quantitative Indikatoren – kritisch hinterfragt und gegebenenfalls angepasst werden. Erste Ansätze hierzu sind z.B. in der CoARA-Initiative oder der DORA-Deklaration zu erkennen. Es geht um die Entwicklung eines geteilten, fundierten Verständnisses von Qualitätskriterien für transdisziplinäre Forschung, die Fördermittelgeber, Antragsteller und Forschende gleichermaßen mittragen und anwenden. Ziel ist es, einerseits der Rechenschaftspflicht – etwa in Bezug auf die Investition von Zeit seitens der Beteiligten und die eingesetzten Fördermittel – gerecht zu werden und andererseits eine wirkungsvolle Forschung zu ermöglichen (Lawrence et al. 2022). Die ausgewerteten Texte präsentieren unterschiedliche Zwecke (eines Projektes und einer Bewertung) und Zeitpunkte für die Bewertung von Qualitäten. Einige Texte berichten über Qualitätskriterien, die im Rahmen von Projekten entwickelt wurden, wie Bergmann und Schramm (2008) und Jahn et al. (2012) im Rahmen des Evaluationsnetzwerks für transdisziplinäre Forschung (Evalunet). Andere Texte behandeln die Qualitätsbewertung im Kontext von Forschungspolitik und Governance, z. B. Edler und Kuhlmann (2008) oder VolkswagenStiftung (2023). Darüber hinaus gibt es Beiträge, die sich mit den Herausforderungen der Qualität im Rahmen institutioneller Kontexte befassen, wie Maag et al. (2018) und Lawrence et al. (2022). Betrachtet man den Zeitpunkt der Bewertung, bieten die Beiträge Indikatoren, Leitlinien und Reflexionen für eine formative Evaluation und damit verbundene Lernprozesse (z. B. Bergmann und Schramm 2008), ex-ante-Bewertungen (z. B. Pohl et al. 2011) oder Bewertungen, die den gesamten Forschungsprozess umfassen – von der Planung über die Implementierung und Durchführung bis hin zur Bewertung der Ergebnisse (z. B. Jahn und Keil 2015). Radinger-Peer et al. (2022) untersuchen Erwartungen an die Zusammenarbeit zwischen Wissenschaft und Praxis, insbesondere in der Dichotomie zwischen beiden, im Rahmen des Projekts “Römerland Carnuntum 2040”. 1.5. Wirkungen: Ein weiterer Fokus im deutschsprachigen Diskurs über die Qualitäten von TdF liegt auf den Wirkungen transdisziplinärer Forschung. Diese arbeiten vielfach mit ähnlichen Begrifflichkeiten, legen aber unterschiedliche Schwerpunkte in ihren Ansätzen. • Frühere Beiträge wie Pohl und Hirsch Hadorn (2006) schlagen ein Wirkungsmodell als Grundlage der Bewertung vor. Dieses unterscheidet zwischen Ergebnissen der Forschung (results), deren Nutzung (use) und den Auswirkungen (effects). Walter et al. (2007) entwickelten auf Basis eines ex-post-Evaluationsprozesses einen ähnlichen Bewertungsrahmen, der gesellschaftliche Wirkungen in drei Kategorien unterteilt: Outputs (verfahrensund produktbezogene Beteiligung der Akteure), Auswirkungen (Zwischeneffekte zwischen Outputs und Ergebnissen) und Ergebnisse (verbesserte Entscheidungsfähigkeit). • Weitere Beiträge wie Krainer und Winiwarter (2016) schlagen interaktionsbasierte Ansätze zur Bewertung der Qualität transdisziplinärer Transformationsforschung vor, insbesondere unter Berücksichtigung von social impact in unterschiedlichen gesellschaftlichen Arenen. KaufmannHayoz et al. (2016) fokussieren auf unmittelbare Wirkungen von Forschungsergebnissen, darunter: a) außerwissenschaftliche Erkenntnisdarstellungen, b) Leitfäden oder Tools, c) Veränderungen im Feld (im Rahmen der BMBF-Fördermaßnahme "Vom Wissen zum Handeln – Neue Wege zum nachhaltigen Konsum" 2008–2013). Bei jedem Ergebnistyp unterscheiden die Autoren nach Output, Impact und Outcome: Forschungsergebnisse (output), impact für die AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 16 Die Frage nach dem „Wie?“ ist stark abhängig davon, wann und zu welchem Zweck bewertet wird: Exante, ex-post, Zwischenevaluation. Zudem können Unterschiede in der Herangehensweise auch dadurch bestimmt sein, ob es sich um eine externe Evaluation handelt (verlangt z.B. von Förder*innen, durchgeführt von externen Evaluierenden), um eine interne Evaluation (angestoßen durch das Projekt selbst, aber auch mit externen Evaluierenden) oder um eine Selbstevaluation durch Projektbeteiligte selbst – meist während des Projektverlaufs als Zwischenevaluation (Bergmann und Schramm 2008). Bergmann und Schramm (2008) greifen in ihrer Empfehlung für ein Evaluationsverfahren zurück auf den Leitfaden zur Evaluierung transdisziplinärer Forschung (Bergmann et al. 2005). Wenngleich dieser Leitfaden wegen seiner frühen Publikation insbesondere die in den 2010er-Jahren begonnene Wirkungsforschung zu TdF noch weitgehend unbeachtet lassen musste, gibt der Bezug auf ihn doch eine wichtige Orientierung. Es wird eine Vorgehensweise nach den drei Phasen eines Projektverlaufs beschrieben. Das Kriterienraster, für das Evaluierungsfragen formuliert wurden, hat daher folgende Form: Phase A Kriterien: Akteure, Projektkonstruktion und -formulierung A.1 Akteure und Kompetenzen A.2 Problemformulierung, Fokussierung, Ziele und Erfolgskriterien A.3 Projektplanung und Finanzierung Phase B Kriterien: Projektdurchführung und Methodik B.1 Arbeitsplanung und Projektleitung B.2 Transdisziplinäre Methodik und Integration B.3 Reflexion und Kommunikation Phase C Kriterien: Ergebnisse, Produkte und Publikationen C.1 Ergebnisse C.2 Produkte und Publikationen C.3 Verallgemeinerbarkeit und Umsetzbarkeit von Ergebnissen C.4 Berechtigung des transdisziplinären Ansatzes Die Frage nach der Evaluierung von Umsetzungserfolgen der im Projekt gewonnen Empfehlungen für das Praxisfeld ist weiterhin schwierig zu beantworten. Kaufmann-Hayoz et al. (2016) stellten im Rahmen einer Programm-Begleitforschung fest, „in Kenntnis der komplexen Pfade, auf denen wissenschaftliche Erkenntnisse in der Gesellschaft aufgenommen werden, ist es nicht weiter erstaunlich, dass Versuche, die außerwissenschaftliche Wirkung von Forschung sowie die dabei wesentlichen Wirkungsmechanismen zu erfassen, auf einige grundlegende theoretische und methodische Schwierigkeiten und Fragen stoßen“ (Kaufmann-Hayoz et al. 2016, S. 298). AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 17 Erwähnt werden Fragen nach Zielgruppen von Wirkungen, die Kausalitätszuschreibung und die Zeit nach Projektende, die angemessen ist für die Überprüfung von Wirkungen. Sie empfehlen ein Vorgehen in vier Schritten, das dem aktuelleren Ansatz der Theory of Change (ToC) ähnelt. 1. Forschungsverbünde überlegen, welche unmittelbaren Wirkungen und welche mittelbaren Wirkungen sie erzielen möchten. 2. Die Verbünde schätzen ab, welche der von ihnen beabsichtigten außerwissenschaftlichen Wirkungen sich für eine empirische Wirkungserhebung eignen würden. 3. Erarbeitung der drei Ergebnistypen a) Außerwissenschaftliche Erkenntnisdarstellung; b) Leitfäden / Tools; c) Veränderungen im Feld durch die Begleitforschung. 4. Validierung der Ergebnistypen durch die Verbünde nach Projektende. Hinsichtlich eines angemessenen Zeitraums für die Evaluierung nach Projektende kommen sie zu dem Schluss, „dass es möglich ist, ein bis zwei Jahre nach Abschluss der Forschung ausgewählte außerwissenschaftliche Forschungswirkungen (impact) transdisziplinärer Nachhaltigkeitsforschung empirisch zu erfassen. Dies ist freilich mit einem beträchtlichen Aufwand verbunden, wenn die Erfassung zu verlässlichen Aussagen führen soll“ (Kaufmann-Hayoz et al. 2016, S. 323). Zu ähnlichen Ergebnissen kommen Wiefek et al. (2024). Sie haben unter Anwendung der ToC zwei Reallabor-Projekte im Forschungsprozess von Beginn an begleitet und letztlich die gesellschaftlichen Wirkungen in beiden Reallaboren evaluiert. Sie kommen zu dem Schluss: „Bei größeren Projekten oder Programmen kann es besonders aufschlussreich sein, eine gleichzeitig durchgeführte formative Bewertung mit einer summativen oder Ex-post-Bewertung zu kombinieren, die ein, zwei oder fünf Jahre nach dem jeweiligen Forschungsprozess stattfindet.“ (Wiefek et al. 2024, S. 100, eigene Übersetzung). Lang et al. (2012, S. 33 ff.) beschreiben im Abschnitt „Challenges of transdisciplinary research in sustainability science“ ihres Artikels, welchen beispielhaft genannten Herausforderungen sich transdisziplinäre Forschung stellen muss. Die aufgeführten zwölf Herausforderungen könnten auch als Rahmen für eine Qualitätsbewertung herangezogen werden. Dort wird genannt: fehlendes Problembewusstsein, unausgewogene Wahrnehmung der Verantwortungsübernahme, fehlende Legitimität der Projektbeteiligten, widersprüchliche methodische Standards, fehlendes Integrationskonzept, fehlende Kontinuitäten in der Partizipation, Unbestimmtheit und Mehrdeutigkeit der Ergebnisse, Angst vor einem Scheitern, fehlende Übertragbarkeit der Ergebnisse, fehlende Legitimation der transdisziplinären Erträge, nicht-intendierte Vereinnahmung der Ergebnisse sowie Schwierigkeiten der Wirkungsmessung. Auf Grundlage dieser Bestandsaufnahme wird die Arbeitsgruppe „Bewertung von Qualitäten transdisziplinärer Forschung“ gemeinsam mit der GTPF daran arbeiten, ein Positionspapier zu den Qualitäten transdisziplinärer Forschung und deren Bewertung zu erarbeiten. Darauf aufbauend sollen praxisorientierte Empfehlungen für Förderinstitutionen, Leitungen von Forschungseinrichtungen und Forschende entwickelt werden. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 18 Quellen 4 Bergmann, Matthias, Bettina Brohmann, Esther Hofmann, M. Céline Loibl, Regine Rehaag, Engelbert Schramm, Jan Peter Voß. 2005. Qualitätskriterien transdisziplinärer Forschung. Ein Leitfaden für die formative Evaluation von Forschungsprojekten. ISOE-Studientexte Nr. 13. Frankfurt am Main. Bergmann, Matthias und Engelbert Schramm. 2008. „Grenzüberschreitung und Integration: Die formative Evaluation transdisziplinärer Forschung und ihre Kriterien.“ In Transdisziplinäre Forschung: Integrative Forschungsprozesse verstehen und bewerten, herausgegeben von M. Bergmann, 149– 175. Frankfurt am Main: Campus Verlag. Di Giulio, Antonietta, und Rico Defila. 2018. „Partizipative Wissenserzeugung und Wissenschaftlichkeit.“ In Transdisziplinär und transformativ forschen, herausgegeben von R. Defila und A. Di Giulio, 39–67. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-21530-9_2. Edler, Jakob, und Stephan Kuhlmann. 2008. „Formative Evaluation in reflexiver Forschungspolitik.“ In Transdisziplinäre Forschung: Integrative Forschungsprozesse verstehen und bewerten, herausgegeben von M. Bergmann und E. Schramm, 203–231. Frankfurt am Main: Campus Verlag. Hoffmann, Sabine, Julie Thompson Klein, und Christian Pohl. 2019. „Linking transdisciplinary research projects with science and practice at large: Introducing insights from knowledge utilization.“ Environmental Science und Policy 102: 36–42. https://doi.org/10.1016/j.envsci.2019.08.011. Jahn, Thomas, und Florian Keil. 2015. „An actor-specific guideline for quality assurance in transdisciplinary research.“ Futures 65: 195–208. https://doi.org/10.1016/j.futures.2014.10.015. Jahn, Thomas, Matthias Bergmann, und Florian Keil. 2012. „Transdisciplinarity: Between mainstreaming and marginalization.“ Ecological Economics 79: 1–10. https://doi.org/10.1016/j.ecolecon.2012.04.017. Kaufmann-Hayoz, Ruth, Rico Defila, Antonietta Di Giulio, und Markus Winkelmann. 2016. „Was man sich erhoffen darf – Zur gesellschaftlichen Wirkung transdisziplinärer Forschung.“ In Transdisziplinär forschen – zwischen Ideal und gelebter Praxis. Hotspots, Geschichten, Wirkungen, herausgegeben von R. Defila und A. Di Giulio, 289–327. Frankfurt am Main: oekom. Krainer, Larissa, und Verena Winiwarter. 2016. „Die Universität als Akteurin der transformativen Wissenschaft: Konsequenzen für die Messung der Qualität transdisziplinärer Forschung.“ GAIA – Ecological Perspectives for Science and Society 25 (2): 110–116. https://doi.org/10.14512/gaia.25.2.11. Krott, Max. 2002. „Evaluation of transdisciplinary research.“ In Encyclopedia of Life Support Systems (EOLSS), Vol. 3, Chapter 19. https://www.eolss.net/sample-chapters/c04/E6-49-02-07.pdf. Lang, Daniel, Arnim Wiek, Matthias Bergmann, Michael Stauffacher, Pim Martens, Peter Moll, Mark Swilling, und Christopher J. Thomas. 2012. „Transdisciplinary research in sustainability science: Practice, principles, and challenges.“ Sustainability Science 7 (S1): 25–43. https://doi.org/10.1007/s11625-011-0149-x. 4 Die in unserer Sammlung ausgewählten 19 Texte sind in den Referenzen durch FeGschri` markiert. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 19 Lux, Alexandra, Martina Schäfer, Matthias Bergmann, Thomas Jahn, Oskar Marg, Emilia Nagy, Anna-Christin Ransiek, und Lena Theiler. 2019. „Societal effects of transdisciplinary sustainability research—How can they be strengthened during the research process?“ Environmental Science und Policy 101: 183–191. https://doi.org/10.1016/j.envsci.2019.08.012. Lawrence, Mark, Stephen Williams, Patrizia Nanz, und Ortwin Renn. 2022. „Characteristics, potentials, and challenges of transdisciplinary research.“ One Earth 5 (1): 21. https://doi.org/10.1016/j.oneear.2021.12.010. Maag, Simon, Timothy J. Alexander, Robert Kase, und Sabine Hoffmann. 2018. „Indicators for measuring the contributions of individual knowledge brokers.“ Environmental Science und Policy 89: 1–9. https://doi.org/10.1016/j.envsci.2018.06.002. Marg, Oskar, und Lena Theiler. 2023. „Effects of transdisciplinary research on scientific knowledge and reflexivity.“ Research Evaluation 32 (4): 635–647. Moser, Andrea, und Birge Wolf. 2023. „Wirkungspotenziale von Forschung und Entwicklung bewerten: Ein theoriebasiertes und multidimensionales Kriterien-Set.“ In Indikatoren in Entscheidungsprozessen, herausgegeben von Julia Mörtel, Alfred Nordmann und Oliver Schlaudt, 57– 68. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-40638-7_10. Nowotny, Helga. 1999. „The Need for Socially Robust Knowledge.“ In: TA-Datenbank-Nachrichten 8 (3/4), 8. Jg., 12–16 Pärli, Rea. 2023. „How input, process, and institutional factors influence the effects of transdisciplinary research projects.“ Environmental Science und Policy 140: 80–92. https://doi.org/10.1016/j.envsci.2022.11.019. Pohl, Christian, Pasqualina Perrig-Chiello, Beat Butz, Gertrude Hirsch Hadorn, Dominique Joye, Roderick Lawrence, Michael Nentwich, Theres Paulsen, Manuela Rossini, Bernhard Truffer, Doris WastlWalter, Urs Wiesmann, und Jakob Zinsstag. 2011. Questions to Evaluate Interand Transdisciplinary Research Proposals. Working Paper, td-net for Transdisciplinary Research, Bern. https://api.swiss-academies.ch/site/assets/files/14856/tdnet_pohl_et_al_2011_questions_to_evaluate_inter-_and_transdisciplinary_research_proposals.pdf Pohl, Christian, und Gertrude Hirsch Hadorn. 2006. Gestaltungsprinzipien für die transdisziplinäre Forschung. Ein Beitrag des td-net. München: oekom. Radinger-Peer, Verena, Elisabeth Schauppenlehner-Kloyber, Marianne Penker, und Katharina Gugerell. 2022. „Different perspectives on a common goal? The Q-method as a formative assessment to elucidate varying expectations towards transdisciplinary research collaborations.“ Sustainability Science: 2459–2472. https://doi.org/10.1007/s11625-022-01192-1. Schaltegger A.S., Linley R., Brombach L., Itty N., Hille-Dahl L. & Vienni-Baptista B. 2024. INTERSECTIONS: A Systematic Review of Grey Literature on Practices, Evaluation and Policies in Interdisciplinary and Transdisciplinary Research. ETH Zurich. https://doi.org/10.3929/ethz-b000691844 AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 20 Schaltegger, A.S., Brombach, L., & Vienni-Baptista, B. 2023. INTERSECTIONS Literature Review Dataset: Bibliography on Intersections between Cultures, Practices and Policy in IDR/TDR. ETH Zurich https://doi.org/10.3929/ethz-b-000632756 Schaltegger, A.S. & Vienni-Baptista B. 2023. INTERSECTIONS: Literature Review Query Strings for Web of Science, Scopus and JSTOR. ETH Zurich. https://doi.org/10.3929/ethz-b-000632748 SHAPE-ID. 2021. Annotated bibliography collection on interdisciplinary and transdisciplinary research. Compiled by Vienni-Baptista B. & Fletcher, I. DOI: 10.5281/zenodo.4743697 VolkswagenStiftung. 2023. Transdisziplinarität. Transfer – Wissenschaftskommunikation. Strategische Leitlinien der VolkswagenStiftung. Hannover. https://www.volkswagenstiftung.de/sites/default/files/documents/Transdiziplinaritaet_VolkswagenS tiftung.pdf. Walter, Alexander I., Sebastian Helgenberger, Arnim Wiek, und Roland W. Scholz. 2007. „Measuring societal effects of transdisciplinary research projects: Design and application of an evaluation method.“ Evaluation and Program Planning 30: 325–338. https://doi.org/10.1016/j.evalprogplan.2007.08.002 Wiefek, Jasmin, Emilia Nagy, und Martina Schäfer. 2024. „Formative evaluation of transdisciplinary research for systematic impact orientation in real-world laboratories.“ GAIA – Ecological Perspectives for Science and Society 33 (S1): 94–101. https://doi.org/10.14512/gaia.33.S1.14. AG Bewertung von Qualitäten transdisziplinärer Forschung Mai 2025 Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum 21 Impressum Arbeitspapier 1-2025: State-of-the-Art: Bewertung der Qualitäten der Transdisziplinären Forschung im deutschsprachigen Raum Autor*innen: Gabriela Michelini, Matthias Bergmann, Thomas Jahn, Alexandra Lux für die Redaktionsgruppe des State-of-the-Art der GTPF-AG Bewertung von Qualitäten transdisziplinärer Forschung Die Redaktionsgruppe des State of the Art: Tamara Avellan, Matthias Bergmann, Bettina Brohmann, Peter Dietrich, Bert Droste-Franke, Dominik Düber, Thomas Jahn, Silke Kleihauer, Alexandra Lux, Gabriela Michelini, Jessica Nuske, Sara Saba, Roman Seidl, Katja Treichel-Grass. Wir danken auch weiteren Kommentator*innen aus der AG: Maria Busse. Veröffentlicht: Mai 2025 Herausgeberin Gesellschaft für transdisziplinäre und partizipative Forschung e.V. c/o TU Berlin, Stabsstelle Science und Society -ScSoStraße des 17. Juni 135 10623 Berlin Vorstand: Prof. Dr. Christine Ahrend, Dr. Miriam Brandt, Thomas Korbun Vereinsregister: VR 40284 B, Amtsgericht Berlin-Charlottenburg Web: www.gtpf.science E-Mail: [email protected] Tel.: 030-314 775 02 Mitglied werden: https://gtpf.science/mitgliedschaft Newsletter abonnieren: https://gtpf.science/newsletter LinkedIn folgen: https://de.linkedin.com/company/gtpf Die Gesellschaft für Transdisziplinäre und Partizipative Forschung e.V. (GTPF) ist die Fachgesellschaft der transdisziplinär und partizipativ Forschenden und Lehrenden sowie Praxispartner:innen im deutschsprachigen Raum. Die GTPF bietet eine zentrale Plattform für Vernetzung, fachlichen Austausch und Interessenvertretung im Bereich der transdisziplinären und partizipativen Forschung sowie für die Zusammenarbeit von Wissenschaft und Gesellschaft.