E-Prüfungen: Assessment Analytics im Kontext. Ein Handbuch für die Praxis

Wehrhahn, Franziska; Lenski, Sina; Gropengießer, Kirsten; ... E-Prüfungen: Assessment Analytics im Kontext. Ein Handbuch für die Praxis 2025, 89 S. Quellenangabe/ Reference: Wehrhahn, Franziska; Lenski, Sina; Gropengießer, Kirsten; Bader, Eveline; Zinke, Nikolai; Bardenhewer, Ricarda; Basyrova, Elvira; Bayzaei, Sohail; Breuer, Martin; Gerards, Marcus; Heuvemann, Dirk; Ismayilov, Araz; Köppchen, Bennet; Merkt, Martin; Persike, Malte; Quade, Katharina; Schroeder, Ulrik; Schröter, Hannes; Schwarz, Annabell; Stadler, Ingo; Stürmer, Stefan; Thelen, Kyra: E-Prüfungen: Assessment Analytics im Kontext. Ein Handbuch für die Praxis. 2025, 89 S. - URN: urn:nbn:de:0111-pedocs-344930 - DOI: 10.25656/01:34493 https://nbn-resolving.org/urn:nbn:de:0111-pedocs-344930 https://doi.org/10.25656/01:34493 Nutzungsbedingungen Terms of use Dieses Dokument steht unter folgender Creative Commons-Lizenz: http://creativecommons.org/licenses/by/3.0/de/deed - Sie dürfen das Werk bzw. den Inhalt vervielfältigen, verbreiten und öffentlich zugänglich machen sowie Abwandlungen und Bearbeitungen des Werkes bzw. Inhaltes anfertigen, solange Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen. This document is published under following Creative Commons-License: http://creativecommons.org/licenses/by/3.0/de/deed.en - You may copy, distribute and render this document accessible, make adaptations of this work or its contents accessible to the public as long as you attribute the work in the manner specified by the author or licensor. Mit der Verwendung dieses Dokuments erkennen Sie die Nutzungsbedingungen an. By using this particular document, you accept the above-stated conditions of use. Kontakt / Contact: peDOCS DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation Informationszentrum (IZ) Bildung E-Mail: [email protected] Internet: www.pedocs.de E-PRÜFUNGEN: ASSESSMENT ANALYTICS IM KONTEXT Ein Handbuch für die Praxis •GEFÖRDERT VON 2 Dieses Handbuch wird in Zusammenarbeit mit Expert*innen und Forschenden aus den jeweiligen Teilprojekten entwickelt.Es steht unter der CC BY 3.0 DE Lizenz zur freien Verfügung. E-Prüfungen: Assessment Analytics im Kontext Ein Handbuch für die Praxis Zitierhinweis: Wehrhahn, F., Lenski, S., Gropengießer, K., Bader, E., Zinke, N., Bardenhewer, R., Basyrova, E., Bayzaei, S., Breuer, M., Gerards, M., Heuvemann, D., Ismayilov, A., Köppchen, B., Merkt, M., Persike, M., Quade, K., Schroeder, U., Schröter, H., Schwarz, A., Stadler, I., Stürmer, S. & Thelen, K. (2025). E-Prüfungen: Assessment Analytics im Kontext. Ein Handbuch für die Praxis. peDOCS. Das Projekt wurde unter der Projektnummer FBM2020-VA-294-3-97008 aus Mitteln der Stiftung Innovation in der Hochschullehre gefördert.Die Laufzeit des Projekts reichte vom 01.08.2021 bis 31.12.2025.Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Verfasser:innen. Wehrhahn, F., Lenski, S., Gropengießer, K., Bader, E., Zinke, N., Bardenhewer, R., Basyrova, E., Bayzaei, S., Breuer, M., Gerards, M., Heuvemann, D., Ismayilov, A., Köppchen, B., Merkt, M., Persike, M., Quade, K., Schroeder, U., Schröter, H., Schwarz, A., Stadler, I., Stürmer, S. & Thelen, K. Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Die Verwendung von Materialien Dritter in diesem Buch bedeutet nicht, dass diese ebenfalls der genannten Creative-Commons-Lizenz unterliegen.In dem vorliegenden Werk verwendete Marken, Unternehmensnamen, allgemein beschreibende Bezeichnungen etc.dürfen nicht frei genutzt werden.Die Rechte des jeweiligen Rechteinhabers müssen beachtet werden, und die Nutzung unterliegt den Regeln des Markenrechts, auch ohne gesonderten Hinweis. Die Bilder in diesem Handbuch wurden via ChatGPT 4.o von OpenAI generiert. Cartoon People in diesem Handbuch wurden mittels Microsoft 365 generiert. VORWORT NOVA:ea INNOVATIONSCLUSTER E-ASSESSMENT – DIVERSITÄT, DIDAKTIK, TECHNOLOGIE Das Projekt NOVA:ea verfolgt das Ziel, Hochschulbildung durch innovative EAssessment-Lösungen nachhaltig zu verbessern und anzupassen.Im Mittelpunkt steht die diversitätsgerechte Optimierung von E-Prüfungsformen, die eine faire Erfassung von im Studium erworbenen Kompetenzen unabhängig von sonstigen individuellen Eigenschaften der Studierenden ermöglichen sowie die Information über Forschungsergebnisse. NOVA:ea verbindet hierfür drei zentrale Schwerpunkte:die technische Umsetzung moderner Prüfungsinfrastrukturen, die begleitende didaktische Forschung, um die Anforderungen einer diversitätsgerechten und kompetenzorientierten Lehre zu erfüllen und den Transfer von Wissen, um den Zugang zu gewonnenen Erkenntnissen zu ermöglichen.Der Einsatz und die Weiterentwicklung der Prüfungssysteme Dynexite und ILIAS stehen dabei im Vordergrund, ebenso wie die Integration neuartiger Prüfungswerkzeuge und das Sammeln von Erfahrungen im Rahmen von On-Demand-Prüfungen. Das NOVA:ea-Handbuch dient dem Transfer gewonnenen Wissens und stellt hierfür die Ergebnisse des Projektes in diesem praxisnahen Leitfaden für Akteur:innen und Mitgestaltende im Hochschulbetrieb zusammen.Mit diesem Handbuch möchte NOVA:ea Anregungen zur Verbesserung von Prüfungsbedingungen in E-Assessments liefern und so Impulse für eine zukunftsorientierte Hochschulbildung geben. 3 4 NOVA:EA STELLT SICH VOR Der E-Prüfungspalast stellt das Gerüst der E-Prüfung als prüfungsrechtlichen Rahmen mit dem Prüfungscockpit als Dach dar.Das Prüfungscockpit wird benötigt, um Prüfungsergebnisse zu analysieren, zu visualisieren und zu interpretieren –wozu die vier Säulen der E-Prüfungen beitragen.Das Prüfungscockpit stellt fortlaufend die Qualität von E-Prüfungen sicher, sowohl für Lehrende als auch für Lernende:mit der Macht des Feedbacks (Hattie & Timperley, 2007). Prüfungscockpit Prüfungsplattformen E-Prüfungsformen Assessment Analytics User Experience Die vier Säulen des E-Prüfungsprozesses, die das Prüfungscockpit stützen, sind (1) E-Prüfungsformen (z. B. Hausarbeiten, Klausuren u. a.), (2) User-Experience (z. B. Nutzungsfreundlichkeit und Nützlichkeit des E-Prüfungssystems), (3) Prüfungsplattformen (z. B. Moodle,ILIAS und Dynexite) und (4) Assessment Analytics, also die Analyse der E-Prüfungsdaten zur Qualitätsbewertung.Dieses Handbuch konzentriert sich vorrangig auf die Gestaltung und Durchführung von E-Prüfungen. E-Prüfungen 5 E-PRÜFUNGSPALAST ASSESSMENT ANALYTICS IM KONTEXT 6 Was bedeuten die Symbole im Handbuch? Info-Seiten:Auf diesen Seiten finden Sie Informationen und Erläuterungen zu Schlüsselbegriffen aus den Themenbereichen von NOVA:ea rund um das Thema E-Prüfungen. Forschungsbeiträge:Auf diesen Seiten erhalten Sie Einblicke in Ergebnisse aus der Forschung von NOVA:ea mit wichtigen Botschaften zum Thema E-Prüfungen. Open Science Framework (OSF):Das NOVA:ea Handbuch stellt weiterführende Informationen und Links über OSF zur Verfügung. QR-Codes mit unterlegten Verlinkungen innerhalb des Handbuchs leiten Sie zu wichtigen Beiträgen und aktuellen Produkten im OSF, zu bestimmten Artikeln aus Forschungsbeiträgen und zu weiterführenden Forschungsausblicken im Videoformat weiter. Halten Sie Ihr Handy bereit oder klicken Sie auf die Links! Anwendungen:Hier finden Sie praktische Anwendungen und Hilfsmittel von NOVA:ea zum Thema E-Prüfungen. O-Töne:Hier finden Sie Erfahrungsberichte und Eindrücke von Personen aus Forschung und Praxis rund um das Thema E-Prüfungen. Forschungseinblicke:Zusätzlich zu vielen Forschungsbeiträgen finden Sie auf diesen Seiten Videos zu den NOVA:ea-Studien. O ANWENDUNGSHINWEISE i Warum ist dieses Handbuch wichtig? Als Akteur:innen und Mitgestaltende im Hochschulbetrieb oder Interessierte in Bezug auf E-Assessments und E-Prüfungen stehen Sie vor der Herausforderung, Leistungsmessungen zu gestalten, zu verwalten oder zu organisieren, die nicht nur fair und valide sind, sondern auch Studierende, Lehrende und Verwaltung bestmöglich unterstützen.Studierende können insbesondere von Flexibilität und diversitätsgerechter Optimierung profitieren, Lehrende können unter anderem von Optimierungsmöglichkeiten bei der Prüfungsgestaltung und Unterstützung bei der Erstellung diversitätsgerechter E-Prüfungen profitieren und für Verwaltungen kann die Zentralisierung und die Möglichkeit, mit Assessment Analytics einen umfassenden Überblick über E-Prüfungen zu erhalten, vorteilhaft sein.In diesem Zusammenhang eröffnet die Digitalisierung neue Möglichkeiten für Prüfungen, stellt aber auch neue Anforderungen wie beispielsweise: •Wie lassen sich digitale Prüfungen sinnvoll und ressourcenschonend gestalten, organisieren und verwalten? •Wie können Prüfungsplattformen und Analyse-Tools bereitgestellt und genutzt werden, um Prüfungen kontinuierlich zu verbessern, zu verwalten und die Auswahl sowie die Durchführung von Prüfungen zu erleichtern? •Wie kann eine faire Prüfung für unterschiedlichste Lernende sichergestellt werden, wenn die Diversität Studierender bei der Planung, Organisation und Verwaltung von E-Prüfungen berücksichtigt wird? •Wie können Prüfungen unabhängig von Zeit und Ort durchgeführt werden, ohne die Qualität oder die Zuverlässigkeit der Verwaltung und Organisation sowie der Fairness der Prüfungen und Proctoring zu beeinträchtigen? •Welche rechtlichen Aspekte müssen bei der Gestaltung und Implementation einer digitalen Prüfungskultur bedacht werden? Technologie bietet viele Möglichkeiten das Prüfen zu gestalten, zu organisieren, zu verbessern, zu verwalten, zu erleichtern und auch auszuwählen und anzutreten –bei fehlender Technologieakzeptanz kann sie aber durch die Fülle an Möglichkeiten mehr Schaden als Nutzen bringen:hier kommt das Handbuch ins Spiel! Dieses Handbuch liefert Ihnen praxisnahe Informationen und Werkzeuge rund um E-Prüfungen. ZIELGRUPPE DES HANDBUCHS 7 VORWORT 3 TEIL I: Innovation durch Technik 9 1. E-Prüfungen 10 1.1 E-Prüfungsformen 13 1.2 Flexibilisierung:On-Demand 16 2. User Experience 23 3. E-Prüfungsplattformen 26 4. Assessment Analytics 33 4.1 Prüfungscockpit 38 TEIL II:Forschungseinblicke -Usability 43 1. E-Prüfungsgestaltung 44 2. Feedback in E-Prüfungen 54 3. Studierendendiversität 60 4. Prüfungsangst 73 LITERATURVERZEICHNIS 79 GLOSSAR 88 IMPRESSUM 90 INHALTSVERZEICHNIS 8 Die hier vorgestellten Dimensionen sind nur ein kleiner Ausschnitt an Aspekten, die variiert werden können. Sie können zudem gezielt kombiniert werden, um Studierendenzentrierung, Barrierefreiheit und individuelle Lernwege zu unterstützen. Eine Form der zeitlichen Flexibilisierung stellt das On-Demand-E-Prüfungsformat dar. Es bietet Studierenden die Möglichkeit, innerhalb eines festgelegten Rahmens ihren individuellen Prüfungstermin zu wählen. Dieses Format eignet sich insbesondere für Prüfungen, die bislang an starre Zeitfenster gebunden waren, und kann den Prüfungsdruck verringern sowie die Semesterplanung erleichtern. 15 i E-PRÜFUNGSFORMEN EIGENSCHAFTEN UNTERSCHIEDLICHER FORMEN Das strukturelle Gestaltungsspektrum von E-Prüfungsformen ist auf der räumlichen, zeitlichen, technischen und organisatorischen Gestaltungsebene angesiedelt.Das Gestaltungsspektrum bewegt sich zwischen einer fixen und flexiblen Struktur.Die räumliche Gestaltungsebene umfasst Prüfungen vor Ort in Prüfungszentren hin zu flexiblen, ortsunabhängigen, E-Prüfungsformen inklusive Hybridformen mit wählbaren Prüfungsorten.Die zeitliche Gestaltungsebene umfasst fixe Prüfungstermine für einzelne E-Prüfungen hin zu flexiblen On-Demand-Prüfungszeiträumen und E-Prüfungsformen mit längerer Bearbeitungsdauer.Die technische Gestaltungsebene beinhaltet standardisierte E-Prüfungssysteme hin zu fachspezifischen Drittanwendungen wie Statistiksoftware und die Nutzung mobiler Geräte.Die organisatorische Gestaltungsebene umfasst synchrone E-Prüfungen hin zu asynchronen Abgaben und die E-Prüfungssteuerung mittels Buchungstools und flexibler Prüfungsverwaltung. Die Berücksichtigung bestimmter bedarfsorientierter Aspekte dieser Gestaltungsspektren von E-Prüfungsformen ermöglichen es, E-Prüfungen in einer flexibilisierten E-Prüfungskultur für eine diverse Studierendenschaft anzubieten. Räumlich Strukturelle Flexibilität Zeitlich Technisch Organisatorisch fix flexibel Prüfungszeitraum On-Demand Fachspezifische Anwendungen Bring-Your-Own-Device Prüfungstermine Standardisierte EPrüfungssysteme Synchrone Durchführung (fester Zeitrahmen) Asynchrone Abgaben Buchungstools Visualisierung des strukturellen Gestaltungsspektrums Vor Ort (Prüfungszentrum) Ortsunabhängig Hybridformen 16 Wie soll das fair bleiben, wenn manche früher und manche später schreiben? Ich hoffe, es gibt genug Termine, damit ich nicht am Ende doch gezwungen werde, einen ungünstigen Slot zu nehmen. Mega praktisch, dass ich meine Prüfung flexibel legen kann. Das Konzept On-Demand bietet eine zeitlich flexible Alternative zu klassischen Prüfungsterminen.Neben den regulären Prüfungssitzungen werden zusätzliche Termine innerhalb eines definierten Prüfungszeitraums angeboten.Studierende haben so die Möglichkeit, selbst zu entscheiden, wann sie ihre Prüfung ablegen möchten. Ziel ist es, der zunehmenden Heterogenität in der Studierendenschaft gerecht zu werden –etwa in Bezug auf individuelle Lernrhythmen, Lebensrealitäten oder zeitliche Verfügbarkeiten.On-Demand-Prüfungen ermöglichen somit eine stärkere Studierendenzentrierung im Prüfungsgeschehen. Für den On-Demand-Ansatz bieten sich insbesondere E-Prüfungen an, da diese eine automatisierte Bewertung bei vielen Aufgabentypen sowie eine Parametrisierung der Aufgaben ermöglichen.Allerdings können auch andere E-Prüfungsformen wie mündliche Prüfungen, im On-Demand-Format angeboten werden. i 1.2 FLEXIBILISIERUNG ON-DEMAND: PRÜFUNGEN AUF WUNSCH 17 Kernelemente von On-Demand-Prüfungen: •Flexible Anmeldung zu Prüfungen innerhalb eines Semesters •Selbstbestimmte Prüfungsvorbereitung mithilfe digitaler Lernmaterialien und formativen Übungsaufgaben •Parametrisierte und randomisierte Prüfungsaufgaben aus umfangreichen Aufgabenpools Vorteile: •Entlastung der Studierenden durch flexible Planung •Individuelle Lernwege und Prüfungstermine •Reduktion des Prüfungsdrucks und Entzerrung der Korrekturarbeit Herausforderungen: •Hoher Aufwand in der initialen Erstellung der Prüfungsaufgaben •Erhöhte organisatorische Anforderungen an Prüfungsmanagement und Betreuung Problem:Feste Prüfungszeiten passen nicht zur wachsenden Diversität der Studierendenschaft, erschweren individuelle Vorbereitung und erzeugen oft zusätzlichen Prüfungsdruck. Lösung:On-Demand-Prüfungen ermöglichen Studierenden, den Prüfungszeitpunkt selbst zu bestimmen.Dies erfolgt durch flexible, zusätzliche Prüfungstermine während eines definierten Zeitraums.Digitale EPrüfungsformen unterstützen dies optimal. Lösung Lehrveranstaltungen (RWTH Aachen): Module der Studiengänge „Battery Science and Technology in Engineering“ sowie „Battery Systems Engineering“, ca. 60 Studierende Prüfungstermine: Jeden Monat mindestens ein Prüfungstermin Prüfungsvorbereitung: Digitale Lehr-/ Übungsvideos Prüfungsort: vor Ort Lehrveranstaltung (TH Köln): Modul „Windenergie“ mit ca. 130 Studierenden Prüfungstermine: Wöchentlich, über mehrere Monate Prüfungsvorbereitung: Kombination aus digitalen Lehrvideos, formativem Feedback und Trainingscenter zur Prüfungsvorbereitung Prüfungsort: vor Ort Hier sehen wir ein Beispiel, wie zwei Universitäten OnDemand-Prüfungen umsetzen. Mehr dazu im Patternpool: i Wie funktionieren On-Demand-Prüfungen als didaktisches Entwurfsmuster? ON-DEMAND-PRÜFUNGSDIDAKTIK Vom Aufgabenpool zu einer automatisierten E-Prüfung 18 Wie erhalte ich Informationen zum Schwierigkeitsgrad meiner Aufgaben? Wenn bereits in der Vergangenheit E-Prüfungen angeboten und Daten zu den Ergebnissen der Klausuren aufgezeichnet wurden, können die Aufgaben über Verfahren der Assessment Analytics untersucht und klassifiziert werden.Konkret müssen dafür zunächst zu untersuchende Metriken für Aufgaben definiert werden.Hierzu zählen beispielsweise die relative, erreichte Punktzahl und die erzielten Punkte im Verhältnis zur beanspruchten Zeit (Punkte pro Minute). Durch entsprechende Clusteranalysen dieser Metriken können Erkenntnisse zum Schwierigkeitsgrad von Aufgaben relativ zueinander gewonnen werden. Als didaktisches Entwurfsmuster bringen On-Demand-Prüfungen einige Herausforderungen mit sich.Hierbei kann das untenstehende Modell zur automatisierten Klausuraufgabenerstellung helfen.Bei On-Demand-Prüfungen müssen für mehrere Termine viele Aufgaben zur Verfügung gestellt werden, was ein hohes Maß an Zeit und Aufwand in Anspruch nimmt.Zusätzlich zur Aufgabenerstellung muss ein homogener Schwierigkeitsgrad der E-Assessments über alle angebotenen Termine hinweg sichergestellt sein.Dies setzt zudem die Kenntnis des Schwierigkeitsgrads der Aufgaben voraus. i Was ist bei einer automatisierten On-Demand-Prüfungserstellung zu beachten? AUTOMATISIERTE E-PRÜFUNGEN Modell zur automatisierten Klausuraufgabenerstellung Von diesen ersten Schritten des Modells zur automatisierten Klausuraufgabenerstellung ausgehend, können E-Prüfungsdaten in einer Altklausurdatenbank gesammelt und im Rahmen der Vorverarbeitung untersucht werden.Weiterführend können die vorverarbeiteten Daten klassifiziert werden.Als nächster Schritt im Modell, kann eine Liste für einen Aufgabenpool generiert werden, der für On-Demand-Prüfungen genutzt werden kann. Vom Aufgabenpool zu einer automatisierten E-Prüfung 19 Wie kann ich nun mit dem Modell zur automatisierten Klausuraufgabenerstellung eine finale Prüfung zusammenstellen? Zusätzlich zum Schwierigkeitsgrad müssen Lehrende ihre Aufgaben nach weiteren Kategorien wie beispielsweise dem Themengebiet und dem Aufgabentyp (Multiple-Choice, offen) klassifizieren,um letztlich einen Aufgabenpool zu erhalten, bei dem jede Aufgabe klar über diese Kategorien gekennzeichnet ist. Eine GUI (grafische Nutzungsoberfläche) auf Grundlage dieses Aufgabenpools ermöglicht es Lehrenden, eine Prüfung nach ihren Vorstellungen in kürzester Zeit automatisiert zu erstellen. In der Nutzungsoberfläche können zunächst Eckdaten wie Gesamtpunktzahl der Prüfung, zu prüfende Themengebiete, das Verhältnis von einfachen zu schweren Aufgaben und das Verhältnis an Aufgabentypen festgelegt werden.Im Anschluss kann eine Liste an Prüfungsaufgaben erstellt werden, die alle Vorgaben erfüllen.Ferner muss sichergestellt sein, dass es keine Überschneidungen an Aufgaben in einem Semester gibt. Das Konzept der automatisierten Klausuraufgabenerstellung zur Zusammenstellung von On-Demand-Prüfungen wurde bereits in mehreren Prüfungen erfolgreich an der TH Köln erprobt und wird zukünftig für zwei neue Studiengänge (mit denselben Prüfungen) regulär genutzt.Das Besondere an den Studiengängen ist, dass es ca.jeden Monat min.einen Prüfungstermin geben wird.Außerdem ist die Anzahl der Studierenden durch die Kapazitätsbegrenzung gering (maximal 60 Studierende), sodass gerade bei der absehbar geringen Anzahl an Studierenden pro Termin eine gleichbleibende Schwierigkeit der Prüfungen sichergestellt werden muss. i AUTOMATISIERTE E-PRÜFUNGEN Neben der Berücksichtigung des Schwierigkeitsgrads von Aufgaben bei der Erstellung von On-Demand-Prüfungen müssen zusätzlich viele thematisch passende Aufgaben zur Verfügung gestellt werden, die das Wissen der Studierenden in vergleichbarer Weise messen.Mittels des auf der vorangegangenen Seite vorgestellten Modells zur automatisierten Klausuraufgabenerstellung,kann die Zusammenstellung einer großen Menge thematisch passender Klausuraufgaben mit vergleichbarem Schwierigkeitsgrad gelingen, um On-Demand-Prüfungen zu ermöglichen. Um On-Demand-Prüfungen effizient anbieten zu können, bietet das Modell zur automatisierten Klausuraufgabenerstellung einen flexibel einsetzbaren Ablauf,der im Anschluss an die weitere Kategorisierung die Möglichkeit zur Finalisierung von EPrüfungen in der GUI.Damit können On-Demand-Prüfungen fachunabhängig in der Hochschullehre eingesetzt werden. Die mir oft geäußerte Angst, dass gegen Ende der Prüfungszeit alle nur noch sehr gute Noten schreiben werden, hat sich nicht bestätigt.Wir beobachten einen ungefähr gleichbleibenden Notendurchschnitt. Prof. Dr. Ingo Stadler TH Köln 20 E-PRÜFUNGSFORMEN O-TON AUS FORSCHUNG & PRAXIS Was hat Dich motiviert den On-Demand-Ansatz auszuprobieren? Ich hatte schon als Student damals den Eindruck, dass ich, wenn ich meine Prüfungsphase selbst planen könnte, (z.B. nicht mehrere Prüfungen an einem Tag oder aufeinander folgenden Tagen) das Studium besser abschließen würde.Ich bin überzeugt, dass wir durch On-Demand-Prüfungen die Studienzeiten verkürzen können. Was sind Deine Erfahrungswerte aus der Umsetzung? Die Studierenden nehmen das On-DemandKonzept dankend an.Insbesondere nach dem dritten Jahr der Erprobung sehen wir einen hohen Bedarf in der Woche vor Weihnachten und direkt nach Neujahr.Die Studierenden nutzen die Gelegenheit, den Prüfungszeitraum zu verlängern. Was waren Deine größten Aha-Momente? Wir bieten an unserem Lehrstuhl seit 2020 sowohl in Bachelor-als auch Masterstudiengängen digitale Prüfungen in den Bereichen Elektrotechnik und Batteriesystemtechnik an, welche von Studierenden aus verschiedensten Ländern und akademischen Hintergründen abgelegt werden.Daher ist es selbsterklärend, dass die Studierenden unterschiedlichste Wissensstände und Herangehensweisen zum Lernen und zur Vorbereitung auf die Prüfungen mitbringen.Zusätzlich ist es nicht gerade selten, dass am Ende des Semesters viele Prüfungen in einem sehr knappen Zeitfenster hintereinander abgelegt werden müssen. Hier verschaffen On-Demand-Prüfungen Abhilfe:Eine Wahl aus mehreren Klausurterminen pro Semester ermöglicht es den Studierenden, ihre Zeit pro Fach flexibel nach ihren Anforderungen zu gestalten. Jedoch sollte der organisatorische Aufwand, der durch die Koordination mehrerer Prüfungen im Semester einhergeht, nicht unterschätzt werden.Unser Konzept der automatischen Klausurgenerierung soll dabei helfen, zu entlasten und neuen Dozierenden einen übersichtlichen und einfachen Einstieg in die Klausurerstellung ermöglichen. Prof. Dr. Dirk Uwe Sauer RWTH Aachen 21 E-PRÜFUNGSFORMEN O-TON AUS FORSCHUNG & PRAXIS Ich finde es super, dass ich dadurch meine reguläre Prüfungsphase wesentlich entzerren kann.Die Prüfungsphasen sind schon immer anstrengend genug –da nehme ich gerne den Druck raus und schreibe eine Klausur vorher. Außerdem habe ich so den Lernstoff noch frischer im Kopf, weil ich schon nach einer kürzeren Zeit die Klausur schreibe und die Inhalte nicht über das ganze Semester ‚vergessen‘ werden. The on-demand-concept is really good because it allows me to set my own priorities and strengthens my self-confidence at the same time. Viel besser, da man sich selbst seinem eigenen Tempo anpassen kann und die Klausur schreiben kann, wenn man sich bereit fühlt.Ich wünschte es gäbe so etwas auch in anderen Modulen. The offer helped me personally to reduce the stress during the regular exam period.My time management feels way more efficient. Aussagen von deutschsprachigen und internationalen Studierenden aus der Begleitforschung zum On-Demand-Konzept an der TH Köln 22 Zeitliche Flexibilität und selbstständige Semesterplanung – besonders am Ende des Bachelors sehr hilfreich. ON-DEMAND-PRÜFUNGEN O-TON AUS DER PRAXIS 23 Ein entscheidender Faktor bei der Entwicklung und Nutzung neuer Technologien, wie z.B. elektronischer Prüfungssysteme, ist laut Brüggemann &Wiepcke (2023)die User Experience (UX).Sie beschreibt, wie Menschen ein digitales Produkt oder System wahrnehmen und bewerten.Eine positive UX führt dazu, dass Menschen ein System häufiger und effizienter nutzen.Eine negative UX hingegen kann dazu führen, dass neue Technologien nicht akzeptiert oder sogar gemieden werden. Eine positive UX sollte die Bedürfnisse und Erwartungen der Nutzenden berücksichtigen.Systeme sollten so gestaltet sein, dass sie leicht verständlich und einfach zu bedienen sind, unabhängig von den Fähigkeiten oder Vorerfahrungen der Nutzenden.Die auf diese Weise geschaffene Nutzungsfreundlichkeit gilt als eine der wichtigsten Komponenten einer positiven UX.Wenn ein Produkt schwer verständlich oder umständlich zu bedienen ist, kann dies dazu führen, dass die Nutzenden es nicht weiter verwenden.Um die Nutzungsfreundlichkeit sicherzustellen, werden Usability-Tests durchgeführt.Dabei beobachten Forschende direkt, wie Menschen mit einem System interagieren und analysieren ihr Verhalten.Die Teilnehmenden bearbeiten dabei realistische Aufgaben, während ihre Reaktion bzw.ihr Feedback aufgezeichnet wird. Ein weiterer Aspekt einer positiven UX ist die Barrierefreiheit.Systeme und Produkte sollten so gestaltet sein, dass sie für alle Menschen zugänglich sind, unabhängig von körperlichen Einschränkungen oder individuellen Fähigkeiten.Ein inklusives Design trägt nicht nur zur Nutzungsfreundlichkeit bei, sondern stellt auch sicher, dass möglichst viele Menschen von der Technologie profitieren können.Die UX ist damit ein entscheidender Erfolgsfaktor für digitale Systeme.Sie fördert nicht nur die Akzeptanz neuer Technologien, sondern verbessert auch deren Effektivität und Nutzungshäufigkeit. Das ist nicht für die Nutzung auf einem Smartphone gedacht, oder? Oh super, dass die Frage auch auf englisch formuliert ist, das macht es mir leichter Mist, ich kann den Button zum Absenden meiner Antwort nicht finden… und jetzt? Welche Rolle spielt die User Experience bei E-Prüfungen? i 2. USER EXPERIENCE HERAUSFORDERUNG: DIE PRÜFUNG, NICHT DAS SYSTEM 24 Leistungserwartung:Hilft mir die Technik, meine Aufgaben besser zu erledigen? Aufwandserwartung:Ist die Technik leicht zu benutzen? Sozialer Einfluss:Was denken andere darüber, z. B. Mitarbeitende oder Mit-studierende? Technische Bedingungen:Gibt es Hilfe und gute Bedingungen für die Nutzung? Diese Punkte wirken zum Beispiel je nach Alter, Erfahrung, Geschlecht oder Freiwilligkeit der Nutzung unterschiedlich stark (Morgan, 2013)und können beispielsweise bei der Gestaltung von E-Prüfungen für eine diversitätsgerechte Optimierung der UX berücksichtigt werden. Das UTAUT-Modell (Unified Theory of Acceptance and Use of Technology; Venkatesh et al., 2003)zeigt vier wichtige Punkte, die die Entscheidung zur Nutzung von Technologie beeinflussen: TECHNOLOGIEAKZEPTANZ WARUM WIR TECHNIK NUTZEN ODER NICHT? Die Wahrnehmung von Studierenden, die E-Prüfungen nutzen, beeinflusst deren Nutzungsintentionen und Nutzungsverhalten:Ist die Anwendung nützlich und hilft sie bei der Bearbeitung der Prüfung, zum Beispiel durch örtliche und zeitliche Flexibilität oder einen Screenreader (Venkatesh et al., 2003)? E-Prüfungen bieten in diesem Zusammenhang Chancen für mehr Fairness und Diversität.Dabei sind Gestaltungskriterien, Planung, Feedback und die Auswahl geeigneter Prüfungsplattformen wichtig (Zinke et al., 2024). E-Assessments sind Teil von E-Prüfungen und umfassen computergestütztes Testen mit direkten Feedback-Möglichkeiten bei Multiple-Choice-Tests oder die Überprüfung von Problemlösekompetenzen (Alruwais et al., 2018). Wie beeinflusst die Wahrnehmung von Technologie die Nutzung in E-Prüfungen? Das UTAUT-Modell erklärt, warum Menschen neue Techniken nutzen –oder auch nicht. 31 Entwicklung eigener Korrekturdienste Korrekturdienst Python3 Korrekturdienst Python3 Unit Tests Zu einer qualitativ hochwertigen und realitätsnahen Prüfungsdurchführung gehört eine adäquate Integration der sogenannten Korrekturdienste in den gesamten Prüfungsprozess.Bereits in der Phase der Aufgabenerstellung sind Vorschau-und Testmöglichkeiten entscheidend, um die Funktionalität und Rückmeldemechanismen im Vorfeld zu erproben und die Konfiguration der Prüfungsaufgaben zu überprüfen. Ebenso essenziell ist im weiteren Verlauf die Möglichkeit, automatisierte Tests und Musterlösungen auch während der Korrekturphase gezielt anzupassen, um auf unvorhergesehene Lösungswege oder Fehler angemessen reagieren zu können.Nur durch dieses Zusammenspiel aus der Unterstützung der Prüfungsvorbereitung und der nachträglichen Anpassbarkeit kann eine faire, präzise und lernzielgerechte Bewertung sichergestellt werden und somit eine kontinuierliche Verbesserung der Prüfungsqualität gewährleistet werden. Um im Kontext von Lehrveranstaltungen mit dem Ziel der Programmierausbildung domänenspezifische Prüfungen zu ermöglichen, sollten Prüfungsplattformen die Erstellung von Aufgaben erlauben, bei denen Studierende Programmcodes in einer möglichst realistischen Umgebung bearbeiten können.Zu einer realitätsnahen Prüfungsumgebung gehört –sofern dies mit der Prüfungsform und den Lernzielen der Veranstaltung vereinbar ist –auch die Möglichkeit, die entwickelte Implementierung vor Abgabe der Prüfung auszuführen und zu testen.Je nach Lernzielen der Veranstaltung kann es sinnvoll sein, Studierendeneingaben hinsichtlich Korrektheit, Effizienz und Stil zu bewerten.Dazu werden vorab erstellte, automatisierte Tests eingesetzt, welche Feedback und Vorschläge zur Bewertung der Implementierung der Studierenden erzeugen.Durch diese automatisierten Tests erhalten die Studierenden im formativen Self-Assessment-Bereich unmittelbare Rückmeldungen, die über die einfache Darstellung der Musterlösung und den damit verbundenen manuellen Vergleich ihrer Lösung hinausgehen. So können beispielsweise auch Randfälle und andere spezielle Testfälle berücksichtigt werden, die eine detailliertere und umfassendere Bewertung der Lösung ermöglichen.Diese Rückmeldungen bieten den Studierenden wertvolle Hinweise zur Verbesserung ihrer Implementierung und fördern ein tieferes Verständnis der zugrunde liegenden Problematik.Im Bereich summativer Prüfungen dient das Feedback der automatisierten Tests zur besseren Nachvollziehbarkeit der Bewertung. Im E-Prüfungssystem Dynexite wurde diese Korrekturmöglichkeit in Form von Korrekturdiensten umgesetzt.Korrekturdienste sind kleinere Hilfsdienste,welche Antworten, Konfigurationen und Zusatzdaten erhalten und Dynexite Kommentare, Debug-Output und ein Ergebnis liefern.Sie ergänzen so die reguläre Korrektur. PRÜFUNGSWERKZEUGE Wie können Prüfungswerkzeuge im Rahmen einer E-Prüfung genutzt werden? Elektronische Prüfungen in Biologie und Biologiedidaktik –zwischen WG-Einblicken, Dummykonten und digitalem Fortschritt. Meine ersten elektronischen Prüfungen fanden während der Corona-Zeit statt –zu Hause, über ILIAS, mit Kameraaufsicht.Dabei habe ich nicht nur Studierende geprüft, sondern ganz nebenbei erstaunlich intime Einblicke in studentische Wohnrealitäten erhalten.Von Kleinstzimmern mit KuscheltierAtmosphäre bis zur WG-Küche als Multifunktionsraum. Digitale Nähe war plötzlich sehr persönlich. Heute prüfe ich über das zentrale Prüfungscenter der Universität zu Köln –technisch zuverlässiger, organisatorisch professioneller, aber noch nicht ganz ohne Tücken.Die liegen oft im Detail:etwa in Punktwerten, die sich nachträglich nicht mehr ändern lassen, oder Dummykonten,die unter Zeitdruck angelegt werden müssen, weil wieder einmal Zugangsdaten fehlen. Trotzdem überwiegen für mich die Vorteile.Der strukturierte, qualitätsgesicherte Prüfungsprozess – von der Idee über die Umsetzung bis zur Auswertung – spart nicht nur Zeit dank automatisierter Auswertung, sondern ermöglicht auch den Aufbau nachhaltiger Aufgabenpools.Fairness, Transparenz und Effizienz sind echte Pluspunkte. Und es gibt noch Luft nach oben:Ich wünsche mir ein nutzungsfreundlicheres Scoring-System –etwa durch eine Listenansicht aller Antworten zu einer Frage, ohne mühsames Durchklicken.Und ja, ich träume von KIUnterstützung, die bei offenen Antworten ein erstes, vorsichtiges Pre-Scoring übernimmt –nicht als Ersatz, aber als willkommene Entlastung. Fazit:Elektronisches Prüfen ist kein Selbstläufer –aber mit Struktur, Offenheit und dem Mut zur Weiterentwicklung wird es zunehmend zu einem festen Bestandteil einer modernen, inklusiven Prüfungskultur. Prof. Dr. Jörg Großschedl Universität zu Köln 32 PRÜFUNGSPLATTFORMEN O-TON AUS FORSCHUNG & PRAXIS 33 Assessment Analytics bezeichnen ein datenbasiertes Analyseverfahren, das speziell zur Leistungsbewertung von Lernenden entwickelt wurde.Als Erweiterung von Learning Analytics Ansätzen nehmen Assessment Analytics gezielt Daten aus Testsituationen in den Blick.Ziel ist es, daraus fundierte Erkenntnisse für die Lehre, die individuelle Förderung von Studierenden sowie für die gezielte Weiterentwicklung von Prüfungssystemen und Aufgabenformaten abzuleiten.Besonders bei digitalen Prüfungen bietet sich das an, weil hier automatisch viele Daten erfasst werden.Lehrende können diese Informationen nutzen, um Prüfungen verständlicher, gezielter und effektiver zu gestalten. Mit Assessment Analytics kann man zum Beispiel herausfinden: Welche Fragen sind besonders schwer oder leicht? Wenn viele Studierende bei einer Frage falsch antworten, könnte das ein Hinweis sein, dass die Frage missverständlich formuliert ist oder das Thema in Vorlesungen oder Seminaren nicht ausreichend behandelt wurde.Die Reihenfolge der Aufgabenbearbeitung oder die häufige Rückkehr zu einer bestimmten Aufgabe können Hinweise auf die Schwierigkeit verschiedener Fragen geben. Wie lange brauchen Teilnehmende für bestimmte Aufgaben? Eine Aufgabe soll in 5Minuten lösbar sein, aber die meisten brauchen 15 Minuten. Das könnte bedeuten, dass die Aufgabe zu komplex ist oder nicht gut erklärt wurde. Gibt es Muster in den Antworten, die auf Probleme hinweisen? Wenn viele Studierende bei einer Multiple-Choice-Frage dieselbe falsche Antwort wählen, könnte das ein Hinweis darauf sein, dass die Distraktoren irreführend sind oder ein Missverständnis besteht. Wie verändert sich die Leistung über verschiedene Prüfungen hinweg? Eine Lehrkraft kann über mehrere Semester hinweg prüfen, ob bestimmte Fragen oder Themen jedes Jahr ähnliche Schwierigkeiten bereiten. Meine Studierenden schneiden in „Genetik“ schlechter ab als in anderen Themen. Vielleicht muss ich mein Lehrmaterial anpassen oder mehr Praxisbeispiele geben… i 4. ASSESSMENT ANALYTICS EIN BLICK HINTER DIE KULISSEN VON E-PRÜFUNGEN 34 In Dynexite werden die Daten als xAPI Statements erhoben (Breuer et al., 2023) und 2025 im Rahmen von KI:EDU.NRW in die Infrastruktur POLARIS eingebunden. Diese Statements werden im Rahmen von POLARIS mithilfe von Analyseskripten ausgewertet und zurückgeliefert.Eine genaue Auflistung der in Dynexite erhobenen Daten kann mittels des QR-Codes links eingesehen werden.Der rechte QR-Code führt zu POLARIS. Bei E-Prüfungen entstehen in verschiedenen Prozessphasen unterschiedliche Arten von Daten: 1. Erstellung und Bearbeitung von Prüfungsaufgaben sowie Zusammenstellung von Prüfungen: •Metadaten zu Prüfungsinhalten (z.B.Erstellungszeitpunkt von Aufgaben, Kursen und Prüfungen, Inhalte, Kurszugehörigkeiten). 2. Durchführung der Prüfung: •Interaktionsdaten der Lernenden mit den Prüfungsinhalten während der Bearbeitung (z. B. Bearbeitungszeiten, Lösungsverhalten). •Kontextinformationen, die eine eindeutige Zuordnung zu Prüfungsinhalten ermöglichen (z.B.welche Aufgabe, welche Prüfung, welche Plattform). 3. Korrekturphase: •Ergebnisdaten aus der Kombination von Erstellungsdaten (Musterlösungen), Durchführungsdaten (Antworten) und manueller Korrektur (z.B.erreichte Punkte). 4. Nach Veröffentlichung der vorläufigen Ergebnisse: •Daten zur Einsichtnahme durch Studierende sowie zu möglichen Anträgen auf Nachkorrektur. •Ergänzend entstehen Daten durch die Annahme oder Ablehnung dieser Anträge durch die Prüfenden. Welche Daten werden in E-Prüfungen erfasst? DATEN AUS E-PRÜFUNGEN Datenspuren entlang des gesamten Prüfungsprozesses 35 Daten aus Erstellung, Durchführung und Korrektur tragen zur mittel-und langfristigen Qualitätssicherung von Lehr-, Lern-und Prüfungsinhalten bei.Sie machen Trends in den Ergebnissen sichtbar, decken wiederkehrende Schwachstellen in Aufgabenformaten auf und ermöglichen so evidenzbasierte Anpassungen.Dadurch lassen sich Aufgaben iterativ optimieren, die Passung zu den angestrebten Lernzielen verbessern und die Validität sowie Fairness der Leistungsüberprüfung langfristig sichern. Während Lehrende bereits aufgrund ihrer Prüfungstätigkeit Zugriff auf Ergebnisdaten der Studierenden haben, kann eine Übersicht auffällig (schlecht) ausgefallener Teilaufgaben die Identifizierung möglicher Probleme zusätzlich unterstützen.So können bei Bedarf bereits vor der Veröffentlichung der Ergebnisse Korrekturen vorgenommen werden.Dies reduziert den Aufwand für Nachkorrekturen und trägt zu einer insgesamt faireren Bewertung bei. Darüber hinaus kann die Erstellung neuer Aufgaben und Prüfungen durch Mechanismen wie Duplikatsprüfung,die Zusammenstellung mit einer erwarteten Schwierigkeit sowie die thematische Verteilung der Inhalte gezielt unterstützt werden. DATEN AUS E-PRÜFUNGEN Um zu untersuchen, wie Lehrende bisher mit solchen Daten arbeiten und welche weiteren Bedarfe bestehen, wurde im Rahmen des NOVA:ea-Projekts eine Stakeholder-Befragung durchgeführt.Anhand eines Fragebogens, den 79 Prüfende beantworteten, wurden bestehende Qualitätssicherungspraktiken sowie Perspektiven auf zusätzliche, potenziell nützliche Bewertungsdaten erfasst. Beispielhafte Anwendungsszenarien im Prüfungsprozess Die Auswertung zeigte, dass aktuelle Praktiken am Untersuchungsstandort vor allem auf direktem Feedback von Kolleginnen und Kollegen beruhen.Vorschläge zur Nutzung ergänzender Bewertungsdaten unterschieden sich hingegen stark in Granularität, Aufwand und erwartetem Nutzen –von Zeitersparnissen durch die Digitalisierung bisher manueller Aufgaben über die breitere Anwendbarkeit bestehender Verfahren bis hin zur Eröffnung neuer, bislang wenig erforschter Möglichkeiten.Erste Entwicklungsschritte wurden bereits auf Basis dieser Erkenntnisse unternommen, indem prüfungs-und inhaltsbezogene Daten zur Unterstützung von Lehrenden und institutionellen Entscheidungsträgern herangezogen wurden (Breuer et al., 2025). 36 DELICATE-Checkliste (Ifenthaler,2020) Umfasst die Begründung des Potenzials von Datenanalysen, Erklärung von Speicherung und Verwendungszwecken, Legitimation der Datennutzung, Einbeziehung Beteiligter durch offene Kommunikation, Einverständnis, Anonymisierung von Daten, Aktualisierung von Datenzugriffsrechten bei Veränderungen, Distribution von Daten und Analyseergebnissen ist zweckgebunden und geregelt. Verhaltenskodex für Trusted Learning Analytics (Hansen et al., 2020) Trusted Learning Analytics fokussiert ethische Prinzipien bei der Nutzung von Studierendendaten.Hierzu wird ein Verhaltenskodex entwickelt, der grundlegende Prinzipien der Datennutzung, -erhebung, -speicherung, -auswertung und dessen Kommunikation umfasst. Die Menge zur Verfügung stehender Daten in Hochschulen steigt stetig an (Scheffel et al., 2024). Daten für Assessment Analytics fallen in digitalen Prüfungen wie beispielsweise Distanzprüfungen an.Diese Daten bieten Informations-und Unterstützungsangebote für Einzelpersonen, Lehrende und Hochschulen (Hansen et al., 2020). Für viele Hochschulen in Deutschland ist die Auseinandersetzung mit den rechtlichen Aspekten von Distanzprüfungen ein fortlaufender Prozess (Bandtel et al., 2021). Um die Nutzung von Daten an Hochschulen effektiv zu gestalten, müssen die Ziele und Chancen sowie Risiken der Datennutzung erkannt werden (Scheffel et al., 2024). Zur Nutzung von Daten für Assessment Analytics an Hochschulen müssen außerdem rechtliche Vorgaben beachtet und organisatorische Rahmenbedingungen geschaffen werden, um die Ziele der Datennutzung zu definieren und die einhergehenden Risiken der Datennutzung zu adressieren.Der rechtliche Rahmen für die Nutzung von Studierendendaten in Deutschland basiert auf der Datenschutzgrundverordnung (DSGVO) und dem Deutschen Datenschutzrecht (Hansen et al., 2020). 3 Ansätze zur Schaffung rechtlicher, organisatorischer Rahmenbedingungen: SHEILA-Framework (Tsai et al., 2018) SHEILA (Supporting Higher Education to Integrate Learning Analytics) umfasst das Herausarbeiten des hochschulpolitischen Kontexts, Identifizierung der Hauptbeteiligten, Identifizierung gewünschter Veränderungen, Entwicklung einer Strategie zur Einbeziehung der Beteiligten, Analyse interner Kapazitäten und die Einrichtung von Monitoring-und Lernstrukturen. Welche Rahmenbedingungen müssen für Assessment Analytics erfüllt werden? RAHMENBEDINGUNGEN 37 Praxisbeispiel:Die Learning Analytics Ordnung der FernUniversität Hagen vom 23. April 2024 zeigt, wie rechtliche und organisatorische Rahmenbedingungen für die Nutzung von Assessment Analytics geschaffen werden können. SELAQ –Fragebögen für Studierende (Whitelock-Wainwright et al., 2019) Als Teil von SHEILA bieten diese Fragebögen einen Einstiegspunkt für die Erstellung von Learning Analytics Policies. Dialogprozess zur Policy Entwicklung (Scheffel et al., 2024) Ein Anwendungsbeispiel ist die Ruhr-Universität Bochum (RUB):Der Prozess orientiert sich am SHEILA-Framework und beinhaltet die Planung von Ressourcen und Kommunikation, eine Umfrage (Studierende und Lehrende), Fokusgruppengespräche (Fächergruppen), die Entwicklung der Leitlinien und Gestaltung eines Policy-Entwurfs. Aktion Richtlinie Herausforderung Politischen Kontext abbilden EngagementStrategie entwickeln Struktur des SHEILA-Frameworks (Tsai et al., 2018) Die Struktur des untenstehenden SHEILA-Rahmens (Supporting Higher Education to Integrate Learning Analytics) kann beispielsweise genutzt werden, um die organisatorischen Rahmenbedingungen für die Nutzung von Assessment Analytics gezielt zu adressieren (Tsai et al., 2018). Welche rechtlichen und organisatorischen Rahmenbedingungen müssen für die Nutzung von Assessment Analytics erfüllt werden? RAHMENBEDINGUNGEN 38 So habe ich die Prüfung gut im Blick. Mithilfe eines Prüfungscockpits können die gesammelten und ausgewerteten Daten (Assessment Analytics) datenschutzkonform genutzt werden, um die Qualität von Prüfungen kontinuierlich zu verbessern. Mit einem Prüfungscockpit kann man zum Beispiel folgende Aspekte herausfinden: •Gibt es auffällige Abweichungen in den Ergebnissen (Constructive Alignment)? •Entspricht die geplante Gewichtung der Prüfung der tatsächlichen Bearbeitungsdauer (Faustregel Bearbeitungszeiten:„Ein-Punkt-pro-Minute”) ? •Sind die Aufgaben auf verschiedene Schwierigkeitsstufen verteilt (differenzierte Bewertung der verschiedenen Leistungsniveaus der Lernenden )? Eine bedarfsgerechte Gestaltung eines Prüfungscockpits sollte sowohl ein zentrales Dashboard für eine schnelle Gesamtansicht als auch dezentrale Analysekomponenten an relevanten Stellen im Prüfungsworkflow enthalten.Ziel ist es, Lehrende unmittelbar bei der Reflexion über Aufgabenstellungen, Schwierigkeitsgrade und die Abstimmung mit ihren Lehrinhalten zu unterstützen.Statt primär eine Diagnose von Schwachstellen zu liefern, liegt der Fokus darauf, ein vertieftes Nachdenken über Lehr-und Prüfungsinhalte zu ermöglichen.Dazu können beispielsweise Hilfstexte, Tooltips oder kontextbezogene Erklärungen eingesetzt werden, die den angezeigten Kennzahlen und Visualisierungen eine klare Bedeutung verleihen.Auf diese Weise soll ein kontinuierlicher Optimierungsprozess gefördert werden, bei dem Lehrende auf Grundlage der bereitgestellten Interpretationshilfen gezielt an der Qualität ihrer Prüfungen arbeiten können. READY FOR TAKE-OFF i 4.1 PRÜFUNGSCOCKPIT VOLLE KONTROLLE STATT BLINDFLUG 39 In der Detailansicht der Aufgabe zeigt das Prüfungscockpit, dass mehrere Lücken einen Schwierigkeitsindex von 100%aufweisen. Das heißt:Keiner der Studierenden konnte diese Lücken korrekt ausfüllen.Die Prüfung einer Musterlösung offenbart, dass sich in diesen Lücken Konfigurationsfehler befinden.Die korrekten Antworten wurden von vielen Studierenden eingegeben –aber nicht als richtig gewertet, weil die Musterlösungen fehlerhaft waren. INFORMATIONEN FÜR DIE LEHRE Wie kann ein Prüfungscockpit für Lehrtätigkeiten genutzt werden? Das Prüfungscockpit kann nicht nur nach der Korrektur, sondern bereits bei der Erstellung neuer Prüfungen und Lehrmaterialien genutzt werden.Dabei ist zu beachten,wie die Aufgaben in einer Organisationseinheit in der Vergangenheit abgeschnitten haben:Welche Aufgaben waren besonders leicht, welche besonders schwer, und woran könnte das gelegen haben? Diese Informationen ermöglichen einen Überblick über Prüfungs-und Übungsaufgaben, sodass Lehre und Prüfungen reflektiert werden können, um diese bedarfsgerecht zu optimieren. Nach der Korrektur einer Prüfung kann das Prüfungscockpit erneut genutzt werden, um Erwartungen mit Ergebnissen abzugleichen. Im oben dargestellten Dashboard fällt auf, dass die Aufgabe „Functions -Question 3“ eine höhere Aufgabenschwierigkeit besitzt als erwartet.Dies ist überraschend, da die ursprüngliche Einschätzung der Aufgabenschwierigkeit mittelschwer war. Dashboard für Lehrende:Übersicht aller Aufgaben Detailansicht einer Aufgabe 40 Nach der Korrektur einer Prüfung, in diesem Beispiel zur Veranstaltung „Einführung in die Python-Programmierung“, kann das Prüfungscockpit genutzt werden, um einen Überblick über die Ergebnisse zu erhalten. Lösungen können direkt im System angepasst werden, noch bevor die Ergebnisse veröffentlicht werden.So kann sichergestellt werden, dass die Bewertung fair und nachvollziehbar ist. Ein Prüfungscockpit konnte in diesem Beispiel konkret unterstützen durch: •Aufgabenschwierigkeit erkennen:Es ist sofort ersichtlich, welche Aufgaben leichter oder schwerer ausfielen als erwartet. •Qualitätssicherung:Es half, einen inhaltlichen Fehler in der Aufgabenstellung bzw. Lösung zu erkennen. •Effiziente Fehlerkorrektur:Fehler konnten frühzeitig behoben und damit eine faire Bewertung sichergestellt werden. •Reflexion deiner Aufgabenstellung:Es werden Erkenntnisse darüber gewonnen, welche Aufgaben eventuell überarbeitet oder in der Lehrveranstaltung gezielter vorbereitet werden sollten. Das Prüfungscockpit ist nicht nur ein Auswertungstool, sondern ein wertvolles Instrument zur Abstimmung von Lehr-und Prüfungsinhalten, das Lehrende dabei unterstützt, Aufgabenqualität zu sichern, Fehler frühzeitig zu erkennen und die Prüfungsdatenanalyse als Erkenntnisinstrument zu nutzen (Breuer et al.2023;Scheidig & Schweinberger, 2022). PRÜFUNGSCOCKPIT PRAKTISCH Wie kann ein Prüfungscockpit konkret im Prüfungsbetrieb unterstützen? Exkurs Studierendenperspektive:Den Studierenden wird pro Kurs eine Kurskachel bereitgestellt, die die persönliche Aktivität zeitlich gegliedert darstellt.Sichtbar wird, wie viele Übungen oder Prüfungen heute, in den letzten sieben Tagen sowie insgesamt bearbeitet wurden.So erhalten Studierende einen klaren Überblick über ihre jüngsten Lernaktivitäten und ihre langfristige Teilnahmeintensität im jeweiligen Kurs. Exkurs zur technischen Architektur:Das Prüfungscockpit baut auf einer gestuften Analysearchitektur auf. Base-Level-Engines werten einzelne xAPI-Statements direkt aus und bereiten die Daten in strukturierter Form auf. Higher-Level-Engines kombinieren diese aufbereiteten Ergebnisse und erzeugen aggregierte Kennzahlen. Eine Übersicht weiterer Analysen, der dafür verwendeten Daten sowie deren Implementierung ist mittels des QR-Codes links zur Verfügung gestellt. 47 Ist das Kunst und kann das weg? Diese NOVA:ea-Studie untersucht ob verschiedene Bildtypen negative Effekte von Prüfungsangst in E-Prüfungen abmildern können.Prüfungsangst ist ein weit verbreitetes Problem im Bildungskontext (Pekrun et al., 2002), das sowohl das emotionale Wohlbefinden als auch die Leistung von Lernenden negativ beeinflussen kann (von der Embse et al., 2018;Schaefer et al., 2007). Bilder könnten dabei helfen, Prüfungen angenehmer zu gestalten und stressbedingte negative Emotionen abzumildern (Lindner et al., 2016;Mikheeva et al., 2021). Hierbei können sowohl repräsentative als auch dekorative Bilder auf die Emotionen von Studierenden wirken (Lindner et al., 2016;Mikheeva et al., 2021). Die vorliegende Studie stellt die Frage, wie sich die negativen Auswirkungen von Prüfungsangst auf die Leistung gezielt reduzieren lassen. BILDER & PRÜFUNGSANGST BEITRAG AUS DER FORSCHUNG Wie können Bilder auf die Wahrnehmung von E-Prüfungen wirken? Repräsentative, relevante Bilder machen Testaufgaben anschaulicher und erleichtern das Verständnis, indem zentrale Informationen visuell hervorgehoben werden (Lenzner et al., 2013;Lindner, 2020). Zudem können Sie das affektive Erleben positiv beeinflussen (Lindner et al., 2016). Repräsentative Bilder können als mentale Stütze dienen und die kognitive Belastung senken (Lindner, 2020). Dekorative Bilder,die keine prüfungsrelevanten Informationen enthalten, können als überflüssige „verführerische Details“ die Aufmerksamkeit von der eigentlichen Aufgabe ablenken und zu einer höheren kognitiven Belastung führen (Sung &Mayer, 2012). Besonders in Prüfungssituationen, die bereits stressbehaftet sind, könnte dies das Arbeitsgedächtnis überlasten und die Leistung beeinträchtigen (Sundararajan & Adesope,2020). Test mit relevanten Bildern Test mit irrelevanten Bildern Test ohne Bilder (Kontrolle) Versuchsbedingungen mit verschiedenen Lernmaterialien 48 Zentrale Erkenntnisse •Irrelevante Bilder:Diese Bilder halfen dabei, negative Emotionen nach der Prüfung bei Teilnehmenden mit hoher Prüfungsangst zu reduzieren.Die Prüfungsleistung wurde aber nicht beeinflusst. •Relevante Bilder:Relevante Bilder minderten besonders die kognitive Prüfungsangst, führten aber ebenfalls nicht zu besseren Ergebnissen. Praktische Empfehlungen •Da es bislang nur wenig Forschung zur Nutzung von Bildern in E-Prüfungen gibt, gilt:Bilder sollten gezielt und mit Bedacht eingesetzt werden. •Bis verlässliche und generalisierbare Erkenntnisse vorliegen, ist es ratsam, sie sparsam zu nutzen, auf klare inhaltliche Relevanz zu achten und potenzielle kognitive Belastungen oder Ablenkungen zu vermeiden. BILDER & PRÜFUNGSANGST BEITRAG AUS DER FORSCHUNG Botschaft Die Studienergebnisse heben die Bedeutung der gezielten Nutzung von Bildern in EPrüfungen hervor.Durch die Nutzung von Bildern können Lehrende so gezielt die Emotionen und die Prüfungsangst Lernender adressieren.Vertiefende Informationen zu dieser NOVA:ea Studie finden Sie nachfolgend auf der Seite Einblick in die Forschung. Im Rahmen der NOVA:ea-Studie wurden in zwei Experimenten klassische Testformen (ohne Multimedia) mit solchen, die entweder dekorative (irrelevante) oder repräsentative (relevante) Bilder enthielten, verglichen.Es wird daher untersucht, ob und wie Multimedia-Design in E-Prüfungen dazu beitragen kann, Prüfungsangst zu mindern und so eine positivere Prüfungserfahrung zu ermöglichen. Zentrales Ergebnis Bilder können helfen, Prüfungsangst emotional abzumildern, ohne die Schwierigkeit der Prüfung zu verändern.Die Leistung blieb aber unbeeinflusst.Weitere Forschung ist notwendig, um das Design von Multimedia-Elementen zu optimieren. Die Verwendung von Bildern in E-Prüfungen ist in sich also eine gute Idee –ich sollte nur darauf achten, dass es einen direkten Bezug zwischen den Bildern und dem Prüfungsthema achten, um meine Studierenden nicht zu verwirren. Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) 49 BILDER & PRÜFUNGSANGST EINBLICK IN DIE FORSCHUNG IST DAS KUNST ODER KANN DAS WEG? Das Potenzial von Multimedia in E-Prüfungen entfalten: Kann es Prüfungsangst mildern? Hinweis: Nutzen Sie den Vollbildmodus Die Macht der Bilder Diese NOVA:ea-Studie untersucht Bilder und ihr Potenzial als Gedächtnisstütze in EPrüfungen.Sowohl dekorative als auch repräsentative Bilder können als Gedächtnisstützen (Memory Cues)wirken, wenn sie in Lern-und Testsituationen konsistent eingesetzt werden:die Kongruenz zwischen Lern-und Testphasen ist entscheidender für die Unterstützung der Prüfungsleistung als die Art der Bilder.(Lindner, 2020; Schneider et al., 2020). Zudem steigern kongruente, repräsentative Bilder das Engagement und die Konzentration der Lernenden (Schneider et al., 2020). Ziel ist es allerdings nicht, Prüfungen zu vereinfachen oder die Leistungsmessung sowie die Überprüfung des Wissensstands Lernender durch Bilder als Unterstützungsmaßnahme redundant werden zu lassen.Diese Gefahr könnte ebenso wie die Ablenkung Studierender durch dekorative Bilder (Sung &Mayer, 2012)bestehen.Bilder sollten daher mit Bedacht in Prüfungen eingesetzt werden um die Erinnerungsleistung Studierender vor dem Hintergrund einer fairen Leistungsmessung, die das tatsächliche Wissen Studierender misst durchgeführt werden (Zinke et al., 2024). Ergebnisse der Studie Die Studienergebnisse verdeutlichen, dass eine durchgängige Bildauswahl in Lernund Testsituationen den Lernerfolg unterstützt.Repräsentative Bilder können darüber hinaus das Engagement und die Konzentration steigern.Die Erkenntnisse bieten wertvolle Impulse für die Gestaltung multimedialer Lernmaterialien. BILDER ALS UNTERSTÜTZUNG BEITRAG AUS DER FORSCHUNG 50 Versuchsbedingungen mit Lern-und Testmaterialien Wie können Bilder in Lern-und E-Prüfungsphasen das Erinnern unterstützen? 51 Zentrale Erkenntnisse •Keine generellen Vorteile repräsentativer Bilder.Entgegen der Erwartungen führen repräsentative Bilder nicht grundsätzlich zu besseren Testergebnissen als dekorative Bilder. •Entscheidend ist die Kongruenz zwischen Lern-und Testsituation.Die Lernleistung ist höher, wenn die gleichen Bildtypen in Lern-und Testphasen verwendet werden (Kongruenzeffekt). •Sowohl dekorative als auch repräsentative Bilder können als effektive Gedächtnisstützen dienen, wenn sie kongruent eingesetzt werden. •Repräsentative Bilder können darüber hinaus das Engagement und die Konzentration steigern. •Die Art der Bilder beeinflusst nicht das Spaßempfinden während der Testbearbeitung. Praktische Empfehlungen •Wenn in Lern-und Testmaterialien kongruente Bilder verwendet werden, können diese als Gedächtnisstütze wirken, was mitgedacht werden sollte. •Wenn Bilder aus dem Lernmaterial in Prüfungsmaterialien genutzt werden aber im Test zu anderen Inhalten verwendet werden (inkongruent), kann dies evtl.zu Verwirrung führen. •Wenn repräsentative Bilder verwendet werden, sollte geprüft werden, ob Beschriftungen oder Informationen enthalten sind, die die Hinweise zur Lösung geben oder die Schwierigkeit der Aufgabe verändern. BILDER ALS UNTERSTÜTZUNG BEITRAG AUS DER FORSCHUNG Botschaft Die Studienergebnisse unterstreichen die Relevanz der konsistenten Verwendung von Bildern in Lern-und Testmaterialien für die Unterstützung der Gedächtnisleistung zur fairen Prüfung tatsächlichen Wissens anstelle der Fähigkeit Informationen. Vertiefende Informationen zu dieser NOVA:ea Studie finden Sie nachfolgend auf der Seite Einblick in die Forschung. Aufgabenrelevante Informationen sollte ich aus E-Prüfungsbildern entfernen, aber die gleichen Bilder wie in Lernmaterialen verwenden, um meine Studierenden zu unterstützen. Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) 52 BILDER ALS UNTERSTÜTZUNG EINBLICK IN DIE FORSCHUNG DIE MACHT DER BILDER Bilder und ihr Potenzial als Gedächtnisstütze in E-Prüfungen Hinweis: Nutzen Sie den Vollbildmodus Was mich an Multimedia besonders fasziniert, ist das Potenzial, Lern-und Testumgebungen zu schaffen, die mehrere Sinne ansprechen und so das Bearbeiten und Verstehen von Aufgaben erleichtern können –auch in stressreichen Situationen.Besonders spannend finde ich die Frage, wie man diese Umgebungen so gestaltet, dass sie motivieren, ohne zu überfordern.In meiner aktuellen Forschung beschäftige ich mich mit sozialen Reizen wie sichtbaren Lehrpersonen oder animierten Agenten.Wir wissen aus dem Lernkontext, dass solche Reize die wahrgenommene kognitive Belastung senken können.Nun interessiert mich, welche Rolle sie in Testsituationen spielen.Unterstützt es Lernende, wenn Testfragen von einem Agenten gestellt werden –oder empfinden Personen mit Prüfungsangst das vielleicht sogar als besonders stressig? Ein Mythos, dem ich im Zusammenhang mit Multimedia häufig begegne, ist die Annahme, dass Menschen festen Lerntypen wie „visuell“ oder „auditiv“ zugeordnet werden können –und dass Lern-und Prüfungsumgebungen entsprechend solcher Lerntypen gestaltet sein sollten.Aus wissenschaftlicher Sicht gibt es jedoch keine belastbare Evidenz für solche festen Typisierungen (Pashler et al., 2009). Für die Gestaltung von Lern-und Prüfungsumgebungen bedeutet das, sich weniger an festen Lerntypen zu orientieren, sondern vielmehr bewährte, wissenschaftlich fundierte Prinzipien zu nutzen, die unterschiedliche Lernvoraussetzungen und Bedürfnisse berücksichtigen. Nachwuchsgruppenleiterin Dr. Christina Sondermann Deutsches Institut für Erwachsenenbildung e.V. 53 MULTIMEDIA IN E-PRÜFUNGEN O-TON AUS FORSCHUNG & PRAXIS 54 Wenn wir etwas lernen, ist Feedback sehr hilfreich.Es zeigt uns, was wir richtig gemacht haben und wo wir uns verbessern können (Hattie &Timperley, 2007). Feedback in formativen Prüfungen kann Lernenden helfen ihre Leistung zu verbessern (Enders et al., 2021). In E-Prüfungen gibt es oft verschiedene Arten von Feedback (Johnson &Priest, 2014): •Knowledge-of-Results-Feedback (1) zeigt das Ergebnis, also ob die Frage richtig oder falsch beantwortet wurde. •Knowledge-of-Correct-Response-Feedback (2) zeigt bei falschen Antworten an, welche Lösung korrekt gewesen wäre. •Elaborated-Feedback (3) gibt zusätzlich detaillierte Informationen in Form einer Erklärung, warum die Antwort richtig oder falsch war. Knowledge-of-Results-Feedback wirkt sich generell kaum auf die Leistung aus, da es keine Hinweise zur Verbesserung gibt (Shute, 2008). Leistungsstarke Lernende brauchen oft nur Knowledge-of-Correct-Response-Feedback,weil sie die richtige Antwort selbst einordnen können (Fyfe &Rittle-Johnson, 2016). Unerfahrene Lernende oder Personen mit schwacher Leistung profitieren am meisten von Elaborated-Feedback, da sie dadurch ihre Fehler besser verstehen (Mertens et al., 2022). Es kann festgehalten werden, dass nicht alle Lernenden gleich von Feedback profitieren. (2) Das ist nicht richtig. Die richtige Antwort ist „Am Sonnenwind“. (1) Falsch. (3) Sonnenwind ist ein Strom geladener Teilchen, an dem sich der Kometenschweif ausrichtet. Positives Feedback steigert den Spaß und kann Lernende dazu motivieren und ihr Vertrauen in die eigenen Fähigkeiten zu stärken (Kuklick &Lindner, 2021,2023). Negatives Feedback kann Lernende demotivieren, vor allem, wenn es nicht konstruktiv vermittelt wird (Hattie &Timperley, 2007; Kuklick &Lindner, 2021) Woran richten sich Kometenschweife aus? Ganz klar: sie richten sich spontan ohne Grund aus. i 2. FEEDBACK IN E-PRÜFUNGEN WARUM ‚FALSCH.‘ KEIN SINNVOLLES FEEDBACK IST 55 Give me more Feedback Feedback ist ein entscheidender Faktor im Lernprozess (Hattie &Timperley, 2007). Diese NOVA:ea-Studie untersucht Feedbackarten sowie Persönlichkeitsmerkmale im Kontext von Akzeptanz und Auswahl von Feedback.Die untenstehende Grafik zeigt die wahrgenommene Nützlichkeit verschiedener Feedbackarten abhängig von erbrachten Leistungen.Elaboriertes Feedback (blaue Linie), das detaillierte Erklärungen und Lösungshinweise bietet, kann den Lernerfolg steigern (Enders et al., 2021). Auch Knowledge-of-Results-Feedback (rote Linie) und Knowledge-of-Correct-ResponseFeedback (grüne Linie) können Lernenden einen Leistungsüberblick geben und zu leistungssteigernden Verhaltensänderungen führen (Narciss,2004;Wehrhahn et al., 2025). Diese Feedbackarten insbesondere können aber für weniger leistungsstarke Studierende schwerer interpretierbar sein (Cheng & Liu, 2022). ZUGÄNGE ZU FEEDBACK BEITRAG AUS DER FORSCHUNG Welches Feedback kann verschiedene Studierende unterstützen? Nützlichkeitswahrnehmung und Leistung nach Feedbackart Zentrale Erkenntnisse Feedbackarten und Leistung •Feedbackarten beeinflussen die Akzeptanz •Elaborated-Feedback (blaue Linie) wird insgesamt als hilfreicher und nützlicher wahrgenommen als einfaches Feedback (Knowledge-of-Results-Feedback (rote Linie) oder Knowledge-of-Correct-Response-Feedback (grüne Linie)). •Besonders leistungsschwächere Lernende profitieren von Elaborated-Feedback •Individuelle Leistung beeinflusst die Feedbackwahrnehmung. •Lernende mit hohen Leistungen wählen kein Elaborated-Feedback,da sie das detaillierte Feedback evtl.als redundant empfinden. •Schwächere Leistungen steigern die wahrgenommene Nützlichkeit von Elaborated-Feedback. 56 Feedbackarten und Persönlichkeitsmerkmale Die Studie prüfte zusätzlich die Auswahl und wahrgenommene Nützlichkeit von verschiedenen Feedbackarten von Studierenden mit Persönlichkeitsmerkmalen die indikativ für Tendenzen zu grandiosem oder vunerablem Narzissmus sowie Perfektionismus sind.Personen mit Persönlichkeitsmerkmalen indikativ für Tendenzen zu grandiosem Narzissmus streben danach ihre überhöhte Selbstwahrnehmung zu verbreiten und können sich insbesondere durch negatives Feedback in diesem Streben bedroht fühlen, wohingegen Personen mit Persönlichkeitsmerkmalen indikativ für Tendenzen zu vunerablem Narzissmus haben eine stark positive aber fragilere Selbstwahrnehmung und sind eher von externem Feedback zur Unterstützung ihres Selbstbewusstseins abhängig (Besser &Priel, 2010). Personen mit Persönlichkeitsmerkmalen indikativ für Tendenzen zu Perfektionismus streben nach Fehlerfreiheit, trivialisieren positive Leistungen, üben überhöhte Selbstkritik am eigenen Verhalten und werden insbesondere durch negatives Feedback beeinträchtigt (Cooks &Ciesla, 2019). Zentrale Erkenntnisse •Wunsch nach bzw.die Wahl von Feedback stehen in Zusammenhang mit bestimmten Persönlichkeitsmerkmalen. •Vulnerabler Narzissmus steht in positivem Zusammenhang mit der Wahl von Elaborated-Feedback,insbesondere bei niedriger Leistung. •Grandioser Narzissmus zeigt keinen signifikanten Einfluss auf die Wahl oder Akzeptanz von Elaborated-Feedback. Praktische Empfehlungen •Feedback sollte flexibel gestaltet sein, um individuelle Bedürfnisse besser abzubilden.Während High Performer von kompaktem Knowledge-of-Correct-ResultFeedback profitieren, ist für leistungsschwächere Lernende Elaborated-Feedback hilfreicher. •Um Autonomieerleben und Motivation zu fördern könnte man Lernenden die Möglichkeit geben, selbst zu entscheiden, welches Feedback sie erhalten möchten. •Besonders bei vulnerablen Persönlichkeitsstrukturen könnte es sinnvoll sein, anonymes und sachliches Feedback bereitzustellen. ZUGÄNGE ZU FEEDBACK BEITRAG AUS DER FORSCHUNG Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) Botschaft Die Studienergebnisse unterstreichen die Bedeutung einer differenzierten Feedbackgestaltung in der Hochschulbildung.Eine adaptive Anpassung an Leistung und Persönlichkeit kann nicht nur die Akzeptanz, sondern auch den Lernerfolg nachhaltig steigern.Vertiefende Informationen zu dieser NOVA:ea Studie finden Sie nachfolgend auf der Seite Einblick in die Forschung. 63 Gut, ich kann meine E-Prüfungen also schrittweise und mit Blick auf meine Studierenden optimieren, anstatt alles auf einmal ändern zu müssen. Es geht beim diversitätsgerechten Prüfen nicht darum, jede Prüfung komplett individuell anzupassen, sondern faire Zugangswege zu schaffen.Viele Lösungen lassen sich einmal einrichten und dann immer wieder nutzen (z.B.verlängerte Bearbeitungszeiten für bestimmte Studierende). Schon das Bewusstsein,dass Studierende unterschiedliche Voraussetzungen mitbringen und dass Prüfungen für manche Gruppen ungewollt schwieriger sein können, ist der wichtigste Schritt.Das Problem liegt nicht darin, dass Lehrende unfair bewerten wollen, sondern dass versteckte Barrieren in Prüfungen existieren, die nicht auf den ersten Blick sichtbar sind.Wenn man diese Hürden kennt, kann man bereits mit kleinen Anpassungen große Verbesserungen erzielen –ohne die Prüfung komplett umgestalten zu müssen. HERAUSFORDERUNG DIVERSITÄT Wie kann erreicht werden, dass E-Prüfungen diversitätsgerecht gestaltet sind? Ziel diversitätsgerechter Prüfungen ist es: Gleiche Bewertungsmaßstäbe für alle zu schaffen Optionale, aber angemessene Anpassungen umzusetzen Barrieren abzubauen,ohne Inhalte zu vereinfachen Diversitätsgerechte Prüfungen wirken auf den ersten Blick wie ein großer Aufwand. Aber:Es gibt einfache Wege, um Fairness zu verbessern, ohne sich zu überlasten. Diversitätsgerechtes Prüfen kann in diesem Kontext die Bedürfnisse verschiedener Studierendengruppen berücksichtigen.Es kann außerdem die Akzeptanz von E-Prüfungen durch eine verbesserte User Experience sowie Nutzbarkeit der E-Prüfungssoftware für eine diverse Studierendenschaft unterstützen (Mlekus et al., 2020;Yildiz et al., 2022). i 64 Wer fällt durchs Raster? Diese NOVA:ea-Studie macht sich mit Assessment auf Spurensuche nach Herausforderungen in E-Prüfungsaufgaben im Kontext von Diversität.Assessment Analytics können Lehrpersonen unterstützen, mögliche Verzerrungen in Prüfungen zu erkennen und zu minimieren (Pellegrino, 2005). Dabei werden Prüfungsdaten systematisch analysiert, um Muster in den Testergebnissen aufzudecken. Differential Item Functioning (DIF) Diese Methode untersucht, ob bestimmte Prüfungsaufgaben für unterschiedliche Studierendengruppen unterschiedlich schwer sind, selbst wenn sie über gleiches Wissen verfügen (Karami &Mok, 2016;Kunnan,2004;Mislevy et al., 2013). Insbesondere sprachliche Kompetenzen, Geschlecht und sozioökonomischer Hintergrund wurden in bisherigen Studien als relevante Diversitätsfaktoren identifiziert (Imus et al., 2011;Sackett et al., 2009). Die untenstehende Grafik zeigt die Ergebnisse einer Regressionsanalyse (Penfield &Camilli,2006)dieser NOVA:ea-Studie.Die Analyse zeigt den Zusammenhang der Prädiktoren Geschlecht, Muttersprache, Sprachkompetenz im Deutschen und im Englischen sowie im Allgemeinen, dem sozioökonomischer Status und der Wiederholung des Moduls mit den abhängigen Variablen der erreichten Gesamtpunktzahl einerseits und Einzelergebnissen für die Aufgaben 1bis 8der Testklausur andererseits. In der Grafik zeigen blaue Kreise einen starken positiven Zusammenhang, türkise Kreise einen schwachen positiven Zusammenhang und lila Kreise einen schwachen negativen Zusammenhang zwischen Prädiktoren und abhängigen Variablen. DIVERSITÄT & ANALYTICS BEITRAG AUS DER FORSCHUNG Wie können Assessment Analytics diversitätsgerechte E-Prüfungen unterstützen? EIN BEISPIEL Regressionsanalyse zu Aufgaben und Diversität 65 Zentrale Ergebnisse Nicht alle getesteten Aufgaben zeigen in der Regressionsanalyse Verbindungen zu persönlichen Merkmalen:die Prüfungsstruktur könnte bereits fair sein, aber einige Aufgaben könnten spezifische Gruppen benachteiligen.Beispielsweise Aufgabe 8 könnte stark textbasiert oder sprachlich komplex sein, da sich Nachteile bei schwächeren Sprachkenntnissen zeigen. Praktische Empfehlungen KI-Systeme können dabei unterstützen datenbasiert diversitätsbedingte Verzerrungen zu erkennen und fehlende demografische Daten supplementieren.Die Hemingway App prüft Texte auf ihre Lesbarkeit und Verständlichkeit.Die Fairness-KI von OpenAI oder Google Perspective API erkennt mögliche geschlechtsspezifische oder kulturelle Verzerrungen. DIVERSITÄT & ANALYTICS BEITRAG AUS DER FORSCHUNG Botschaft Potenzielle Ergebnisverzerrungen können mit Assessment Analytics systematisch aufgedeckt werden und helfen E-Prüfungen zu optimieren. Der Einsatz von Regressionstechniken und multimedialen Anpassungen, wie die Nutzung von Bildern, können dazu beitragen, dass Prüfungsleistungen die tatsächlichen Fähigkeiten Studierender widerspiegeln und nicht durch externe Faktoren wie Sprachbarrieren oder Prüfungsängste verzerrt werden.Viele Learning-Management-Systeme (LMS) wie Moodle und ILIAS bieten bereits einfache Analysefunktionen. Assessment Analytics könnten mir helfen herauszufinden, wo es momentan bei meinen Prüfungsaufgaben noch hakt. Zinke, N., Lenski, S., Brocker, A., Merkt, M., Gropengießer, K., Stürmer, S. & Schröter, H. (2024). Towards Fair and Diversity-Appropriate Eassessments.In Assessment Analytics in Education:Designs, Methods and Solutions (S.373-394). Cham:Springer International Publishing. https://doi.org/10.1007/978-3-031-56365-2_19 OpenAI Hemingway Perspective API Foto: Volker Wiciok Gibt es einen Mythos zu Diversität in Prüfungen, den du gerne aufklären würdest? Was fasziniert dich besonders an Diversität in Prüfungen? Was ist dein zentrales Anliegen für Diversität in Prüfungen? Hinsichtlich Diversität in digitalen Prüfungen fasziniert mich vor allem die Vielschichtigkeit der Merkmale und deren mögliche Auswirkung-en auf Prüfungsleistungen.Mehr noch als die Oberflächendiversität ist die Tiefendiversität interessant, da auch sie viele Auswirkungen auf die Prüfungsleistung Lernender haben kann –dabei sollte es doch eigentlich darum gehen, dass Lernende in einer Prüfung zeigen, was sie wirklich können. Zeigen was du wirklich kannst –darum sollte es in Prüfungen gehen! Ein Mythos ist, dass auf bloße „Befindlichkeiten“ einzelner Lernender geachtet und die eigentliche Aussagekraft einer Prüfung zunichte gemacht würde –das ist aber nicht der Gedanke von Diversitätsgerechtigkeit! Nicht alle Lernenden gehen unter den gleichen Voraussetzungen in eine Prüfung und bei einem „one-size-fits-all“-E-Prüfungsformat werden im Kurs erworbene Kompetenzen gegebenenfalls nicht objektiv gemessen.Bei Diversitätsgerechtigkeit geht es darum, allen Lernenden die Chance zu geben, ihre erworbenen Kompetenzen zu zeigen und die Leistungen möglichst nicht durch Prüfungsbedingungen zu beeinflussen.Ganz im Gegenteil zum Mythos, macht die diversitätsgerechte Gestaltung Prüfungen tatsächlich fairer und aussagekräftiger. Prof. Dr. Hannes Schröter Deutsches Institut für Erwachsenenbildung e.V. & FernUniversität in Hagen 66 DIVERSITÄT & BARRIEREFREIHEIT O-TON AUS FORSCHUNG & PRAXIS Wo siehst du die größten Herausforderungen und die größten Vorteile von Diversität in Prüfungen? Bisher erfordern Prüfungen häufig zusätzliche Kompetenzen, beispielsweise sprachlicher Art, die nicht im Zusammenhang mit dem thematischen Verständnis und den im Kurs vermittelten stehen – ein Problem mangelnder Diversitätsgerechtigkeit. Selbst kleinere Anpassungen des Formats können hier zu faireren Prüfungsbedingungen führen. Diese NOVA:ea-Studie untersucht Barrieren und Lösungen für diversitätsgerechte Optimierungsmöglichkeiten in E-Prüfungen am Beispiel der E-Prüfungssoftware Dynexite.Da nicht einfach davon ausgegangen werden kann, dass Menschen neue Technologien direkt akzeptieren, wurde eine Evaluationsstudie mit Studierenden an der FernUniversität in Hagen durchgeführt, die sich mit der diversitätsgerechten Optimierung der Prüfungssoftware Dynexite befasst –mit dem Ziel, die User Experience (UX) zu verbessern (Gropengießer et al., im Druck).Hierzu wurden zunächst Verbesserungsbedarfe in Anlehnung an die Anforderungen und Bedürfnisse der an der FernUni ansässigen diversen Studierendenschaft ermittelt.Zudem wurden Zusammenhänge zwischen Diversitätsmerkmalen wie Alter, Vorerfahrung, Geschlecht und Behindertenstatus, Prüfungs-und Computerangst mit der Akzeptanz von Dynexite überprüft. 67 USER EXPERIENCE –DYNEXITE BEITRAG AUS DER FORSCHUNG Welche Barrieren begegnen Studierenden in E-Prüfungen? Wo waren Verbesserungen für die E-Prüfungssoftware gewünscht? •Textstrukturierung:Mittels eines implementierten Texteditors können nun Absätze gesetzt werden, was die Lesbarkeit erleichtert (softwarebezogene Systementwicklung). •Übersichtlichkeit:Auswahl geeigneter Aufgabentypen (Aufgabengestaltung durch Lehrende) Welche Rolle spielt die Computerangst? •Für Menschen mit Computerangst spielt die Benutzungsfreundlichkeit des Systems eine kompensierende Rolle. •Für technikaffine Personen spielt die Benutzungsfreundlichkeit hingegen keine signifikante Rolle mehr für ihre Einstellung und Akzeptanz von Dynexite. 68 Fazit Besonders Studierende mit geringen Ressourcen, z. B. mit Computer-oder Prüfungsangst sowie wenig Vorerfahrung, profitieren von einem optimierten und nutzungsfreundlichen Design, das darauf ausgerichtet ist, die UX zu verbessern.Damit unterstützt diese NOVA:ea-Studie bestehende Annahmen zur Technologieakzeptanz und UX (Mlekus et al., 2020)und erweitert diese Perspektive um konkrete Einschätzungen beeinträchtigter Studierender zur Verbesserung der UX. Praktische Empfehlungen Vermeiden von unnötigem Scrollen:Besonders wichtig für Menschen mit Beeinträchtigungen, da so Schwindel und Fokusverluste vorgebeugt werden können. Lösung: z.B. nur eine Aufgabe pro Seite. Vorerfahrungen sammeln:Besonders wichtig, um die Akzeptanz zu erhöhen. Lösung: z.B. über frühzeitig zur Verfügung stehende Testseiten zu Übungszwecken. Best-Practice-Beispiele erstellen:Besonders wichtig,um Lehrende bei der Erstellung von E-Prüfungen zu unterstützen. Lösung: z.B. in Form von Workshops, Handouts, Leitfäden oder Checklisten Gropengießer, K, Zinke, N., Lenski, S., Reich-Stiebert, N., Bayzaei, S. & Stürmer, S. (im Druck). Studie zur Evaluation der Technologieakzeptanz nach Weiterentwicklung der E-Prüfungssoftware Dynexite mit Fokus auf Diversität. In T. Brüggemann, M. Tuchscherer & C. Wiepcke (Hrsg.), The Age of EdTech –Bildungstechnologie im Spannungsfeld zwischen Innovation und Qualität. Springer. USER EXPERIENCE –DYNEXITE BEITRAG AUS DER FORSCHUNG Botschaft •Die gezielte Weiterentwicklung des Systems trägt zur Verbesserung der UX bei. •Vorerfahrung führt tendenziell zu einer Akzeptanzsteigerung von E-Prüfungen. Vertiefende Informationen zu dieser NOVA:ea Studie finden Sie nachfolgend auf der Seite Einblick in die Forschung. Seit ich meinen Studierenden Altfragen zum Üben in der E-Prüfungssoftware freischalte, scheinen sie in der EPrüfung besser mit der Technik zurecht zu kommen. 69 USER EXPERIENCE –DYNEXITE EINBLICK IN DIE FORSCHUNG DIVERSITÄTSGERECHTE OPTIMIERUNG DER USER EXPERIENCE Am Beispiel der E-Prüfungssoftware Dynexite Gropengießer, K, Zinke, N., Lenski, S., Reich-Stiebert, N., Bayzaei, S. & Stürmer, S. (im Druck). Studie zur Evaluation der Technologieakzeptanz nach Weiterentwicklung der E-Prüfungssoftware Dynexite mit Fokus auf Diversität. In T. Brüggemann, M. Tuchscherer & C. Wiepcke (Hrsg.), The Age of EdTech –Bildungstechnologie im Spannungsfeld zwischen Innovation und Qualität. Springer. Hinweis: Nutzen Sie den Vollbildmodus 70 Vergleich von Dynexite und Moodle Diese NOVA:ea-Studie vergleicht die UX in Dynexite und Moodle hinsichtlich bestehender Barrieren im E-Prüfungsbetrieb um Lösungen für eine diversitätsgerechte Optimierung generalisierbar zu machen.Zur Vertiefung des vorangegangenen Befundes wurde der Fokus nun auf andere Arten von Beeinträchtigungen gerichtet, um zu prüfen, ob auch hier ähnliche Barrieren bestehen.Ziel war es, einen systematischen Vergleich von Dynexite und Moodle im Hinblick auf ihre digitale Barrierefreiheit und Akzeptanz vorzunehmen. Welche Rolle spielen Beeinträchtigungen, das Alter und Computerangst? •Menschen mit chronischen Erkrankungen und höherem Alter bewerten die wahrgenommene Barrierefreiheit und Nützlichkeit von Moodle positiver. •Menschen mit einer höheren Anzahl an chronischen Erkrankungen bewerten die wahrgenommene Nützlichkeit von Moodle positiver. •Menschen mit chronischen Erkrankungen und einer höheren Ausprägung an Computerangst zeigen eine positivere Einstellung gegenüber Moodle. SYSTEMVERGLEICH BEITRAG AUS DER FORSCHUNG Welche Barrieren können in verschiedenen E-Prüfungssystemen auftreten? Stichprobe Die Teilnehmenden gehörten zu Gruppen, die aufgrund visueller, körperlich-motorischer oder neurodiverser Beeinträchtigungen sowie durch Unsicherheiten im Umgang mit computergestützten Systemen, mit unterschiedlichen Barrieren bei der Nutzung digitaler Prüfungen konfrontiert sind. Welche Annahme wurden getroffen? Moodle sollte mit höherer Wahrscheinlichkeit akzeptiert werden, da es in ein bereits vertrautes Benutzersystem integriert ist. 71 Fazit aus den NOVA:ea-Studien User Experience und Systemvergleich Nicht nur Menschen mit geringeren Ressourcen, wie z.B. Computer-oder Prüfungsangst sowie wenig Vorerfahrung, profitieren von einem optimierten und nutzungsfreundlichen Design, sondern auch ältere Menschen –insbesondere bei Vorliegen mehrerer chronischer Erkrankungen. Botschaft und praktische Empfehlungen •Forschungsproblematik:Prüfungsplattformunabhängige diversitätsgerechte Aufgabengestaltung Lösung: z.B. Bei der Entwicklung neuer Aufgabenformate durch das Untersuchen von Differential Item Functioning sicherstellen, dass keine unfaire Benachteiligung bestimmter Gruppen auftritt. •Praxisproblematik:Beide E-Prüfungssysteme sind prinzipiell einsetzbar und mit Hinblick auf Diversitätsgerechtigkeit optimierbar.Falls ein neues System keine zusätzlichen Vorteile gegenüber einem bestehenden System bringt: Lösung: z.B. Nutzung eines bereits vertrauten Systems für die Lernenden. SYSTEMVERGLEICH BEITRAG AUS DER FORSCHUNG Weitere Informationen und Links zu Veröffentlichungen (sofern bereits publiziert) Foto: Hardy Welsch M.Sc. Kirsten Gropengießer FernUniversität in Hagen Eine barrierefreie Umgebung wird als nutzungsfreundlich und nützlich wahrgenommen und erhöht somit übergeordnet die User-Experience.Es ist super herausfordernd, allen Bedürfnissen gerecht zu werden, weil es so viele unterschiedliche Aspekte gibt, die beachtet werden müssen.Zum Glück gibt es schon einige Unterstützungstools wie Bildschirmlupen und Screenreader.Man muss es nur orchestrieren.Schön, dass wir in diesem Handbuch die Möglichkeit haben zu informieren und zu unterstützen. Foto: Privat M.Sc. Sohail Bayzaei FernUniversität in Hagen Ich beschäftige mich mit der Frage, wie digitale Prüfungen –vor allem die Aufgabenformulierung – fairer und verständlicher gestaltet werden können. Usability betrifft dabei nicht nur die Technik, sondern auch den sprachlichen Aufbau der Fragen.Sind Aufgaben unklar formuliert, fühlen sich Studierende schnell benachteiligt –unabhängig von ihrer Vorbereitung.Gute Usability reduziert Stress und macht Leistung fairer sichtbar. Konkret zeigte sich das in einer Dynexite-Prüfung, bei der mehrere Freitextfelder ohne klare Zuordnung zu den Teilaufgaben angeordnet waren.Viele wussten nicht, wo welche Antwort hingehört –ein vermeidbares Problem, das den Prüfungserfolg beeinflusst. Die größte Herausforderung besteht für mich darin, Prüfungen so zu gestalten, dass sie auf verschiedenen Geräten, in unterschiedlichen Situationen und für alle Nutzer:innen verständlich und gerecht funktionieren –ohne fachliche Einbußen und mit möglichst wenig Mehraufwand für Lehrende. 72 USABILITY & USER EXPERIENCE O-TON AUS FORSCHUNG & PRAXIS Alruwais, N. (2018). Advantages and challenges of using e-assessment.International Journal of Information and Education Technology, 8, 34– 37. https://doi.org/10.18178/ijiet.2018.8.1.1008 Antoni J. (2020). Disengaged and Nearing Departure: Students at Risk for Dropping Out in the Age of COVID-19. https://scholarshare.temple.edu/handle/20.500.12613/413 Aulck L., Velagapudi N., Blumenstock J. & West J. (2017). Predicting student dropout in higher education. arXiv. http://arxiv.org/abs/1606.06364 Bandtel, M., Baume, M., Brinkmann, E., Bedenlier, S., Budde, J., Eugster, B., Ghoneim, A., Halbherr, T., Persike, M., Rampelt, F., Reinmann, G., Sari, Z. & Schulz, A. (2021). Digitale Prüfungen in der Hochschule: Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz. Berlin. Baume, M. & Muris-Wendt, N. (2024). Die Corona-Pandemie: Zeitenwende oder nur ein kurzes Intermezzo in der Prüfungskultur?. In L. Mrohs, J. Franz, D. Herrmann, K. Lindner, T. Staake (Hrsg.), Digitale Kulturen der Lehre entwickeln: Rahmenbedingungen, Konzepte und Werkzeuge (S. 37-62). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-433796_4 Behr A., Giese M., Herve D., Teguim K. & Theune K. (2020). Early prediction of university dropouts – A random forest approach. The Journal of Economics and Statistics, 240(6), 743–789. https://doi.org/10.1515/jbnst-2019-0006 Benedik E. & Guber, A. (2023). Paradigmenwechsel in der Prüfungskultur: Digitale Medien und innovative Prüfungsformen. #schuleverantworten,3(3), 73– 77. https://doi.org/10.53349/schuleverantworten.2023.i3.a349 Berens J., Schneider K., Gortz S., Oster S. & Burghoff J. (2019). Early detection of students at risk -predicting student dropouts using administrative student data from German universities and machine learning methods. Journal of Educational Data Mining, 11(3), 1–41. https://doi.org/10.5281/zenodo.3594771 Besser, A. & Priel, B. (2010). Grandiose Narcissism Versus Vulnerable Narcissism in Threatening Situations: Emotional Reactions to Achievement Failure and Interpersonal Rejection. Journal of Social and Clinical Psychology, 29(8), 874902. https://doi.org/10.1521/jscp.2010.29.8.874 Boston W. E., Ice P. & Gibson A. M. (2011). Comprehensive assessment of student retention in online learning environments. Online Journal of Distance Learning Administration, 14(1), 1593–1599. Retrieved from https://www.westga.edu/~distance/ojdla/spring141/boston_ice_gibson141.p df Breuer, M., Brocker, A., Persike, M. & Schroeder, U. (2025). Examiner Perspectives on Assessment Analytics as a Foundation for Developing Quality Assurance Tools in Higher Education. In 23. Fachtagung Bildungstechnologien (DELFI 2025) (S. 193-200). Gesellschaft für Informatik e. V. https://doi.org/10.18420/delfi2025_17 79 LITERATURVERZEICHNIS Breuer, M., Persike, M. & Schroeder, U. (2023). Konzeption und Umsetzung synthetischer Datengenerierung für Forschung und Entwicklung in Assessment Analytics. In Workshops der 21. Fachtagung Bildungstechnologien (DELFI) (S. 141-147). Gesellschaft für Informatik e. V. https://doi.org/10.18420/wsdelfi2023-32 Brinckerhoff, L. C. & Banerjee, M. (2007). Misconceptions Regarding Accommodations on High–Stakes Tests: Recommendations for Preparing Disability Documentation for Test Takers with Learning Disabilities. Learning Disabilities Research & Practice, 22(4), 246-255. https://doi.org/10.1111/j.15405826.2007.00253.x Brüggemann, T. & Wiepcke, C. (2023). Der EdTech-Index (ETX): Beurteilungskriterien digitaler Bildungsmaßnahmen am Beispiel der Beruflichen Orientierung. Karlsruher Beiträge zur ökonomischen Bildung 3. https://phka.bszbw.de/frontdoor/index/index/docId/457 Cheng, X. & Liu, Y. (2022). Student Engagement with Teacher Written Feedback: Insights from Low-Proficiency and High-Proficiency L2 Learners. System, 109, 102880. https://doi.org/10.1016/j.system.2022.102880 Cooks, J. A. & Ciesla, J. A. (2019). The Impact of Perfectionism, Performance Feedback, and Stress on Affect and Depressive Symptoms. Personality and Individual Differences, 146, 62-67. https://doi.org/10.1016/j.paid.2019.03.048 Credé M. & Niehorster S. (2012). Adjustment to College as Measured by the Student Adaptation to College Questionnaire: A Quantitative Review of Its Structure and Relationships with Correlates and Consequences. Educational Psychology Review, 24(1), 133–165. https://doi.org/10.1007/s10648-011-9184-5 Deutsches Institut für Erwachsenenbildung (DIE) (2024). Angst, Aufschub und Abbruch / Anxiety, postponement and termination. DIE BRIEF, 2024 (19). http://www.die-bonn.de/id/42173 Dirkx, K. J. H., Skuballa, I., Manastirean-Zijlstra, C. S. & Jarodzka, H. (2021). Designing Computer-Based Tests: Design Guidelines from Multimedia Learning Studied with Eye Tracking. Instructional Science, 49(5), 589-605. https://doi.org/10.1007/s11251-021-09542-9 Dolin, J., Black, P., Harlen, W. & Tiberghien, A. (2018). Exploring Relations Between Formative and Summative Assessment. In J. Dolin, R. Evans (Hrsg.), Transforming assessment: Through an Interplay Between Practice, Research and Policy (S. 53-80). https://doi.org/10.1007/978-3-319-63248-3_3 Enders, N., Gaschler, R. & Kubik, V. (2021). Online Quizzes with Closed Questions in Formal Assessment: How Elaborate Feedback can Promote Learning. Psychology Learning & Teaching,20(1), 91–106. https://doi.org/10.1177/1475725720971205 Eysenck, M. W., Derakshan, N., Santos, R. & Calvo, M. G. (2007). Anxiety and Cognitive Performance: Attentional Control Theory. Emotion, 7(2), 336-353. 80 LITERATURVERZEICHNIS Freise, M. (2025). Digitale Hochschullehre. In:, T. Klenk, F. Nullmeier, G. Wewer (Hrsg.) Handbuch Digitalisierung in Staat und Verwaltung. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-37373-3_82 Froehlich, L., Sassenberg, K., Jonkmann, K., Scheiter, K. & Stürmer, S. (2023). Student Diversity and E-Exam Acceptance in Higher Education. Journal of Computer Assisted Learning, 39(4), 1196-1210. https://doi.org/10.1111/jcal.12794 Fyfe, E. R. & Rittle-Johnson, B. (2016). Feedback Both Helps and Hinders Learning: The Causal Role of Prior Knowledge. Journal of Educational Psychology,108(1), 82-97. Gewin, V. (2014). Diversity: Equal Access. Nature, 511, 499–500. https://doi.org/10.1038/nj7510-499a Gillmor, S. C., Poggio, J. & Embretson, S. (2015). Effects of Reducing the Cognitive Load of Mathematics Test Items on Student Performance. Numeracy, 8(1), 4. http://dx.doi.org/10.5038/1936-4660.8.1.4 Gropengießer, K, Zinke, N., Lenski, S., Reich-Stiebert, N., Bayzaei, S. & Stürmer, S. (im Druck). Studie zur Evaluation der Technologieakzeptanz nach Weiterentwicklung der E-Prüfungssoftware Dynexite mit Fokus auf Diversität. In T. Brüggemann, M. Tuchscherer & C. Wiepcke (Hrsg.), The Age of EdTech – Bildungstechnologie im Spannungsfeld zwischen Innovation und Qualität. Springer. Hansen, J., Rensing, C., Herrmann, O. & Drachsler, H. (2020). Verhaltenskodex für Trusted Learning Analytics. Version 1.0. Entwurf für die hessischen Hochschulen. Innovationsforum Trusted Learning Analytics 2020. https://doi.org/10.25657/02:18903 Hao, Y. (2010). Does Multimedia Help Students Answer Test Items?. Computers in Human Behavior,26(5), 1149-1157. https://doi.org/10.1016/j.chb.2010.03.021 Hattie, J. & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. https://doi.org/10.3102/003465430298487 Hong Y. Z., Rani M. N. A., Radzuan N. F. M., Yen L. H. & Nagalingam S. (2024). An Early Warning System for Students at Risk Using Supervised Machine Learning. Journal of Engineering Science and Technology, 19(1), 131–139. Hu, L., Chen, G., Li, P. & Huang, J. (2021). Multimedia Effect in Problem Solving: A Meta-Analysis. Educational Psychology Review, 33, 1717-1747. https://doi.org/10.1007/s10648-021-09610-z Ifenthaler, D. (2020). Learning Analytics im Hochschulkontext –Potenziale aus Sicht von Stakeholdern, Datenschutz und Handlungsempfehlungen. In: Fürst, R.A. (Hrsg.) Digitale Bildung und Künstliche Intelligenz in Deutschland. AKAD University Edition. Springer, Wiesbaden. https://doi.org/10.1007/978-3-65830525-3_22 81 LITERATURVERZEICHNIS Imus, A., Schmitt, N., Kim, B., Oswald, F. L., Merritt, S. & Wrestring, A. F. (2011). Differential Item Functioning in Biodata: Opportunity Access as an Explanation of Genderand Race-Related DIF. Applied Measurement in Education, 24(1), 71–94. https://doi.org/10.1080/08957347.2011.532412 Jansen, A. E. &Searle, B.J. (2021), Diverse Effects of Team Diversity: a Review and Framework of Surface and Deep-Level Diversity.Personnel Review, 50(9), 1838-1853. https://doi.org/10.1108/PR-12-2019-0664 Jarodzka, H., Janssen, N., Kirschner, P.A. & Erkens, G. (2015). Avoiding Split Attention in Computer-Based Testing. British Journal of Educational Technology, 46, 803817. https://doi.org/10.1111/bjet.12174 Johnson, C. I. & Priest, H. A. (2014). The Feedback Principle in Multimedia Learning. In R. E. Mayer (Hrsg.), The Cambridge Handbook of Multimedia Learning (2te Aufl., S. 449–463). Cambridge University Press. https://doi.org/10.1017/CBO9781139547369.023 Karami, H. & Mok, M. M. C. (2016). Introduction: Fairness issues in educational assessment. In H. Karami (Hrsg.), Fairness Issues in Educational Assessment. Routledge. Kirschner, P. A., Sweller, J., Kirschner, F. & Zambrano R, J. (2018). From Cognitive Load Theory to Collaborative Cognitive Load Theory. International Journal of Computer-Supported Collaborative Learning,13, 213-233. https://doi.org/10.1007/s11412-018-9277-y Kuklick, L. & Lindner, M. A. (2023). Affective-Motivational Effects of Performance Feedback in Computer-Based Assessment: Does Error Message Complexity Matter?. Contemporary Educational Psychology,73, 102146. https://doi.org/10.1016/j.cedpsych.2022.102146 Kuklick, L. & Lindner, M. A. (2021). Computer-Based Knowledge of Results Feedback in Different Delivery Modes: Effects on ´Performance, Motivation, and Achievement Emotions.Contemporary Educational Psychology,67, 102001. https://doi.org/10.1016/j.cedpsych.2021.102001 Kunnan, A. J. (2010). Test Fairness and Toulmin’s Argument Structure. Language Testing, 27(2), 183-189. https://doi.org/10.1177/0265532209349468 Kunnan, A. J. (2004). Test Fairness. European Language Testing in a Global Context, 18, 27–48. Ladonlahti, T., Laamanen, M. & Uotinen, S. (2020). Ensuring Diverse User Experiences and Accessibility While Developing the TeSLA E-Assessment System. In D. Baneres, M. Rodríguez, A. Guerrero-Roldán (Hrsg.), Engineering Data-Driven Adaptive Trust-Based E-Assessment Systems: Challenges and Infrastructure Solutions, 34, 213-238. https://doi.org/10.1007/978-3-030-29326-0_10 Lauring, J. & Selmer, J. (2010). Is University Internationalization Bad for Performance? Examining Two Different Types of Diversity.International Journal of Educational Research, 49(4), 161–171 https://doi.org/10.1016/j.ijer.2011.02.002 82 LITERATURVERZEICHNIS Lenski, S., Zinke, N., Merkt, M., Reich-Stiebert, N., Stürmer, S. & Schröter, H. (2024). Early Indicators of Study Delay and Dropout:Test Anxiety and its Link to Exam Participation and Performance. Journal of College Student Retention: Research, Theory & Practice. https://doi.org/10.1177/15210251241266547 Lenzner, A., Schnotz, W. & Müller, A. (2013). The Role of Decorative Pictures in Learning. Instructional Science, 41(5), 811–831. https://doi.org/10.1007/s11251-012-9256-z Lindner, M. A. (2020). Representational and Decorative Pictures in Science and Mathematics Tests: Do They Make a Difference?. Learning and Instruction,68, 101345. https://doi.org/10.1016/j.learninstruc.2020.101345 Lindner, M. A., Eitel, A., Barenthien, J. & Köller, O. (2021). An Integrative Study on Learning and Testing with Multimedia: Effects on Students’ Performance and Metacognition.Learning and Instruction,71, 101100. https://doi.org/10.1016/j.learninstruc.2018.01.002 Lindner, M. A., Ihme, J. M., Saß, S. & Köller, O. (2016). How Representational Pictures Enhance Students’ Performance and Test-Taking Pleasure in Low-Stakes Assessment. European Journal of Psychological Assessment. https://doi.org/10.1027/1015-5759/a000351 Malespina, A. & Singh, C. (2022). Gender Differences in Test Anxiety and Self-Efficacy: Why Instructors Should Emphasize Low-Stakes Formative Assessments in Physics Courses. European Journal of Physics,43(3), 035701. https://doi.org/10.1088/1361-6404/ac51b1 Mather, N. & Abu-Hamour, B. (2013). Individual Assessment of Academic Achievement. In K. F. Geisinger, B. A. Bracken, J. F. Carlson, J.-I. C. Hansen, N. R. Kuncel, S. P. Reise & M. C. Rodriguez (Hrsg.), APA Handbook of Testing and Assessment in Psychology, Vol. 3: Testing and Assessment in School Psychology and Education (S. 101–128). American Psychological Association. https://doi.org/10.1037/14049-005 Mayer, R. E. (2014). Introduction to Multimedia Learning. In R. E. Mayer (Hrsg.), The Cambridge Handbook of Multimedia Learning (2te Aufl., S. 1–24). Cambridge University Press. https://doi.org/10.1017/CBO9781139547369.002 Mertens, U., Finn, B. & Lindner, M. A. (2022). Effects of Computer-Based Feedback on Lower-and Higher-Order Learning Outcomes: A Network Meta-Analysis. Journal of Educational Psychology, 114(8), 1743–1772. https://doi.org/10.1037/edu0000764 Mikheeva, M., Schneider, S., Beege, M. & Rey, G. D. (2021). The Influence of Affective Decorative Pictures on Learning Statistics Online. Human Behavior and Emerging Technologies, 3(3), 401–412. https://doi.org/10.1002/hbe2.250 Mislevy, R. J., Haertel, G., Cheng, B. H., Ructtinger, L., DeBarger, A., Murray, E., Rose, D., Gravel, J., Colker A. M., Rutstein, D. & Vendlinski, T. (2013). A “conditional” sense of fairness in assessment. Educational Research and Evaluation, 19(2–3), 121–140. https://doi.org/10.1080/13803611.2013.767614 83 LITERATURVERZEICHNIS Mlekus, L., Bentler, D., Paruzel, A., Kato-Beiderwieden, A. L. & Maier, G. W. (2020). How to Raise Technology Acceptance: User Experience Characteristics as Technology-Inherent Determinants. Gruppe. Interaktion. Organisation, 51(3), 273-283. https://doi.org/10.1007/s11612-020-00529-7 Moreno, R. & Mayer, R. (2007). Interactive Multimodal Learning Environments: Special Issue on Interactive Learning Environments: Contemporary Issues and Trends. Educational Psychology Review, 19, 309-326. https://doi.org/10.1007/s10648-007-9047-2 Morgan, A. (2013). Factors Influencing Student Use of Online Homework Management Systems. Recognizing Excellence in Business Education, 98, 98– 112. Narciss, S. (2004). The Impact of Informative Tutoring Feedback and Self-Efficacy on Motivation and Achievement in Concept Learning. Experimental Psychology, 51(3), 214–228. https://doi.org/10.1027/1618-3169.51.3.214 Niehues, N., Fischer, E. & Jeremias, C. (2018). Prüfungsrecht (7. Aufl.). München: C. H. Beck. OECD. (2018). Equity in Education: Breaking Down Barriers to Social Mobility. Organisation for Economic Cooperation and Development. https://doi.org/10.1787/9789264073234-en Pashler, H., McDaniel, M., Rohrer, D. & Bjork, R. (2009). Learning Styles: Concepts and Evidence: Concepts and Evidence. Psychological Science in the Public Interest, 9(3), 105-119. https://doi.org/10.1111/j.1539-6053.2009.01038.x Pekrun, R. (2011). Emotions as Drivers of Learning and Cognitive Development. In R. Calvo, S. D’Mello (Hrsg.), New Perspectives on Affect and Learning Technologies (S. 23-39). New York, NY: Springer New York. https://doi.org/10.1007/978-1-4419-9625-1_3 Pekrun, R., Goetz, T., Titz, W. & Perry, R. P. (2002). Academic Emotions in Students’ Self-Regulated Learning and Achievement: A Program of Qualitative and Quantitative Research. Educational Psychologist, 37(2), 91-105. https://doi.org/10.1207/S15326985EP3702_4 Pellegrino, J. (2005). The Challenge of Knowing What Students Know. Measurement: Interdisciplinary Research and Perspectives, 1(2), 7–11. Penfield, R. D. & Camilli, G. (2006). Differential Item Functioning and Item Bias. In C. R. Rao, S. Sinharay (Hrsg.), Handbook of Statistics (Aufl. 26, S. 125–167). Elsevier. https://doi.org/10.1016/S0169-7161(06)26005-X Pengelley, J., Whipp, P. R. & Malpique, A. (2024). A Testing Load: A Review of Cognitive Load in Computer and Paper-Based Learning and Assessment. Technology, Pedagogy and Education, 34(1), 1–17. https://doi.org/10.1080/1475939X.2024.2367517 Persike, M. (2021). Digitales Prüfen. In Neiske, I., Osthushenrich, J., Schaper, N., Trier, U. Vöing, N. (Hrsg.), Hochschule auf Abstand. Ein multiperspektivischer Zugang zur digitalen Lehre. Bielefeld: Transkript. 84 LITERATURVERZEICHNIS Persike, M., Halbherr, T. & Rampelt, F. (2021). 2.3 Zentrale Begriffe. In M. Bandtel, M. Baume, E. Brinkmann, S. Bedenlier, J. Budde, B. Eugster, A. Ghoneim, T. Halbherr, M. Persike, F. Rampelt, G. Reinmann, Z. Sari, A. Schulz (Hrsg.) Digitale Prüfungen in der Hochschule: Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz (S. 24-29). Berlin. Pires L. (2023). Opportunity Costs, COVID-19, and Early Dropout Rate. In J. Sainz, I. Sanz (Hrsg.), Addressing Inequities in Modern Educational Assessment: Bridging the Gap (S. 103–126). Springer International Publishing. https://doi.org/10.1007/978-3-031-45802-6_7 Reinmann, G. (2021). 2.1 Prüfungstypen, -szenarien, -formate und -formen. In M. Bandtel, M. Baume, E. Brinkmann, S. Bedenlier, J. Budde, B. Eugster, A. Ghoneim, T. Halbherr, M. Persike, F. Rampelt, G. Reinmann, Z. Sari, A. Schulz (Hrsg.), Digitale Prüfungen in der Hochschule: Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz (S. 14-17). Berlin. Respondek L., Seufert T., Stupnisky R., Nett U. E. (2017). Perceived Academic Control and Academic Emotions Predict Undergraduate University Student Success: Examining Effects on Dropout Intention and Achievement. Frontiers in Psychology, 8(243), 1–18. https://doi.org/10.3389/fpsyg.2017.00243 Richards, A., French, C. C., Keogh, E. & Carter, C. (2000). Test-Anxiety, Inferential Reasoning and Working Memory Load. Anxiety, Stress & Coping,13(1), 87– 109. https://doi.org/10.1080/10615800008248335 Roos, A. L., Goetz, T., Krannich, M., Jarrell, A., Donker, M. & Mainhard, T. (2020). Test Anxiety Components: An Intra-Individual Approach Testing Their Control Antecedents and Effects on Performance. Anxiety, Stress & Coping,34(3), 279– 298. https://doi.org/10.1080/10615806.2020.1850700 Sackett, P. R., Kuncel, N. R., Arneson, J. J., Cooper, S. R. & Waters, S. D. (2009). Does Socioeconomic Status Explain the Relationship Between Admissions Tests and Post-Secondary Academic Performance? Psychological Bulletin, 135(1), 1–22. https://doi.org/10.1037/a0013978 Schaefer A., Matthess H., Pfitzer G. & Köhle K. (2007). Seelische Gesundheit und Studienerfolg von Studierenden der Medizin mit hoher und niedriger Prüfungsängstlichkeit. Psychotherapie Psychosomatik Medizinische Psychologie, 57(7), 289–297. Scheffel, M., Simis, C., Leschke, J., Borgards, L. & Salden, P. (2024). Learning AnalyticsPolicys im Hochschulkontext. In Salden P., Laschke, P. (Hrsg.), Learning Analytics und Künstliche Intelligenz in Studium und Lehre: Erfahrungen und Schlussfolgerungen aus einer hochschulweiten Erprobung (S. 169-185). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3658-42993-5_10 Scheidig, F. & Schweinberger, K. (2022). Assessment Analytics –Daten Digitaler Prüfungen Auswerten. In B. Berendt, A. Fleischmann, G. Salmhofer, N. Schaper, B. Szczyrba, M. Wiemer, J. Wildt (Hrsg.), Neues Handbuch Hochschullehre. Ergänzungsband Nr. 108 (H 3.9). Berlin: DUZ. 85 LITERATURVERZEICHNIS Schneider, S., Nebel, S., Beege, M. & Rey, G. D. (2020). The Retrieval-Enhancing Effects of Decorative Pictures as Memory Cues in Multimedia Learning Videos and Subsequent Performance Tests. Journal of Educational Psychology, 112(6), 1111–1127. https://doi.org/10.1037/edu0000432 Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78(1), 153-189. https://doi.org/10.3102/0034654307313795 Sundararajan, N. & Adesope, O. (2020). Keep it Coherent: A Meta-Analysis of the Seductive Details Effect. Educational Psychology Review, 32(3), 707-734. https://doi.org/10.1007/s10648-020-09522-4 Sung, E. & Mayer, R. E. (2012). When Graphics Improve Liking But Not Learning from Online Lessons. Computers in Human Behavior, 28(5), 1618-1625. https://doi.org/10.1016/j.chb.2012.03.026 Sweller, J. (2011). Cognitive Load Theory. In J. P. Mestre & B. H. Ross (Hrsg.), The Psychology of Learning and Motivation: Cognition in Education (Vol. 55, S. 37– 76). Elsevier Academic Press. https://doi.org/10.1016/B978-0-12-3876911.00002-8 Sweller, J. (1988). Cognitive Load During Problem Solving: Effects on Learning. Cognitive Science,12(2), 257-285. https://doi.org/10.1016/03640213(88)90023-7 Sweller, J., Van Merriënboer, J. J. & Paas, F. (2019). Cognitive Architecture and Instructional Design: 20 Years Later. Educational Psychology Review,31(2), 261-292. https://doi.org/10.1007/s10648-019-09465-5 Tinto V. (2006). Research and Practice of Student Retention: What Next? Journal of College Student Retention: Research, Theory & Practice, 8(1), 1–19. https://doi.org/10.2190/4YNU-4TMB-22DJ-AN4W Tsai, Y. S., Moreno-Marcos, P. M., Tammets, K., Kollom, K. & Gašević, D. (2018, March). SHEILA Policy Framework: Informing Institutional Strategies and Policy Processes of Learning Analytics. In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (S. 320-329). https://doi.org/10.1145/3170358.3170367 Venkatesh, V., Morris, M. G., Davis, G. B. & Davis, F. D. (2003). User Acceptance of Information Technology: Toward a Unified View. MIS Quarterly, 425-478. https://doi.org/10.2307/30036540 Von der Embse, N., Jester, D., Roy, D. & Post, J. (2018). Test Anxiety Effects, Predictors, and Correlates: A 30-Year Meta-Analytic Review. Journal of Affective Disorders,227, 483-493. https://doi.org/10.1016/j.jad.2017.11.048 Wehrhahn, F., Gaschler, R. & Zhao, F. (2025). Students’ Adaption of Progression Following Quiz Feedback Predicts Exam Success. Technology, Knowledge and Learning, 1-21. https://doi.org/10.1007/s10758-025-09888-w Whitelock-Wainwright, A., Gašević, D., Tejeiro, R., Tsai, Y. S. & Bennett, K. (2019). The Student Expectations of Learning Analytics Questionnaire. Journal of Computer Assisted Learning, 35(5), 633-666. https://doi.org/10.1111/jcal.12366 86 LITERATURVERZEICHNIS Yıldız, G., Şahin, F., Doğan, E. & Okur, M. R. (2022). Influential Factors on E‐Learning Adoption of University Students With Disability: Effects of Type of Disability. British Journal of Educational Technology, 53(6), 2029-2049. https://doi.org/10.1111/bjet.13235 Zeidner M. (1998). Test anxiety: The state of the art. Springer Science & Business Media. Zinke, N., Lenski, S., Brocker, A., Merkt, M., Gropengießer, K., Stürmer, S. & Schröter, H. (2024). Towards Fair and Diversity-Appropriate E-assessments. In Assessment Analytics in Education: Designs, Methods and Solutions (S. 373394). Cham: Springer International Publishing. https://doi.org/10.1007/978-3031-56365-2_19 87 LITERATURVERZEICHNIS B •Best-Practice –Beispiele für gute, bzw. die besten Handlungsoptionen zu einem bestimmten Thema C •Coping-Strategien –Bewältigungsstrategien zum Umgang mit Ängsten, Traumata oder Einschränkungen D •Didaktik –die Wissenschaft des Lehrens und Lernens; beschreibt Prinzipien fürs Unterrichten •Digitalisierung –Digitalisierung beschreibt die Verlagerung von Bereichen des menschlichen Lebens ins digitale E •Ethnische & kulturelle Herkunft / Ethnie –eine Gruppe die durch Herkunft, Sprache, Kultur, u. a. verbunden ist •Evaluationsstudie –eine Studie die die Effektivität einer (Bildungs-) Maßnahme oder eines Programms misst F •Foren –Foren bezeichnen eine digitale Kommunikationsplattform in der z. B. Studierende Fragen stellen können, die entweder von ihren Peers oder der Lehrperson beantwortet werden. G •GUI –Grafische Nutzungsoberfläche in Computerprogrammen und Applikationen I •Inklusion –Inklusion bedeutet, dass alle Menschen gleichberechtigt am gesellschaftlichen Leben (z. B. an Bildungseinrichtungen) teilnehmen können, unabhängig von Herkunft, Behinderung, Geschlecht oder anderen Merkmalen. •Innovationscluster –Forschungsgruppen mit anwendungsorientiertem Themenbezug K •KI –künstliche Intelligenz •Kognitive Fähigkeiten –geistige Fähigkeiten; ermöglichen es Signale aus der Umgebung wahrzunehmen/zu verarbeiten •Kompetenzorientierte Lehre –Lehre mit Fokus auf Wissenserwerb, Handlungsund Reflexionsfähigkeit L •Learning Management Systems/LMS –eine digitale Umgebung zur Organisation und Gestaltung von Lehre/ Prüfungen •Lernräume/Moodle Lernraum –ein (digitaler) Lernraum bezeichnet eine WebsiteUmgebung mit Lernmaterial GLOSSAR 88