Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions in der Lehre?

Schlimbach, Ricarda; Khosrawi-Rad, Bijan; Robra-Bissantz, Susanne Article — Published Version Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions in der Lehre? HMD Praxis der Wirtschaftsinformatik Provided in Cooperation with: Springer Nature Suggested Citation: Schlimbach, Ricarda; Khosrawi-Rad, Bijan; Robra-Bissantz, Susanne (2022) : Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions in der Lehre?, HMD Praxis der Wirtschaftsinformatik, ISSN 2198-2775, Springer Fachmedien Wiesbaden GmbH, Wiesbaden, Vol. 59, Iss. 2, pp. 619-632, https://doi.org/10.1365/s40702-022-00846-z This Version is available at: https://hdl.handle.net/10419/312318 Standard-Nutzungsbedingungen: Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden. Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen. Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Terms of use: Documents in EconStor may be saved and copied for your personal and scholarly purposes. You are not to copy documents for public or commercial purposes, to exhibit the documents publicly, to make them publicly available on the internet, or to distribute or otherwise use the documents in public. If the documents have been made available under an Open Content Licence (especially Creative Commons Licences), you may exercise further usage rights as specified in the indicated licence. https://creativecommons.org/licenses/by/4.0/ SCHWERPUNKT https://doi.org/10.1365/s40702-022-00846-z HMD (2022) 59:619–632 Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions in der Lehre? Ricarda Schlimbach · Bijan Khosrawi-Rad · Susanne Robra-Bissantz Eingegangen: 1. Oktober 2021 / Angenommen: 3. Februar 2022 / Online publiziert: 2. März 2022 © Der/die Autor(en) 2022 Zusammenfassung Begünstigt durch die wachsende Relevanz digitaler Unterstützungsangebote für das Lehren und Lernen, bspw. in Schulen und Universitäten, gewinnt der Forschungszweig der Conversational Agents im Bildungskontext an Bedeutung. Sogenannte Lern-Companions, also virtuelle Lern-Gefährten, bieten das Potenzial einer nutzeradaptiven sowie örtlich und zeitlich flexiblen Lernbegleitung. Da mit der Anwendung derart neuartiger Zukunftstechnologien ein hohes ethisches Verantwortungsbewusstsein einhergeht, diskutiert dieser Beitrag Chancen und Herausforderungen durch den Einsatz von Lern-Companions aus ethischer Perspektive. Basierend auf einer qualitativen Studie mit sechs Experten sowie der Diskussion der gewonnenen Erkenntnisse mit bestehender Literatur zeigt dieser Artikel sieben praktische Handlungsempfehlungen zur Gestaltung virtueller Lern-Companions aus einem ethischen Blickwinkel auf und adressiert dabei unter anderem den Umgang mit Ethik-Guidelines, aktive Nutzereinbindung und Bildungsgerechtigkeit. Schlüsselwörter Lern-Companion · Ethik · Ethische Gestaltung · Guidelines · Conversational Agents Ricarda Schlimbach () · Bijan Khosrawi-Rad · Susanne Robra-Bissantz Institut für Wirtschaftsinformatik, Lehrstuhl für Informationsmanagement, Technische Universität Braunschweig, Braunschweig, Deutschland E-Mail: [email protected] Bijan Khosrawi-Rad E-Mail: b.[email protected] Susanne Robra-Bissantz E-Mail: s.robra-biss[email protected] K 620 R. Schlimbach et al. Quo Vadis: Towards Ethical Guidelines for the Use of AI-based Learning Companions in Teaching? Abstract The growing relevance of digital support services for teaching and learning, e.g., in schools and universities, has led to an increase in the importance of Conversational Agents in educational contexts. So-called Learning Companions offer the potential of user-adaptive learning support that is flexible in terms of location and time. Since the application of such novel future technologies is accompanied by a strong sense of ethical responsibility, this paper discusses opportunities and challenges posed by the use of Learning Companions from an ethical perspective. Based on a qualitative study with six experts and the discussion of the findings with existing literature, this article presents seven practical recommendations for the design of virtual learning companions from an ethical perspective and addresses, among other aspects, the handling of ethical guidelines, active user involvement, and educational equity. Keywords Learning companion · Ethics · Ethical design · Guidelines · Conversational agents 1 Einleitung Im Lernalltag müssen Studierende, Schüler1und Berufstätige vielfältige Hindernisse überwinden und lösen, sei es die Orientierung auf dem (Online-) Campus, die Lernorganisation oder Herausforderungen in puncto Motivation und Zeitmanagement. Oft mangelt es an individueller Begleitung, was sich insb. an Universitäten zeigt, da die Anzahl von Lehrenden und Lernenden in einem unausgeglichenen Verhältnis steht (Winkler et al. 2019). Neben diesem Mangel an Unterstützungsleistungen ist auffällig, dass viele Bildungseinrichtungen das Potenzial der Nutzung digitaler Technologien noch nicht ausreichend ausgeschöpft haben, was nicht zuletzt in der Corona-Pandemie deutlich geworden ist. Pedagogical Conversational Agents (PCAs) stellen eine digitale Hilfestellung für Lernende dar und bilden eine kontextspezifische Untergruppe der Conversational Agents (CAs). Sie zeichnen sich dadurch aus, dass sie dialogbasiert (als Chatbots oder sprachbasiert ähnlich Siri oder Alexa) mit dem Nutzer kommunizieren, den Lernenden begleiten, und durch die Simulation menschlicher Sprache sowie oft auch ergänzt um einen Avatar, menschenähnliches Verhalten zeigen (Winkler et al. 2019; Wellnhammer et al. 2020; Bendel 2021). Sie bieten den Vorteil, leicht skalierbar, ortsunabhängig und (zeitlich) dauerhaft verfügbar zu sein. Daraus ergibt sich die Chance, gefördert durch den Einsatz von Künstlicher Intelligenz (KI), individualisiert auf die Lernenden einzugehen (Hobert und Meyer von Wolff 2019). Erste Entwicklungen von PCAs begannen bereits in den 1980-er sowie 90-er Jahren (Bendel 2003), wobei das Themengebiet in den letzten Jahren zunehmende Aufmerksamkeit erlangt, wie die steigende Zahl 1Zugunsten der Lesbarkeit verwenden wir im gesamten Beitrag das generische Maskulinum und weisen ausdrücklich darauf hin, dass stets alle Geschlechter gemeint sind. K Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions... 621 an Veröffentlichungen zeigt (Hobert und Meyer von Wolff 2019; Karrenbauer et al. 2021). Eine besondere Form der PCAs sind Lern-Companions (LCs), welche in ihrer Funktion als Gefährten eine enge soziale Bindung, ähnlich einer freundschaftlichen Beziehung, zu dem Lernenden aufbauen (Bendel 2003,2021). Diese zeichnet sich dadurch aus, dass der Companion die individuellen Bedürfnisse des Nutzers adressiert und hilfsbereit agiert (Rawlins 2017; Strohmann 2021). LCs besitzen zudem das Potenzial, mittels Verfahren der KI sowie des Machine Learnings intelligent, proaktiv und adaptiert an den Nutzer zu kommunizieren, sowie sich Lernstände und -fortschritte zu merken, (Bendel 2003,2021; Kim et al. 2006). Die Nutzung und gezielte Analyse von Daten spielt dabei eine große Rolle, um die Bedürfnisse der Nutzer individuell zu erfassen und auf deren Wünsche einzugehen (Stucki et al. 2020; Strohmann 2021). Während frühere Ansätze von CAs sehr eingeschränkte Funktionalitäten und ein mangelndes Sprachverständnis aufwiesen, entwickelte sich das Themenfeld in den letzten Jahren stark weiter, sodass durch neuartige Technologien (z.B. neuronale Netze) menschliche Sprache weitaus besser interpretiert werden kann (Stucki et al. 2020). Für die Ermöglichung solch intelligenter Services werden vielfältige Nutzerdaten einbezogen, zum einen um den Dialog auf der Basis von Trainingsdaten menschenähnlicher zu gestalten, zum anderen um auf Basis von Informationen über den Lernprozess des Nutzers individuelle Hilfestellungen anbieten zu können, bspw. durch Anwendung von Machine-Learning-Algorithmen (Gubareva und Lopes 2020). In Forschung und Praxis gewinnt ein ethisch reflektierter Umgang mit KI sowie die Analyse von Nutzerdaten an Bedeutung (Bendel 2021), wie sich u.a. an vermehrten Tracks auf wissenschaftlichen Konferenzen oder der wachsenden Zahl an Ethik-Richtlinien erkennen lässt (Enquete-Kommission Künstliche Intelligenz 2020). Allerdings sind ethische Aspekte bei der Konzeption sowie Gestaltung von CAs bislang zweitrangig oder sogar unberücksichtigt geblieben (Ruane et al. 2019). Nur vereinzelte Wissenschaftler adressieren explizit Aspekte wie die Datensammlung, Verantwortung und Haftung, das Ersetzen von Lehrkräften oder Inklusion durch PCAs aus einem ethischen Blickwinkel (Bendel 2021; Wambsganss et al. 2021). Es mangelt daher an richtungsweisenden Empfehlungen für die praktische Ausgestaltung. Um die genannten Potenziale von LCs für den Einsatz in realen Lehrund Lernszenarien auszuschöpfen, ist ein praxisorientierter ethischer Orientierungsrahmen allerdings unverzichtbar, um z.B. diskriminierende oder unfaire Entscheidungen durch KI-Algorithmen zu vermeiden (Casas-Roma und Conesa 2021). Aufgrund der rasanten technologischen Entwicklung von KI-Systemen sowie ihrer zunehmend erlangten Autonomie, besteht der Bedarf, sich frühzeitig – im Sinne der Proaktivität – mit ethischen Aspekten in Hinblick auf den Einsatz von KI zu befassen, sowohl aus Sicht der Gesellschaft als auch aus Perspektive der Forschung und Praxis. Ethik ist „eine philosophische Disziplin, die die Moral untersucht, hinterfragt und begründet“ (Bendel 2021, S. 154). In diesem Beitrag steht die Informationsethik im Vordergrund, welche sich u.a. mit KI-Systemen und der ethischen Sicht auf Datenverarbeitung und Algorithmen befasst (Bendel 2021), da für den Einsatz von LCs die intelligente Datenverarbeitung essenziell ist. Dass die Auseinandersetzung mit KI aus ethischer Sicht relevant ist, zeigt sich nicht nur auf nationaler Ebene durch die Einrichtung einer Enquete-Kommission im Bundestag zur Verabschiedung K 622 R. Schlimbach et al. eines Orientierungsrahmens zum verantwortungsvollen Umgang mit KI (EnqueteKommission Künstliche Intelligenz 2020), sondern auch die EU hat sich bereits im Rahmen der „Ethik-Leitlinien für eine vertrauensvolle künstliche Intelligenz“ (Hochrangige Expertengruppe für künstliche Intelligenz 2019) mit der Thematik befasst und Guidelines für den Einsatz von KI formuliert. Diese Leitlinien sind an dem Grundrecht nach Privatsphäre sowie am Diskriminierungsverbot ausgerichtet, welchen im Zuge der Zunahme an gespeicherten sowie verarbeiteten personenbezogenen Daten im Digitalzeitalter eine besondere Bedeutung zukommt. Zentral ist hier die Sicherstellung der Vertrauenswürdigkeit, so soll KI z.B. auf den Menschen ausgerichtet sein, diesem keinen Schaden zufügen, im guten Sinne handeln und auf den Grundsätzen von Autonomie und Gerechtigkeit basieren. Diese Grundätze bieten zwar ein Rahmenwerk, es mangelt allerdings an Substanz und Detailtiefe, insb. in Hinblick darauf, was unter dem „Handeln im guten Sinne“ oder der „Vermeidung von Schaden“ zu verstehen ist. Folglich besitzen die bestehenden Ethik-Leitlinien eine mangelnde Übertragbarkeit auf den Einsatz von KI in der Praxis (Luchterhandt 2021). Ziel des Beitrags ist daher, LCs aus ethischer Perspektive zu betrachten und Orientierung für ihre Entwicklung und Integration im Praxisalltag zu generieren. Dies erfolgt durch Interviews mit Experten aus Forschung sowie Praxis, deren reflektierte Ergebnisse zu Handlungsempfehlungen für die Gestaltung von LCs zu Lehrund Lernzwecken führen. Der Artikel ist wie folgt gegliedert: Im folgenden Kap. 2 wird das methodische Vorgehen des Beitrags dargestellt, woraufhin in Kap. 3 die wesentlichen Ergebnisse in Hinblick auf Herausforderungen und Chancen von LCs aus ethischer Sicht sowie die daraus abgeleiteten Handlungsempfehlungen als Implikationen für die Praxis dargelegt werden. Abschließend werden die gewonnenen Erkenntnisse zusammengefasst und kritisch reflektiert (Kap. 4). 2 Methodisches Vorgehen Mit dem Ziel, vielfältige Perspektiven für den Einsatz von LCs in der Lehre aufzeigen zu können, wurden in den Kalenderwochen 33–35 im Jahr 2021 Interviews mit sechs per E-Mail akquirierten, deutschsprachigen Experten aus Forschung und/ oder Praxis geführt (vgl. Tab. 1). Bei der interdisziplinären Auswahl der Experten wurde auf fachliche Expertise (Ethik, CAs, Analyse der Lerndaten), Funktionsexpertise (z.B. Promotion oder Professur im Fachbereich, Bundestagsreferent), demographische Diversität (Alter, Geschlecht, Wohnort) und auf den Einbezug von Perspektiven aus Forschung und Praxis geachtet (vgl. Tab. 1). Infolgedessen konnten trotz der geringen Stichprobengröße (n= 6) facettenreiche Expertenmeinungen generiert werden (Brüsemeister 2008). Als Orientierungsrahmen für den Interviewverlauf wurde vorab ein Interviewleitfaden erstellt, welcher für alle Befragungen in einer standardisierten Form verwendet wurde. Dieser Leitfaden beinhaltet größtenteils offene Fragen, welche sich auf die Chancen sowie Herausforderungen des Einsatzes von LCs aus ethischer Sicht, notwendige Kontrollinstanzen für den vertrauensvollen Umgang mit KI in der Lehre sowie abzuleitenden Gestaltungsempfehlungen und -richtlinien beziehen. Ein besonderer Fokus wurde auf die Erfragung K Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions... 623 Tab. 1 Übersicht über die befragten Experten Experten Hintergrund und Qualifikationen Experte 1 (E1) Forscher & assoziierter Professor Forschung zur Gestaltung von CAs und Virtuellen Companions Experte 2 (E2) Forscher Forschung zur Gestaltung von CAs und Virtuellen Companions Experte 3 (E3) Berater & Forscher Chatbot-Beratung & Forschung zu den Einsatzwecken von Chatbots Experte 4 (E4) Wirtschaftsinformatiker Software-Entwicklung Experte 5 (E5) Forscher & Gründer Forschung im Bereich IT-Sicherheit sowie Lerndatenanalyse & Lern-Coach Experte 6 (E6) Bundestagsreferent Fokus auf KI & Ethik von Empfehlungen für einen verantwortungsvollen Umgang mit der Sammlung sowie gezielten Auswertung von Lernendendaten gelegt, weil diese essentiell für die individuelle Begleitung des Lernenden und somit für den neuen Forschungsstrang der LCs sind. Zudem wurden die Befragten zum Schluss des Interviews gebeten, kurze Einschätzungen zur zukünftigen Entwicklung von KI in der Lehre und den damit verbundenen Risiken zu geben, z.B. dahingehend, inwiefern diese die soziale Ungerechtigkeit oder die Diskriminierung von Minderheiten in der Gesellschaft verschärfen könnten. Um tiefergehende Erkenntnisse zu erlangen und den Befragten die Möglichkeit zur detaillierten Erläuterung genannter Aspekte zu geben, wurden bei Bedarf Rückfragen in den Interviewverlauf eingestreut. Die Interviews hatten eine Dauer von 25–50min und wurden aufgezeichnet, vollständig transkribiert sowie mithilfe der Software MAXQDA analysiert, wobei die Autoren insgesamt mehr als 500 Kodierungen vergaben und sich zur Sicherstellung der korrekten wissenschaftlichen Auswertung in einem Peer-Review gegenseitig überprüften. 3 Ergebnisse 3.1 Herausforderungen und Chancen von LCs aus ethischer Sicht Die Interviewteilnehmer thematisierten verschiedene ethische Herausforderungen, welche mit dem Einsatz von LCs in der Lehre einhergehen. Der Fokus der Förderung von interpersonellen Beziehungen durch virtuelle Companions (Krämer et al. 2011) könnte dazu führen, dass Nutzer sich in virtuellen Welten „verlieren“ oder von LCs abhängig werden (E1, E4, E6). E1 führt hierzu die Beispiele der bereits in der Praxis eingesetzten virtuellen Companions Replika AI2sowie der von Microsoft entwickelten Anwendung XiaoIce3an: Da sich sogar bereits Menschen in die dahinterstehende KI verliebt haben, sind auch im Lernkontext unerwünschte Zukunfts2https://replika.ai/, Zuletzt eingesehen: 28.09.2021. 3https://www.xiaoice.com/, Zuletzt eingesehen: 28.09.2021. K 624 R. Schlimbach et al. szenarien denkbar, z.B. wenn Studierende sich von ihren Kommilitonen entfremden (E1, E3, E4). Eine zunehmende Menschenähnlichkeit könnte sich zudem negativ auf die Empfindungen der Nutzer auswirken (E5, E6), was auch als „Uncanny Valley“ bzw. „unheimliches Tal“ bezeichnet wird. Dieses von Mori (1970)erstmalsfür Roboter aufgezeigte Phänomen zeichnet sich dadurch aus, dass ab einem gewissen Grad der Menschenähnlichkeit intelligenter Systeme die Gefahr besteht, dass diese Erscheinung als beängstigend wahrgenommen wird, und Nutzer der Technologie folglich weniger vertrauen. Auch wenn diese Theorie aufgrund nicht ausreichender empirischer Belege umstritten ist, heben mehrere Forscher hervor, dass es sich um ein auch im Kontext von CAs zu beachtendes Problem handelt (z.B. Strohmann 2021; Diederich et al. 2022), was aus Sicht der Autoren berücksichtigt werden sollte, um die Akzeptanz von LCs zu steigern. Ein weiteres Risiko besteht darin, dass LCs Diskriminierung verschärfen könnten, bspw. falls diese auf Basis rassistischer Input-Daten trainiert werden (E2, E4, E6). E2 nannte hierzu das Negativbeispiel des Chatbots Microsoft Tay, welcher ungewollt, durch von den Nutzern eingespeiste Interaktionsdaten, rassistische Handlungsweisen erlernte und daher binnen von Stunden wieder offline gestellt wurde. Eine Gefahr bestehe darüber hinaus darin, dass fehlende Zugänglichkeit zu LCs aufgrund mangelnder technischer Ausrüstung, Affinität oder finanziellen Mitteln zu Chancenungleichheit führen könnte (E5). Auch der verantwortungsvolle Umgang mit den Lernendendaten wurde als Herausforderung gesehen (E2, E4, E5). So handle es sich nach E5 hierbei um hochsensitive Daten, vor allem, da Lernende sich in den Interaktionen mit LCs bewusst Schwächen eingestehen müssen. Beachtet werden sollte jedoch, dass von mehreren Befragten vor einer Überregulierung im Rahmen des Datenschutzes aufgrund einer drohenden Hemmung der Innovationskraft gewarnt wurde (E1, E2, E3, E6). Dies ist allerdings aus Sicht der Autoren sowie mehrerer Experten nicht damit gleichbedeutend, dass der Datenschutz im Zusammenhang mit neuen KI-Technologien zweitrangig wäre – ganz im Gegenteil: Die Verwendung sicherer Verschlüsselungsalgorithmen (E5), die proaktive Vermeidung von Cyberangriffen (E4) oder die Transparenz gegenüber den Nutzern in Hinblick auf die Datenverarbeitung (E1, E2, E4, E5, E6) sind sogar wichtiger denn je. Vielmehr gilt es, das Schüren unbegründeter Ängste zu vermeiden (E1, E6). Neben den genannten Herausforderungen wurden von den Experten auch Chancen in Bezug auf ethische Gesichtspunkte genannt. So bestünde eine Hoffnung auf „echte Chancengleichheit zwischen verschiedenen sozialen Gruppen“ (E4), indem man Bildungsangebote allen Menschen zugänglich machen könne, auch denen, „die sich sonst keine persönlichen Nachhilfelehrer leisten könnten“ (E4). Der Einsatz von KI biete nach E2, E3 und E4 z.B. die Chance, dem Problem entgegenzuwirken, dass Studierende aufgrund des Charakters von Massenvorlesungen an Universitäten selten die Möglichkeit haben, individuelle Unterstützung durch die Lehrenden zu erhalten (Lehmann et al. 2015). Die hohe Skalierbarkeit von LCs könnte es möglich machen, dieses Betreuungsverhältnis zu verbessern, sodass E2 zufolge sogar eine 1:1-Betreuung von Lernenden zukünftig möglich erscheint (Winkler et al. 2019). In Bezug auf die Chancengleichheit widersprechen sich demnach die Aussagen. E5 erläutert hierzu, dass ein gewisses „Tal der Ungerechtigkeit“ bestünde: Zunächst würde die Gerechtigkeit aufgrund technologischer Hürden bei der Umsetzung und K Quo Vadis: Auf dem Weg zu Ethik-Guidelines für den Einsatz KI-basierter Lern-Companions... 625 der ungenügenden Zugänglichkeit der neuartigen Technologie fallen, wobei sich ab einem gewissen „Tipping Point“ – sobald Bildungseinrichtungen genügend Ressourcen in die Ausgestaltung sowie gerechte Verteilung der Technologie investiert haben – die soziale Gerechtigkeit verbessern könnte. 3.2 Abgeleitete Handlungsempfehlungen Synthetisiert aus der Literatur und den Positionen der Experten ergeben sich sieben von den Autoren dieses Beitrags abgeleitete Handlungsempfehlungen zur ethisch verantwortungsvollen Gestaltung von LCs: 1. Sparsamer Umgang mit Ethik-Guidelines und dynamische Einzelfallprüfung Das AI Global Ethics Inventory4verzeichnet im September 2021 in seiner Datenbank 173 Ethik-Guidelines – eine Verdopplung innerhalb von zwei Jahren (Enquete-Kommission Künstliche Intelligenz 2020). Wenngleich sich daraus die steigende Relevanz und Notwendigkeit von Ethik-Guidelines ableiten lässt, so birgt die hohe Dichte der Guidelines gleichzeitig die Gefahr der Unübersichtlichkeit und Überregulierung. Infolgedessen schlägt sogar der Deutsche Bundestag vor, von weiteren Ethik-Katalogen abzusehen und verweist auf „das Grundgesetz der Bundesrepublik bzw. die Grundrechtecharta der EU mit dem Begriff der Menschenwürde als Maßgabe für alle politische Gestaltung“ (ebd., S. 83). Diese Einschätzung deckt sich mit dem Credo der befragten Experten, so viel wie nötig und so wenig wie möglich zu regulieren. Mehrere Experten warnen vor einer Überregulierung, welche die Innovationskraft beeinträchtigen würde (E1, E2, E3, E6). Zudem besteht ein Konsens, dass Ethik-Guidelines dynamisch und zu jeder Zeit anpassbar sein müssten (E1–E6). E5 warnt vor der Gefahr, dass Ethik-Guidelines als „Kompromisslösung“ einen niedrigeren Standard haben könnten als dieser eigentlich notwendig wäre, um verantwortungsbewusst mit dem Einsatz von KI umzugehen. Sinnvoller sei es nach E4 und E5, wenn einzelne Marktakteure bzw. Bildungsträger selbst jeweils dynamisch anpassbare Standards für den Einsatz von KI in der Lehre konzipieren. Auch in Hinblick auf die Vermeidung diskriminierender Praktiken durch CAs schlägt E6 eine kontextbezogene Einzelfallprüfung anstelle generischer Richtlinien vor. Zudem helfen sogenannte Risikostufenmodelle (European Commission 2021) einzuschätzen, in welchen Kontexten – je nach Höhe des Risikos negativer Folgen durch den Einsatz von KI – eine stärkere Regulierung notwendig wäre (E6). Bzgl. der Kontrolle ethischer Gesichtspunkte raten mehrere Experten ebenfalls von einem zu starken Korrektiv durch eine übergeordnete Instanz ab. Viel wichtiger sei es, die Nutzer als Empfänger dieser zukunftsweisenden Technologie darin einzubinden, basierend auf ihren Anforderungen, Ethik-Standards festzulegen (E1, E2, E6). E1 schlägt hierzu bspw. eine „Crowd-basierte“ Prüfinstanz vor, welche aus Nutzern besteht, die LCs auf eine ethisch vertretbare Gestaltung validieren. 4https://inventory.algorithmwatch.org, Zuletzt eingesehen: 21.12.2021. K 626 R. Schlimbach et al. 2. Aktive Einbindung von Nutzern in den Gestaltungsprozess Diese aktive Einbindung (potenzieller) Nutzer in den Gestaltungsprozess neuartiger KI-Systeme sowie entsprechender Guidelines ist ein in den bestehenden EthikGuidelines kaum adressierter Aspekt, der weder im Ergebnis der Untersuchung des Bundestags zu häufig genannten Aspekten in Ethik-Guidelines (Enquete-Kommission Künstliche Intelligenz 2020), noch im o.g. AI Global Ethics Inventory adressiert wird. Dieser Aspekt wurde von allen befragten Personen hervorgehoben. E2 betont, ethische Verantwortung müsse „aus der Gesamtheit der Nutzer kommen“. Daher plädiert E2 für einen ethischen Kodex, der dynamisch auf Basis der Nutzer gepflegt wird und die Werte sowie Moralvorstellungen der Lernenden berücksichtigt. Da der Einsatz von KI-Technologie das Risiko birgt, dass die Analyse von Lernendendaten zu Fehlentscheidungen führt, ist es zudem wichtig, kontinuierliches Feedback von den Lernenden zu erhalten. So sollten Lernende dazu befragt werden, ob ihre Lernpräferenzen tatsächlich korrekt durch den LC abgebildet werden (E5). Die kontinuierliche Erhebung der Nutzerbedürfnisse ist folglich von zentraler Bedeutung (E3, E5, E6). Zusätzlich sollten LCs eine individuelle Anpassbarkeit ermöglichen, z.B. in Hinblick auf die optische Ausgestaltung der Hautund Augenfarbe des Avatars (E2, E4, E6), das Alter und Geschlecht (E1, E3), den Kommunikationsstil (E2, E3) oder die Nationalität (E4). Aus ethischer Betrachtungsweise empfehlen die Autoren, in den Auswahlmöglichkeiten auch unterrepräsentierte Merkmale abzubilden und dadurch bewusst Vielfalt zu integrieren. 3. Diskriminierung gezielt entgegenwirken Diese Abbildung von Vielfalt kann zudem dadurch befördert werden, dass diskriminierende Praktiken durch die KI präventiv verhindert werden. KI-Systeme, die mit personenbezogenen Daten arbeiten, bergen nämlich das Risiko der ungerechtfertigten Benachteiligung bestimmter Personengruppen. Da sie regelbasiert entscheiden, können sich diskriminierende Muster fortpflanzen. Dieses auch Algorithmic Bias (E1) genannte Fehlverhalten von KI-Systemen beruht auf einer systematischen Verzerrung der Input-Daten (Casas-Roma und Conesa 2021; Wambsganss et al. 2021). Dennoch ist das Erzeugen eines solchen Bias notwendig, um KI-Systemen das Generalisieren von Zusammenhängen überhaupt zu ermöglichen. Die technischen Systeme stehen in einem ständigen Zielkonflikt zwischen Voraussagequalität und Fairness, denn besonders Minderheiten sind in den Datensätzen meist unterrepräsentiert (Enquete-Kommission Künstliche Intelligenz 2020). Neuerdings wird nach Maßgabe des europäischen „AI Acts“ (European Commission 2021)sowiedes deutschen Bundestags erstmalig KI-basierte, systematische Diskriminierung rechtlich verfolgt und eingeschränkt. Maßnahmen umfassen insb. die Vermeidung von Diskriminierung aufgrund fehlender Diversität in den Trainingsdaten für die KI, indem sich reproduzierende Diskriminierungsmuster begrenzt werden. Zudem werden sogenannte „Fairnessmaße“ eingeführt (Enquete-Kommission Künstliche Intelligenz 2020, S. 63). Dabei handelt es sich um Metriken, welche messen, inwiefern richtige bzw. falsche Entscheidungen eines (KI-) Algorithmus gerecht auf verschiedene Personengruppen verteilt sind. Hierzu werden zur Ermittlung unterschiedliche KriteK