Statistische Sprachmodelle selbst konstruieren und explorieren mit SoekiaGPT

Statistische Sprachmodelle selbst konstruieren und explorieren mit SoekiaGPT Michael Hielscher 1 , Beat Döbeli Honegger 1 , Nico Steinbach 1 und Werner Hartmann 1 Abstract: Chatbots wie ChatGPT sind inzwischen Teil des digitalen Alltags. Der Informatikunterricht kann helfen, ihre Funktionsweise zu erklären. Die in diesem Praxisbeitrag beschriebene Unterrichtseinheit thematisiert Sprachmodelle, insbesondere statistische Wahrscheinlichkeitsverteilungen anhand verschiedener unplugged-Aktivitäten und der zu diesem Zweck entwickelten Lernumgebung SoekiaGPT. Die Schülerinnen und Schüler erstellen eigene N-Gramm-Modelle und explorieren diese in einem einfachen Textgenerator. Damit lässt sich der Einfluss von Trainingsdaten und das grundlegende Prinzip von statistischen Sprachmodellen aufzeigen. Keywords: Unterricht, Sprachmodelle, N-Gramm-Modelle, Lehrund Lernumgebung 1 Einleitung Chatbots wie ChatGPT und Gemini sind inzwischen alltägliche Hilfsmittel und werden von Schülerinnen und Schüler vielfältig genutzt. Der Informatikunterricht kann und soll digitale Alltagsphänomene aufgreifen und im Sinne der Allgemeinbildung erklären. Dies mit dem Ziel, komplexe Systeme zu entmystifizieren und Schülerinnen und Schülern grundlegende Prinzipien dahinter aufzuzeigen. Die Basis der Chatbots sind Sprachmodelle, genauer Large Language Models (LLM), die aus sehr vielen vorhandenen Texten statistische Zusammenhänge zwischen Wörtern (genauer Token) abbilden und mit deren Hilfe man u.a. Texte generieren oder vervollständigen kann. Zur Erstellung statistischer Sprachmodelle verwendet man maschinelles Lernen, um eine Wahrscheinlichkeitsverteilung über Wörter zu erstellen, die zur Vorhersage des wahrscheinlichsten nächsten Wortes in einem Text verwendet werden kann. Wir habe eine Unterrichtseinheit zu Sprachmodellen entwickelt, um die grundlegenden Prinzipien hinter solchen Systemen zu vermitteln. Die Schülerinnen und Schüler sollen lernen, dass statistische Sprachmodelle aus einem Trainingsdatensatz von Texten gewonnen werden können und dass der Datensatz massgeblich die Ausgabe beeinflusst. Mit einer interaktiven Lernumgebung können die Schülerinnen und Schüler selbst kleine Sprachmodelle erzeugen und diese in einem Textgenerator verwenden. Dabei können sie die statistischen Zusammenhänge von Wörtern und die Arbeitsweise eines Textgenerators explorieren. 1 Pädagogische Hochschule Schwyz , Institut für Medien & Schule, Zaystrasse 42, CH-6410 Goldau , Schweiz, michael.hielsc[email protected], https://orcid.org/0009-0001-8437-7889; [email protected], https://orcid.org/0000-0002-0199-9712; nico.s[email protected]h; werner.har[email protected]h cba doi:10.18420/infos2025_pr_5 M. Grillenberger & A. Grillenberger (Hrsg.): Grenzen überwinden - voneinander lernen, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2025 89 Aktuelle Chatbots wie ChatGPT sind sehr komplexe Softwareprodukte, die nicht nur aus einem Large Language Model bestehen, sondern noch viele vorund nachgelagerte Verarbeitungsschritte verwenden. LLM basieren auf umfangreichen Trainingsdaten und benötigen viel Rechenleistung für den Lernprozess (Training). Auf einem einzelnen Computer mit einer aktuellen Hochleistungsgrafikkarte würde das Training von GPT 3.0 etwa 350 Jahre dauern. Derart leistungsfähige LLMs mit Schülerinnen und Schülern im Unterricht selbst herzustellen und zu ergründen ist damit aktuell nicht praktikabel, da die dafür nötigen Datenmengen, Rechenleistung und Zeit im Schulalltag nicht gegeben sind. Kleinere trainierte Modelle (z.B. LAMA3-8B, Mistral Instruct) lassen sich hingegen von verschiedenen Quellen wie Huggingface oder in Werkzeugen wie GPT4all herunterladen und bereits mit Desktop-Computern nutzen, jedoch kann man prinzipbedingt in die Netzwerke nicht hineinschauen und so deren Arbeitsweise nicht nachvollziehen. Dieser Umstand macht es schwierig, komplexe Sprachmodelle im Unterricht über die reine Anwendung hinaus zu explorieren. Möchten wir die grundlegende Arbeitsweise zeigen, können wir eine didaktische Reduktion vornehmen und auf einfachere Modelle zurückgreifen. Wir verzichten im hier beschriebenen Ansatz bewusst auf die Erklärung von neuronalen Netzen, Word Embeddings oder Multi-Head-Latent-Attention. Obwohl diese Komponenten ganz zentrale Erfolgsfaktoren der heutigen GPT-Modelle sind, sehen wir sie für die Erklärung der Grundprinzipien - wie der Computer überhaupt aus grossen Textsammlungen statistische Informationen über Sprache gewinnen und daraus neue Texte generieren kann - als nicht zwingend nötig an. Für eine umfangreiche Erklärung zu Sprachmodellen empfehlen wir den interaktive Kurs von Lena Voita [Vo23]. Der im Folgenden beschriebene Unterrichtsentwurf richtet sich an Schülerinnen und Schüler der 7. Klasse. Je nach Schulstufe kann man weitere Aspekte aufgreifen und vertiefen. 2 Sprache und Wahrscheinlichkeiten Wir möchten mit den Schülerinnen und Schülern vor allem die Bedeutung der Trainingsdaten für statistische Sprachmodelle herausarbeiten und wie ein solches Modell genutzt werden kann, um Wort für Wort einen Text auf Basis von Wahrscheinlichkeiten fortzusetzen. Zur Vorbereitung nutzen wir in einem ersten Teil verschiedene CS-Unplugged-Aktivitäten (weitere unplugged Ideen z.B. in [ZOR23]). Wörter mit A, B, C: Die Schülerinnen und Schüler notieren alle gleichzeitig ein Tier mit “A”, eine Frucht mit “B” und ein Wort mit “C”. Anschliessend wird schnell gezählt, wie viele Schüler:innen “Affe” und “Banane” gewählt haben. Daran lässt sich bereits zeigen, dass wir in der Sprache bestimmte Vorerfahrungen haben und einige Wörter häufiger im Sprachgebrauch sind als andere. Ohne zu stark in die Mathematik und die Stochastik eintauchen zu müssen, kann an diesem Beispiel über Wahrscheinlichkeiten von bestimmten Wörtern gesprochen werden. Wie geht es weiter?: Die Schülerinnen und Schüler erhalten einige Satzanfänge und sollen diese jeweils fortsetzen. Etwa “Es war . . . ” oder “Der frühe Vogel . . . ” Auch hier profitieren 90 Michael Hielscher, Beat Döbeli Honegger, Nico Steinbach, Werner Hartmann wir als Mensch von unserem Vorwissen und können solche Sätze einfach fortsetzen und sind dabei vorhersehbar. Die in der vorherigen Aufgabe adressierte Häufigkeit von einzelnen Wörtern wird somit auf Wortfolgen ausgeweitet. Fortsetzungsgeschichte: Die Schülerinnen und Schüler erzählen mündlich eine fiktive Geschichte. Hintereinander soll dabei jedes Kind möglichst schnell genau ein Wort hinzufügen. Die Fortsetzung gelingt uns als Menschen einfach, da wir umfangreiche Spracherfahrungen haben. Typischerweise konzentriert man sich stark auf das zuletzt genannte Wort. Bereits nach wenigen Sätzen geht deshalb häufig der Sinn der Geschichte komplett verloren. Knicktext: Die Schülerinnen und Schüler schreiben auf einem Blatt Papier eine Fortsetzungsgeschichte. Es wird jeweils eine neue Zeile zur Geschichte hinzugefügt und der bisherige Textverlauf umgeknickt, sodass immer nur die letzte Zeile sichtbar bleibt. Das Blatt wird nach jeder Zeile weitergegeben und durch weitere Schülerinnen und Schüler ergänzt. Am Ende wird das Blatt aufgefaltet und die gesamte Geschichte vorgelesen. Die Aktivität verdeutlicht bereits ein Prinzip eines Textgenerators auf Basis eines statistischen Sprachmodells: Es wird immer auf eine begrenzte Anzahl Wörter zurückgeschaut, um das nächste Wort zu generieren. Je mehr “Kontext” wir haben, desto besser und konsistenter können wir die Geschichte fortsetzen. Als Mensch können wir diese Aufgaben problemlos lösen, weil wir bereits viel Erfahrung mit der eigenen Sprache haben. In einer uns fremden Sprache würde uns das nicht gelingen bzw. wir müssten zuerst die fremde Sprache lernen und mit dieser vertraut werden. Genauso kann ein Computer aus vielen Texten lernen, wie Texte aufgebaut sind bzw. welche Wörter typischerweise auf andere folgen. Ein statistisches Sprachmodell ist eine Abbildung dieser Zusammenhänge zwischen Wörtern in einem mathematischen Modell. Ganz vereinfacht können wir das durch einfaches Auszählen herstellen. Zum Beispiel können die Schülerinnen und Schüler in einer Tabelle für ein häufiges Wort (z.B. “eine”) in einem Buch alle Folgewörter notieren und mit einer Strichliste zählen, wie häufig diese nach dem Wort vorkommen. Da diese Arbeit schnell mühsam wird, beauftragen wir lieber den Computer damit. 3 Ein eigenes Sprachmodell Wir wechseln mit den Schülerinnen und Schülern in die interaktive Lernumgebung SoekiaGPT (vgl. [Hi23]). SoekiaGPT trägt zwar in Anlehnung an ChatGPT ein GPT im Namen, ist aber kein Generative Pretrained Transformer sondern ein didaktisches Werkzeug, um einfache statistische Sprachmodelle, genauer N-Gramm-Modelle, aus einer Dokumentenkollektion zu generieren. Anhand einfacher Auswahlalgorithmen (in Anlehnung an Markow-Ketten) wird bei der Textgenerierung das wahrscheinlichste nächste Wort bestimmt, um Schritt für Schritt eine Antwort in einem an ChatGPT angelehnten Dialogfenster zu einer Eingabe (Prompt) zu generieren. Statistische Sprachmodelle selbst konstruieren und explorieren mit SoekiaGPT 91 Ein N-Gramm-Modell besteht typischerweise aus mehreren Tabellen von N-Grammen (Wortfolgen der Länge N) und deren angetroffene Häufigkeit. Die Wortfolge “Es war einmal” ist beispielsweise ein 3-Gramm, das einzelne Wort “Wald” hingegen ein 1-Gramm. Es wird ausgezählt, wie häufig jedes N-Gramm in der Dokumentenkollektion vorkommt. Das Verfahren eignet sich nicht für Large Language Modelle, da es nicht skaliert, die Tabellen unglaublich gross werden und nur exakte Übereinstimmungen gezählt werden. Dies ist ein Grund, warum LLMs mit neuronalen Netzwerken arbeiten, da sie mit einer gewissen Unschärfe ähnliche Inhalte wie Synonyme gleich behandeln können (z.B. Meer, See, Ozean). Für kleinere Dokumentenkollektionen von einigen hundert Seiten, eignet sich ein N-Gramm-Modell didaktisch jedoch gut, da man im Gegensatz zu einem neuronalen Netzwerk hineinschauen und die N-Gramme und deren Häufigkeiten visualisieren kann. Für eine überschaubare Menge von Texten lässt sich ein N-Gramm-Modell in einem Bruchteil einer Sekunde von einem Computer erzeugen und anwenden, womit sie sich problemlos im Unterricht einsetzen lassen. Nach dem Aufruf der Lernumgebung SoekiaGPT ist bereits ein Sprachmodell zu klassischen Märchen vorgeladen. Mit “Schau hinein” kann man hinter die Kulissen blicken und die für das Modell verwendeten Trainingsdaten einsehen und manipulieren. Die Schülerinnen und Schüler können wahlweise aus vorgefertigten Dokumentenkollektionen (zu Märchen, Wetterberichte,Tiergeschichten / Tierbeschreibungen, Musik) wählen oder selbst beliebige Texte zusammentragen. Mit einem Klick werden die Dokumente analysiert und ein NGramm-Modell mit einem zuvor gewählten maximalen N generiert (Voreinstellung N<=5). Es werden somit automatisch alle 1-Gramme, 2-Gramme . . . bis 5-Gramme aus allen Dokumenten generiert (siehe Abb. 1). Abb. 1: Generierter Text, N-Gramme und Dokumente in SoekiaGPT Die Schüler:innen können nun einfache statistische Fragestellungen zu ihren Texten beantworten: Welches 3-Gramm ist das häufigste in allen Dokumenten? Welches ist das häufigste Wort (1-Gramm)? Was sind seltene Wörter? Die Lernumgebung übernimmt die Fleissarbeit, alle Texte zu zerlegen und Wörter und Wortfolgen zu zählen. Den Algorithmus kann man 92 Michael Hielscher, Beat Döbeli Honegger, Nico Steinbach, Werner Hartmann aber problemlos auch per Hand auf Papier durchspielen und einen beliebigen Text z.B. in 3-Gramme zerlegen. Mit einer gedanklichen “3-Wort-Schablone” wandert man über den gesamten Text, indem man die Schablone immer ein Wort weiter schiebt und das 3-Gramm in einer Tabelle notiert. Ist das Sprachmodell mit allen N-Grammen erstellt, kann es für die Erzeugung von neuen Texten in einem einfachen Textgenerator verwendet werden. SoekiaGPT bietet einen einfachen Dialog in Anlehnung an typische Chatbots. Die Antwort auf einen Prompt wird Wort für Wort generiert. Die Entscheidung, welches Wort als nächstes gewählt wird, wird in der Lernumgebung in der roten Spalte visualisiert. Alle “passenden” N-Gramme werden dort aufgelistet und nach der Länge (N) und ihrer Häufigkeit sortiert dargestellt. In jedem Schritt werden alle N-Gramme auf Übereinstimmung mit den letzten Worten der Ausgabe verglichen. Der Textanfang “Es war” passt zum 3-Gramm “Es war einmal”, da alle N-1 Wörter des N-Gramms übereinstimmen. Das Wort “einmal” ist also ein wahrscheinliches nächstes Wort. Die Länge des N-Gramms (N) entscheidet in der Lernumgebung über die Platzierung in der Liste. Erst danach wird die Häufigkeit des N-Gramms innerhalb der Kollektion für die Sortierung herangezogen. Ein seltenes 3-Gramm ist höherwertig als ein sehr häufiges 2-Gramm usw. Passt kein N-Gramm, so gewinnt das häufigste 1-Gramm. Der Algorithmus für die Bildung dieser Reihenfolge lässt sich ebenfalls einfach beschreiben und manuell durchführen. Um nun automatisiert einen Text zu generieren, wird in jedem Schritt der höchstwertige Eintrag in der Liste gewählt und der Text mit dem letzten Wort dieses N-Gramms fortgesetzt. SoekiaGPT bietet verschiedene Optionen an, um das Verhalten des Auswahlalgorithmus zu beeinflussen. So kann die sogenannte Temperatur eingestellt werden. Je höher die Temperatur, je zufälliger wird der Algorithmus N-Gramme aus der Liste aller passenden N-Gramme ziehen. Bei der Temperatur Null wird SoekiaGPT immer das identische, reproduzierbare Ergebnis zu einem Prompt liefern. Die Schülerinnen und Schüler können damit selbst experimentieren und das Verhalten des Textgenerators bei unterschiedlichen Einstellungen beobachten. Die Temperatur entscheidet bei grossen Sprachmodellen, wie “kreativ” das Modell arbeitet. Auch ChatGPT oder Gemini haben eine Temperatur-Einstellung, die dem normalen Nutzer aber in der Regel verborgen bleibt (z.B. nur bei OpenAI-Playground einstellbar). Die Voreinstellung der Temperatur ist bei den grossen Sprachmodellen in der Regel nicht Null. Das ermöglicht es z.B., dass die Nutzenden mit dem gleichen Prompt leicht verschiedene Textformulierungen erzeugen und dann selbst eine Auswahl treffen können. Die Schülerinnen und Schüler erhalten nun mehrere kleine Aufträge, um mit verschiedenen Kollektionen und Parametereinstellungen zu experimentieren. Dabei können auch eigene Kollektionen mit beliebigen Texten angelegt werden. Es besteht die Möglichkeit mit der Klasse eine gemeinsame Kollektion anzulegen, zu der alle Dokumente beitragen können. Zunächst kann mit ganz kurzen Texten oder einem einzelnen Satz begonnen werden. Später können die Trainingsdaten (Texte) auch ganz bewusst manipuliert werden. Möchte ich etwa ein Märchen mit einer “Königin” generieren, wird dies mit der voreingestellten Kollektion Statistische Sprachmodelle selbst konstruieren und explorieren mit SoekiaGPT 93 zu Märchen nicht möglich sein, da dort immer nur ein “König” vorkommt. Es lässt sich eine Diskussion über Bias in Daten führen, warum durch Trainingsdaten auch Stereotypen und Ungleichheiten gefördert werden können und die Auswahl der Trainingsdaten nie “neutral” ist. Die Schülerinnen und Schüler können die Dokumente direkt in der Lernumgebung editieren und so ein unerwünschtes Verhalten korrigieren - indem sie zum Beispiel mehrere Sätze zu einer Königin einfügen und erneut Texte generieren lassen. Ein Textgenerator mit einem statistischen Sprachmodell kann nur das wiedergeben und neu kombinieren, was bereits in den Trainingsdaten vorkam. Kommen bestimmte Wortfolgen häufig in den Daten vor, werden sie auch häufiger generiert. Damit sind wir bereits im Bereich der Reflexion zu gesellschaftlichen Fragen rund um den Einsatz von Sprachmodellen und generativer “Künstlicher Intelligenz” angekommen. Die Schülerinnen und Schüler sollen erkennen, dass Sprachmodelle nur mit Wahrscheinlichkeiten arbeiten und kein tiefgehendes Verständnis des Textes besitzen. Die Systeme liefern grammatikalisch und stilistisch wohlgeformte Sätze, die auf den ersten Blick glaubwürdig erscheinen. Experimente mit Nischenthemen oder wenig bekannten Persönlichkeiten liefern auch bei den gängigen Chatbots schnell falsche oder erfundene Fakten (Halluzination). Versteht man die Arbeitsweise solcher Systeme, wird klar, warum statistisch wahrscheinliche, aber nicht zwingend richtige Aussagen generiert werden. Chatbots wie Perplexity und ChatGPT werden diesbezüglich immer leistungsfähiger und führen inzwischen bei Bedarf selbstständig eine Websuche durch. Die Grenzen zwischen Suchmaschine und Sprachmodell verschwimmen zunehmend. Dennoch wird man auch in Zukunft mit einem Large Language Model, welches mit Texten von Webseiten, Lexika und klassischer Literatur gefüttert wurde, jene Fragestellungen zuverlässiger beantworten können, die dort häufig vorgekommen sind. Damit lässt sich über die Erwartungshaltung sprechen, welche Fragen und Aufgaben ein Chatbot tendenziell besser oder schlechter lösen kann. Abb. 2: Generiertes Lied in ABC-Notation und MIDI-Player 94 Michael Hielscher, Beat Döbeli Honegger, Nico Steinbach, Werner Hartmann Abschliessend kann mit den Schülerinnen und Schülern besprochen werden, dass sich das gezeigte Prinzip der statistischen Auswertung und Generierung nicht nur für Text verwenden lässt, sondern potenziell für alle Formen von Daten. Dazu wird in SoekiaGPT z.B. eine Dokumentenkollektion mit mehreren Musikstücken in ABC-Notation bereitgestellt. Bei ABC notiert man Noten als Buchstaben und nutzt spezielle Zeichen für Wiederholungen, Notenlänge oder Pausen. Die Schülerinnen und Schüler können experimentieren, wie neue Musikstücke durch Neukombination von Versatzstücken entstehen. In der Lernumgebung können die so generierten Musikstücke direkt abgespielt und angehört werden (siehe Abb. 2). Jens Möning beschreibt in seinem Beitrag zu Snap!GPT (vgl. [Mö24]) wie neben Text und Musik auch die nächsten Striche einer Zeichnung nach dem gleichen Prinzip vorhergesagt werden können. 4 Diskussion und Fazit Die beschriebene Unterrichtssequenz mit CS-unplugged Übungen und der Lernumgebung SoekiaGPT wurde in mehreren Klassen (ab der 5. Klasse) durchgeführt. Als Einstieg wurde dabei immer zuerst mit einem professionellen Sprachmodell experimentiert und die Frage motiviert, wie diese Systeme wohl funktionieren. Die Unterrichtseinheit hat zum Ziel, die Sprachmodelle hinter Chatbots zu entmystifizieren und die Grundprinzipien handlungsorientiert und nachvollziehbar zu vermitteln. N-Grammen und Wahrscheinlichkeitsverteilungen sind sehr hilfreich für das grundlegende Verständnis der Sprachmodellierung. N-GrammModelle sind einfach und interpretierbar, sie haben aber Einschränkungen, die LLMs durch fortschrittliche Architekturen und grosse Datensätze überwinden. Auch LLMs wie GPT-4 nutzen Wahrscheinlichkeitsverteilungen zur Vorhersage und Generierung von Text, erfassen jedoch komplexe Muster in Daten mithilfe neuronaler Netzwerke, anstatt sich auf N-Gramm-Häufigkeiten zu stützen. Zudem nutzen sie weitere statistische Informationen, etwa an welchen Stellen im Satz bestimmte Wörter verwendet werden. Kleine Sprachmodelle können deshalb nicht die eindrücklichen Ergebnisse eines ChatGPT replizieren. Sie können z.B. nicht auf beliebige Fragen sinnvolle Antworten liefern. Dies führt bei Experimenten mit kleinen Modellen schnell zu einer Enttäuschung bei den Lernenden. Es ist für uns Menschen schwer vorstellbar, dass durch die steigende Datenmenge und Anzahl Parameter (etwa die Anzahl der Verbindungen in den neuronalen Netzwerken) und durch Feintuning (z.B. durch Reinforcement Learning from Human Feedback, RLHF) die Fähigkeiten eines Sprachmodells teilweise sprunghaft zunehmen können (Emergenz). Es bleibt eine offene Frage, ob die hier skizzierte umfangreiche didaktische Vereinfachung den angestrebten Zielen gerecht werden kann, oder ob zwingend weitere Konzepte erklärt werden müssten. In den Einstellungen von SokiaGPT lässt sich zum Beispiel ein Modus zur Simulation von Aufmerksamkeit (Attention, vgl. [Va17]) in Anlehnung an Transformer-Modelle aktivieren. Mit diesem lässt sich aufzeigen, dass das Sprachmodell in Abhängigkeit von der Anfrage (Prompt) bestimmte Regionen stärker gewichten kann. Bei einer Anfrage “Schreibe ein Statistische Sprachmodelle selbst konstruieren und explorieren mit SoekiaGPT 95 Märchen zu einem Frosch” werden dann in SoekiaGPT N-Gramme aus Dokumenten mit “Frosch” höher gewichtet und häufiger gewählt. Um Konzepte wie Embeddings und Ähnlichkeiten von Wörtern bei der Generierung einzubeziehen, bietet SoekiaGPT die Option eine Synonym-Datenbank zu aktivieren und syntaktisch ähnlich Wörter gleich zu behandeln (über Jaro-Wrinker-Distanz). Ob und ab welcher Schulstufe sich eine intensivere Auseinandersetzung und der Vergleich mit echten LLMs und deren Funktionsweise lohnt, haben wir bislang noch nicht untersuchen können. Eine mehrperspektivische Betrachtung des Phänomens Textgenerator im Sinne des DagstuhlDreiecks beinhaltet die kompetenten Anwendung und den Umgang mit Systemen wie ChatGPT, gesellschaftliche Fragen rund um den ethischen Einsatz und die Erklärung der Funktionsweise aus Sicht der Informatik. SoekiaGPT als Experimentierumgebung eignet sich insbesondere für die technische “Wie funktioniert das?”-Perspektive und als Einstieg in das Thema Sprachmodelle. Die webbasierte Lernumgebung, eine Handreichung für Lehrpersonen und ein Erklärvideo stehen auf https://soekia.ch kostenfrei zur Verfügung. Literaturverzeichnis [Hi23] Hielscher, M.: SoekiaGPT - ein didaktisches Sprachmodell. Informatische Bildung in Schulen (IBiS) 1(1), 2023. [Mö24] Mönig, J.: Snap!GPT – Bausteine für generative künstliche Intelligenz. Informatische Bildung in Schulen (IBiS) 2(1), 2024. [Va17] Vaswani, A. et al.: Attention is All you Need. In: Advances in Neural Information Processing Systems. Bd. 30, Curran Associates, Inc., 2017. [Vo23] Voita, L.: Language Modeling, https://lenavoita.github.io/nlp_course/language_ modeling.html, Accessed: 2025-02-15, 2023. [ZOR23] Zoppke, T.; Olari, V.; Romeike, R.: Sprachmodelle unplugged mit Grimms Märchen, INFOS 2023 - Informatikunterricht zwischen Aktualität und Zeitlosigkeit, 2023. 96 Michael Hielscher, Beat Döbeli Honegger, Nico Steinbach, Werner Hartmann