Seit bereits 25 Jahren werden am Zentrum für Computerlinguistik (KLC) der Vytautas-Magnus-Universität (VDU)1 Sprachtechnologien entwickelt und weiterentwickelt (Utka et al. 2017). Die am VDU KLC erstellten Ressourcen und Werkzeuge für die litauische Sprache bilden die Grundlage für die Computerisierung des Litauischen und seine Anpassung an neue Technologien. Anfang 2015 wurde Litauen Vollmitglied von CLARIN ERIC, und im Juli 2015 gründeten das VDU KLC und die Informatikfakultät der VDU gemeinsam mit Partnern der Universität Vilnius und der Technischen Universität Kaunas das CLARIN-LT-Konsortium und begannen mit der Durchführung des Projekts „Litauens Mitgliedschaft in der internationalen Forschungsinfrastruktur – Gemeinsame Infrastruktur für Sprachressourcen und -technologien“2 – damit wurde Litauen in das gemeinsame europäische System der Sprachtechnologien eingebunden.
Ziel dieses Artikels ist es, zwei am VDU KLC erstellte Ressourcen für die litauische Sprache vorzustellen: annotierte Korpora der litauischen Sprache, das morphologisch annotierte Korpus MATAS und das syntaktisch annotierte Korpus ALKSNIS. Diese Ressourcen sind öffentlich im CLARIN-LT-Repositorium zugänglich; die Suche kann über das ANNIS-System3 durchgeführt werden (siehe ausführlicher Kapitel 3). Außerdem kann im automatisch morphologisch annotierten Korpus auf der Website http://corpus.vdu.lt4 gesucht werden.
Annotierte Korpora sind zentrale Ressourcen, die eine wichtige Rolle bei der Entwicklung von Sprachtechnologien spielen. Für die Computerisierung von Sprache und die Entwicklung von Computerwerkzeugen zur automatischen Sprachanalyse sind grammatische Analysen und statistische Daten über die Sprache unerlässlich. Korpora, die mit grammatischen Annotationen versehen sind, dienen somit als Rohmaterial für die weitere automatische Sprachanalyse. Solche Korpora werden zur Entwicklung weiterer Ressourcen und Werkzeuge für die Verarbeitung natürlicher Sprache in Bereichen wie den folgenden eingesetzt:
4 Dies ist ein automatisch morphologisch annotiertes Korpus mit 208 Millionen Wörtern. Im weiteren Verlauf dieses Artikels wird es nicht behandelt. Das Hauptaugenmerk liegt auf dem von einem Linguisten überprüften, morphologisch annotierten Korpus MATAS mit 1,6 Millionen Wörtern.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
Im Folgenden werden die genannten Korpora sowie die Suche nach Daten darin über das ANNIS-System gesondert vorgestellt. Die Korpora und ihre Daten können von Forschenden und Studierenden genutzt werden, die das grammatische System der litauischen Sprache untersuchen, von Lehrenden und Lehrkräften bei der Erstellung von Aufgaben sowie von allen, die sich für Sprachtechnologien interessieren.
ANNOTIERTE KORPORA DER LITAUISCHEN SPRACHE UND BESONDERHEITEN IHRER ERSTELLUNG
1. Morphologisch annotiertes Korpus MATAS
Die morphologische Analyse ist die erste Phase der Sprachverarbeitung und bereitet häufig den Text für die weitere syntaktische oder semantische Analyse vor. Daher ist es sehr wichtig, dass morphologische Annotatoren möglichst genau arbeiten, da Fehler auf der morphologischen Ebene die automatische Sprachanalyse auf anderen Ebenen beeinträchtigen.
Der erste morphologische Annotator für die litauische Sprache wurde vor etwa 25 Jahren entwickelt. Sein Autor ist Vytautas Zinkevičius (ausführlicher siehe Zinkevičius 2000). Gegenwärtig sind für das Litauische zwei morphologische Annotatoren öffentlich zugänglich: das bereits erwähnte Programm von V. Zinkevičius, das meist Lemuoklis5 genannt wird (vom Wort lema – Grundform), sowie der über das Portal Informationssystem zur syntaktischen und semantischen Analyse der litauischen Sprache (im Folgenden semantika.lt) verfügbare Annotator6. Das in diesem Artikel vorgestellte Korpus MATAS wurde mit Lemuoklis annotiert; das syntaktisch annotierte Korpus wurde hingegen unter Verwendung des morphologischen Annotators von semantika.lt erstellt.
Obwohl Lemuoklis recht gut funktioniert, lässt sich dieses Programm nicht aktualisieren, da es Closed Source ist. Der Annotator Semantika.lt wurde auf der Plattform Hunspell als Open-Source-Programm entwickelt; dieser Annotator wird aktualisiert, um neue Wörter ergänzt (umfasst derzeit 171.000 Lemmata) und seine Regeln werden überarbeitet (ausführlicher siehe Dadurkevičius 2017). Eine 2017 durchgeführte Untersuchung zur Bewertung der Qualität beider Annotatoren ergab, dass der Annotator semantika.lt genauer arbeitet (Kapočiūtė-Dzikienė et al. 2017).
Das im Folgenden vorgestellte Korpus MATAS wurde von 2002 bis 2014 erstellt. Als Grundlage diente ein 2006 zusammengestelltes Korpus mit einer Million Wörtern; es wurde um neue Texte ergänzt und überarbeitet. Zunächst wurden die Texte des Korpus MATO automatisch morphologisch annotiert; anschließend wurden sie von einem Linguisten überprüft und bereinigt.
5 Online verfügbar: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; Dieses Programm annotiert Texte nicht nur morphologisch, sondern kann sie auch synthetisieren, d. h. die benötigten Formen generieren; außerdem ist es für die Analyse älterer Schriften angepasst.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
MATAS umfasst 1,6 Millionen Texte aus Dokumenten, literarischen Werken und wissenschaftlichen Texten. Wie im Korpus der Gegenwartssprache Litauens bilden journalistische Texte den größten Anteil (36 Prozent) (siehe Abbildung 1).
ABB. 1. Aufbau des morphologisch annotierten Korpus MATAS (in Prozent)
MATAS ist in mehreren Formaten verfügbar: im sogenannten KLC-Format, in dem etwas ungewöhnliche Abkürzungen für Wortarten und grammatische Kategorien verwendet werden (in diesem Format ist auch das im http://clarin-lt.lt/-Portal-Repository verfügbare Korpus annotiert), zum Beispiel:
MATAS ist auch im internationalen TEI-P5-Format annotiert. In diesem Format werden Wortarten und grammatische Kategorien mit einem Buchstaben oder einer Ziffer abgekürzt; zum Beispiel steht vatstdv3 jeweils für:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
Verb, finite Form, positive Form, reflexiv, Indikativ, Präteritum frequentativ, Singular, dritte Person. Im Folgenden wird derselbe Textausschnitt im TEI-P5-Format wiedergegeben:
Ein weiteres Format, in dem morphologisch annotierte Texte auf der http://corpus.vdu.lt-Website verfügbar sind, orientiert sich am Beispiel des MULTEXT-East7-Formats. In diesem Format hat jede Wortart eine unterschiedliche Anzahl morphologischer Kategorien (von 2 bis 14), die durch Abkürzungen angegeben werden. So steht die Kennzeichnung Ncmpnn- N beispielsweise für ein Substantiv, c für ein Gattungsnomen, m für maskulines Genus, p für den Plural, n für den Nominativ, n für ein nichtreflexives Substantiv. Der Bindestrich am Ende zeigt an, dass diesem Wort, etwa universitetai, keine semantische Kennzeichnung zugewiesen ist8.
Im dritten Kapitel stellen wir die Suche sowohl in den Korpora MATAS als auch ALKSNIS mithilfe des ANNIS-Systems vor. Dort wird ein weiteres Format morphologischer Kennzeichnungen verwendet, das nach den Leipziger Glossierungsregeln gebildet ist (Näheres siehe Kapitel 3).
Unterschiedliche Annotationssysteme sind nicht nur für die Technologien der litauischen Sprache charakteristisch. Dieses Problem gab den Anstoß zur Entwicklung des Konvertierungswerkzeugs Pepper (Zipser et al. 2010). Dies veranschaulicht die Entwicklungsphasen verschiedener Ressourcen und die dabei verwendeten Annotationstools.
Wie aus den oben angeführten Beispielen hervorgeht, werden im KLC vier Systeme morphologischer Kennzeichnungen verwendet. Die verschiedenen Annotationsformate entstanden, weil das morphologisch annotierte Korpus über einen langen Zeitraum hinweg erstellt wurde. Zeitweise gab es überhaupt keine Annotationsstandards; verwendet wurden schlicht die von V. Zinkevičius, dem Entwickler des morphologischen Analysators, geschaffenen Abkürzungen für Wortarten und grammatische Kategorien. Sie sind für die Nutzer leicht verständlich. Später wurde das morphologisch annotierte Korpus im Zuge der internationalen Zusammenarbeit mithilfe von
8 Weitere Informationen zu diesen Kennzeichnungen siehe http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
internationalen Standards. Wie erwähnt, werden im morphologischen Analysator von semantika.lt (das Hauptziel dieses Systems war die Entwicklung von Online-Diensten) Tags im Format MULTEXT-East verwendet. Die Tags sind kurz, aber für Menschen schwer verständlich und eignen sich besser für die maschinelle Analyse.
Im Format MULTEXT-East ist auch das morphologisch und syntaktisch annotierte Korpus ALKSNIS annotiert. Das Korpus-Suchwerkzeug ANNIS (siehe Abschnitt 3) ermöglichte es, die morphologischen Annotationsformate von ALKSNIS und MATAS zusammenzuführen. Zunächst wurde erwogen, die Tags von Universal Dependency (UD) zu verwenden, da dies ein recht verbreitetes Annotationssystem und leicht lesbar ist (auf Englisch). Die UD-Tags sind jedoch sehr lang, was sich bei der Suche in ANNIS als unpraktisch erwies: Die Tags jedes Wortes beanspruchen viel Platz, sodass beim Analysieren des Kontexts des gesuchten Wortes die Fensterleiste nach links oder rechts verschoben werden musste. Aufgrund dieses praktischen Problems wurde beschlossen, die Leipziger Glossierungs-Tags anzupassen, da sie leicht lesbar und relativ kurz sind. Trotz der hier beschriebenen Vielfalt an Annotations-Tags ist hervorzuheben, dass in der ANNIS-Oberfläche beider Korpora nur ein einziges System (das angepasste Leipziger Glossierungsformat) verwendet wird, was für die Nutzer eine erhebliche Erleichterung darstellen dürfte.
Es sei darauf hingewiesen, dass MATE keine Satzgrenzen ausweist. Diese lassen sich zwar schnell automatisch ermitteln, doch die Ergebnisse müssen überprüft werden. MATAS ist, ebenso wie das im Folgenden besprochene Korpus ALKSNIS, im http://clarin-lt.lt/ Repository des Portals9 verfügbar. Dort kann mithilfe des ANNIS-Systems gesucht werden10 (mehr dazu siehe Abschnitt 3).
2. Syntaktisch annotiertes Korpus ALKSNIS
Das syntaktisch annotierte Korpus der litauischen Sprache ALKSNIS wurde 2016 erstellt. Seine Erstellung wurde von der Forschungsinfrastruktur für gemeinsame Sprachressourcen und -technologien des Europäischen Konsortiums für Forschungsinfrastruktur (CLARIN ERIC) unterstützt (MTI-02/2015). Das Korpus ist öffentlich im http://clarin-lt.lt/ Repository des Portals11 zugänglich. Eine Anleitung zur Nutzung findet sich im Benutzerhandbuch12.
Das Korpus wurde als Referenzkorpus für die syntaktische Analyse des Litauischen konzipiert. Für Korpora dieser Art ist kennzeichnend, dass sie klein sind und eine ausgewogene Genre-Zusammensetzung aufweisen; die syntaktische Analyse wurde zwar automatisch durchgeführt, anschließend jedoch von Linguisten überprüft und korrigiert. Auf Grundlage eines Referenzkorpus der syntaktischen Analyse lässt sich ein statistischer Parser (engl. statistically-based parser) entwickeln und die automatische syntaktische Analyse erweitern (Bielinskienė et al. 2016).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Da ALKSNIS eine neuere und weniger umfassend beschriebene Ressource für die litauische Sprache als MATAS ist, widmen wir ALKSNIS in diesem Artikel mehr Aufmerksamkeit und erörtern außerdem Fragen, die bei der syntaktischen Annotation aufgetreten sind.
2.1. Korpusteile
Das Korpus ALKSNIS umfasst 30 599 Wörter und 2355 syntaktisch annotierte Sätze. Im Vergleich zu Korpora in den Sprachen benachbarter Länder ist dieses Korpus recht ähnlich und, so lässt sich sagen, von ausreichender Größe: Das lettische Korpus13 umfasst 3800 Sätze und 53 Tausend Wörter (Predkalnina et al. 2016); das estnische Korpus 14 – 1400 Sätze und 10 600 Wörter (Muischnek et al. 2014); das polnische Korpus 15 – 8227 Sätze. Das erste syntaktisch annotierte Korpus, PENN (USA), umfasst deutlich mehr – etwa 3 Millionen Wörter16.
Die Texte von ALKSNIS umfassen vier Genreteile (siehe Abb. 2). Die Teile mit allgemeiner und Fachperiodik sowie Belletristik sind etwa gleich groß, während der Anteil administrativer Texte am kleinsten ist, da es sich um eine spezifische Varietät des Litauischen handelt: Die Sätze sind häufig lang und enthalten zahlreiche Dokumenttitel, Verweise auf andere Dokumente und Ähnliches. Die Annotation solcher Sätze würde keine typische syntaktische Struktur erkennen lassen.
ABB. 2. Aufbau des syntaktisch annotierten Korpus ALKSNIS
Für die Zusammenstellung des Korpus wurden vollständige, ungekürzte Texte herangezogen. Die Sätze wurden aus möglichst unterschiedlichen Textgenres ausgewählt. Der Teil mit Belletristik besteht aus Sätzen aus Werken litauischer Autorinnen und Autoren. Die ausgewählten Sätze wurden für die computergestützte Analyse aufbereitet: Die Textkodierung wurde überprüft, Tabellen und Abbildungen wurden entfernt.
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Werkzeuge zur Korpusanotation und Visualisierung
Die automatische syntaktische Analyse stützt sich auf den im Rahmen des VDU-KLC-Projekts „System zur syntaktisch-semantischen Analyse des Litauischen für Korpora, das litauische Internet und Anwendungen im öffentlichen Sektor“ entwickelten Syntaxanalysator, der in Haskell17 implementiert wurde. Der Analysator basiert auf einer regelbasierten Methode (engl. rule-based). Dieses Werkzeug liest morphologisch annotierte Dateien aus den Segmentierungs- und Morphologieanalysemodulen von semantika.lt und gibt als Ergebnis in Konstituenten oder Phrasen segmentierte Sätze aus, generiert Syntaxbäume und kennzeichnet deren thematische Rollen (engl. thematic roles) sowie syntaktische Funktionen (Boizou et al. 2014: 69).
Die Online-Dienste erzeugen ausschließlich JSON-Dateien, ein anderes KLC-Werkzeug konvertiert jedoch die Ergebnisse der Syntaxanalyse in das PML-Format (Prague Markup Language). Für das syntaktisch annotierte Korpus werden Abhängigkeitsbäume (engl. dependency trees) generiert. Dieses Format ermöglicht die Visualisierung und Bearbeitung von Abhängigkeitsbäumen im PML-Format mit dem vom UFAL der Karls-Universität Prag entwickelten TrED-Editor18 (siehe Abb. 3). Alle automatisch annotierten Sätze wurden von Linguistinnen und Linguisten überprüft und korrigiert. Somit umfasst die Syntaxanalyse drei Ebenen: die automatische Segmentierung von Wörtern und Sätzen sowie die morphologische Analyse, die automatische Syntaxanalyse (mit einer regelbasierten Methode) und die manuelle Bearbeitung der Sätze (nähere Angaben siehe 2.4).
2.3. Die Datenstruktur von ALKSNIS
Nach der automatischen Syntaxanalyse werden die Sätze grafisch nach dem Baumprinzip dargestellt (siehe Abb. 3). Jeder Knoten des Baums entspricht einem Wort, einem Satzzeichen oder einer anderen Satzeinheit (Symbol, Ziffer usw.). Abhängigkeitsbeziehungen zwischen Wörtern werden durch „Äste“ oder Kanten dargestellt.
17 Der Syntaxanalysator wurde von L. Boizou und F. Zamblera am Zentrum für Computerlinguistik der VDU entwickelt.
18 Online-Zugang: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
ABB. 3. Abhängigkeitsbaum eines syntaktisch annotierten Satzes im Format des TrEd-Editors
Bei allen Wörtern werden in folgender Reihenfolge Angaben gemacht (siehe Abb. 3):
1) die konkrete im Satz verwendete Wortform (z. B. gyventojai);
2) die Grundform (Wörterbuchform) – das Lemma (z. B. gyventojas);
3) morphologische Merkmale (z. B. Ncmpnn-);
4) syntaktische Funktion (z. B. Sub) (Erläuterungen zu den Abkürzungen siehe unten).
2.4. Analyseebenen
Ebene der morphologischen Analyse. Die morphologische Annotation ist die erste Stufe der automatischen Analyse und daher für eine Syntaxanalyse höherer Ebene oder eine Satzanalyse unerlässlich. Die morphologische Analyse wurde mit dem Annotator semantika.lt durchgeführt (Dad urkevičius 2017). Die im ALKSNYJE verwendeten morphologischen Merkmale wurden nach dem Vorbild des Formats MULTEXT-East erstellt (näher beschrieben in Kapitel 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Ebene der syntaktischen Analyse. Der Syntaxanalysator verarbeitet morphologisch annotierte Dateien und liefert Sätze, die in Teilsätze oder Phrasen gegliedert sind, generiert Syntaxbäume und gibt die syntaktischen Funktionen ihrer Elemente an. Die Analyse basiert auf dem Dependenzgrammatikmodell (engl. dependency grammar). Es wird gewöhnlich auf typologisch ähnliche Sprachen angewandt, die durch die Flexion von Wortformen und eine freie Wortstellung gekennzeichnet sind, z. B. auf slawische Sprachen (PDT19, SynTagRus20), das Lettische usw. Syntaktische Abhängigkeiten werden hierarchisch ausgedrückt. Ausgangspunkt ist das Hauptelement des Satzes – die Wurzel des Baums –, an die die übrigen Satzelemente entsprechend ihrer Abhängigkeit (d. h. den syntaktischen Beziehungen) angeschlossen werden.
Die Abkürzungen der syntaktischen Annotationen sowie die Informationen zu syntaktischen Beziehungen und Abhängigkeiten beruhen auf der tschechischen Vorarbeit (Hajič et al. 1999); die tschechischen Forscher gehörten zu den Ersten, die die Syntaxanalyse für das synthetische Tschechische ausarbeiteten. Derzeit werden in ALKSNYJE 18 grundlegende syntaktische Annotationen verwendet (ihre Varianten nicht mitgerechnet): Sub – Subjekt, Pred – Prädikat, Obj – Objekt usw. (siehe Tabelle 1). Varianten der Annotationen entstehen, wenn zwei unterschiedliche oder doppelte Annotationen zu einer zusammengefasst werden. So werden beispielsweise zur Kennzeichnung eines zusammengesetzten nominalen oder verbalen Prädikats die jeweiligen Annotationen PredN und PredV verwendet; zur Kennzeichnung eines attributiven Nebensatzes in einem zusammengesetzten Satz erhält das Prädikat des Nebensatzes die doppelte Annotation Pred_Atr; um eine Verknüpfung (Koordination) anzuzeigen, wird bei gleichrangigen Satzelementen als Teil der doppelten Annotation _Co markiert, d. h. jedes der aufgezählten gleichrangigen Objekte erhält beispielsweise die Annotation Obj_Co usw. Übrigens können in zusammengesetzten Sätzen auch dreifache Annotationen auftreten, etwa wenn gleichrangige Nebensätze gekennzeichnet werden müssen: Pred_Atr_Co – dies ist ein attributiver Nebensatz.
TABELLE 1. Syntaktische Funktionen und ihre Annotationen im Korpus
Annotation
Syntaktische Funktion
Beispiel
Sub
Subjekt
Er [Sub] sagte
Pred
Prädikat (oder Hilfswort)
Er ging [Pred]; war [Pred] zufrieden
PredN
Nominaler Teil des Prädikats
War [Pred] zufrieden [PredN]
PredV
Verbaler Prädikatsteil
Muss [Pred] antworten [PredV]
Obj
Objekt
Ich erwarte einen Gast [Obj]; man muss entscheiden [Obj]
Atr
Attribut (Attributivbestimmung)
Mittlere [Atr] Schule; Mitgliedstaat [Atr]
Adj
Adverbialbestimmungen
Jetzt [Adj] wird entschieden; in der Partizanų-Straße [Adj]
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Hilfsfunktion (z. B. Kommas oder andere Symbole)
AuxC
Subordination (Nebensätze)
Er sagte, dass [AuxC]...
AuxK
Satzschlusszeichen
AuxL
Lexikalische Hilfseinheit (z. B. ein fremdsprachiges Wort)
US-amerikanisches Unternehmen North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Präposition
Wechselt auf [AuxP] die Ebene
AuxZ
Partikel
Wie auch [AuxZ] immer
Coord
Koordination
Hersteller und [Coord] Verkäufer
_Co (z. B. Atr_Co)
Koordinierte Satzglieder (z. B. gleichrangige Satzglieder)
Hersteller [Atr_Co] und [Coord] Verkäufer [Atr_Co]
Par
Parenthesen, Anreden
Ehrlich gesagt [Par], scheint es
ExD
Ellipse oder andere Auslassungen im Satz
Eine Frau – [Pred_ExD] ein Wesen
Pred_ (z. B. Pred_Obj)
Typ des untergeordneten Satzglieds eines Nebensatzes (wird beim Prädikat markiert)
Schrieb, dass Eigenschaften durch [Pred_Obj] bestimmt werden
Manuelle Satzkorrektur. Alle automatisch syntaktisch annotierten Sätze wurden von Linguisten überprüft. Die Annotation vieler Sätze, insbesondere komplexer Sätze, musste korrigiert und die korrekten Abhängigkeiten mussten angegeben werden. An einigen Stellen wurden auch morphologische Merkmale korrigiert. Die Sätze wurden von drei Linguisten einzeln korrigiert; anschließend überprüften alle drei Linguisten jeden Satz nochmals gemeinsam. Die Besonderheiten der syntaktischen Annotation werden im Folgenden beschrieben.
Besonderheiten der syntaktischen Annotation. Bei der automatischen syntaktischen Analyse gilt, wie bereits erwähnt, als Wurzel des Syntaxbaums (engl. root) das hierarchisch höchste Satzglied (z. B. ein Verb, manchmal eine Konjunktion am Satzanfang) oder ein anderes Satzelement (z. B. bei einem zusammengesetzten Satz dessen Konjunktion oder Relativwort); als Zweig, der die Satzinterpunktion anzeigt, dient ein Satzzeichen: Punkt, Fragezeichen, Ausrufezeichen, Auslassungspunkte, Semikolon usw. Im Folgenden werden wir konkrete Beispiele anführen, um die Besonderheiten der syntaktischen Annotation zu veranschaulichen.
Ein Beispiel, bei dem das Verb die Wurzel des Satzes bildet [Pred], ist in Abbildung 4 dargestellt; ein Beispiel mit einer Konjunktion als Wurzel [Coord] zeigt Abbildung 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
ABB. 4. Wurzel des Abhängigkeitsbaums – Verb
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
ABB. 5. Wurzel des Abhängigkeitsbaums – Konjunktion am Satzanfang
Ein Beispiel, bei dem ein Satzzeichen die Wurzel eines zusammengesetzten Satzes bildet, ist in Abbildung 6 dargestellt.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
ABB. 6. Wurzel des Abhängigkeitsbaums – Satzzeichen zwischen den Gliedern eines zusammengesetzten Satzes
Es wird angenommen, dass die Präposition in Präpositionalgruppen eine höhere Position einnimmt; sie wird mit AuxP markiert, während das auf sie folgende Wort entsprechend seiner Funktion (z. B. Objekt) markiert wird: Preise für [AuxP] Strom [Obj] (siehe Abb. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
ABB. 7. Annotation von Präpositionalgruppen
Die Nebensätze hängen vom Prädikat des Hauptsatzes ab, und von diesem wiederum hängt die Konjunktion des Nebensatzes ab (das Komma hängt von der Konjunktion ab). Wichtig ist auch, die Funktion des Nebensatzes anzugeben. Sie wird beim Prädikat des Nebensatzes vermerkt, z. B. Pred_Obj – ein Objektsatz (siehe Abb. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
ABB. 8. Beispiel für die Annotation von Nebensätzen in einer unterordnenden Satzverbindung
Der Pfeil für die koordinierende Verbindung (Konjunktion oder Kabel) kann den Kopf einer koordinierenden Konstruktion bilden (z. B. vorgeschlagen, sich hinzusetzen und [Coord] zu spielen; vorgeschlagen für die Kinder und [Coord] ihre Eltern) (siehe Abb. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
ABB. 9. Beispiel für die Annotation der durch koordinierende Verbindungen verknüpften Satzglieder
Bei einer mehrgliedrigen gemischten Koordination ist die in der Konstruktion enthaltene Konjunktion der Kopf, von dem alle übrigen asyndetischen Satzglieder abhängen (Kommas mit ihren aufzählenden Wörtern befinden sich auf derselben Abhängigkeitsebene). Andere Satzzeichen werden mit Aux gekennzeichnet (siehe Abb. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
ABB. 10. Beispiel für die Annotation einer gemischten koordinierenden Konstruktion (in der Abbildung sind auch weitere Fälle koordinierender Verbindungen zu sehen)
Der Kopf koordinierter Sätze ist die koordinierende Konjunktion. Verbindende Wörter, die Adverbien, Pronomen oder Partikeln sind (z. B. das Adverb deshalb), hängen vom Prädikat des zweiten Satzglieds ab und erfüllen die Funktion einer adverbialen Bestimmung (Adj); die Funktion der Koordination Coord übernimmt das Kabel, ebenso wie in asyndetischen Sätzen oder in Sätzen mit wiederholten Konjunktionen, die hier als Partikeln betrachtet werden (siehe Abb. 12), wie auch bei der Verknüpfung von Satzgliedern (siehe Abb. 11 und 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
ABB. 11. Beispiel für die Annotation eines koordinierten Satzes mit einem verbindenden Wort
ABB. 12. Annotation einer koordinierenden Konstruktion
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Numerische Ausdrücke wie Uhrzeiten und Jahreszahlen sind schwierig zu annotieren. Sie werden als Adverbiale mit Attributen oder als Attribute annotiert (siehe Abb. 13, 14).
ABB. 13 Annotation eines Datums
ABB. 14 Annotation von Datumsangaben und anderen numerischen Ausdrücken (die Abbildung zeigt nur einen syntaktisch annotierten Satzteil)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Komplexe Prädikate sind nicht immer leicht zu annotieren. In manchen Fällen werden sie so annotiert, wie sie auch in den Grammatiken des Litauischen verstanden werden, d. h. als nominale und verbale Prädikate (z. B. ist [Pred] einfach [PredN]; kann [Pred] sein [PredV]), in einigen Fällen wird das zweite Prädikatglied jedoch als Objekt betrachtet (z. B. beabsichtige [Pred] einzuberufen [Obj]).
Die Annotation von Konstruktionen mit korrelativen Konjunktionen war schwierig, da beide Konjunktionen hierarchisch gleichrangig sind. In solchen Fällen wurde angenommen, dass das Prädikat des Hauptsatzglieds die höhere Hierarchieposition einnimmt und das Nebensatzglied von ihm abhängt (siehe Abb. 15).
ABB. 15 Beispiel für die Annotation zusammengesetzter Sätze mit korrelativen Konjunktionen
Schließlich wurde der Status einiger Wortarten erörtert. So wurde beispielsweise beschlossen, wiederholte koordinierende Konjunktionen als Partikeln zu behandeln, da ihre Funktion in der Struktur des Abhängigkeitsbaums derjenigen von Partikeln ähnelt (siehe Abb. 12).
Bei der manuellen syntaktischen Annotation mussten zahlreiche Probleme gelöst werden; hier wurden nur einige davon genannt. Viele Schwierigkeiten bei der Annotation wurden durch die Orientierung an der traditionellen Grammatik gelöst, indem man sich lediglich auf eine bestimmte Art der Annotation einigte. In anderen Fällen musste man sich an die Besonderheiten der syntaktischen Annotation anpassen und bei der Annotation konsequent an der Vereinbarung festhalten. Es wird erwartet, dass die aufgetretenen Probleme im Zuge der Weiterentwicklung der automatischen syntaktischen Analyse gelöst werden.
Im nächsten Unterabschnitt wird die Datensuche in annotierten Korpora mithilfe des ANNIS-Systems vorgestellt. Dies ist eine der Herausforderungen bei der Nutzung annotierter Korpora, da die Datensuche in solchen Korpora mit zahlreichen Annotationen und sogar mehreren Annotationsebenen vielfältig sein muss. Aus diesem Grund wurde das von Forschern der Humboldt-Universität zu Berlin (Deutschland) entwickelte Werkzeug ANNIS ausgewählt.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Suche mit dem ANNIS-System
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS zeigt die entsprechenden Konkordanzzeilen mit zugehörigen Informationen an (siehe Abb. 16). Eine Konkordanzzeile kann sowohl nach links als auch nach rechts von 5 auf 25 Wörter erweitert werden (einschließlich Satzzeichen); außerdem können die Ergebnisse exportiert werden.
In beiden Korpora werden grammatische Annotationen verwendet, die auf den Leipziger Glossierungsregeln beruhen21. Einige Annotationen, die in den genannten Regeln nicht enthalten sind, wurden ergänzt, z. B. bedeutet ~COMP den Komparativ. Solchen Annotationen wird eine Tilde vorangestellt. Die Wortarten werden gemäß dem Format Universal Dependency angegeben.
ABB. 16. Ausschnitt aus den Ergebnissen der Suche mit dem ANNIS-Tool
Suche nach dem Lemma įsakymas im Dokumententeil des MATO-Korpus
21 Onlinezugang: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. In anderen annotierten Korpora werden häufig Annotationen von Universal Dependency (UD) verwendet (siehe http://universaldependencies.org/; siehe auch Abb. 18). Wie im ersten Kapitel beschrieben, sind die UD-Annotationen sehr lang (z. B. werden Akkusativ, Femininum und Plural wie folgt angegeben: case=accusative|gender=feminine|number=plural); sie nehmen in der ANNIS-Oberfläche zu viel Platz ein und machen die Informationen daher unhandlich zu lesen.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
ABB. 17. Ausschnitt aus den Ergebnissen der Suche mit dem ANNIS-Tool
Suche nach dem Lemma įsakymas im ALKSNIO-Korpus
(damit die syntaktischen Beziehungen durch Pfeile markiert werden, muss auf das Pluszeichen neben deps geklickt werden)
3.1. Einfache Suche
Die Suche nach einem Merkmal wird als einfache Suche bezeichnet. Die angezeigte Annotation (Bezeichnungen grammatischer Kategorien, verwendete grammatische Kennzeichnungen usw.) hängt von der Struktur des jeweiligen Korpus ab und nicht vom ANNIS-Werkzeug.
Wir weisen darauf hin, dass bei der Formulierung einer Anfrage zwischen Groß- und Kleinschreibung unterschieden werden muss.
3.1.1. Suche nach exakten Wortformen (Zeichenketten)
Die einfache Suche erfolgt durch Angabe des Kategorienamens, des Gleichheitszeichens und des in englische Anführungszeichen gesetzten Kategorienwerts, z. B.:
• lemma="kalba" (eine solche Abfrage bedeutet, dass nach dem Lemma kalba gesucht wird);
• pos="ADJ" (es wird nach Adjektiven gesucht);
• gram=".M.SG.GEN." (es werden Wörter gesucht, die in bestimmten grammatischen Kategorien vorkommen, in diesem Fall Wörter in der Form des Genitivs Singular Maskulinum).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Bei der Suche nach einer bestimmten Wortform im Text muss der Kategoriename tok angegeben oder einfach die gesuchte Form in Anführungszeichen gesetzt werden, z. B.:
• tok="pasakė" oder "pasakė".
In beiden annotierten Korpora kann nach Lemmata, Wortarten, grammatischen Kategorien und konkreten Wortformen gesucht werden; im ALKSNYJE außerdem nach syntaktischen Merkmalen, z. B.:
• syfun="Atr" (es wird nach Attributen gesucht).
Im ALKSNYJE kann auch nach Dependenzrelationen gesucht werden (deps), allerdings erfolgt die Suche nach einem anderen Prinzip (siehe 3.2.3).
3.1.2. Suche nach Zeichenstrukturen
ANNIS ermöglicht Suchen mit regulären Ausdrücken (engl. regular expressions); diese werden durch Sonderzeichen gekennzeichnet. Eine Suche mit regulären Ausdrücken wird grundsätzlich genauso formuliert wie eine Suchanfrage nach exakten Wortformen; lediglich die englischen Anführungszeichen müssen durch Schrägstriche ersetzt werden.
3.1.2.1. Suche nach beliebigen Zeichen
Das wichtigste Sonderzeichen ist der Punkt; er ersetzt ein beliebiges einzelnes Zeichen (Buchstabe, Ziffer usw.), z. B.:
• lemma=/pl.t.s/ (gesucht werden beispielsweise platus, plotis, plitus);
• /p.sak.s/ oder tok=/p.sak.s/ (gesucht werden beispielsweise pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ oder tok=/201./ (gesucht werden beispielsweise 2010, 2011, 2012...).
Da der Punkt jedes beliebige Zeichen ersetzen kann, muss nach dem Punktzeichen selbst mit der Kombination aus umgekehrtem Schrägstrich + Punkt (\.) gesucht werden, z. B.:
• gram=/^\..\SG\.GEN\./ (gesucht werden beispielsweise .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Suche nach einem von mehreren Zeichen
Anstelle einer Suche nach vollständig unbestimmten Zeichen können in der Suchanfrage mehrere konkrete gesuchte Zeichen angegeben werden. Sie werden in eckige Klammern gesetzt, z. B.:
• lemma=/pl[ao]t.s/ (gesucht werden z. B. platus, plotis, nicht jedoch plitus);
• /t[ei]lp./ oder tok=/t[ei]lp./ (gesucht werden z. B. telpa, tilpo, nicht jedoch talpa);
• /201[0124]/ oder tok=/201./ (gesucht werden 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
• gram=/\.[MFN]\.SG\.GEN\./ (gesucht werden .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.).
Wir weisen darauf hin, dass auf diese Weise nach einem Zeichen aus der angegebenen Zeichenmenge gesucht wird: /dirb[aius]/ ermöglicht die Suche nach dirba, dirbi, dirbu, dirbs, nicht jedoch nach dirbau oder dirbsi.
3.1.3. Wiederholungsoperatoren
Zeichen (gewöhnliche und spezielle) können wiederholt werden, z. B.:
• lemma=/..važiuoti/ (gesucht werden z. B. nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ oder tok=/dirb[ao][mt]e/ (gesucht werden dirbame, dirbate, dirbome, dirbote).
Die Anzahl der gesuchten Zeichen ist hierbei fest, z. B. zwei Zeichen in den angeführten Beispielen (oder [ao][mt]); daher erhalten Sie mit der Anfrage lemma=/..važiuoti/ keine Ergebnisse mit dem Lemma įvažiuoti. Weitere Möglichkeiten bieten Wiederholungsoperatoren; sie haben folgende Bedeutungen:
•? – ein bestimmtes Zeichen kommt einmal oder gar nicht vor;
• + – ein bestimmtes Zeichen kommt mindestens einmal vor (d. h. einmal, zweimal, dreimal, viermal oder öfter);
• * – ein bestimmtes Zeichen kommt n-mal vor (d. h. es kann gar nicht, einmal, zweimal oder öfter vorkommen)
Diese Operatoren helfen bei der Suche nach Zeichen, die vor ihnen oder nach ihnen stehen, z. B.:
• /šild?o/ (gesucht wird šilo oder šildo);
• /Ma+u/ (gesucht wird Mau, Maau, Maaau, Maaau usw.);
• /oi*/ (gesucht wird o, oi, oii, oiii usw.).
Die zuvor erwähnten Operatoren sind mit der Suche nach beliebigen oder einem von mehreren Zeichen kombinierbar, z. B.:
• lemma=/. *važiuoti/ (gesucht werden z. B. važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);
• /šauk[aiu]*/ oder tok=/šauk[aiu]*/ (gesucht werden z. B. šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ oder tok=/šauk[aiu]+/ (gesucht werden z. B. šauki, šaukia, šaukiu, aber nicht šauk);
gram=/.*\.F\..*/ (gesucht wird die Zeichenfolge.F. zwischen beliebigen anderen Zeichenfolgen).
Es sei darauf hingewiesen, dass Strukturen wie [aiu]* oder [aiu]+ keinen Einfluss auf die Reihenfolge der gesuchten Zeichen haben. Folglich werden Ergebnisse ausgegeben, die a oder i oder u + a enthalten; oder i oder u + a; oder i oder u.... Somit werden folgende Zeichenkombinationen erkannt: aaa, i, uuuuu, uiua, uua usw.
3.1.4. Suche nach Alternativen
Der senkrechte Strich (|) ermöglicht die Suche nach Alternativen, z. B.:
lemma="schlecht" | lemma="gut";
/d(au|ū)ž.*/ oder tok=/d(au|ū)ž.*/ (gesucht werden z. B. daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (gesucht werden.~COMP. und.~SUP. zwischen beliebigen Zeichenfolgen);
"tik" | "tiktai" oder tok="tik" | tok="tiktai" (gesucht werden tik und tiktai).
3.1.5. Negativ formulierte Suchanfragen
Obwohl diese Möglichkeit bei der Kombination von Merkmalen in komplexen Suchen nützlicher ist, kann man auch bei einfachen Suchen angeben, wonach nicht gesucht werden soll, z. B.:
pos!="NOUN" (gesucht werden alle Wörter, die keine Substantive sind);
tok!=/.*[ąaęeėįiyiouųū]/ (gesucht werden alle Wortformen, die nicht auf einen Vokal enden).
Wird keine komplexe Suchanfrage ausgewählt (siehe 3.2), können negativ formulierte einfache Suchanfragen Probleme verursachen, insbesondere wenn sie viele Wörter umfassen (wie im ersten Fall – Substantive); daher sollte diese Suchanfrage mit Vorsicht verwendet werden.
3.2. Zusammengesetzte Suche
Eine zusammengesetzte Suche besteht aus mehreren einfachen Suchanfragen. Zusätzlich wird ein Teil benötigt, der die Beziehungen zwischen den einfachen Suchanfragen (angegeben nach Position) beschreibt. Jeder Teil einer einfachen Suchanfrage wird durch das Ampersand-Zeichen (&) verbunden.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Merkmalskombinationen für ein Wort
Mit einer einfachen Suche wird nach demselben Wort gesucht; die Beziehung zwischen den einfachen Suchanfragen wird durch den Kombinationsoperator (_=_) ausgedrückt, zum Beispiel:
• "mano" & pos="PRON" & #1 _=_ #2 (nach dem Pronomen mano suchen, nicht aber nach der 3. Person Singular Präsens des Verbs manyti).
Diese Formulierung der Suchanfrage bedeutet, dass die erste einfache Suche (#1, d. h. "mano" oder tok="mano") und die zweite einfache Suche (#2, d. h. pos="PRON") sich auf dasselbe Wort beziehen.
3.2.2. Wortkombinationen
Wird auf Grundlage einer einfachen Suche eine Suchanfrage für verschiedene Wörter formuliert, wird der Kombinationsoperator durch den Sequenzoperator (einen Punkt) ersetzt, zum Beispiel:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (gesucht wird ein im Genitiv verwendetes Wort, das auf das Wort pilnas folgt).
Die Zahl 1 nach dem Punkt bedeutet, dass #2 unmittelbar (ohne Einschub) auf #1 folgt. Die Zahl 2 würde anzeigen, dass ein Wort dazwischensteht, 3 – zwei Wörter und so weiter. Statt.1 kann man einen Punkt ohne Zahl schreiben (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Das Intervall lässt sich mit einem Komma präzisieren, zum Beispiel.2,4 (mit einem Einschub von einem bis drei Wörtern). Wenn die Größe des Einschubs keine Rolle spielt, muss ein Punkt und ein Sternchen (*) geschrieben werden.
In einer zusammengesetzten Suchanfrage können der Sequenz- und der Kombinationsoperator verwendet werden, zum Beispiel:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (gesucht werden Genitivformen von Wörtern, die keine Adjektive sind und auf das Wort pilnas folgen).
3.2.3. Suche nach syntaktischen Abhängigkeiten
Auch nach Abhängigkeitsstrukturen kann mithilfe einer kombinierten Suche mit dem Operator für direkte Abhängigkeit gesucht werden –>, z. B.:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (gesucht werden Substantive, die Adjektive bestimmen, z. B. daugiabutis namas);
• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (gesucht werden affirmative Verben, die Ergänzungen im Genitiv regieren, z. B. laukti klausimų).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 27
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
ZUSAMMENFASSENDE ANMERKUNGEN
Die Korpora MATAS und ALKSNIS sind wichtige Ressourcen für die litauische Sprache. Sie werden für die weiteren Schritte der Computerisierung der Sprache benötigt. Aus diesen Korpora lassen sich quantitative Daten zur Verteilung von Wortarten, grammatischen Formen und syntaktischen Funktionen sowie zu den häufigsten Lemmata, grammatischen Formen usw. gewinnen (einige konkrete quantitative Untersuchungen finden sich in folgenden Arbeiten: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS wurde zum Trainieren des semantika.lt-Parsers verwendet (um die Annotationsqualität zu bewerten).
Künftig muss die automatische Syntaxanalyse weiterentwickelt werden. Zunächst ließe sich die Qualität der syntaktischen Annotation verbessern: Die syntaktischen Funktionen könnten präzisiert und um neue Markierungen ergänzt werden (z. B. die Adverbialbestimmungen entsprechend ihrer Semantik präzisieren: Lokal-, Modal-, Temporalbestimmungen usw.). Zu Beginn der syntaktischen Annotation traten zahlreiche Unklarheiten bei der Annotation auf; daher sollte über einige syntaktische Fälle diskutiert werden, etwa über die Annotation zusammengesetzter Prädikate, Ellipsen, die Unterscheidung zwischen asyndetischen Teilsätzen und erläuternden Konstruktionen sowie den Status einiger Wortarten usw.
Eine weitere Arbeitsrichtung besteht darin, das Korpus selbst zu vergrößern. Die nach Genres gegliederten Korpusteile sollten ergänzt werden, beispielsweise durch die Aufnahme weiterer wissenschaftlicher und populärwissenschaftlicher Texte. Außerdem muss das Korpus in das international weitverbreitete Format Universal Dependency konvertiert werden (siehe Abb. 18; hier sind die grammatischen Markierungen nicht angegeben; das Beispiel zeigt einen syntaktisch annotierten finnischen Beispielsatz).
ABB. 18. Format Universal Dependency
Eines der Hauptziele der automatischen Syntaxanalyse ist die Entwicklung eines statistisch basierten Syntaxparsers (engl. statistically-based parser), der ALKSNIS als Referenz für die Syntaxanalyse nutzt und zur Annotation großer Textmengen eingesetzt werden kann.
Sofern die Möglichkeiten es erlauben, kann die Syntaxanalyse auch in anderen Richtungen erweitert werden, zum Beispiel durch die Annotation thematischer Rollen (engl. thematic role annotation). Dies ist eine bestimmte semantische Repräsentation, die mit der Valenz zusammenhängt. Diese Ebene ist im internen System der syntaktischen Annotation jedem Wort zugeordnet und derzeit nicht öffentlich sichtbar, da sie eher experimentell, noch nicht vollständig entwickelt und ungeprüft ist. Ebenso wäre es nützlich, feste Wortverbindungen zu annotieren (engl. multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
Ausdrücke, MWE22), zu denen Kollokationen und Phraseologismen gehören. Bislang wurden sie im Textkorpus nicht markiert; ausgenommen sind morphologische Mehrwortlexeme, deren Bestandteile zu einer einzigen Einheit zusammengefügt sind (z. B. vorerst, aus der Ferne) und die eine morphologische sowie syntaktische Funktion haben (meist als Adverbien und Adverbialbestimmungen gekennzeichnet). Außerdem ist geplant, anaphorische Beziehungen zu markieren (wenn in einem Satz ein Substantiv verwendet wird und es in einem anderen Satz [oder einem anderen Satzteil] durch ein Pronomen ersetzt wird, d. h. die Verbindungen zwischen dem Pronomen und dem von ihm ersetzten Substantiv zu kennzeichnen).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
