Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytautas Magnus Universiteit MORFOLOGISCH EN SYNTACTISCH GEANNOTEERDE CORPORA VAN HET LITOUWEN KERNWOORDEN: corpus, automatische morfologische analyse, automatische syntactische analyse, taaltechnologie. INLEIDING Al 25 jaar worden aan het Centrum voor Computationele Linguïstiek (KLC)1 van de Vytautas Magnus Universiteit (VDU) taaltechnologieën ontwikkeld en verder uitgebouwd (Utka et al. 2017). De Litouwse taalbronnen en -hulpmiddelen die bij VDU KLC zijn ontwikkeld, vormen de basis die onmisbaar is voor de automatisering van het Litouws en de toepassing van nieuwe technologieën daarop. Begin 2015 werd Litouwen volwaardig lid van CLARIN ERIC, en in juli 2015 richtten VDU KLC en de faculteit Informatica van VDU samen met partners van de Universiteit van Vilnius en de Technologische Universiteit Kaunas het CLARIN-LT-consortium op en startten zij het project ‘Litouws lidmaatschap van de internationale onderzoeksinfrastructuur – Gemeenschappelijke infrastructuur voor taalbronnen en -technologieën’2. Daarmee werd Litouwen onderdeel van het gezamenlijke Europese systeem voor taaltechnologie. Dit artikel heeft tot doel twee Litouwse taalbronnen te presenteren: bij VDU KLC samengestelde, geannoteerde Litouwse corpora, namelijk het morfologisch geannoteerde corpus MATAS en het syntactisch geannoteerde corpus ALKSNIS. Deze bronnen zijn publiek toegankelijk in de CLARIN-LT-repository; ze kunnen worden doorzocht via het ANNIS-systeem3 (zie hoofdstuk 3 voor meer informatie). Het automatisch morfologisch geannoteerde corpus kan ook worden doorzocht op de website http://corpus.vdu.lt4. Geannoteerde corpora zijn essentiële bronnen die een belangrijke rol spelen bij de ontwikkeling van taaltechnologie. Voor de automatisering van taal en de ontwikkeling van computerhulpmiddelen voor automatische taalanalyse zijn grammaticale analyse en statistische gegevens over taal noodzakelijk. Corpora met grammaticale annotaties vormen dus als het ware grondstof voor verdere automatische taalanalyse. Dergelijke corpora worden gebruikt om andere bronnen en hulpmiddelen voor natuurlijke taal te ontwikkelen op gebieden zoals 1 Online toegankelijk: http://tekstynas.vdu.lt. 2 Online toegankelijk: http://clarin-lt.lt/. 3 Online toegankelijk: http://158.129.51.247:8080/annis-gui-3.4.4/. 4 Dit is een automatisch morfologisch geannoteerd corpus van 208 miljoen woorden. In dit artikel wordt er verder niet op ingegaan. De nadruk ligt op MATAS, een morfologisch geannoteerd corpus van 1,6 miljoen woorden dat door een taalkundige is gecontroleerd. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 2 systemen voor automatische spraakherkenning, machinaal leren, geautomatiseerde vertaling, informatie-extractie enz. Verderop in het artikel worden de genoemde corpora afzonderlijk voorgesteld, evenals het zoeken naar gegevens daarin via het ANNIS-systeem. Onderzoekers en studenten die het grammaticale systeem van het Litouws bestuderen, docenten en leerkrachten die opdrachten samenstellen, en iedereen die geïnteresseerd is in taaltechnologieën kunnen gebruikmaken van de corpora en hun gegevens. GEANNOTEERDE LITOUWSE CORPORA EN BIJZONDERHEDEN VAN HUN SAMENSTELLING 1. Morfologisch geannoteerd corpus MATAS Morfologische analyse is de eerste fase van taalverwerking en bereidt de tekst vaak voor op verdere syntactische of semantische analyse. Daarom is het erg belangrijk dat morfologische annotatoren zo nauwkeurig mogelijk werken, omdat fouten op morfologisch niveau de automatische taalanalyse op andere niveaus belemmeren. De eerste morfologische annotator voor het Litouws werd ongeveer 25 jaar geleden ontwikkeld. De auteur ervan is Vytautas Zinkevičius (zie voor meer informatie Zinkevičius 2000). Momenteel zijn er voor het Litouws twee morfologische annotatoren openbaar beschikbaar: het eerder genoemde programma van V. Zinkevičius, meestal Lemuoklis5 genoemd (van het woord lema – de lemma- of grondvorm), en de annotator die beschikbaar is via het portaal Informatiesysteem voor syntactische en semantische analyse van het Litouws (hierna semantika.lt). In dit artikel wordt het corpus MATAS voorgesteld, dat is geannoteerd met behulp van Lemuoklis; het syntactisch geannoteerde corpus is samengesteld met behulp van de morfologische annotator van semantika.lt.6 Hoewel Lemuoklis vrij goed werkt, kan het programma niet worden bijgewerkt, omdat het closed source is. De annotator van Semantika.lt is ontwikkeld op het Hunspell-platform als open-sourceprogramma; deze annotator wordt bijgewerkt en uitgebreid met nieuwe woorden (hij bevat nu 171.000 lemma's), en de regels ervan worden onderhouden (zie voor meer informatie Dadurkevičius 2017). Uit een onderzoek in 2017 waarin de kwaliteit van beide annotatoren werd geëvalueerd, bleek dat de annotator van semantika.lt nauwkeuriger werkt (Kapočiūtė-Dzikienė et al. 2017). Het corpus MATAS, dat hieronder wordt voorgesteld, is samengesteld in 2002–2014. Als basis werd een corpus van 1 miljoen woorden gebruikt, samengesteld in 2006; dit werd aangevuld met nieuwe teksten en herzien. Eerst werden de teksten van MATAS automatisch morfologisch geannoteerd; daarna werden ze door een taalkundige nagekeken en gecorrigeerd. 5 Online beschikbaar: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; dit programma annoteert teksten niet alleen morfologisch, maar kan ze ook synthetiseren, dat wil zeggen de benodigde vormen genereren; het is ook geschikt voor de analyse van oude geschriften. 6 Online beschikbaar: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti tekstynai | 3 MATAS bestaat uit 1,6 miljoen teksten, afkomstig uit documenten, literaire werken en wetenschappelijke teksten. Net als in het corpus van het hedendaagse Litouws bestaat het grootste deel (36 procent) uit journalistieke teksten (zie figuur 1). FIGUUR 1. Structuur van het morfologisch geannoteerde corpus MATAS (in procenten) MATAS is beschikbaar in verschillende formaten: het zogenaamde KLC-formaat, waarin enigszins ongebruikelijke afkortingen voor woordsoorten en grammaticale categorieën worden gebruikt (ook het corpus dat beschikbaar is in de repository van de http://clarin-lt.lt/ portal is in dit formaat geannoteerd), bijvoorbeeld: <word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dly teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> <word="medžių" lemma="medis" type="dktv vyr.gim dgsk K"> <space> <word="kur ne kur" lemma="kur ne kur" type="prvks teig nelygin.l"> <space> <word="vis" lemma="vis" type="prvks teig nelygin.l"> <space> <word="pasimatydavo" lemma="pasimatyti(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep="."> <p> MATAS is ook geannoteerd in het internationale TEI P5-formaat. Daarin worden woordsoorten en grammaticale categorieën afgekort met één letter of cijfer; zo betekent vatstdv3 respectievelijk: BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4 werkwoord, persoonsvorm, bevestigend, reflexief, indicatief, verleden frequentatief, enkelvoud, derde persoon. Hieronder wordt hetzelfde tekstfragment weergegeven in TEI P5-formaat: <w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">suaugusių</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">medžių</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">kur ne kur</w> <pc> </pc> <w lemma="vis" ana="#ptn">vis</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">pasimatydavo</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">dangaus</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">lopinėlis</w> <pc>.</pc> Nog een formaat waarin morfologisch geannoteerde teksten op de http://corpus.vdu.lt website beschikbaar zijn, is gebaseerd op het voorbeeld van het MULTEXT-East7-formaat. Volgens dit formaat heeft elke woordsoort een verschillend aantal morfologische categorieën (van 2 tot 14), die met afkortingen worden weergegeven. Zo staat in de tag Ncmpnn- N voor een zelfstandig naamwoord, c voor een soortnaam, m voor mannelijk geslacht, p voor meervoud, n voor nominatief, n voor niet-reflexief zelfstandig naamwoord; het streepje aan het einde geeft aan dat aan dit woord, bijvoorbeeld universitetai, geen semantische tag wordt toegekend8. In hoofdstuk drie presenteren we zoekopdrachten in zowel de corpora MATAS als ALKSNIS met behulp van het ANNIS-systeem. Daarin wordt nog een ander formaat voor morfologische tags gebruikt, dat is gebaseerd op de glossatietags van Leipzig (zie voor meer informatie hoofdstuk 3). Verschillende annotatiesystemen zijn niet alleen kenmerkend voor de Litouwse taaltechnologie. Dit probleem leidde tot de ontwikkeling van de conversietool Pepper (Zipser et al. 2010). Dit weerspiegelt de ontwikkelingsfasen van diverse bronnen en de gebruikte annotatietools. Zoals blijkt uit de eerder gegeven voorbeelden, worden in KLC vier morfologische tagsystemen gebruikt. De verschillende annotatieformaten zijn ontstaan doordat het morfologisch geannoteerde corpus gedurende lange tijd is samengesteld. Aanvankelijk werden er helemaal geen annotatiestandaarden toegepast; men gebruikte simpelweg de afkortingen voor woordsoorten en grammaticale categorieën die waren ontwikkeld door V. Zinkevičius, de maker van de morfologische analysator. Die zijn voor gebruikers gemakkelijk te begrijpen. Enige tijd later werd het morfologisch geannoteerde corpus, dankzij internationale samenwerking, opnieuw geannoteerd met behulp van 7 Online beschikbaar: http://nl.ijs.si/ME/V4/msd/html/index.html. 8 Zie voor meer informatie over deze tags http://corpus.vdu.lt/lt/morph. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5 internationale standaarden. Zoals vermeld, gebruikt de morfologische analyzer van semantika.lt (het hoofddoel van dit systeem was het ontwikkelen van onlinediensten) labels in het formaat MULTEXT-East. De labels zijn kort maar voor mensen moeilijk te begrijpen; ze zijn geschikter voor computeranalyse. Ook het morfologisch en syntactisch geannoteerde corpus ALKSNIS is geannoteerd in het formaat MULTEXT-East. De corpuszoektool ANNIS (zie hoofdstuk 3) maakte het mogelijk de morfologische annotatieformaten van ALKSNIS en MATAS te combineren. Het eerste idee was om de labels van Universal Dependency (UD) te gebruiken, omdat dit een vrij wijdverbreid annotatiesysteem is en gemakkelijk leesbaar (in het Engels). De UD-labels zijn echter erg lang, wat onhandig bleek bij zoekopdrachten via ANNIS: de labels van elk woord nemen veel ruimte in beslag, waardoor men bij het analyseren van de context van het gezochte woord het venster naar links of rechts moest scrollen. Vanwege dit praktische probleem werd besloten de glosseringslabels van Leipzig aan te passen, omdat die gemakkelijk leesbaar en vrij kort zijn. Ondanks de hier beschreven verscheidenheid aan annotatielabels moet worden benadrukt dat in de ANNIS-interface van beide corpora slechts één systeem wordt gebruikt (de aangepaste Leipzigse glossering), wat het gebruikers aanzienlijk zou moeten vergemakkelijken. Vermeldenswaard is dat in MATE de zinsgrenzen niet zijn aangegeven; dit kan snel automatisch gebeuren, maar de resultaten moeten worden gecontroleerd. MATAS is, net als het hieronder besproken corpus ALKSNIS, beschikbaar in de http://clarin-lt.lt/ portalrepository9. Daar kan met het ANNIS-systeem worden gezocht10 (zie hoofdstuk 3 voor meer informatie). 2. Syntactisch geannoteerd corpus ALKSNIS Het syntactisch geannoteerde corpus van het Litouws, ALKSNIS, werd in 2016 samengesteld. De samenstelling ervan werd ondersteund door de Common Language Resources and Technology Infrastructure European Research Infrastructure Consortium (CLARIN ERIC) (MTI-02/2015). Het corpus is publiek toegankelijk in de http://clarin-lt.lt/portalrepository11. In de gebruikershandleiding12 wordt uitgelegd hoe het kan worden gebruikt. Het corpus is opgezet als een referentiecorpus voor syntactische analyse van het Litouws. Kenmerkend voor corpora van dit type is dat ze klein zijn en een optimale genreverdeling hebben, en dat de syntactische analyse, hoewel automatisch uitgevoerd, door taalkundigen is nagekeken en gecorrigeerd. Op basis van een syntactische referentiecorpus kan een statistisch gebaseerde parser worden ontwikkeld (Engels statistically-based parser) en kan de automatische syntactische analyse worden uitgebreid (Bielinskienė et al. 2016). 9 Online beschikbaar: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9. 10 Online beschikbaar: http://158.129.51.247:8080/annis-gui-3.4.4. 11 Online beschikbaar: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10. 12 Online beschikbaar: https://youtu.be/PIEOPWurb4Y. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6 Omdat ALKSNIS een nieuwere bron voor het Litouws is dan MATAS en minder uitvoerig is beschreven, besteden we in dit artikel meer aandacht aan ALKSNIS en bespreken we ook de vragen die bij de syntactische annotatie zijn gerezen. 2.1. Corpusonderdelen Het corpus ALKSNIS omvat 30 599 woorden en 2355 syntactisch geannoteerde zinnen. Vergeleken met corpora van talen uit buurlanden is dit corpus behoorlijk vergelijkbaar en, zo kan worden gesteld, groot genoeg: het Letse corpus13 omvat 3800 zinnen en 53 duizend woorden (Predkalnina et al. 2016); het Estse corpus 14 omvat 1400 zinnen en 10 600 woorden (Muischnek et al. 2014); het Poolse corpus 15 omvat 8227 zinnen. Het eerste syntactisch geannoteerde corpus, PENN (VS), omvat aanzienlijk meer: ongeveer 3 miljoen woorden16. De teksten in ALKSNIS zijn onderverdeeld in vier genres (zie fig. 2). De onderdelen met algemene en gespecialiseerde periodieken en fictie zijn ongeveer even groot, terwijl het onderdeel met administratieve teksten het kleinst is, omdat dit een specifiek soort Litouws is: de zinnen zijn vaak lang en bevatten veel documenttitels, verwijzingen naar andere documenten enzovoort. De annotatie van dergelijke zinnen zou geen typisch syntactisch patroon aan het licht brengen. FIG. 2. Opbouw van het syntactisch geannoteerde corpus ALKSNIS Voor de samenstelling van het corpus zijn volledige, onverkorte teksten gebruikt. De zinnen zijn geselecteerd uit zo gevarieerd mogelijke tekstgenres. Het onderdeel fictie bestaat uit zinnen uit werken van Litouwse auteurs. De geselecteerde zinnen zijn voorbereid voor computeranalyse: de tekencodering van de tekst is gecontroleerd en tabellen en afbeeldingen zijn verwijderd. 13 Online beschikbaar: http://sintakse.korpuss.lv/index.html. 14 Online beschikbaar: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/. 15 Online beschikbaar: http://zil.ipipan.waw.pl/Sk%C5%82adnica. 16 Online beschikbaar: https://catalog.ldc.upenn.edu/ldc99t42. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 7 2.2. Hulpmiddelen voor corpusannotatie en visualisatie De automatische syntactische analyse is gebaseerd op de syntactische parser die is ontwikkeld tijdens het VDU KLC-project „Een systeem voor syntactisch-semantische analyse van het Litouws voor corpora, het Litouwse internet en toepassingen in de publieke sector”; deze parser is gemaakt in Haskell17. De parser is gebaseerd op een regelgebaseerde methode (Engels: rule-based). Deze tool leest de morfologisch geannoteerde bestanden van de segmentatie- en morfologische-analysemodules van semantika.lt en levert als resultaat zinnen op die zijn opgesplitst in bijzinnen of syntagma's; de tool genereert syntactische bomen en geeft hun thematische rollen (Engels: thematic roles) en syntactische functies aan (Boizou et al. 2014: 69). De webdiensten genereren uitsluitend JSON-bestanden, maar een andere KLC-tool converteert de resultaten van de syntactische analyse naar de PML-indeling (Prague Markup Language). Voor het syntactisch geannoteerde corpus worden afhankelijkheidsbomen gegenereerd (Engels: dependency trees). Met deze indeling kunnen afhankelijkheidsbomen in PML-indeling worden gevisualiseerd en bewerkt met de TrED-editor, ontwikkeld door UFAL van de Karelsuniversiteit Praag18 (zie fig. 3). Alle automatisch geannoteerde zinnen zijn door taalkundigen gecontroleerd en gecorrigeerd. De syntactische analyse omvat dus drie niveaus: automatische segmentatie van woorden en zinnen en morfologische analyse, automatische syntactische analyse (met een regelgebaseerde methode) en handmatige nabewerking van zinnen (zie voor meer informatie 2.4). 2.3. De gegevensstructuur van ALKSNIS Na automatische syntactische analyse worden zinnen grafisch weergegeven volgens het boomprincipe (zie figuur 3). Elke knoop van de boom komt overeen met een woord, leesteken of andere eenheid van de zin (symbool, cijfer enz.). De afhankelijkheidsrelaties tussen woorden worden aangegeven met „takken” of randen. 17 De syntactische parser is ontwikkeld door L. Boizou en F. Zamblera in het Centrum voor Computationele Linguïstiek van VDU. 18 Online beschikbaar: https://ufal.mff.cuni.cz/tred/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 8 FIG. 3. De afhankelijkheidsboom van een syntactisch geannoteerde zin in het formaat van de TrEd-editor Bij alle woorden wordt in deze volgorde het volgende vermeld (zie fig. 3): 1) de concrete woordvorm die in de zin wordt gebruikt (bijv. gyventojai); 2) de lemma (de woordenboekvorm) – het lemma (bijv. gyventojas); 3) morfologische labels (bijv. Ncmpnn-); 4) syntactische functie (bijv. Sub) (zie verder voor uitleg van de afkortingen). 2.4. Analyseniveaus Morfologisch analyseniveau. Morfologische annotatie is de eerste fase van automatische analyse en is daarom noodzakelijk voor syntactische analyse op een hoger niveau of zinsanalyse. De morfologische analyse is uitgevoerd met de annotator semantika.lt (Dad urkevičius 2017). De morfologische labels die in ALKSNYJE worden gebruikt, zijn opgesteld naar het voorbeeld van het formaat MULTEXT-East (uitvoeriger beschreven in hoofdstuk 1). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9 Syntactisch analyseniveau. De syntactische parser verwerkt morfologisch geannoteerde bestanden en geeft zinnen weer die in clausen of syntagma's zijn opgesplitst; hij genereert syntactische bomen en vermeldt de syntactische functies van hun elementen. De analyse is gebaseerd op het model van de afhankelijkheidsgrammatica (Engels: dependency grammar). Dit model wordt doorgaans toegepast op typologisch verwante talen die worden gekenmerkt door verbuiging en vervoeging van woordvormen en een vrije woordvolgorde, bijvoorbeeld Slavische talen (PDT19, SynTagRus20), het Lets enzovoort. Syntactische afhankelijkheidsrelaties worden hiërarchisch weergegeven. Men begint bij de hoofdclaus van de zin — de wortel van de boom — waaraan de overige zinsdelen worden gekoppeld op basis van hun afhankelijkheid (dat wil zeggen, syntactische relaties). Afkortingen van syntactische labels en informatie over syntactische relaties en afhankelijkheden zijn gebaseerd op Tsjechisch werk (Hajič et al. 1999); de Tsjechen behoorden tot de eersten die syntactische analyse voor het synthetische Tsjechisch ontwikkelden. Momenteel worden in ALKSNYJE 18 basale syntactische labels gebruikt (zonder hun varianten mee te tellen): Sub – subject, Pred – predicaat, Obj – object enz. (zie tabel 1). Varianten van labels ontstaan wanneer tweeledige of dubbele labels worden gecombineerd. Zo worden bijvoorbeeld bij de aanduiding van een samengesteld predicaat van nominaal of verbaal type respectievelijk de labels PredN en PredV gebruikt; bij de aanduiding van een attributieve bijzin in een samengestelde zin krijgt het predicaat van de bijzin het dubbele label Pred_Atr; om een coördinatierelatie aan te geven, wordt bij nevengeschikte zinsdelen als onderdeel van het dubbele label _Co opgenomen. Dat wil zeggen, bij elk van de opgesomde nevengeschikte objecten wordt onder meer Obj_Co geschreven. Overigens kunnen in samengestelde zinnen ook drievoudige labels voorkomen, bijvoorbeeld wanneer nevengeschikte bijzinnen moeten worden aangeduid: Pred_Atr_Co – dit is een attributieve bijzin. TABEL 1. Syntactische functies en hun labels in het corpus Label Syntactische functie Voorbeeld Sub Onderwerp Jis [Sub] sakė Pred Predicaat (of hulpwoord) Jis ėjo [Pred]; buvo [Pred] patenkintas PredN Nominaal deel van het predicaat Was [Pred] tevreden [PredN] PredV Werkwoordelijk deel van het predicaat Moet [Pred] reageren [PredV] Obj Object Ik wacht op een gast [Obj]; er moet een oplossing worden gevonden [Obj] Atr Attribuut (bepaling) Middelbare [Atr] school; lidstaat [Atr] Adj Bijwoordelijke bepalingen Hij zal nu [Adj] beslissen; in de Partizanų-straat [Adj] 19 Het Praagse afhankelijkheidsboomcorpus (Prague Dependency Treebank), zie voor meer informatie https://ufal.mff.cuni.cz/pdt3.0. 20 Online beschikbaar: http://www.ruscorpora.ru/en/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10 Aux Hulpfunctie (bijv. komma’s of andere symbolen) AuxC Onderschikking (bijzinnen) Hij zei dat [AuxC]... AuxK Leesteken aan het einde van een zin AuxL Hulp-lexicaal element (bijv. een woord in een vreemde taal) JAV kompanija North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr] AuxP Voorzetsel Gaat over naar [AuxP] niveau AuxZ Partikel Zoals altijd [AuxZ] Coord Coördinatie Producenten en [Coord] verkopers _Co (bijv. Atr_Co) Gecoördineerde zinsdelen (bijv. nevengeschikte zinsdelen) Producenten [Atr_Co] en [Coord] verkopers [Atr_Co] Par Tussenwerpsels en aanspreekvormen Om eerlijk te zijn [Par], lijkt het ExD Ellipsen of andere weglatingen in de zin Een vrouw is een [Pred_ExD] wezen Pred_ (bijv. Pred_Obj) Type van de bijzin in een onderschikkende zin (aangeduid bij het predicaat) Hij schreef dat de eigenschappen door [Pred_Obj] worden bepaald Handmatige correctiefase van zinnen. Alle automatisch syntactisch geannoteerde zinnen werden door taalkundigen gecontroleerd. De annotatie van veel zinnen, vooral samengestelde zinnen, moest worden gecorrigeerd en de juiste afhankelijkheidsrelaties moesten worden aangegeven. In sommige gevallen werden ook morfologische labels gecorrigeerd. De zinnen werden afzonderlijk door drie taalkundigen gecorrigeerd; vervolgens controleerden alle drie de taalkundigen elke zin nogmaals. De bijzonderheden van de syntactische annotatie worden hierna beschreven. Kenmerken van syntactische annotatie. Bij het uitvoeren van automatische syntactische analyse wordt, zoals vermeld, de hiërarchisch hoogste zinsconstituent (bijv. een werkwoord, soms een voegwoord aan het begin van de zin) of een ander zinsbestanddeel (bijv. bij een samengestelde zin: het voegwoord of verbindingswoord ervan) beschouwd als de top van de syntactische boom (Engels: root); als tak die de interpunctie van de zin aangeeft, fungeert een leesteken: een punt, vraagteken, uitroepteken, beletselteken, puntkomma enzovoort. Hieronder geven we concrete voorbeelden ter illustratie van de kenmerken van syntactische annotatie. Een voorbeeld waarin het werkwoord de top van de zin vormt [Pred] is weergegeven in figuur 4; een voorbeeld waarin het voegwoord dat doet [Coord] staat in figuur 5. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11 FIG. 4. De top van de afhankelijkheidsboom is een werkwoord BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12 FIG. 5. De top van de afhankelijkheidsboom is een voegwoord aan het begin van de zin Een voorbeeld waarin een leesteken de top van de samengestelde zin vormt, is weergegeven in figuur 6. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13 FIG. 6. De top van de afhankelijkheidsboom is het leesteken tussen de delen van een samengestelde zin Bij voorzetselconstructies wordt aangenomen dat het voorzetsel een hogere positie inneemt; het wordt aangeduid met AuxP, terwijl het daaropvolgende woord wordt aangeduid volgens de functie die het vervult (bijv. object): prijzen voor [AuxP] elektriciteit [Obj] (zie fig. 7). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14 FIG. 7. Annotatie van constructies met naamvallen Ondergeschikte zinsdelen van een samengestelde zin zijn afhankelijk van het gezegde van de hoofdzin, en het voegwoord van de bijzin is daarvan afhankelijk (de komma is afhankelijk van het voegwoord). Het is ook belangrijk de functie van de bijzin aan te geven. Die wordt vermeld bij het gezegde van de bijzin, bijv. Pred_Obj – een objectsbijzin (zie fig. 8). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15 AFB. 8. Voorbeeld van de annotatie van bijzinsdelen in een onderschikkende zin De aanwijzer van een nevenschikkende relatie (een voegwoord of kabel) kan de top van een nevenschikkende constructie zijn (bijv. voorgesteld om te gaan zitten en [Coord] te spelen; voorgesteld voor de kinderen en [Coord] hun ouders) (zie afb. 9). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16 AFB. 9. Voorbeeld van de annotatie van verbonden delen in nevenschikkende relaties Als er sprake is van een meerdelige gemengde nevenschikking, is het voegwoord in de constructie de top, en lopen alle overige asyndetische delen ervan af (komma’s met hun opsommende woorden bevinden zich op hetzelfde afhankelijkheidsniveau). Andere leestekens worden gemarkeerd als Aux (zie afb. 10). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17 AFB. 10. Voorbeeld van de annotatie van een gemengde nevenschikkende constructie (de afbeelding toont ook meer gevallen van nevenschikkende relaties) De top van nevenschikkende zinnen is het nevenschikkende voegwoord. Verbindende woorden die bestaan uit bijwoorden, voornaamwoorden of partikels (bijv. het bijwoord daarom), zijn afhankelijk van het predicaat van het tweede zinsdeel en vervullen een bijwoordelijke functie (Adj); de functie Coord van de nevenschikking wordt vervuld door de kabel, net als in asyndetische zinnen of zinnen met herhaalde voegwoorden, die hier als partikels worden beschouwd (zie afb. 12), zoals ook bij het verbinden van zinsdelen (zie afb. 11, 12). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18 AFB. 11. Voorbeeld van de annotatie van een nevenschikkende zin met een verbindend woord AFB. 12. Annotatie van een nevenschikkende constructie BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19 Het annoteren van numerieke uitdrukkingen, zoals uren en jaren, is lastig. Ze zijn geannoteerd als bepalingen met attributen of als attributen (zie fig. 13 en 14). FIG. 13. Annotatie van een datum FIG. 14. Annotatie van datums en andere numerieke uitdrukkingen (de afbeelding toont slechts een fragment van een syntactisch geannoteerde zin) BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20 Samengestelde predicaten zijn niet altijd gemakkelijk te annoteren. In sommige gevallen worden ze geannoteerd zoals ze ook in grammatica’s van het Litouws worden opgevat, namelijk als predicaten van nominaal en verbaal type (bijv. yra [Pred] paprastas [PredN]; gali [Pred] būti [PredV]), terwijl in sommige gevallen het tweede deel van het predicaat als object wordt beschouwd (bijv. ketinu [Pred] sukvies­ti [Obj]). Het was lastig om constructies met correlatieve voegwoorden te annoteren, omdat beide voegwoorden hiërarchisch gelijkwaardig zijn. In zulke gevallen werd aangenomen dat het predicaat van de hoofdzin de hogere positie in de hiërarchie inneemt en dat de bijzin daarvan afhankelijk is (zie fig. 15). FIG. 15. Voorbeeld van de annotatie van samengestelde zinnen met correlatieve voegwoorden Ten slotte werd de status van bepaalde woordsoorten besproken. Zo werd besloten herhaalde voegwoorden van nevenschikkende aard als partikels te beschouwen, omdat hun functie in de structuur van de afhankelijkheidsboom overeenkomt met die van partikels (zie fig. 12). Bij het handmatig syntactisch annoteren moesten heel wat problemen worden opgelost; hier zijn er slechts enkele genoemd. Veel annotatieproblemen zijn opgelost door de benadering van de traditionele grammatica te volgen en afspraken te maken over een bepaalde annotatiemethode. In andere gevallen moest rekening worden gehouden met de bijzonderheden van syntactische annotatie en moest de afgesproken werkwijze consequent worden gevolgd. We hopen de gerezen problemen aan te pakken door de automatische syntactische analyse verder te ontwikkelen. In de volgende paragraaf wordt de gegevenszoekfunctie in geannoteerde corpora met behulp van het ANNIS-systeem besproken. Dit is een van de uitdagingen bij het gebruik van geannoteerde corpora, omdat het zoeken naar gegevens in zulke corpora, waarin talloze labels en zelfs meerdere annotatieniveaus voorkomen, veelzijdig moet zijn. Daarom werd gekozen voor ANNIS, een hulpmiddel ontwikkeld door onderzoekers van de Humboldt-Universiteit (Duitsland). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21 3. Zoeken via het ANNIS-systeem Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose. ANNIS geeft de overeenkomstige concordantieregels weer, samen met de bijbehorende informatie (zie fig. 16). Een concordantieregel kan worden uitgebreid van 5 tot 25 woorden (interpunctietekens inbegrepen), zowel naar links als naar rechts; ook kunnen de resultaten worden geëxporteerd. In beide corpora worden grammaticale tags gebruikt die zijn opgesteld volgens de glossatietags van Leipzig21. Er zijn enkele tags toegevoegd die niet in de genoemde tags voorkomen, bijvoorbeeld ~COMP betekent de vergrotende trap. Voor dergelijke tags wordt een tilde geplaatst. Woordsoorten worden aangeduid volgens het Universal Dependency-formaat. FIG. 16. Fragment van de resultaten van een zoekopdracht met de ANNIS-tool Zoeken naar het lemma įsakymas in het deel met MATAS-documenten 21 Online beschikbaar: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. In andere geannoteerde corpora worden vaak tags van Universal Dependency (UD) gebruikt (zie http://universaldependencies.org/; zie ook fig. 18). Zoals in het eerste hoofdstuk is vermeld, zijn de UD-tags erg lang (bijvoorbeeld: de accusatief, vrouwelijk geslacht en meervoud worden als volgt aangeduid: case=accusative|gender=feminine|number=plural), nemen ze te veel ruimte in beslag in de ANNIS-interface en maken ze de informatie daardoor lastig leesbaar. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22 FIG. 17. Fragment van de resultaten van een zoekopdracht met de ANNIS-tool Zoeken naar het lemma įsakymas in het ALKSNIS-corpus (om de syntactische relaties met pijlen weer te geven, moet u op het plusteken naast deps klikken) 3.1. Eenvoudig zoeken Zoeken op één kenmerk wordt eenvoudig zoeken genoemd. De weergegeven annotatie (namen van grammaticale categorieën, gebruikte grammaticale labels enzovoort) hangt af van de structuur van elk tekstcorpus, niet van de ANNIS-tool. Wij wijzen erop dat bij het opstellen van een zoekopdracht onderscheid moet worden gemaakt tussen hoofdletters en kleine letters. 3.1.1. Zoeken naar exacte woordvormen (tekenreeksen) Eenvoudig zoeken gebeurt door de categorienaam, een gelijkteken en de categoriewaarde tussen Engelse aanhalingstekens op te geven, bijvoorbeeld: • lemma="kalba" (deze zoekopdracht betekent dat gezocht wordt naar het lemma kalba); • pos="ADJ" (er wordt gezocht naar bijvoeglijke naamwoorden); • gram=".M.SG.GEN." (er wordt gezocht naar woorden met bepaalde grammaticale categorieën, in dit geval woorden die in de mannelijke vorm enkelvoud genitief zijn gebruikt). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23 Om naar een specifieke woordvorm in de tekst te zoeken, moet de categorienaam tok worden opgegeven, of kan de gezochte vorm rechtstreeks tussen aanhalingstekens worden ingevoerd, bijvoorbeeld: • tok="zei" of "zei". In beide geannoteerde corpora kan worden gezocht naar lemma’s, woordsoorten, grammaticale categorieën en specifieke woordvormen; in ALKSNYJE kan bovendien worden gezocht naar syntactische labels, bijvoorbeeld: • syfun="Atr" (er wordt gezocht naar attributen). In ALKSNYJE kan ook worden gezocht naar afhankelijkheidsrelaties (deps), maar daarvoor geldt een andere zoekmethode (zie 3.2.3). 3.1.2. Zoeken naar tekenreeksen ANNIS maakt zoeken met reguliere expressies mogelijk (Engels: regular expressions); deze worden aangegeven met speciale tekens. Een zoekopdracht met reguliere expressies wordt in wezen op dezelfde manier geschreven als een zoekopdracht naar exacte woordvormen; alleen moeten de Engelse aanhalingstekens worden vervangen door schuine strepen. 3.1.2.1. Zoeken naar willekeurige tekens Het belangrijkste speciale teken is de punt; deze vervangt elk afzonderlijk teken (letter, cijfer enzovoort), bijvoorbeeld: • lemma=/pl.t.s/ (er wordt bijvoorbeeld gezocht naar platus, plotis, plitus); • /p.sak.s/ of tok=/p.sak.s/ (er wordt bijvoorbeeld gezocht naar pasakys, pasakos, pasakas, pasakęs, pasakis); • /201./ of tok=/201./ (er wordt bijvoorbeeld gezocht naar 2010, 2011, 2012...). Omdat de punt elk teken kan vervangen, moet naar het puntteken zelf worden gezocht met de combinatie van een backslash en een punt (\.), bijvoorbeeld: • gram=/^\..\SG\.GEN\./ (er wordt bijvoorbeeld gezocht naar .M.SG.GEN.,.F.SG.GEN.,...). 3.1.2.2. Zoeken naar één van meerdere symbolen In plaats van in de zoekopdracht naar volledig onbepaalde symbolen te zoeken, kan een aantal concrete te zoeken symbolen worden opgegeven. Deze worden tussen vierkante haken geschreven, bijvoorbeeld: • lemma=/pl[ao]t.s/ (er wordt bijvoorbeeld gezocht naar platus, plotis, maar niet naar plitus); • /t[ei]lp./ of tok=/t[ei]lp./ (er wordt bijvoorbeeld gezocht naar telpa, tilpo, maar niet naar talpa); • /201[0124]/ of tok=/201./ (er wordt gezocht naar 2010, 2011, 2012, 2014); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24 • gram=/\.[MFN]\.SG\.GEN\./ (er wordt gezocht naar .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.). We wijzen erop dat op deze manier wordt gezocht naar één symbool uit de opgegeven verzameling symbolen: /dirb[aius]/ maakt het mogelijk te zoeken naar dirba, dirbi, dirbu, dirbs, maar niet naar dirbau of dirbsi. 3.1.3. Herhalingsoperatoren Symbolen (gewone en speciale) kunnen worden herhaald, bijvoorbeeld: • lemma=/..važiuoti/ (er wordt bijvoorbeeld gezocht naar nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti); • /dirb[ao][mt]e/ of tok=/dirb[ao][mt]e/ (zoeken naar dirbame, dirbate, dirbome, dirbote). Op deze manier ligt het aantal gezochte symbolen vast, bijvoorbeeld twee symbolen in de gegeven voorbeelden (of [ao][mt]); met de zoekopdracht lemma=/..važiuoti/ krijgt u dus geen resultaten met het lemma įvažiuoti. Er zijn meer mogelijkheden met herhalingsoperatoren; hun betekenis is als volgt: •? – een bepaald symbool komt één keer of helemaal niet voor; • + – een bepaald symbool komt minstens één keer voor (d.w.z. één, twee, drie, vier of meer keer); • * – een bepaald symbool komt n keer voor (d.w.z. het kan helemaal niet voorkomen, of één, twee of meer keer voorkomen) Deze operatoren helpen bij het zoeken naar symbolen die erop volgen of eraan voorafgaan, bijvoorbeeld: • /šild?o/ (er wordt gezocht naar šilo of šildo); • /Ma+u/ (er wordt gezocht naar Mau, Maau, Maaau, Maaau enzovoort); • /oi*/ (er wordt gezocht naar o, oi, oii, oiii enzovoort). De eerder genoemde operatoren kunnen worden gecombineerd met het zoeken naar een willekeurig teken of een van meerdere tekens, bijvoorbeeld: • lemma=/. *važiuoti/ (er wordt bijvoorbeeld gezocht naar važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti); • /šauk[aiu]*/ of tok=/šauk[aiu]*/ (er wordt bijvoorbeeld gezocht naar šauk, šauki, šaukia, šaukiu); BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25 /šauk[aiu]+/ of tok=/šauk[aiu]+/ (er wordt bijvoorbeeld gezocht naar šauki, šaukia, šaukiu, maar niet naar šauk); gram=/.*\.F\..*/ (er wordt gezocht naar de reeks.F. tussen willekeurige andere tekenreeksen). Vermeldenswaard is dat constructies zoals [aiu]* of [aiu]+ geen invloed hebben op de volgorde van de gezochte tekens. Dit betekent dat de resultaten tekenreeksen bevatten met a of i, of u + a; of i, of u + a; of i, of u.... Zo worden combinaties van tekens herkend zoals: aaa, i, uuuuu, uiua, uua enzovoort. 3.1.4. Zoeken naar alternatieven De verticale streep (|) maakt het mogelijk naar alternatieven te zoeken, bijvoorbeeld: lemma="slecht" | lemma="goed"; /d(au|ū)ž.*/ of tok=/d(au|ū)ž.*/ (er wordt bijvoorbeeld gezocht naar daužo, dūžta, daužymas); gram=/.*\.~(COMP|SUP)\..*/ (er wordt gezocht naar.~COMP. en.~SUP. tussen willekeurige reeksen tekens); "tik" | "tiktai" of tok="tik" | tok="tiktai" (er wordt gezocht naar tik en tiktai). 3.1.5. Negatief geformuleerde zoekopdrachten Hoewel deze mogelijkheid nuttiger is bij het combineren van kenmerken in complexe zoekopdrachten, kan men ook bij eenvoudige zoekopdrachten aangeven waarnaar niet gezocht moet worden, bijvoorbeeld: pos!="NOUN" (er wordt gezocht naar alle woorden die geen zelfstandige naamwoorden zijn); tok!=/.*[ąaęeėįiyiouųū]/ (er wordt gezocht naar alle woordvormen die niet op een klinker eindigen). Als er geen complexe zoekopdracht wordt gekozen (zie 3.2), kunnen negatief geformuleerde eenvoudige zoekopdrachten problemen opleveren, vooral als ze veel woorden omvatten (zoals in het eerste geval — zelfstandige naamwoorden); gebruik deze zoekopdracht daarom voorzichtig. 3.2. Samengesteld zoeken Een samengestelde zoekopdracht bestaat uit meerdere eenvoudige zoekopdrachten. Er is ook een aanvullend onderdeel nodig dat de relaties tussen de eenvoudige zoekopdrachten beschrijft (aangegeven op basis van hun positie). Elk onderdeel van een eenvoudige zoekopdracht wordt verbonden met het ampersandteken (&). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26 3.2.1. Combinaties van kenmerken voor één woord Met een eenvoudige zoekopdracht wordt gezocht naar hetzelfde woord, terwijl de relatie tussen de eenvoudige zoekopdrachten wordt uitgedrukt met de combinatieoperator (_=_), bijvoorbeeld: • "mano" & pos="PRON" & #1 _=_ #2 (zoek naar het voornaamwoord mano, maar niet naar de derde persoon enkelvoud van de tegenwoordige tijd van het werkwoord manyti). Deze formulering van de zoekopdracht betekent dat de eerste eenvoudige zoekopdracht (#1, d.w.z. "mano" of tok="mano") en de tweede eenvoudige zoekopdracht (#2, d.w.z. pos="PRON") betrekking hebben op hetzelfde woord. 3.2.2. Combinaties van woorden Als op basis van een eenvoudige zoekopdracht een zoekopdracht voor verschillende woorden wordt geformuleerd, wordt de combinatieoperator vervangen door de volgordeoperator (een punt), bijvoorbeeld: • lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (zoek naar een woord dat in de genitief is gebruikt na het woord pilnas). Het getal 1 na de punt betekent dat #2 direct (zonder tussenvoeging) na #1 komt. Het getal 2 zou aangeven dat er één woord tussen staat, 3 dat er twee woorden tussen staan, enzovoort. In plaats van.1 kan ook een punt zonder getal worden geschreven (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Het interval kan worden verfijnd met een komma, bijvoorbeeld.2,4 (met één tot drie tussenliggende woorden). Als het aantal tussenliggende woorden niet van belang is, schrijft u een punt en een sterretje (*). In één samengestelde zoekopdracht kunnen de volgorde- en combinatieoperator samen worden gebruikt, bijvoorbeeld: • lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (zoek naar woorden in de genitief die geen bijvoeglijke naamwoorden zijn, na het woord pilnas). 3.2.3. Zoeken naar syntactische afhankelijkheden Ook afhankelijkheidsstructuren kunnen worden gezocht via een gecombineerde zoekopdracht met de operator voor directe afhankelijkheid ->, bijvoorbeeld: • pos="NOUN" & pos="ADJ" & #1 ->deps #2 (hierbij wordt gezocht naar zelfstandige naamwoorden die bijvoeglijke naamwoorden regeren, bijvoorbeeld appartementsgebouw); • pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (hierbij wordt gezocht naar bevestigende werkwoorden die aanvullingen in de genitief regeren, bijvoorbeeld op vragen wachten). BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27 SLOTOPMERKINGEN De corpora MATAS en ALKSNIS zijn belangrijke hulpmiddelen voor het Litouws. Ze zijn nodig voor verdere fasen van de computerisering van de taal. Uit deze corpora kunnen kwantitatieve gegevens worden verkregen over de verdeling van woordsoorten, grammaticale vormen en syntactische functies, en over de frequentste lemma’s, grammaticale vormen enzovoort (enkele concrete kwantitatieve studies zijn te vinden in de volgende werken: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS is gebruikt om de parser van semantika.lt te trainen (om de kwaliteit van de annotatie te beoordelen). In de toekomst moet de automatische syntactische analyse verder worden ontwikkeld. Allereerst zou de kwaliteit van de syntactische annotatie kunnen worden verbeterd: syntactische functies kunnen worden verfijnd en nieuwe labels kunnen worden toegevoegd (bijvoorbeeld omstandigheden verfijnen op basis van hun semantiek: plaats, wijze, tijd enzovoort). Bij het begin van de syntactische annotatie stuitte men op veel onduidelijkheden bij de annotatie; daarom zouden sommige syntactische gevallen moeten worden besproken, bijvoorbeeld de annotatie van samengestelde gezegdes, ellips, het onderscheid tussen asyndetische zinsdelen en verklarende constructies, de status van sommige woordsoorten enzovoort. Een andere werklijn is de corpusomvang zelf te vergroten. De genreonderdelen van het corpus moeten worden uitgebreid, bijvoorbeeld door meer wetenschappelijke en populairwetenschappelijke teksten op te nemen. Bovendien moet het corpus worden geconverteerd naar het veelgebruikte internationale formaat Universal Dependency (zie fig. 18; grammaticale labels zijn hier niet weergegeven; het voorbeeld is een syntactisch geannoteerd Fins voorbeeld). FIG. 18 Universal Dependency-formaat Een van de belangrijkste doelen van automatische syntactische analyse is het ontwikkelen van een syntactische parser op statistische basis (Engels: statistically-based parser), gebaseerd op ALKSNIS als referentie voor syntactische analyse, die gebruikt kan worden om grote hoeveelheden tekst te annoteren. Indien de mogelijkheden het toelaten, kan de syntactische analyse ook in andere richtingen worden uitgebreid, bijvoorbeeld met de annotatie van thematische rollen (Engels: thematic role annotation). Dit is een bepaalde semantische representatie die verband houdt met valentie. Dit niveau is in het interne systeem voor syntactische annotatie aan elk woord toegekend en is momenteel niet openbaar zichtbaar, omdat het experimenteel, nog niet volledig ontwikkeld en niet gevalideerd is. Ook zou het nuttig zijn vaste woordcombinaties te annoteren (Engels: multi-word BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28 expressions, MWE22), die collocaties en fraseologismen omvatten. Tot nu toe werden ze in het corpus niet gemarkeerd, behalve morfologische woordgroepen waarvan de delen tot één eenheid zijn samengevoegd (bijv. kol kas, iš tolo) en die één morfologische en syntactische functie hebben (meestal gemarkeerd als bijwoorden en bepalingen). Ook is het de bedoeling anaforische relaties te markeren (wanneer in de ene zin een zelfstandig naamwoord wordt gebruikt en dit in de volgende zin (of in een ander zinsdeel) door een voornaamwoord wordt vervangen, d.w.z. de verbanden tussen het voornaamwoord en het zelfstandig naamwoord dat erdoor wordt vervangen te markeren). LITERATŪRA Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15). Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15). Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas. Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius. Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05). Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56. Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: 22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/. BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29 IOS Press, 111–118. Prieiga internete: http://ebooks.iospress.nl/publication/38013 (žiūrėta 2017 10 10). Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10). Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas. Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07). Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20). Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31). Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07). Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07). Įteikta 2017 11 06 Priimta 2017 12 20 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30 LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK Summary Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users. KEYWORDS: corpus, automatic morphological analysis, automatic syntactic analysis, treebank, language technologies. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytauto Didžiojo universiteto Kompiuterinės lingvistikos centras V. Putvinskio g. 23–216, 44243 Kaunas agnė[email protected] [email protected] [email protected] BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204