Již 25 let se v Centru počítačové lingvistiky (KLC) Univerzity Vytautase Velikého (VDU)1 vytvářejí a rozvíjejí jazykové technologie (Utka a kol. 2017). Jazykové zdroje a nástroje pro litevštinu připravené VDU KLC jsou základem, bez něhož se neobejde počítačové zpracování litevštiny ani přizpůsobování nových technologií tomuto jazyku. Na začátku roku 2015 se Litva stala řádným členem CLARIN ERIC a v červenci 2015 VDU KLC a Fakulta informatiky VDU spolu s partnery z Vilniuské univerzity a Kaunaské technologické univerzity založily konsorcium CLARIN-LT a zahájily projekt „Členství Litvy v mezinárodní výzkumné infrastruktuře – Společná infrastruktura jazykových zdrojů a technologií“2 – Litva se tak začlenila do společného evropského systému jazykových technologií.
Cílem tohoto článku je představit dva jazykové zdroje pro litevštinu – anotované korpusy litevštiny připravené ve VDU KLC: morfologicky anotovaný korpus MATAS a syntakticky anotovaný korpus ALKSNIS. Tyto zdroje jsou veřejně dostupné v úložišti CLARIN-LT; vyhledávat v nich lze prostřednictvím systému ANNIS3 (podrobněji viz kapitola 3) a vyhledávání v automaticky morfologicky anotovaném korpusu je možné také na webových stránkách http://corpus.vdu.lt4.
Anotované korpusy jsou základními zdroji, které hrají důležitou roli při rozvoji jazykových technologií. Při počítačovém zpracování jazyka a přípravě počítačových nástrojů určených k automatické analýze jazyka jsou nezbytné gramatická analýza a statistické údaje o jazyce. Korpusy doplněné gramatickými značkami tedy slouží jako surovina pro další automatickou analýzu jazyka. Takové korpusy se využívají k vytváření dalších zdrojů a nástrojů pro zpracování přirozeného jazyka v oblastech, jako jsou
4 Jde o automaticky morfologicky anotovaný korpus obsahující 208 milionů slov. Dále se jím tento článek nezabývá. Hlavní pozornost je věnována morfologicky anotovanému korpusu MATAS o rozsahu 1,6 milionu slov, který zkontroloval lingvista.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
systémy automatického rozpoznávání jazyka, strojové učení, automatizovaný překlad, získávání informací apod.
V další části článku jsou samostatně představeny uvedené korpusy a vyhledávání dat v nich prostřednictvím systému ANNIS. Korpusy a jejich data mohou využívat výzkumníci a studenti zkoumající gramatický systém litevštiny, vyučující a učitelé při tvorbě úloh i všichni, kdo se zajímají o jazykové technologie.
ANOTOVANÉ KORPUSY LITEVŠTINY A ZVLÁŠTNOSTI JEJICH TVORBY
1. Morfologicky anotovaný korpus MATAS
Morfologická analýza je první etapou zpracování jazyka a často připravuje text pro následnou syntaktickou nebo sémantickou analýzu. Je proto velmi důležité, aby morfologické anotátory pracovaly co nejpřesněji, neboť chyby na morfologické úrovni ztěžují automatickou jazykovou analýzu na dalších úrovních.
První morfologický anotátor litevštiny byl vytvořen přibližně před 25 lety. Jeho autorem je Vytautas Zinkevičius (podrobněji viz Zinkevičius 2000). V současnosti jsou pro litevštinu veřejně dostupné dva morfologické anotátory: zmíněný program V. Zinkevičiuse, obvykle nazývaný Lemuoklis5 (od slova lema – základní tvar), a anotátor dostupný na portálu Informační systém syntaktické a sémantické analýzy litevštiny (dále semantika.lt). Korpus MATAS představený v tomto článku byl anotován pomocí nástroje Lemuoklis, zatímco syntakticky anotovaný korpus byl připraven pomocí morfologického anotátoru semantika.lt.6
Ačkoli Lemuoklis funguje poměrně dobře, tento program nelze aktualizovat, protože jde o uzavřený zdrojový kód. Anotátor Semantika.lt byl vytvořen na platformě Hunspell jako program s otevřeným zdrojovým kódem; tento anotátor se průběžně aktualizuje, doplňuje o nová slova (nyní obsahuje 171 000 lemmat) a upravují se jeho pravidla (podrobněji Dadurkevičius 2017). Výzkum provedený v roce 2017, který hodnotil kvalitu obou anotátorů, zjistil, že přesněji pracuje anotátor semantika.lt (Kapočiūtė-Dzikienė a kol. 2017).
Korpus MATAS, který je zde představen, vznikal v letech 2002–2014. Za základ byl vzat milionový korpus vytvořený v roce 2006; ten byl doplněn o nové texty a přepracován. Nejprve byly texty korpusu MATAS automaticky morfologicky anotovány, poté je jazykovědec zkontroloval a upravil.
5 Přístup na internetu: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; tento program text nejen morfologicky anotuje, ale dokáže také provádět syntézu, tj. generovat potřebné tvary; je přizpůsoben i analýze starých písemných památek.
6 Přístup na internetu: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
MATAS obsahuje 1,6 milionu textových tokenů pocházejících z dokumentů, beletristických děl a odborných textů. Stejně jako v Korpusu současné litevštiny tvoří největší část (36%) publicistické texty (viz obrázek 1).
OBR. 1 Struktura morfologicky anotovaného korpusu MATAS (v procentech)
MATAS je k dispozici v několika formátech: v takzvaném formátu KLC, který používá poněkud neobvyklé zkratky slovních druhů a gramatických kategorií (v tomto formátu je anotován také korpus dostupný v úložišti portálu http://clarin-lt.lt/), například:
MATAS je rovněž anotován v mezinárodním formátu TEI P5. V něm se slovní druhy a gramatické kategorie zkracují na jedno písmeno nebo číslici, např. vatstdv3 znamená postupně:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
sloveso, určitý tvar, kladný tvar, zvratné, oznamovací způsob, minulý iterativní čas, jednotné číslo, třetí osoba. Níže je stejná ukázka textu ve formátu TEI P5:
Další formát, v němž jsou morfologicky anotované texty dostupné na webových stránkách http://corpus.vdu.lt, vychází z příkladu formátu MULTEXT-East7. Podle tohoto formátu má každý slovní druh různý počet morfologických kategorií (od 2 do 14), které se zapisují zkratkami; například označení Ncmpnn- N znamená podstatné jméno, c – obecné podstatné jméno, m – mužský rod, p – množné číslo, n – nominativ, n – nepřivlastňovací podstatné jméno; pomlčka na konci označuje, že se tomuto slovu, například universitetai, nepřiřazuje žádný sémantický štítek8.
Ve třetí kapitole představíme vyhledávání v korpusech MATAS i ALKSNIS pomocí systému ANNIS. Používá se v něm další formát morfologických značek, vytvořený podle lipských glosovacích značek (podrobněji viz kapitola 3).
Různé anotační systémy jsou charakteristické nejen pro technologie litevského jazyka. Tento problém vedl k vytvoření konverzního nástroje Pepper (Zipser a kol. 2010). To odráží jednotlivé fáze vývoje různých zdrojů a používané anotační nástroje.
Jak vyplývá z výše uvedených příkladů, v KLC se používají čtyři systémy morfologických značek. Několik různých anotačních formátů vzniklo proto, že se morfologicky anotovaný korpus připravoval po dlouhou dobu. V určitém období se vůbec neuplatňovaly žádné anotační standardy; používaly se pouze zkratky slovních druhů a gramatických kategorií vytvořené tvůrcem morfologického analyzátoru V. Zinkevičiusem. Uživatelé jim snadno rozumějí. Později byl morfologicky anotovaný korpus v důsledku mezinárodní spolupráce znovu anotován pomocí
7 Přístup online: http://nl.ijs.si/ME/V4/msd/html/index.html.
8 Více informací o těchto značkách viz http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
mezinárodních standardů. Jak již bylo zmíněno, morfologický analyzátor semantika.lt (hlavním cílem tohoto systému bylo vytvořit internetové služby) používá značky ve formátu MULTEXT-East. Značky jsou krátké, ale pro lidi obtížně srozumitelné; jsou vhodnější pro počítačovou analýzu.
Ve formátu MULTEXT-East je morfologicky anotován také syntaktický korpus ALKSNIS. Nástroj pro vyhledávání v korpusech ANNIS (viz kapitolu 3) umožnil sjednotit formáty morfologické anotace ALKSNIO a MATO. Prvním nápadem bylo použít značky Universal Dependency (UD), protože jde o poměrně rozšířený anotační systém, který je snadno čitelný (v angličtině). Značky UD jsou však velmi dlouhé, což se při vyhledávání v ANNIS ukázalo jako nepraktické: značky každého slova zabírají mnoho místa, takže při analýze kontextu hledaného slova bylo nutné posouvat okno jedním či druhým směrem. Kvůli tomuto praktickému problému bylo rozhodnuto přizpůsobit značky lipského glosování, protože jsou snadno čitelné a poměrně krátké. Navzdory rozmanitosti anotačních značek popsané zde je třeba zdůraznit, že v rozhraní ANNIS obou korpusů se používá pouze jediný systém (přizpůsobený systém lipského glosování), což by mělo uživatelům výrazně usnadnit práci.
Je třeba poznamenat, že v MATE nejsou vyznačeny hranice vět; lze je rychle určit automaticky, ale získané výsledky je nutné zkontrolovat. MATAS je stejně jako dále popisovaný korpus ALKSNIS dostupný v http://clarin-lt.lt/ úložišti portálu9. Lze v něm vyhledávat pomocí systému ANNIS10 (podrobněji viz kapitolu 3).
2. Syntakticky anotovaný korpus ALKSNIS
Syntakticky anotovaný korpus litevštiny ALKSNIS byl připraven v roce 2016. Jeho přípravu podpořilo konsorcium evropské výzkumné infrastruktury CLARIN ERIC, Infrastruktura společných jazykových zdrojů a technologií (MTI-02/2015). Korpus je veřejně přístupný v http://clarin-lt.lt/ úložišti portálu11. Návod k jeho používání je uveden v uživatelské příručce12.
Korpus byl koncipován jako referenční soubor pro syntaktickou analýzu litevštiny. Pro korpusy tohoto typu je charakteristické, že jsou malé a žánrově optimálně vyvážené a že syntaktickou analýzu, ačkoli byla provedena automaticky, zkontrolovali a opravili lingvisté. Na základě referenční syntaktické analýzy lze vytvořit statisticky založený syntaktický analyzátor (angl. statistically-based parser) a rozšířit automatickou syntaktickou analýzu (Bielinskienė a kol. 2016).
9 Přístup online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.
10 Přístup online: http://158.129.51.247:8080/annis-gui-3.4.4.
11 Přístup online: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.
12 Přístup online: https://youtu.be/PIEOPWurb4Y.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Protože je ALKSNIS novějším zdrojem litevského jazyka než MATAS a je méně popsaný, budeme v tomto článku věnovat větší pozornost ALKSNIU a probereme také otázky, které vyvstaly při syntaktické anotaci.
2.1. Části korpusu
Korpus ALKSNIS tvoří 30 599 slov a 2355 syntakticky anotovaných vět. Ve srovnání s korpusy jazyků okolních zemí je tento korpus poměrně podobný a lze říci, že má dostatečnou velikost: korpus lotyšského jazyka13 tvoří 3800 vět a 53 tisíc slov (Predkalnina a kol. 2016); estonský korpus 14 má 1400 vět a 10 600 slov (Muischnek a kol. 2014); polský korpus 15 má 8227 vět. První syntakticky anotovaný korpus PENN (USA) je podstatně větší – tvoří jej přibližně 3 miliony slov16.
Texty korpusu ALKSNIS zahrnují čtyři žánrové části (viz obr. 2). Části věnované všeobecným a odborným periodikům a krásné literatuře jsou přibližně stejně velké, zatímco část administrativních textů je nejmenší, protože jde o specifickou litevštinu: věty bývají často dlouhé a obsahují mnoho názvů dokumentů, odkazů na jiné dokumenty apod. Anotace takových vět by neodhalila typickou syntaktickou strukturu.
OBR. 2. Struktura syntakticky anotovaného korpusu ALKSNIS
Pro vytvoření korpusu byly použity celé, nezkrácené texty. Věty byly vybírány z co nejrozmanitějších textových žánrů. Část krásné literatury tvoří věty z děl litevských autorů. Vybrané věty byly připraveny pro počítačovou analýzu: bylo zkontrolováno kódování textu a byly odstraněny tabulky a obrázky.
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Nástroje pro anotaci a vizualizaci korpusu
Automatická syntaktická analýza vychází ze syntaktického analyzátoru vyvinutého v rámci projektu VDU KLC „Systém syntakticko-sémantické analýzy litevského jazyka pro korpus, litevský internet a aplikace ve veřejném sektoru“, který byl vytvořen v Haskell17. Analyzátor je založen na metodě založené na pravidlech (angl. rule-based). Tento nástroj načítá morfologicky anotované soubory z modulů segmentace a morfologické analýzy semantika.lt a jako výstup poskytuje věty rozdělené na větné členy nebo syntagmata, generuje syntaktické stromy, určuje jejich tematické role (angl. thematic roles) a syntaktické funkce (Boizou a kol. 2014: 69).
Online služby generují pouze soubory JSON, jiný nástroj KLC však převádí výsledky syntaktické analýzy do formátu PML (Prague Markup Language). Pro syntakticky anotovaný korpus se generují stromy závislostí (angl. dependency trees). Tento formát umožňuje vizualizovat a upravovat stromy závislostí ve formátu PML pomocí editoru TrED, který vyvinula UFAL na Univerzitě Karlově v Praze18 (viz obr. 3). Všechny automaticky anotované věty zkontrolovali a opravili lingvisté. Syntaktická analýza tedy zahrnuje tři úrovně: automatickou segmentaci slov a vět a morfologickou analýzu, automatickou syntaktickou analýzu (metodou založenou na pravidlech) a ruční zpracování vět (podrobněji viz 2.4).
2.3. Datová struktura ALKSNIO
Po provedení automatické syntaktické analýzy jsou věty graficky znázorněny v podobě stromu (viz obr. 3). Každý uzel stromu odpovídá slovu ve větě, interpunkčnímu znaménku nebo jiné jednotce věty (symbolu, číslici apod.). Vztahy závislosti mezi slovy jsou znázorněny „větvemi“ neboli hranami.
17 Syntaktický analyzátor vytvořili L. Boizou a F. Zamblera v Centru výpočetní lingvistiky VDU.
U všech slov jsou v tomto pořadí uvedeny následující údaje (viz obr. 3):
1) konkrétní podoba slova použitá ve větě (např. gyventojai);
2) základní (slovníková) podoba – lema (např. gyventojas);
3) morfologické značky (např. Ncmpnn-);
4) syntaktická funkce (např. Sub) (vysvětlení zkratek viz níže).
2.4. Úrovně analýzy
Úroveň morfologické analýzy. Morfologická anotace je první fází automatické analýzy, a proto je nezbytná pro syntaktickou analýzu vyšší úrovně neboli analýzu věty. Morfologická analýza byla provedena pomocí anotátoru semantika.lt (Dad urkevičius 2017). Morfologické značky používané v ALKSNYJE byly vytvořeny podle vzoru formátu MULTEXT-East (podrobněji popsáno v kapitole 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Úroveň syntaktické analýzy. Syntaktický analyzátor zpracovává morfologicky anotované soubory a předkládá věty rozdělené na větné členy nebo syntagmata, generuje syntaktické stromy a určuje syntaktické funkce jejich prvků. Analýza vychází z modelu závislostní gramatiky (angl. dependency grammar). Obvykle se používá pro typologicky podobné jazyky, pro které je charakteristické ohýbání slovních tvarů a volný slovosled, například pro slovanské jazyky (PDT19, SynTagRus20), lotyštinu atd. Syntaktické závislosti se vyjadřují hierarchicky. Začíná se hlavní větnou částí – vrcholem stromu, k němuž se podle jejich závislosti (tj. syntaktických vztahů) připojují ostatní větné členy.
Zkratky syntaktických značek a informace o syntaktických vztazích a závislostech vycházejí z české tradice (Hajič a kol. 1999); čeští badatelé byli mezi prvními, kdo rozvinuli syntaktickou analýzu pro češtinu, jazyk syntetického typu. V současnosti se v ALKSNYJE používá 18 základních syntaktických značek (nepočítáme-li jejich varianty): Sub – podmět, Pred – přísudek (predikát), Obj – předmět atd. (viz tabulku 1). Varianty značek vznikají tehdy, když se spojí dvojí nebo zdvojené značky. Například při označování složeného jmenného nebo slovesného přísudku se používají dvojí značky: příslušně PredN a PredV; při označování vedlejší atributivní věty v souvětí se k přísudku vedlejší věty připojuje zdvojená značka Pred_Atr; pro vyjádření koordinačního vztahu se jako součást zdvojené značky u několikanásobných větných členů označuje _Co, tj. u každého z vyjmenovaných několikanásobných předmětů se píše Obj_Co apod. Mimochodem, ve složených souvětích se mohou objevit i trojité značky, například je-li třeba označit souřadně spojené vedlejší věty: Pred_Atr_Co – jde o vedlejší atributivní větu.
TABULKA 1. Syntaktické funkce a jejich značky v korpusu
Značka
Syntaktická funkce
Příklad
Sub
Podmět
Jis [Sub] sakė
Pred
Predikát (nebo pomocné slovo)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Jmenná část predikátu
Byl [Pred] spokojený [PredN]
PredV
Slovesná část predikátu
Musí [Pred] reagovat [PredV]
Obj
Objekt
Čekám na hosta [Obj]; je třeba rozhodnout [Obj]
Atr
Atribut (přívlastek)
Střední [Atr] škola; členská země [Atr]
Adj
Příslovečná určení
Teď [Adj] rozhodne; v Partizánské ulici [Adj]
19 Pražský korpus závislostních stromů (Prague Dependency Treebank), podrobněji viz https://ufal.mff.cuni.cz/pdt3.0.
20 Dostupné online: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Pomocná funkce (např. čárky nebo jiné symboly)
AuxC
Podřazování (vedlejší věty)
Řekl, že [AuxC]...
AuxK
Interpunkční znaménko na konci věty
AuxL
Pomocná lexikální jednotka (např. cizojazyčné slovo)
JAV kompanija North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Předložka
Přejde na úroveň [AuxP]
AuxZ
Částice
Jako vždy [AuxZ]
Coord
Spojení
Výrobců a [Coord] prodejců
_Co (např., Atr_Co)
Spojované větné členy (např. několikanásobné větné členy)
Výrobců [Atr_Co] a [Coord] prodejců [Atr_Co]
Par
Vsuvky, oslovení
Popravdě [Par], zdá se
ExD
Elipsa či jiná vynechání ve větě
Žena – [Pred_ExD] bytost
Pred_ (např., Pred_Obj)
Typ vedlejší věty (označuje se u predikátu)
Psal, že vlastnosti jsou určovány [Pred_Obj]
Úroveň ručního zpracování vět. Všechny věty automaticky syntakticky anotované byly zkontrolovány lingvisty. Anotaci mnoha vět, zejména souvětí, bylo třeba opravit a vyznačit správné závislosti. Na některých místech byly opraveny také morfologické značky. Věty samostatně opravovali tři lingvisté a později každou větu dodatečně zkontrolovali všichni tři lingvisté. Zvláštnosti syntaktické anotace jsou popsány dále.
Specifika syntaktické anotace. Při automatické syntaktické analýze se za vrchol syntaktického stromu (angl. root) považuje, jak již bylo uvedeno, hierarchicky nejvyšší větný člen (např. sloveso, někdy spojka na začátku věty) nebo jiný větný prvek (např. u souvětí jeho spojka nebo spojovací výraz) a jako větev znázorňující interpunkci věty se uvádí interpunkční znaménko: tečka, otazník, vykřičník, výpustka, středník apod. Dále uvedeme konkrétní příklady, které ilustrují specifika syntaktické anotace.
Příklad, v němž je vrcholem věty sloveso [Pred], je znázorněn na obrázku 4, zatímco příklad, v němž je vrcholem spojka [Coord], na obrázku 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
OBR. 4 Vrchol závislostního stromu – sloveso
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
OBR. 5 Vrchol závislostního stromu – spojka na začátku věty
Příklad, v němž je vrcholem souvětí interpunkční znaménko, je uveden na obrázku 6.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
OBR. 6 Vrchol závislostního stromu – interpunkční znaménko mezi větami souvětí
Předpokládá se, že v předložkových konstrukcích zaujímá předložka vyšší pozici a označuje se jako AuxP, zatímco následující slovo se označuje podle své funkce (např. jako objekt): ceny za [AuxP] elektřinu [Obj] (viz obr. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
OBR. 7 Anotace předložkových konstrukcí
Vedlejší věty souvětí závisí na přísudku věty hlavní a na něm závisí spojka vedlejší věty (čárka závisí na spojce). Důležité je uvést také funkci vedlejší věty. Ta se uvádí u přísudku vedlejší věty, např. Pred_Obj – vedlejší věta předmětná (objektová) (viz obr. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
8 OBR. Příklad anotace vedlejších členů souvětí s podřadicím vztahem
Šipka koordinačního vztahu (spojka nebo kabel) může být vrcholem koordinační konstrukce (např. navrženo sednout si a [Coord] zahrát si; navrženo dětem a [Coord] jejich rodičům) (viz obr. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
9 OBR. Příklad anotace členů spojených koordinačními vztahy
Pokud jde o vícesložkové smíšené souřadné spojení, je spojka obsažená v konstrukci jejím vrcholem a od ní vedou všechny ostatní bezespojkové členy (čárky spolu s výčtovými výrazy jsou na stejné úrovni závislosti). Ostatní interpunkční znaménka se označují jako Aux (viz obr. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
10 OBR. Příklad anotace smíšené koordinační konstrukce (na obrázku je patrných i více případů koordinačních vztahů)
Vrchol souřadných souvětí tvoří souřadicí spojka. Spojovací výrazy tvořené příslovci, zájmeny nebo částicemi (např. příslovce proto) závisí na predikátu druhé věty a plní funkci příslovečného určení (Adj), zatímco funkci spojení Coord plní kabel stejně jako ve větách bez spojky nebo ve větách s opakovanými spojkami, které se zde považují za částice (viz obr. 12), stejně jako v případě spojování větných členů (viz obr. 11, 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
11 OBR. Příklad anotace souřadného souvětí se spojovacím výrazem
12 OBR. Anotace koordinační konstrukce
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Číselné výrazy, například hodiny a roky, se anotují obtížně. Jsou anotovány jako příslovečná určení s přívlastky nebo jako přívlastky (viz obr. 13, 14).
OBR. 13 Anotace data
OBR. 14 Anotace dat a dalších číselných výrazů (na obrázku je uveden pouze fragment syntakticky anotované věty)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Složené přísudky se ne vždy anotují snadno. V některých případech se anotují tak, jak jsou chápány v gramatikách litevského jazyka, tj. jako přísudky jmenného a slovesného typu (např. je [Pred] jednoduchý [PredN]; může [Pred] být [PredV]), v některých případech se však druhá složka přísudku považuje za předmět (např. hodlám [Pred] svolat [Obj]).
Obtížné bylo anotovat konstrukce se zdvojenými spojkami, protože obě spojky jsou hierarchicky rovnocenné. V takovém případě se mělo za to, že vyšší hierarchické postavení zaujímá přísudek hlavní věty a vedlejší větný člen na něm závisí (viz obr. 15).
OBR. 15 Příklad anotace souvětí se zdvojenými spojkami
Nakonec se diskutovalo o statusu některých slovních druhů. Například opakovací souřadicí spojky bylo rozhodnuto považovat za částice, protože jejich funkce ve struktuře závislostního stromu je podobná funkci částic (viz obr. 12).
Při ruční syntaktické anotaci se řešila řada problémů; zde bylo zmíněno pouze několik z nich. Mnohé obtíže při anotaci byly vyřešeny na základě tradičního gramatického přístupu, pouze po dohodě o určitém způsobu anotace. V ostatních případech bylo nutné přizpůsobit se zvláštnostem syntaktické anotace a při anotování důsledně dodržovat dohodnutý postup. Očekává se, že vzniklé problémy budou řešeny dalším rozvojem automatické syntaktické analýzy.
V následujícím oddílu je představeno vyhledávání dat v anotovaných korpusech pomocí systému ANNIS. Jde o jednu z výzev při používání anotovaných korpusů, protože vyhledávání dat v takových korpusech, které obsahují mnoho značek a dokonce několik úrovní anotace, musí být mnohostranné. Z tohoto důvodu byl zvolen nástroj ANNIS vytvořený výzkumníky Humboldtovy univerzity (Německo).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Vyhledávání prostřednictvím systému ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS zobrazuje příslušné konkordanční řádky se souvisejícími informacemi (viz obr. 16). Konkordanční řádek lze rozšířit z 5 na 25 slov (včetně interpunkčních znamének) jak vlevo, tak vpravo; výsledky lze také exportovat.
V obou korpusech se používají gramatické značky vytvořené podle značek lipského glosování21. Bylo přidáno několik značek, které se ve zmíněných značkách nevyskytují, například ~COMP označuje komparativ. Před takové značky se píše znak vlnovky. Slovní druhy se označují podle formátu Universal Dependency.
OBR. 16. Ukázka výsledků vyhledávání pomocí nástroje ANNIS
Vyhledávání lemmatu įsakymas v části dokumentů MATO
21 Přístup online: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. V jiných anotovaných korpusech se často používají značky Universal Dependency (UD) (viz http://universaldependencies.org/; viz také obr. 18). Jak bylo uvedeno v první kapitole, značky UD jsou velmi dlouhé (např. akuzativní pád, ženský rod a množné číslo se označují takto: case=accusative|gender=feminine|number=plural), zabírají v rozhraní ANNIS příliš mnoho místa, a proto se informace čtou nepohodlně.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
OBR. 17. Ukázka výsledků vyhledávání pomocí nástroje ANNIS
Vyhledávání lemmatu įsakymas v korpusu ALKSNIS
(aby byly syntaktické vztahy označeny šipkami, je třeba kliknout na znaménko plus vedle deps)
3.1. Jednoduché vyhledávání
Vyhledávání podle jednoho znaku se nazývá jednoduché. Zobrazované anotace (názvy gramatických kategorií, používané gramatické značky apod.) závisejí na struktuře každého korpusu, nikoli na nástroji ANNIS.
Upozorňujeme, že při zadávání dotazu je třeba rozlišovat velká a malá písmena.
Jednoduché vyhledávání se provádí zadáním názvu kategorie, znaku rovnosti a hodnoty kategorie uvedené v anglických uvozovkách, např.:
• lemma="kalba" (takový dotaz znamená, že se vyhledává lemma kalba);
• pos="ADJ" (vyhledávají se přídavná jména);
• gram=".M.SG.GEN." (vyhledávají se slova s určitými gramatickými kategoriemi, v tomto případě slova užitá v jednotném čísle, mužském rodě a genitivu).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Při hledání konkrétního tvaru slova v textu je třeba uvést název kategorie tok nebo jednoduše hledaný tvar zapsat do uvozovek, např.:
• tok="pasakė" nebo "pasakė".
V obou anotovaných korpusech lze vyhledávat lemmata, slovní druhy, gramatické kategorie i konkrétní tvary slov, zatímco v ALKSNYJE lze navíc vyhledávat syntaktické značky, např.:
• syfun="Atr" (hledají se atributy).
V ALKSNYJE lze také vyhledávat vztahy závislosti (deps), ale hledají se jiným způsobem (viz 3.2.3).
3.1.2. Vyhledávání posloupností znaků
ANNIS umožňuje vyhledávání pomocí regulárních výrazů (angl. regular expressions); ty se zapisují speciálními znaky. Dotaz s regulárními výrazy se v zásadě zapisuje stejně jako dotaz na přesné tvary slov, pouze je třeba anglické uvozovky nahradit lomítky.
3.1.2.1. Vyhledávání libovolných znaků
Nejdůležitějším speciálním znakem je tečka; zastupuje libovolný jeden znak (písmeno, číslici apod.), např.:
• lemma=/pl.t.s/ (hledají se např. platus, plotis, plitus);
• /p.sak.s/ nebo tok=/p.sak.s/ (hledají se např. pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ nebo tok=/201./ (hledají se např. 2010, 2011, 2012...).
Protože tečka může zastupovat libovolný znak, samotný znak tečky je třeba vyhledávat pomocí kombinace zpětného lomítka a tečky (\.), např.:
• gram=/^\..\SG\.GEN\./ (hledají se např. .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Hledání jednoho z několika znaků
Místo hledání zcela neurčitých znaků lze v dotazu uvést několik konkrétních hledaných znaků. Píšou se do hranatých závorek, např.:
• lemma=/pl[ao]t.s/ (hledají se např. platus, plotis, ale ne plitus);
• /t[ei]lp./ nebo tok=/t[ei]lp./ (hledají se např. telpa, tilpo, ale ne talpa);
• /201[0124]/ nebo tok=/201./ (hledají se 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
• gram=/\.[MFN]\.SG\.GEN\./ (hledají se .M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN.).
Upozorňujeme, že tímto způsobem se hledá jeden znak z uvedené množiny znaků: /dirb[aius]/ umožňuje hledat dirba, dirbi, dirbu, dirbs, ale ne dirbau nebo dirbsi.
3.1.3. Operátory opakování
Lze opakovat (běžné i speciální) znaky, např.:
• lemma=/..važiuoti/ (hledají se např. nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ nebo tok=/dirb[ao][mt]e/ (hledají se dirbame, dirbate, dirbome, dirbote).
Počet hledaných znaků je tedy pevný, např. v uvedených příkladech jsou to dva znaky (nebo [ao][mt]), takže dotazem lemma=/..važiuoti/ nezískáte výsledky s lemmatem įvažiuoti. Více možností nabízejí operátory opakování, jejichž význam je následující:
•? – určitý znak se vyskytuje jednou nebo vůbec;
• + – určitý znak se vyskytuje alespoň jednou (tj. jednou, dvakrát, třikrát, čtyřikrát a vícekrát);
• * – určitý znak se vyskytuje n-krát (tj. nemusí se vyskytovat vůbec, nebo se může vyskytovat jednou, dvakrát i vícekrát)
Tyto operátory pomáhají hledat znaky, které následují po nich nebo jim předcházejí, např.:
• /šild?o/ (hledá se šilo nebo šildo);
• /Ma+u/ (hledá se Mau, Maau, Maaau, Maaau atd.);
• /oi*/ (hledá se o, oi, oii, oiii atd.).
Dříve uvedené operátory lze kombinovat s hledáním libovolného nebo jednoho z několika znaků, například:
• lemma=/. *važiuoti/ (hledají se například važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);
• /šauk[aiu]*/ nebo tok=/šauk[aiu]*/ (hledají se například šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ nebo tok=/šauk[aiu]+/ (hledají se například šauki, šaukia, šaukiu, ale ne šauk);
gram=/.*\.F\..*/ (hledá se řetězec.F. mezi libovolnými jinými řetězci znaků).
Je třeba poznamenat, že struktury jako [aiu]* nebo [aiu]+ neovlivňují pořadí hledaných znaků. Výsledky tedy obsahují a nebo i nebo u + a; nebo i nebo u + a; nebo i nebo u.... Rozpoznány jsou tedy tyto kombinace znaků: aaa, i, uuuuu, uiua, uua atd.
3.1.4. Hledání alternativ
Svislá čára (|) umožňuje vyhledávat alternativy, např.:
lemma="špatný" | lemma="dobrý";
/d(au|ū)ž.*/ nebo tok=/d(au|ū)ž.*/ (hledají se např. daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (hledají se.~COMP. a.~SUP. mezi libovolnými posloupnostmi znaků);
"tik" | "tiktai" nebo tok="tik" | tok="tiktai" (hledají se tik a tiktai).
3.1.5. Negativně formulované dotazy
Ačkoli je tato možnost užitečnější při kombinování rysů ve složených vyhledáváních, i v jednoduchých vyhledáváních lze určit, co se nemá hledat, např.:
pos!="NOUN" (hledají se všechna slova, která nejsou podstatnými jmény);
tok!=/.*[ąaęeėįiyiouųū]/ (hledají se všechny tvary slov, které nekončí samohláskou).
Pokud není zvoleno složené vyhledávání (viz 3.2), mohou negativně formulované jednoduché dotazy způsobovat problémy, zejména pokud zahrnují mnoho slov (jako v prvním případě – podstatných jmen); tento dotaz je proto třeba používat opatrně.
3.2. Složené vyhledávání
Složené vyhledávání se vytváří z několika jednoduchých vyhledávání. Je také potřeba další část, která popisuje vztahy mezi jednoduchými vyhledáváními (určenými podle pozice). Každá část jednoduchého vyhledávání se spojuje znakem ampersandu (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Kombinace příznaků pro jedno slovo
Jednoduché vyhledávání hledá stejné slovo a vztah mezi jednoduchými vyhledáváními se vyjadřuje operátorem kombinace (_=_), například:
• "mano" & pos="PRON" & #1 _=_ #2 (hledat zájmeno mano, nikoli však sloveso manyti v přítomném čase, třetí osobě).
Taková formulace dotazu znamená, že první jednoduché vyhledávání (#1, tj. "mano" nebo tok="mano") a druhé jednoduché vyhledávání (#2, tj. pos="PRON") se vztahují ke stejnému slovu.
3.2.2. Kombinace slov
Pokud se na základě jednoduchého vyhledávání formuluje dotaz na různá slova, operátor kombinace se nahrazuje operátorem posloupnosti (tečkou), například:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (hledá se slovo použité v genitivu za slovem pilnas).
Číslo 1 za tečkou znamená, že #2 následuje přímo (bez vloženého slova) po #1. Číslo 2 by označovalo, že je vloženo jedno slovo, 3 – dvě slova atd. Místo.1 lze napsat tečku bez čísla (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Interval lze upřesnit pomocí čárky, např..2,4 (s vložením jednoho až tří slov). Pokud na délce vloženého úseku nezáleží, je třeba napsat tečku a hvězdičku (*).
V jednom složeném dotazu lze použít operátory posloupnosti i kombinace, například:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (hledají se slova v genitivu, která nejsou přídavnými jmény, za slovem pilnas).
3.2.3. Vyhledávání syntaktických závislostí
Struktury závislostí lze rovněž vyhledávat pomocí složeného vyhledávání s operátorem přímého řízení ->, např.:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (vyhledávají se podstatná jména, která řídí přídavná jména, např. bytový dům);
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
ZÁVĚREČNÉ POZNÁMKY
Korpusy MATAS a ALKSNIS jsou důležitými zdroji litevského jazyka. Jsou potřebné pro další etapy počítačového zpracování jazyka. Z těchto korpusů lze získat kvantitativní údaje o rozložení slovních druhů, gramatických tvarů a syntaktických funkcí, o nejčastějších lemmatech, gramatických tvarech apod. (několik konkrétních kvantitativních studií lze nalézt v těchto pracích: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS byl použit k trénování analyzátoru semantika.lt (k vyhodnocení kvality anotace).
V budoucnu je nezbytné dále rozvíjet automatickou syntaktickou analýzu. Především by bylo možné zlepšit kvalitu syntaktické anotace: zpřesnit syntaktické funkce, doplnit nové značky (např. zpřesnit příslovečná určení podle jejich sémantiky: místa, způsobu, času atd.). Na začátku syntaktické anotace jsme se setkali s řadou nejasností při anotování, proto by bylo třeba diskutovat některé syntaktické případy, např. anotování složených přísudků, rozlišování elipsy, bezespoječných vět a vysvětlovacích konstrukcí, status některých slovních druhů apod.
Dalším směrem práce je rozšířit samotný korpus. Bylo by třeba doplnit jeho žánrové části, například zařadit více odborných a populárněvědeckých textů. Kromě toho je nezbytné převést korpus do široce používaného mezinárodního formátu Universal Dependency (viz obr. 18; nejsou zde uvedeny gramatické značky, v příkladu je syntakticky anotována ukázka ve finštině).
OBR. 18 Formát Universal Dependency
Jedním z hlavních cílů automatické syntaktické analýzy je vytvořit syntaktický analyzátor pracující na statistickém základě (angl. statistically-based parser), který by vycházel z ALKSNISU jako referenčního standardu syntaktické analýzy a sloužil k anotování velkých objemů textů.
Je-li to možné, lze syntaktickou analýzu rozšířit i o další směry, například anotaci tematických rolí (angl. thematic role annotation). Jde o určité sémantické znázornění související s valenčními vlastnostmi. Tato úroveň je v interním systému syntaktické anotace přiřazena každému slovu a v současnosti není veřejně viditelná, protože je spíše experimentální, není plně rozpracovaná ani ověřená. Užitečné by také bylo označit ustálená spojení (angl. multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
výrazy, MWE22), které zahrnují kolokace a frazeologismy. Dosud nebyly v korpusu označovány, s výjimkou morfologických víceslovných jednotek, jejichž složky jsou spojeny do jednoho celku (např. prozatím, zpovzdálí) a které mají jednu morfologickou a syntaktickou funkci (nejčastěji jsou označovány jako příslovce a příslovečná určení). Plánuje se také označování anaforických vztahů (když je v jedné větě použito podstatné jméno a v jiné větě (nebo v jiné části téže věty) je nahrazeno zájmenem, tj. označení vztahů mezi zájmenem a podstatným jménem, které zastupuje).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
