De 25 de ani, Centrul de Lingvistică Computațională (KLC) al Universității Vytautas Magnus (VDU)1 creează și dezvoltă tehnologii lingvistice (Utka și colab. 2017). Resursele și instrumentele pentru limba lituaniană elaborate de VDU KLC stau la baza informatizării limbii lituaniene și a adaptării noilor tehnologii la aceasta. La începutul anului 2015, Lituania a devenit membru cu drepturi depline al CLARIN ERIC, iar în iulie 2015, VDU KLC și Facultatea de Informatică a VDU, împreună cu parteneri de la Universitatea din Vilnius și Universitatea Tehnologică din Kaunas, au înființat consorțiul CLARIN-LT și au început implementarea proiectului „Aderarea Lituaniei la infrastructura internațională de cercetare – Infrastructura comună pentru resurse și tehnologii lingvistice”2, integrându-se astfel în sistemul european comun al tehnologiilor lingvistice.
Scopul acestui articol este de a prezenta două resurse pentru limba lituaniană, corpusuri lituaniene adnotate elaborate de VDU KLC: corpusul adnotat morfologic MATAS și corpusul adnotat sintactic ALKSNIS. Aceste resurse sunt disponibile public în depozitul CLARIN-LT; căutarea se poate efectua prin sistemul ANNIS3 (pentru detalii, a se vedea secțiunea 3), iar căutarea în corpusul adnotat morfologic automat este posibilă și pe site-ul http://corpus.vdu.lt4.
Corpusurile adnotate sunt resurse fundamentale, care joacă un rol important în dezvoltarea tehnologiilor lingvistice. Informatizarea limbii și elaborarea instrumentelor informatice destinate analizei automate a limbii necesită analiză gramaticală și date statistice despre limbă. Astfel, corpusurile completate cu adnotări gramaticale sunt un fel de materie primă pentru analiza automată ulterioară a limbii. Astfel de corpusuri sunt folosite pentru crearea altor resurse și instrumente de procesare a limbajului natural în domenii precum
4 Acesta este un corpus adnotat morfologic automat, alcătuit din 208 milioane de cuvinte. Articolul de față nu îl mai abordează în continuare. Accentul se pune pe corpusul MATAS, adnotat morfologic și revizuit de un lingvist, alcătuit din 1,6 milioane de cuvinte.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
sisteme de recunoaștere automată a limbajului, învățare automată, traducere automatizată, extragerea informațiilor și așa mai departe.
În continuare, articolul prezintă separat corpusurile menționate și căutarea datelor în acestea prin intermediul sistemului ANNIS. Corpusurile și datele lor pot fi utilizate de cercetători și studenți care studiază sistemul gramatical al limbii lituaniene, de lectori și profesori pentru elaborarea de exerciții, precum și de toți cei interesați de tehnologiile lingvistice.
CORPUSURI ADNOTATE ALE LIMBII LITUANIENE ȘI PARTICULARITĂȚILE ELABORĂRII LOR
1. Corpusul adnotat morfologic MATAS
Analiza morfologică este prima etapă a procesării limbajului și adesea pregătește textul pentru analiza sintactică sau semantică ulterioară; de aceea, este foarte important ca adnotatoarele morfologice să funcționeze cât mai precis, întrucât erorile comise la nivel morfologic împiedică analiza automată a limbajului la alte niveluri.
Primul adnotator morfologic pentru limba lituaniană a fost creat cu aproximativ 25 de ani în urmă. Autorul său este Vytautas Zinkevičius (pentru detalii, vezi Zinkevičius 2000). În prezent, sunt disponibile public două adnotatoare morfologice pentru limba lituaniană: programul menționat al lui V. Zinkevičius, numit de obicei Lemuoklis5 (de la cuvântul lema – forma de bază), și adnotatorul disponibil pe portalul Lietuvių kalbos sintaksinės ir semantinės analizės informacinė sistema (în continuare semantika.lt). Corpusul MATAS prezentat în acest articol a fost adnotat cu ajutorul Lemuoklis, iar corpusul adnotat sintactic a fost pregătit folosind adnotatorul morfologic semantika.lt.6
Deși Lemuoklis funcționează destul de bine, programul nu poate fi actualizat, deoarece are codul sursă închis. Adnotatorul Semantika.lt a fost creat pe platforma Hunspell ca program cu sursă deschisă; acest adnotator este actualizat, completat cu cuvinte noi (cuprinde acum 171 000 de leme), iar regulile sale sunt revizuite (pentru detalii, Dadurkevičius 2017). Un studiu realizat în 2017, care a evaluat calitatea ambelor adnotatoare, a constatat că adnotatorul semantika.lt funcționează mai precis (Kapočiūtė-Dzikienė și colab. 2017).
Corpusul MATAS prezentat în continuare a fost elaborat în perioada 2002–2014. La bază a stat un corpus de 1 milion de cuvinte, alcătuit în 2006, care a fost completat cu texte noi și reorganizat. Mai întâi, textele din MATAS au fost adnotate automat din punct de vedere morfologic, apoi au fost revizuite și corectate de un lingvist.
5 Acces online: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; acest program nu doar adnotează morfologic textul, ci îl poate și sintetiza, adică poate genera formele necesare; este adaptat și pentru analiza textelor vechi.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
MATAS cuprinde 1,6 milioane de texte, alcătuite din documente, opere literare și texte științifice. Ca și în Corpusul limbii lituaniene contemporane, cea mai mare parte (36%) o reprezintă textele de presă (vezi Figura 1).
MATAS este disponibil în mai multe formate: așa-numitul format KLC, care utilizează abrevieri oarecum neobișnuite pentru părțile de vorbire și categoriile gramaticale (în acest format este adnotat și corpusul disponibil în depozitul portalului http://clarin-lt.lt/), de exemplu:
MATAS este, de asemenea, adnotat în formatul internațional TEI P5. În acest format, părțile de vorbire și categoriile gramaticale sunt abreviate printr-o literă sau o cifră, de exemplu, vatstdv3 înseamnă, respectiv:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
verb, formă personală, formă afirmativă, reflexiv, mod indicativ, timp trecut frecventativ, singular, persoana a treia. Mai jos este prezentat același fragment de text în formatul TEI P5:
Un alt format în care textele adnotate morfologic sunt disponibile pe site-ul http://corpus.vdu.lt a fost alcătuit după modelul formatului MULTEXT-East7. Conform acestui format, fiecare parte de vorbire are un număr diferit de categorii morfologice (de la 2 la 14), care sunt notate prin abrevieri; de exemplu, în eticheta Ncmpnn- N înseamnă substantiv, c – substantiv comun, m – gen masculin, p – plural, n – nominativ, n – substantiv nereflexiv; cratima de la final indică faptul că acestui cuvânt, de exemplu universitetai, nu i se atribuie nicio etichetă semantică8.
În capitolul al treilea vom prezenta căutarea atât în corpusurile MATAS, cât și în cele ALKSNIS, folosind sistemul ANNIS. Acesta utilizează încă un format de etichete morfologice, alcătuit după modelul etichetelor de glosare de la Leipzig (pentru detalii, vezi capitolul 3).
Sistemele de adnotare diferite sunt caracteristice nu doar tehnologiilor pentru limba lituaniană. Această problemă a dus la crearea instrumentului de conversie Pepper (Zipser și colab. 2010). Acesta ilustrează etapele de creare a diverselor resurse și instrumentele de adnotare utilizate.
După cum reiese din exemplele prezentate mai sus, în KLC sunt utilizate patru sisteme de etichete morfologice. Existența mai multor formate de adnotare se explică prin faptul că elaborarea corpusului adnotat morfologic s-a desfășurat pe o perioadă îndelungată. La un moment dat nu se aplica niciun standard de adnotare; erau folosite pur și simplu abrevierile pentru părțile de vorbire și categoriile gramaticale create de V. Zinkevičius, autorul analizatorului morfologic. Acestea sunt ușor de înțeles pentru utilizatori. După un timp, în urma colaborării internaționale, corpusul adnotat morfologic a fost reetichetat folosind
8 Pentru mai multe detalii despre aceste etichete, vezi http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
standardelor internaționale. După cum s-a menționat, analizatorul morfologic semantika.lt (obiectivul principal al acestui sistem a fost crearea unor servicii online) utilizează etichetele în formatul MULTEXT-East. Etichetele sunt scurte, dar greu de înțeles pentru oameni; ele sunt mai potrivite pentru analiza computerizată.
Corpusul ALKSNIS, adnotat morfologic și sintactic în formatul MULTEXT-East. Instrumentul de căutare în corpusuri ANNIS (vezi secțiunea 3) a făcut posibilă combinarea formatelor de adnotare morfologică ALKSNIO și MATO. Prima idee a fost să se folosească etichetele Universal Dependency (UD), deoarece acesta este un sistem de adnotare destul de răspândit și ușor de citit (în engleză). Totuși, etichetele UD sunt foarte lungi, ceea ce s-a dovedit incomod la efectuarea căutărilor prin ANNIS: etichetele fiecărui cuvânt ocupă mult spațiu, astfel încât, pentru a analiza contextul cuvântului căutat, trebuia deplasată bara de derulare a ferestrei într-o parte sau în cealaltă. Din cauza acestei probleme practice, s-a decis adaptarea etichetelor de glosare de la Leipzig, deoarece sunt ușor de citit și destul de scurte. În ciuda varietății etichetelor de adnotare descrise aici, trebuie subliniat că în interfața ANNIS a ambelor corpusuri se folosește un singur sistem (cel adaptat de glosare de la Leipzig), ceea ce ar trebui să fie un mare avantaj pentru utilizatori.
De menționat că în MATE nu sunt indicate limitele propozițiilor; acestea pot fi stabilite rapid și automat, dar rezultatele obținute trebuie verificate. MATAS, la fel ca ALKSNIS, corpusul discutat în continuare, este disponibil în http://clarin-lt.lt/ depozitul portalului9. Acolo se pot efectua căutări cu ajutorul sistemului ANNIS10 (pentru detalii, vezi secțiunea 3).
2. Corpusul ALKSNIS adnotat sintactic
Corpusul ALKSNIS, adnotat sintactic pentru limba lituaniană, a fost pregătit în 2016. Pregătirea sa a fost sprijinită de Infrastructura comună pentru resurse și tehnologii lingvistice – Consorțiul european pentru infrastructura de cercetare (CLARIN ERIC) (MTI-02/2015). Corpusul este disponibil public în http://clarin-lt.lt/ depozitul portalului11. Modul de utilizare este explicat în ghidul utilizatorului12.
Corpusul a fost conceput ca reper pentru analiza sintactică a limbii lituaniene. Corpusurile de acest tip sunt caracterizate prin dimensiuni reduse și o compoziție optimă din punctul de vedere al genurilor, iar analiza sintactică, deși realizată automat, este revizuită și corectată de lingviști. Pe baza reperului de analiză sintactică se poate crea un analizator sintactic bazat pe metode statistice (în engleză, statistically-based parser) și se poate extinde analiza sintactică automată (Bielinskienė și colab. 2016).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Deoarece ALKSNIS este o resursă mai recentă pentru limba lituaniană decât MATAS și este mai puțin descrisă, în acest articol îi vom acorda o atenție mai mare lui ALKSNIS și vom discuta, de asemenea, problemele apărute în timpul adnotării sintactice.
2.1. Părțile corpusului
Corpusul ALKSNIS cuprinde 30 599 de cuvinte și 2355 de enunțuri adnotate sintactic. Comparativ cu corpusurile limbilor din țările învecinate, acest corpus este destul de similar și, se poate spune, are o dimensiune suficientă: corpusul limbii letone13 cuprinde 3800 de enunțuri și 53 de mii de cuvinte (Predkalnina și colab. 2016); cel al limbii estone 14 – 1400 de enunțuri și 10 600 de cuvinte (Muischnek și colab. 2014); corpusul limbii polone 15 – 8227 de enunțuri. Primul corpus adnotat sintactic, PENN (SUA), cuprinde mult mai multe – aproximativ 3 milioane de cuvinte16.
Textele din ALKSNIS cuprind patru secțiuni de genuri (a se vedea fig. 2). Secțiunile dedicate presei generale și de specialitate, precum și literaturii beletristice, sunt aproximativ egale ca mărime, iar secțiunea textelor administrative este cea mai mică, deoarece aceasta este o varietate specifică a limbii lituaniene: enunțurile sunt adesea lungi și abundă în denumiri de documente, trimiteri la alte documente ș.a. Adnotarea unor astfel de enunțuri nu ar dezvălui o structură sintactică tipică.
Pentru alcătuirea corpusului au fost folosite texte întregi, neprescurtate. Enunțurile au fost selectate dintr-o varietate cât mai mare de genuri textuale. Secțiunea de literatură beletristică este alcătuită din enunțuri extrase din operele autorilor lituanieni. Enunțurile selectate au fost pregătite pentru analiza computerizată: a fost verificată codificarea textului, iar tabelele și imaginile au fost eliminate.
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Instrumente de adnotare și vizualizare a corpusului
Analiza sintactică automată se bazează pe parserul sintactic elaborat în cadrul proiectului VDU KLC „Sistem de analiză sintactico-semantică a limbii lituaniene pentru corpusuri, internetul lituanian și aplicații ale sectorului public”, dezvoltat în Haskell17. Parserul se bazează pe o metodă bazată pe reguli (în engleză, rule-based). Acest instrument citește fișierele adnotate morfologic ale modulelor de segmentare și analiză morfologică semantika.lt și produce, ca rezultat, propoziții segmentate în propoziții componente sau sintagme, generează arbori sintactici și indică rolurile lor tematice (în engleză, thematic roles) și funcțiile sintactice (Boizou și colab. 2014: 69).
Serviciile online generează numai fișiere JSON, însă un alt instrument KLC convertește rezultatele analizei sintactice în formatul PML (Prague Markup Language). Pentru corpusul adnotat sintactic sunt generați arbori de dependență (în engleză, dependency trees). Acest format permite vizualizarea și editarea arborilor de dependență în format PML cu ajutorul editorului TrED, creat de UFAL, Universitatea Carolină din Praga18 (vezi fig. 3). Toate propozițiile adnotate automat au fost verificate și corectate de lingviști. Astfel, analiza sintactică cuprinde trei niveluri: segmentarea automată a cuvintelor și propozițiilor, precum și analiza morfologică; analiza sintactică automată (prin metoda bazată pe reguli); și prelucrarea manuală a propozițiilor (pentru detalii, vezi 2.4).
2.3. Structura datelor ALKSNIS
După efectuarea analizei sintactice automate, propozițiile sunt reprezentate grafic sub forma unor arbori (vezi fig. 3). Fiecare nod al arborelui corespunde unui cuvânt din propoziție, unui semn de punctuație sau unei alte unități a propoziției (simbol, cifră etc.). Relațiile de dependență dintre cuvinte sunt indicate prin „ramuri” sau muchii.
17 Parserul sintactic a fost creat la Centrul de Lingvistică Computațională al VDU de L. Boizou și F. Zamblera.
18 Acces online: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
FIG. 3. Arborele de dependență al unei propoziții adnotate sintactic, în formatul editorului TrEd
Pentru toate cuvintele, în următoarea ordine, sunt indicate (vezi fig. 3):
1) forma concretă a cuvântului folosită în propoziție (de exemplu, gyventojai);
2) forma de bază (forma de dicționar) – lema (de exemplu, gyventojas);
3) adnotările morfologice (de exemplu, Ncmpnn-);
4) funcția sintactică (de exemplu, Sub) (pentru explicațiile abrevierilor, vezi mai jos).
2.4. Nivelurile analizei
Nivelul analizei morfologice. Adnotarea morfologică este prima etapă a analizei automate și, prin urmare, este necesară pentru analiza sintactică sau analiza propoziției de nivel superior. Analiza morfologică a fost efectuată cu ajutorul adnotatorului semantika.lt (Dad urkevičius 2017). Etichetele morfologice utilizate în ALKSNYJE au fost alcătuite după modelul formatului MULTEXT-East (descris mai detaliat în capitolul 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Nivelul analizei sintactice. Analizatorul sintactic procesează fișiere adnotate morfologic și furnizează propoziții segmentate în părți sau sintagme, generează arbori sintactici și indică funcțiile sintactice ale elementelor acestora. Analiza se bazează pe modelul gramaticii dependențelor (în engleză dependency grammar). Acesta se aplică de obicei limbilor tipologic asemănătoare, caracterizate prin flexiunea formelor cuvintelor și o ordine liberă a cuvintelor, de exemplu, limbilor slave (PDT19, SynTagRus20), limbii letone etc. Dependențele sintactice sunt reprezentate ierarhic. Se pornește de la propoziția principală – rădăcina arborelui, de care se atașează celelalte părți ale propoziției în funcție de dependența lor (adică de relațiile sintactice).
Abrevierile etichetelor sintactice și informațiile despre relațiile și dependențele sintactice se bazează pe munca cehilor (Hajič și colab. 1999); aceștia s-au numărat printre primii care au dezvoltat analiza sintactică pentru limba cehă, de tip sintetic. În prezent, în ALKSNYJE sunt utilizate 18 etichete sintactice de bază (fără a număra variantele lor): Sub – subiect, Pred – predicat, Obj – obiect etc. (a se vedea tabelul 1). Variantele etichetelor apar atunci când se combină etichete duble sau compuse, de exemplu, la marcarea unui predicat compus de tip nominal sau verbal se folosesc etichete duble: respectiv PredN și PredV; la marcarea unei propoziții subordonate atributive dintr-o frază, predicatului propoziției subordonate i se atribuie o etichetă dublă Pred_Atr; pentru a indica relația de coordonare, la părțile de propoziție coordonate se marchează, ca parte a unei etichete duble, _Co, adică fiecărui complement coordonat enumerat i se atribuie Obj_Co și așa mai departe. De asemenea, în frazele complexe pot apărea etichete triple, de exemplu, când trebuie marcate propoziții subordonate coordonate: Pred_Atr_Co – aceasta este o propoziție atributivă subordonată.
TABELUL 1. Funcțiile sintactice și etichetele acestora în corpus
Etichetă
Funcție sintactică
Exemplu
Sub
Subiect
Jis [Sub] sakė
Pred
Predicat (sau cuvânt auxiliar)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Parte nominală a predicatului
Era [Pred] mulțumit [PredN]
PredV
Partea verbală a predicatului
Trebuie [Pred] să răspundă [PredV]
Obj
Obiect
Aștept un musafir [Obj]; trebuie să rezolv [Obj]
Atr
Atribut (determinant)
Școală secundară [Atr]; țară membră [Atr]
Adj
Circumstanțe
Acum [Adj] va decide; pe strada Partizanų [Adj]
19 Banca de arbori de dependență din Praga (Prague Dependency Treebank), vezi mai pe larg https://ufal.mff.cuni.cz/pdt3.0.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Funcție auxiliară (de exemplu, virgule sau alte simboluri)
AuxC
Subordonare (propoziții subordonate)
A spus că [AuxC]...
AuxK
Semn de punctuație la sfârșitul propoziției
AuxL
Unitate lexicală auxiliară (de exemplu, un cuvânt într-o limbă străină)
Compania americană North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Prepoziție
Va trece la nivelul [AuxP]
AuxZ
Particulă
Ca și întotdeauna [AuxZ]
Coord
Coordonare
Producători și [Coord] vânzători
_Co (de ex., Atr_Co)
Constituenți coordonați (de ex., părți de propoziție omogene)
Producători [Atr_Co] și [Coord] vânzători [Atr_Co]
Par
Incidente, vocative
Adevărul este că [Par], se pare
ExD
Elipsă sau alte omisiuni în propoziție
Femeia – [Pred_ExD] ființă
Pred_ (de ex., Pred_Obj)
Tipul propoziției subordonate (se marchează lângă predicat)
A scris că trăsăturile sunt determinate [Pred_Obj]
Nivelul de corectare manuală a propozițiilor. Toate propozițiile adnotate sintactic automat au fost verificate de lingviști. Adnotarea multor propoziții, în special a celor complexe, a trebuit corectată și au trebuit indicate relațiile de dependență corecte. În unele cazuri au fost corectate și etichetele morfologice. Propozițiile au fost corectate separat de trei lingviști, iar ulterior fiecare propoziție a fost verificată în plus de toți cei trei lingviști. Particularitățile adnotării sintactice sunt descrise în continuare.
Particularitățile adnotării sintactice. În analiza sintactică automată, așa cum s-a menționat, drept vârf al arborelui sintactic (engl. root) este considerat elementul cel mai înalt ierarhic al propoziției (de exemplu, un verb, uneori o conjuncție aflată la începutul propoziției) sau un alt element al propoziției (de exemplu, în cazul unei fraze – conjuncția sau cuvântul de legătură al acesteia), iar ca ramură care indică punctuația propoziției – semnul de punctuație: punctul, semnul întrebării, semnul exclamării, punctele de suspensie, punctul și virgula etc. În continuare, vom prezenta exemple concrete pentru a ilustra particularitățile adnotării sintactice.
Exemplul în care vârful propoziției este un verb [Pred] este prezentat în figura 4, iar cel în care este o conjuncție [Coord] – în figura 5.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
FIG. 4. Vârful arborelui de dependență – verb
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
FIG. 5. Vârful arborelui de dependență – conjuncția de la începutul propoziției
Exemplul în care vârful frazei este un semn de punctuație este prezentat în figura 6.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
FIG. 6. Vârful arborelui de dependență – semnul de punctuație dintre propozițiile componente ale frazei
Se consideră că, în construcțiile prepoziționale, prepoziția ocupă o poziție superioară; aceasta este marcată cu AuxP, iar cuvântul care urmează după ea este marcat în funcție de rolul îndeplinit (de exemplu, obiect): prețurile pentru [AuxP] electricitate [Obj] (vezi fig. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
FIG. 7. Adnotarea construcțiilor cu prepoziții
Propozițiile subordonate dintr-o frază depind de predicatul propoziției principale, iar conjuncția propoziției subordonate depinde de acesta (virgula depinde de conjuncție). Este important să se indice și funcția propoziției subordonate. Aceasta este indicată lângă predicatul propoziției subordonate, de ex., Pred_Obj – propoziție subordonată completivă directă (obiectivă) (vezi fig. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
FIG. 8. Exemplu de adnotare a propozițiilor subordonate într-o construcție coordonată
Indicatorul relației de coordonare (conjuncția sau cablul) poate fi nucleul construcției coordonate (de exemplu, s-a propus să se așeze și [Coord] să se joace; s-a propus pentru copii și [Coord] pentru părinții lor) (vezi fig. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
FIG. 9. Exemplu de adnotare a propozițiilor corelate prin relații de coordonare
Dacă există o coordonare mixtă cu mai mulți membri, conjuncția din construcție este nucleul, iar de aceasta depind toți ceilalți membri asindetici (virgulele, împreună cu cuvintele enumerate, se află la același nivel de dependență). Celelalte semne de punctuație sunt marcate cu Aux (vezi fig. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
FIG. 10. Exemplu de adnotare a unei construcții coordonate mixte (în imagine se pot observa și alte cazuri de relații de coordonare)
Nucleul propozițiilor coordonate este conjuncția coordonatoare. Cuvintele de legătură formate din adverbe, pronume sau particule (de exemplu, adverbul prin urmare) depind de predicatul celui de-al doilea membru al propoziției și au funcția de complement circumstanțial (Adj), iar funcția de coordonare Coord este îndeplinită de cablu, ca și în propozițiile asindetice sau în cele cu conjuncții repetitive, considerate aici particule (vezi fig. 12), la fel ca în cazul coordonării membrilor propoziției (vezi fig. 11, 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
FIG. 11. Exemplu de adnotare a unei propoziții coordonate cu un cuvânt de legătură
FIG. 12. Adnotarea unei construcții coordonate
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Este dificil să se adnoteze expresiile numerice, de exemplu orele și anii. Acestea sunt adnotate ca circumstanțiale cu determinanți sau ca determinanți (vezi Fig. 13, 14).
FIG. 13. Adnotarea datei
FIG. 14. Adnotarea datelor și a altor expresii numerice (în figură este prezentat doar un fragment de propoziție adnotat sintactic)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
Nu este întotdeauna ușor să se adnoteze predicatele complexe. În unele cazuri, acestea sunt adnotate așa cum sunt înțelese și în gramaticile limbii lituaniene, adică drept predicate de tip nominal și verbal (de exemplu, este [Pred] simplu [PredN]; poate [Pred] fi [PredV]), iar în alte cazuri al doilea constituent al predicatului este considerat obiect (de exemplu, intenționez [Pred] să-i convoc [Obj]).
A fost dificil să se adnoteze construcțiile cu conjuncții corelative, deoarece cele două conjuncții sunt ierarhic echivalente. În acest caz, s-a considerat că predicatul propoziției principale ocupă poziția superioară în ierarhie, iar propoziția subordonată depinde de acesta (vezi Fig. 15).
FIG. 15. Exemplu de adnotare a propozițiilor complexe cu conjuncții corelative
În cele din urmă, s-a discutat statutul unor părți de vorbire. De exemplu, s-a decis ca conjuncțiile coordonatoare repetitive să fie considerate particule, deoarece funcția lor în structura arborelui dependențelor este similară cu cea a particulelor (vezi Fig. 12).
În timpul adnotării sintactice manuale au fost abordate numeroase probleme; aici au fost menționate doar câteva. Multe dintre dificultățile adnotării au fost rezolvate urmând perspectiva gramaticii tradiționale, convenindu-se doar asupra unei anumite metode de adnotare. În alte cazuri, a trebuit să ne adaptăm la particularitățile adnotării sintactice și să respectăm consecvent convenția stabilită. Se speră ca problemele apărute să fie soluționate prin dezvoltarea în continuare a analizei sintactice automate.
Următoarea subsecțiune prezintă căutarea datelor în corpusuri adnotate folosind sistemul ANNIS. Aceasta este una dintre provocările utilizării corpusurilor adnotate, deoarece căutarea datelor în astfel de corpusuri, care conțin numeroase etichete și chiar mai multe niveluri de adnotare, trebuie să fie multidimensională. Din acest motiv, a fost ales instrumentul ANNIS, creat de cercetătorii de la Universitatea Humboldt (Germania).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Căutarea prin sistemul ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS furnizează liniile de concordanță corespunzătoare, împreună cu informațiile asociate (vezi fig. 16). Linia de concordanță poate fi extinsă de la 5 la 25 de cuvinte (sunt incluse și semnele de punctuație), atât spre stânga, cât și spre dreapta; de asemenea, rezultatele pot fi exportate.
În ambele corpusuri sunt folosite etichete gramaticale alcătuite pe baza etichetelor de glosare de la Leipzig21. Au fost adăugate câteva etichete care nu se regăsesc în etichetele menționate, de exemplu, ~COMP indică gradul comparativ. Înaintea unor astfel de etichete se scrie semnul tildei. Părțile de vorbire sunt indicate conform formatului Universal Dependency.
FIG. 16. Fragment din rezultatele căutării prin instrumentul ANNIS
Căutarea lemei įsakymas în partea de documente MATO
21 Acces online: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. În alte corpusuri adnotate sunt folosite adesea etichetele Universal Dependency (UD) (vezi http://universaldependencies.org/; vezi și fig. 18). După cum s-a menționat în primul capitol, etichetele UD sunt foarte lungi (de exemplu: cazul acuzativ, genul feminin și numărul plural sunt indicate astfel: case=accusative|gender=feminine|number=plural), ocupă prea mult spațiu în interfața ANNIS și, din această cauză, informațiile sunt greu de citit.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
FIG. 17. Fragment din rezultatele căutării prin instrumentul ANNIS
Căutarea lemei įsakymas în corpusul ALKSNIS
(pentru ca relațiile sintactice să fie marcate cu săgeți, trebuie apăsat semnul plus de lângă deps)
3.1. Căutare simplă
Căutarea unei singure trăsături se numește simplă. Adnotarea prezentată (denumirile categoriilor gramaticale, marcajele gramaticale utilizate etc.) depinde de structura fiecărui corpus, nu de instrumentul ANNIS.
Atragem atenția că, la formularea interogării, trebuie făcută distincția între literele mari și cele mici.
3.1.1. Căutarea formelor exacte ale cuvintelor (șiruri de caractere)
Căutarea simplă se efectuează indicând denumirea categoriei, semnul egal și valoarea categoriei scrisă între ghilimele englezești, de exemplu:
• lemma="kalba" (o astfel de interogare înseamnă că se caută lema kalba);
• pos="ADJ" (se caută adjective);
• gram=".M.SG.GEN." (se caută cuvinte folosite cu anumite categorii gramaticale, în acest caz la forma de genitiv singular masculin).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Pentru a căuta o formă concretă a unui cuvânt în text, trebuie indicat numele categoriei tok sau pur și simplu forma căutată trebuie introdusă între ghilimele, de exemplu:
• tok="pasakė" sau "pasakė".
În ambele corpusuri adnotate se pot căuta leme, părți de vorbire, categorii gramaticale și forme concrete ale cuvintelor, iar în ALKSNYJE se pot căuta și adnotări sintactice, de exemplu:
• syfun="Atr" (se caută atribute).
În ALKSNYJE se pot căuta și relații de dependență (deps), dar acestea se caută după un alt principiu (vezi 3.2.3).
3.1.2. Căutarea structurilor de caractere
ANNIS permite efectuarea căutărilor folosind expresii regulate (engl. regular expressions); acestea sunt indicate prin caractere speciale. Căutarea cu expresii regulate se formulează, în esență, la fel ca interogarea de căutare a formelor exacte ale cuvintelor, dar ghilimelele drepte trebuie înlocuite cu bare oblice.
3.1.2.1. Căutarea oricăror caractere
Cel mai important caracter special este punctul; acesta înlocuiește orice caracter unic (literă, cifră etc.), de exemplu:
• lemma=/pl.t.s/ (se caută, de exemplu, platus, plotis, plitus);
• /p.sak.s/ sau tok=/p.sak.s/ (se caută, de exemplu, pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ sau tok=/201./ (se caută, de exemplu, 2010, 2011, 2012...).
Deoarece punctul poate înlocui orice semn, simbolul punctului în sine trebuie căutat folosind combinația bară oblică inversă + punct (\.), de exemplu:
• gram=/^\..\SG\.GEN\./ (se caută, de exemplu, .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Căutarea unuia dintre mai multe simboluri
În locul căutării unor simboluri complet nespecificate, interogarea poate indica mai multe simboluri concrete căutate. Acestea se scriu între paranteze drepte, de exemplu:
• lemma=/pl[ao]t.s/ (se caută, de exemplu, platus, plotis, dar nu plitus);
• /t[ei]lp./ sau tok=/t[ei]lp./ (se caută, de exemplu, telpa, tilpo, dar nu talpa);
• /201[0124]/ sau tok=/201./ (se caută 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Atragem atenția că, prin această metodă, căutarea se face după un singur simbol din setul de simboluri indicate: /dirb[aius]/ permite căutarea formelor dirba, dirbi, dirbu, dirbs, dar nu a formelor dirbau sau dirbsi.
3.1.3. Operatori de repetare
Simbolurile (obișnuite și speciale) pot fi repetate, de exemplu:
• lemma=/..važiuoti/ (se caută, de exemplu, nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti);
• /dirb[ao][mt]e/ sau tok=/dirb[ao][mt]e/ (se caută dirbame, dirbate, dirbome, dirbote).
Astfel, numărul simbolurilor căutate este fix, de exemplu, două simboluri în exemplele date (sau [ao][mt]); prin urmare, interogarea lemma=/..važiuoti/ nu va returna rezultate cu lema įvažiuoti. Operatorii de repetare oferă mai multe posibilități; semnificațiile lor sunt următoarele:
•? – un anumit simbol apare o singură dată sau deloc;
• + – un anumit simbol apare cel puțin o dată (adică o dată, de două, de trei, de patru sau de mai multe ori);
• * – un anumit simbol apare de n ori (adică poate să nu apară deloc, să apară o dată, de două sau de mai multe ori)
Acești operatori ajută la căutarea simbolurilor care îi urmează sau îi precedă, de exemplu:
• /šild?o/ (se caută šilo sau šildo);
• /Ma+u/ (se caută Mau, Maau, Maaau, Maaau etc.);
• /oi*/ (se caută o, oi, oii, oiii etc.).
Operatorii menționați anterior sunt compatibili cu căutarea oricărui simbol sau a unuia dintre mai multe simboluri, de exemplu:
• lemma=/. *važiuoti/ (se caută, de exemplu, važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);
• /šauk[aiu]*/ sau tok=/šauk[aiu]*/ (se caută, de exemplu, šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ sau tok=/šauk[aiu]+/ (se caută, de exemplu, šauki, šaukia, šaukiu, dar nu šauk);
gram=/.*\.F\..*/ (se caută secvența.F. între secvențe arbitrare de alte simboluri).
Trebuie menționat că structuri precum [aiu]* sau [aiu]+ nu influențează ordinea simbolurilor căutate. Prin urmare, sunt afișate rezultate care conțin a sau i, sau u + a; sau i, sau u + a; sau i, sau u.... Așadar, sunt recunoscute combinații de simboluri precum: aaa, i, uuuuu, uiua, uua etc.
3.1.4. Căutarea alternativelor
Bara verticală (|) permite căutarea alternativelor, de exemplu:
lemma="negeras" | lemma="geras";
/d(au|ū)ž.*/ arba tok=/d(au|ū)ž.*/ (se caută, de exemplu, daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (se caută.~COMP. și.~SUP. între secvențe arbitrare de simboluri);
"tik" | "tiktai" arba tok="tik" | tok="tiktai" (se caută tik și tiktai).
3.1.5. Interogări formulate negativ
Deși această posibilitate este mai utilă la combinarea trăsăturilor în căutări complexe, chiar și în căutările simple se poate indica ce nu trebuie căutat, de exemplu:
pos!="NOUN" (se caută toate cuvintele care nu sunt substantive);
tok!=/.*[ąaęeėįiyiouųū]/ (se caută toate formele de cuvinte care nu se termină cu o vocală).
Dacă nu se selectează o interogare de căutare complexă (vezi 3.2), interogările simple formulate negativ pot cauza probleme, mai ales dacă includ multe cuvinte (ca în primul caz — substantive), așadar această interogare trebuie folosită cu precauție.
3.2. Căutare compusă
Căutarea compusă este formată din mai multe căutări simple. Este necesară și o parte suplimentară care descrie relațiile dintre căutările simple (indicate în funcție de poziție). Fiecare parte a căutării simple este unită cu semnul ampersand (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Combinații de trăsături pentru un singur cuvânt
Căutarea simplă caută același cuvânt, iar relația dintre căutările simple este exprimată prin operatorul de combinare (_=_), de exemplu:
• "mano" & pos="PRON" & #1 _=_ #2 (căutați pronumele mano, dar nu verbul manyti la persoana a treia singular a indicativului prezent).
Această formulare a interogării înseamnă că prima căutare simplă (#1, adică "mano" sau tok="mano") și a doua căutare simplă (#2, adică pos="PRON") se referă la același cuvânt.
3.2.2. Combinații de cuvinte
Dacă, pe baza căutării simple, se formulează o interogare pentru cuvinte diferite, operatorul de combinare este înlocuit cu operatorul de secvență (punctul), de exemplu:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (se caută un cuvânt folosit la cazul genitiv după cuvântul pilnas).
Numărul 1 de după punct înseamnă că #2 urmează imediat (fără intercalare) după #1. Numărul 2 ar indica intercalarea unui cuvânt, 3 – a două cuvinte și așa mai departe. În loc de.1 se poate scrie un punct fără niciun număr (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Intervalul poate fi precizat cu o virgulă, de exemplu.2,4 (cu o intercalare de la unul la trei cuvinte). Dacă dimensiunea intercalării nu contează, trebuie scris un punct și un asterisc (*).
Într-o singură interogare compusă se pot folosi operatorii de secvență și de combinare, de exemplu:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (se caută forme de genitiv ale unor cuvinte care nu sunt adjective, după cuvântul pilnas).
3.2.3. Căutarea dependențelor sintactice
Structurile de dependență pot fi căutate și printr-o interogare complexă cu operatorul de dependență directă ->, de exemplu:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (se caută substantivele care guvernează adjective, de exemplu, daugiabutis namas);
• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (se caută verbele afirmative care guvernează complemente exprimate la genitiv, de exemplu, laukti klausimų).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 27
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
OBSERVAȚII CONCLUZIVE
Corpusurile MATAS și ALKSNIS sunt resurse importante pentru limba lituaniană. Ele sunt necesare pentru etapele ulterioare ale informatizării limbii. Din aceste corpusuri se pot obține date cantitative despre distribuția părților de vorbire, a formelor gramaticale și a funcțiilor sintactice, precum și despre lemele și formele gramaticale cele mai frecvente etc. (câteva studii cantitative concrete pot fi găsite în următoarele lucrări: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS a fost folosit pentru antrenarea analizatorului semantika.lt (pentru evaluarea calității adnotării).
În viitor, este necesar să se dezvolte în continuare analiza sintactică automată. În primul rând, s-ar putea îmbunătăți calitatea adnotării sintactice: să se precizeze funcțiile sintactice și să se adauge etichete noi (de exemplu, să se precizeze circumstanțialele în funcție de semantica lor: de loc, de mod, de timp etc.). La începutul adnotării sintactice au apărut numeroase neclarități privind adnotarea; de aceea, ar trebui discutate unele cazuri sintactice, de exemplu adnotarea predicatelor complexe, elipsa, delimitarea propozițiilor juxtapuse și a construcțiilor explicative, statutul unor părți de vorbire etc.
O altă direcție de lucru este extinderea corpusului propriu-zis. Ar trebui completate secțiunile corpusului corespunzătoare genurilor, de exemplu prin includerea mai multor texte științifice și de popularizare a științei. În plus, corpusul trebuie convertit în formatul internațional larg utilizat Universal Dependency (vezi fig. 18; aici nu sunt indicate etichetele gramaticale, iar exemplul este o propoziție în finlandeză adnotată sintactic).
FIG. 18. Formatul Universal Dependency
Unul dintre obiectivele principale ale analizei sintactice automate este crearea unui analizator sintactic bazat pe metode statistice (în engleză statistically-based parser), care să se bazeze pe ALKSNIS ca etalon pentru analiza sintactică și să fie utilizat pentru adnotarea unor volume mari de texte.
Dacă există posibilități, analiza sintactică poate fi extinsă și în alte direcții, de exemplu, adnotarea rolurilor tematice (în engleză thematic role annotation). Aceasta este o anumită reprezentare semantică asociată cu valența. În sistemul intern de adnotare sintactică, acest nivel este atribuit fiecărui cuvânt și în prezent nu este vizibil public, deoarece este mai degrabă experimental, insuficient dezvoltat și neverificat. De asemenea, ar fi utilă adnotarea expresiilor fixe (în engleză multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
expresii, MWE22), care includ colocații și frazeologisme. Până în prezent, acestea nu au fost marcate în corpus, cu excepția unităților morfologice complexe, ale căror componente sunt unite într-o singură unitate (de exemplu, deocamdată, de departe) și care au o singură funcție morfologică și sintactică (sunt marcate cel mai adesea ca adverbe și circumstanțiale). De asemenea, se planifică marcarea relațiilor anaforice (când un substantiv este folosit într-o propoziție, iar în propoziția următoare (sau într-o altă parte a aceleiași propoziții) este înlocuit cu un pronume, adică marcarea legăturilor dintre pronume și substantivul pe care îl înlocuiește).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
