Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ Vytauto Didžiojo universitetas LITVÁN NYELVŰ MORFOLÓGIAILAG ÉS SZINTAKTIKAILAG ANNOTÁLT KORPUSZOK KULCSSZAVAK: korpusz, automatikus morfológiai elemzés, automatikus szintaktikai elemzés, nyelvtechnológiák. BEVEZETÉS A Vytautas Magnus Egyetem (VDU) Számítógépes Nyelvészeti Központjában (KLC) már 25 éve fejlesztik és tökéletesítik a nyelvtechnológiákat (Utka és mtsai 2017). A VDU KLC-ben előkészített 1 litván nyelvi erőforrások és eszközök képezik az alapot, amelyek nélkül a litván nyelv számítógépes feldolgozása nem valósítható meg, és 2015 júliusában a VDU KLC, valamint a VDU Informatikai Kara a pritaikant jai naujas technologijas. 2015 m. pradžioje Lietuva tapo visateise CLARIN ERIC nare, o Vilniusi Egyetem és a Kaunasi Műszaki Egyetem partnereivel együtt megalapította a CLARIN-LT konzorciumot, és megkezdte az erőforrásés technológiainfrastruktúra létrehozását – így vykdyti projektą „Lietuvos narystė tarptautinėje mokslinių tyrimų infrastruktūroje – Bendroji kalbos csatlakozott az európai nyelvtechnológiák közös rendszeréhez. 2 Šio straipsnio tikslas – pristatyti du lietuvių kalbos išteklius, anotuotus lietuvių kalbos a VDU KLC-ben előkészített korpuszokat: a morfológiailag annotált MATAS korpuszt és a tekstyną ALKSNIS. Šie ištekliai viešai prieinami CLARIN-LT saugykloje, paiešką galima atlikti per szintaktikailag annotált ANNIS rendszert (bővebben lásd a 3. fejezetet), valamint a technológiákat az 3 automatikusan morfológiailag annotált keresésben. A nyelv számítógépes feldolgozásához, a nyelv tekstyne galima svetainėje http://corpus.vdu.lt 4 . Anotuoti tekstynai – pagrindiniai ištekliai, atliekantys svarbų vaidmenį plėtojant kalbos automatikus elemzésére szolgáló számítógépes eszközök kidolgozásakor elengedhetetlen a nyelvtani elemzés és a nyelvre vonatkozó statisztikai adatok. A nyelvtani annotációkkal kiegészített szövegkorpuszok tehát mintegy nyersanyagként szolgálnak a nyelv további automatikus elemzéséhez. Az ilyen szövegkorpuszokat más természetesnyelv-feldolgozási erőforrások és eszközök létrehozására használják fel olyan területeken, mint 1 Interneten elérhető: http://tekstynas.vdu.lt. 2 Interneten elérhető: http://clarin-lt.lt/. 3 Interneten elérhető: http://158.129.51.247:8080/annis-gui-3.4.4/. 4 Ez egy 208 millió szóból álló, automatikusan morfológiailag annotált szövegkorpusz. A továbbiakban e cikk nem foglalkozik vele. A fő figyelem a nyelvész által ellenőrzött, 1,6 millió szóból álló, morfológiailag annotált MATAS szövegkorpuszra irányul. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti szövegkorpuszok | 2 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 automatikus beszédfelismerő rendszerek, gépi tanulás, automatizált fordítás, információkinyerés és így tovább. A továbbiakban a cikk külön-külön mutatja be az említett korpuszokat és a bennük az ANNIS sistemą. Tekstynais ir jų duomenimis gali pasinaudoti tyrėjai bei studentai, tiriantys lietuvių kalbos nyelvtani rendszeren keresztül végzett adatkeresést, valamint a feladatokat összeállító oktatókat és tanárokat, illetve mindazokat, akiket érdekel a nyelv technologijomis. ANNOTÁLT LITVÁN NYELVI KORPUSZOK ÉS ÖSSZEÁLLÍTÁSUK SAJÁTOSSÁGAI 1. Morfologiškai anotuotas tekstynas MATAS A morfológiai elemzés a nyelvfeldolgozás első szakasza, és gyakran a lehető legpontosabban készíti tolesnei sintaksinei ar semantinei analizei, todėl labai svarbu, kad morfologiniai anotatoriai veiktų elő a szöveget, mivel a morfológia szintjén elkövetett hibák akadályozzák a nyelv más szintjeinek automatikus elemzését. Az első litván morfológiai annotátort körülbelül 25 évvel ezelőtt hozták létre. Szerzője Vytautas Zinkevičius (bővebben lásd: Zinkevičius 2000). Jelenleg a litván nyelvhez két morfológiai annotátor érhető el nyilvánosan: a fent említett V. Zinkevičius-féle program, amelyet leggyakrabban Lemuoklisnak neveznek (a lema – címszó alak – szóból), valamint a Lietuvių kalbos sintaksinės ir 5 semantinės analizės informacinė sistema portálon (a továbbiakban: semantika.lt) elérhető annotátor. Ez a cikk a semantika.lt morfológiai annotátor használatával készült. kód. A Semantika.lt annotátorát 6 a Hunspell platformon nyílt forráskódú programként hozták létre; ezt az annotátort frissítik, új pristatomas tekstynas MATAS anotuotas naudojant Lemuoklį, o sintaksiškai anotuotas tekstynas szavakkal egészítik ki (jelenleg 171 000 lemmát tartalmaz), szabályait pedig karbantartják (bővebben Nors Lemuoklis veikia gana gerai, bet šios programos negalima atnaujinti, nes ji yra uždaro lásd Dadurkevičius 2017). Egy 2017-ben végzett vizsgálat és mindkét annotátor minőségének értékelése során megállapították, hogy a semantika.lt annotátora pontosabban működik (Kapočiūtė-Dzikienė és mtsai 2017). A továbbiakban a MATAS korpuszt mutatjuk be, amelyet 2002–2014 között készítettek. Alapjául egy 2006-ban összeállított, 1 millió szavas korpusz szolgált, amelyet új szövegekkel egészítettek ki és átdolgoztak. Először a MATO szövegeit automatikusan morfológiailag annotálták, később nyelvész ellenőrizte és javította őket. 5 Interneten elérhető: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; ez a program nemcsak morfológiailag annotálja a szöveget, hanem szintetizálni is képes, azaz előállítja a szükséges alakokat; alkalmas a régi írások elemzésére is. 6 Prieiga internete: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 3 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 A MATĄ 1,6 millió szöveg alkotja, amelyek dokumentumokból, szépirodalmi művekből mokslinių tekstų. Kaip ir Dabartinės lietuvių kalbos tekstyne, didžiausią dalį (36 proc.) sudaro és publicisztikai szövegekből állnak (lásd az 1. ábrát). 1. ÁBRA A morfológiailag annotált MATAS-korpusz felépítése (százalékban) A MATAS több formátumban is elérhető: az úgynevezett KLC-formátumban, amelyben a szófajok és a grammatikai kategóriák kissé szokatlan rövidítéseit használják (ebben a formátumban annotálták a http://clarin-lt.lt/ portál adattárában elérhető korpuszt is), például: <word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dlv teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> с<|endoftext|> <space> <word="fák" lemma="fa" type="dktv vyr.gim dgsk K"> <space> <word="itt-ott" lemma="itt-ott" type="prvks teig nelygin.l"> <space> <word="mind" lemma="mind" type="prvks teig nelygin.l"> <space> <word="találkozott" lemma="találkozni(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep=". "> <p> A MATAS nemzetközi TEI P5 formátumban is annotálva van. Ebben a szófajokat és a grammatikai kategóriákat egy-egy betűvel vagy számjeggyel rövidítik, például a vatstdv3 rendre a következőket jelenti: Tudományos irodalom 24% Periodikák 36% Adminisztratív tekstai 21% Szépirodalmi 19% AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti szöveggyűjtemények | 4 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 ige, ragozott alak, állító alak, visszaható, kijelentő mód, múlt idő ismétlődő cselekvésre, egyes szám, harmadik személy. Az alábbiakban ugyanaz a szövegrészlet látható TEI P5 formátumban: <w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">felnőttek</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">fák</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">itt-ott</w> <pc> </pc> <w lemma="vis" ana="#ptn">mindig</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">találkozott</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">ég</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">foltocska</w> <pc>.</pc> A morfológiailag annotált szövegek a http://corpus.vdu.lt webhelyen egy másik formátumban is elérhetők, amely a MULTEXT-East formátum példája alapján készült. E formátum szerint minden 7 egyes beszédrésznek eltérő számú morfológiai kategóriája van (2-től 14-ig), ezeket rövidítésekkel jelölik; például az NcmpnnN jelölésben az N főnevet, a c köznevet, az m a hímnemet, a p a többes számot, az n a nominativust, az n pedig a nem visszaható főnevet jelenti, a végén álló kötőjel pedig azt jelzi, hogy ehhez a szóhoz – például az universitetai ’egyetemek’ szóhoz – semmilyen szemantikai jegy nem társul. 8 A harmadik fejezetben bemutatjuk a keresést mind a MATO, mind az ALKSNYS korpuszban az ANNIS rendszer használatával. Ebben egy másik morfológiai jegyformátumot használnak, amelyet a lipcsei glosszázási jegyek alapján állítottak össze (bővebben lásd a 3. fejezetet). Az eltérő annotációs rendszerek nemcsak a litván nyelv technológiáira jellemzőek. Ez a probléma vezetett a Pepper konvertálóeszköz létrehozásához (Zipser és mtsai 2010). Ez a különböző erőforrások létrehozásának szakaszait és az alkalmazott annotációs eszközöket mutatja be. Amint az korábban bemutatott példákból látható, a KLC-ben négy morfológiai jegyrendszert használnak. Több különböző annotációs formátum azért alakult ki, mert a morfológiailag annotált korpuszt hosszú időn keresztül készítették. Egyidejűleg egyáltalán nem alkalmaztak annotálási szabványokat, egyszerűen a morfológiai elemző készítője, V. Zinkevičius által létrehozott szófaji és grammatikai kategóriák rövidítéseit használták. Ezek a felhasználók számára könnyen érthetők. Egy idő után a nemzetközi együttműködésnek köszönhetően a morfológiailag annotált korpuszt újraannotálták a következők felhasználásával 7 Interneten elérhető: http://nl.ijs.si/ME/V4/msd/html/index.html. 8 Ezekről a jelölésekről bővebben lásd: http://corpus.vdu.lt/lt/morph. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 5 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 nemzetközi szabványokkal. Amint említettük, a semantika.lt (ennek a rendszernek a fő célja internetes szolgáltatások létrehozása volt) morfológiai elemzőjében MULTEXT-East formátumú jelöléseket használnak. A jelölések rövidek, de az emberek számára nehezen érthetők, inkább számítógépes elemzésre alkalmasak. MULTEXT-East formátumban morfológiailag annotált és szintaktikailag elemzett ALKSNIS-korpusz. Az ANNIS korpuszkereső eszköz (lásd a 3. fejezetet) lehetővé tette az ALKSNIS és a MATAS morfológiai annotációs formátumainak egyesítését. Az első gondolat az Universal Dependency (UD) címkék használata volt, mivel ez meglehetősen elterjedt annotációs rendszer, és könnyen olvasható (angol nyelvű). Az UD-címkék azonban nagyon hosszúak, és ez kényelmetlennek bizonyult az ANNIS-en keresztüli keresés során: az egyes szavak címkéi sok helyet foglalnak, ezért a keresett szó kontextusának elemzésekor az ablak görgetősávját egyik vagy másik irányba kellett görgetni. E gyakorlati probléma miatt úgy döntöttek, hogy a lipcsei glosszázási címkéket adaptálják, mivel ezek könnyen olvashatók és meglehetősen rövidek. Az itt leírt annotációs címkék sokfélesége ellenére hangsúlyozandó, hogy mindkét korpusz ANNIS-felületén csak egyetlen (adaptált lipcsei glosszázási) rendszert használnak, ami jelentősen megkönnyítheti a felhasználók dolgát. Megjegyzendő, hogy a MATE-ben nincsenek megadva a mondathatárok; ez gyorsan, automatikusan elvégezhető, de a kapott eredményeket ellenőrizni kell. A MATAS, akárcsak az alább tárgyalt ALKSNIS-korpusz, a 9 http://clarin-lt.lt/ portál adattárában érhető el. Ebben az ANNIS rendszer használatával lehet keresést végezni (bővebben lásd a 3. fejezetet). 10 2. Az ALKSNIS szintaktikailag annotált korpusza A litván nyelv szintaktikailag annotált korpusza, az ALKSNIS 2016-ban készült el. Elkészítését az Európai Kutatási Infrastruktúra Konzorcium (CLARIN ERIC) Általános Nyelvi Erőforrások és Technológiák Infrastruktúrája támogatta (MTI-02/2015). A korpusz nyilvánosan hozzáférhető a http://clarin-lt.lt/ portál adattárában. A használatának módját 11 a felhasználói útmutató ismerteti. 12 A korpuszt a litván szintaktikai elemzés etalonjaként tervezték meg. Az ilyen típusú korpuszokra jellemző, hogy kicsik, optimális műfaji összetételűek, a szintaktikai elemzés pedig, bár automatikusan történt, nyelvészek által ellenőrzött és javított. A szintaktikai elemzés etalonja alapján statisztikai alapon működő szintaktikai elemző (angl. statistically-based parser) hozható létre, és bővíthető az automatikus szintaktikai elemzés (Bielinskienė és mtsai 2016). 9 Interneten elérhető: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9. 10 Interneten elérhető: http://158.129.51.247:8080/annis-gui-3.4.4. 11 Interneten elérhető: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10. 12 Online hozzáférés: https://youtu.be/PlE0PWurb4Y. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 6 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Mivel az ALKSNIS újabb litván nyelvi forrás, mint a MATAS, és kevésbé van leírva, ezért ebben a tanulmányban nagyobb figyelmet szentelünk az ALKSNIS-nek, továbbá megvitatjuk a szintaktikai annotálás során felmerült kérdéseket. 2.1. A korpusz részei Az ALKSNIS korpuszt 30 599 szó és 2355 szintaktikailag annotált mondat alkotja. A közeli országok nyelveinek korpuszaival összehasonlítva ez a korpusz meglehetősen hasonló, és elmondható, hogy megfelelő méretű: a lett nyelv korpuszát 3800 mondat, 53 ezer szó alkotja (Predkalnina és mtsai 13 2016); az észt nyelv PENN (USA) szintaktikailag annotált korpusza jóval nagyobb – mintegy 3 millió 14 – 1400 sakinių, 10 600 žodžių (Muischnek ir kt. 2014); lenkų kalbos 15 – 8227 sakinių. Pirmąjį szóból áll. 16 ALKSNIO tekstai apima keturias žanrines dalis (žr. 2 pav.). Bendrosios bei specialiosios a sajtó és a szépirodalom részei nagyjából egyenlő arányúak, a közigazgatási szövegek részaránya specifinė lietuvių kalba: sakiniai dažnai būna ilgi, juose gausu dokumentų pavadinimų, nuorodų į kitus dokumentus ir pan. Tokių sakinių anotavimas neatskleistų tipiškos sintaksinės struktūros. pedig a legkisebb, mivel ez a 2. ÁBRA. A szintaktikailag annotált ALKSNIS korpusz felépítése Tekstynui sudaryti imti ištisi, nesutrumpinti tekstai. Sakiniai atrinkti iš kuo įvairesnių szövegműfajok szerint. A szépirodalmi részt litván szerzők műveiből származó mondatok alkotják. A kiválasztott mondatokat számítógépes elemzéshez készítették elő: ellenőrizték a szöveg kódolását, valamint törölték a táblázatokat és az ábrákat. 13 Online hozzáférés: http://sintakse.korpuss.lv/index.html. 14 Online hozzáférés: https://metashare.ut.ee/repository/browse/estoniantreebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/. 15 Online hozzáférés: http://zil.ipipan.waw.pl/Sk%C5%82adnica. 16 Online hozzáférés: https://catalog.ldc.upenn.edu/ldc99t42. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 7 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 2.2. A korpusz annotálási és vizualizációs eszközei Az automatikus szintaktikai elemzés a VDU KLC „A litván nyelv szintaktikai-szemantikai elemzési rendszere korpuszok, a litván internet és a közszféra alkalmazásai számára” című projektje során kidolgozott szintaktikai elemzőn alapul, amelyet Haskell nyelven fejlesztettek ki. Az elemző szabályokra 17 támaszkodik, és az elemzési modulok morfológiailag annotált fájljait, eredményként pedig szerepekre és pagrįstu (angl. rule-based) metodu. Šis įrankis skaito semantika.lt segmentavimo ir morfologinės szintaktikai funkciókra felbontott mondatokat ad meg (Boizou és mtsai. 2014: 69). Az internetes dėmenis ar sintagmas, generuoja sintaksinius medžius, nurodo jų teminius vaidmenis (angl. thematic szolgáltatások csupán JSON-fájlokat generálnak, a KLC egy másik eszköze azonban a szintaktikai elemzés eredményeit PML (Prague Markup Language) formátumba konvertálja. A PML formátumban szintaktikailag annotált függőségi fák vizualizálására és szerkesztésére a prágai Károly Egyetem tekstynui yra generuojami priklausomybių medžiai (angl. dependency trees). Šis formatas leidžia mondatszegmentálását és morfológiai elemzését, valamint az automatikus szintaktikai elemzést universiteto UFAL sukurtą TrED redaktorių 18 (žr. 3 pav.). Visi automatiškai suanotuoti sakiniai patikrinti ir ištaisyti kalbininkų. Taigi sintaksinė analizė apima tris lygmenis: automatinį žodžių ir (szabályalapú metodu) ir rankinį sakinių tvarkymą (plačiau žr. 2.4). 2.3. AZ ALKSNIS adatszerkezete Az automatikus szintaktikai elemzés elvégzése után a mondatokat grafikusan, faelv szerint mutatják be (lásd a 3. ábrát). A fa minden csúcsa a mondat egy szavának, írásjelének vagy a mondat más egységének (szimbólumnak, számjegynek stb.) felel meg. A szavak közötti függőségi kapcsolatokat „ágakkal” vagy élekkel jelölik. 17 A szintaktikai elemzőt a Vytautasi Nagy Egyetem Számítógépes Nyelvészeti Központjában L. Boizou és F. Zambleraʼos hozta létre. 18 Online hozzáférés: https://ufal.mff.cuni.cz/tred/. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 8 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 3. ÁBRA Egy szintaktikailag annotált mondat függőségi fája a TrEd szerkesztő formátumában Minden szó mellett a következő sorrendben vannak feltüntetve az adatok (lásd a 3. ábrát): 1) a mondatban konkrétan használt szóalak (pl. gyventojai); 2) címszó (szótári alak) – lemma (pl. gyventojas); 3) morfológiai jegyek (pl. Ncmpnn-); 4) szintaktikai funkció (pl. Sub) (a rövidítések magyarázatát lásd alább). 2.4. Az elemzés szintjei A morfológiai elemzés szintje. A morfológiai annotálás az automatikus elemzés első szakasza, ezért elengedhetetlen a magasabb szintű szintaktikai vagy mondatszintű elemzéshez. A morfológiai elemzés a semantika.lt annotátorával készült (Dadurkevičius 2017). Az ALKSNYIS-ben használt morfológiai jegyek a MULTEXT-East formátum példája alapján készültek (részletesebben az 1. fejezetben ismertetve). AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Sintaksinės analizės lygmuo. Sintaksinis analizatorius apdoroja morfologiškai anotuotus fájlokat, és tagokra vagy szintagmákra bontott mondatokat ad meg, szintaktikai fákat generál nurodo jų elementų sintaksines funkcijas. Analizė remiasi priklausomybių gramatikos modeliu (angl. dependency grammar). Általában tipológiailag hasonló nyelvekre alkalmazzák, amelyekre jellemző a szóalakok ragozása és a szabad szórend, például a szláv nyelvekre (PDT, SynTagRus), a lett nyelvre 19 stb. A szintaktikai függőségeket hierarchia szerint fejezik ki. A mondat fő tagjával – a fa csúcsával – 20 kezdődik, amelyhez a mondat további tagjait függőségük (azaz a szintaktikai kapcsolatok) szerint kapcsolják. A szintaktikai jelölések rövidítései, valamint a szintaktikai kapcsolatokról és függőségekről szóló információk a cseh nyelvészeti munkákon alapulnak (Hajič és mtsai 1999); a szintetikus típusú cseh nyelv szintaktikai elemzését elsőként dolgozták ki. Jelenleg az ALKSNYIS 18 fő szintaktikai jelölést használ (változataikat nem számítva): Sub – alany, Pred – állítmány (predikátum), Obj – tárgy stb. (lásd az 1. táblázatot). A jelölések változatai akkor jönnek létre, amikor kétféle vagy kettős jelölést egyesítenek; például az összetett névszói vagy igei típusú állítmány jelölésére kétféle jelölést használnak: rendre PredN és PredV; a komplex mondat jelzői (atribútumi) mellékmondati tagjának jelölésekor a mellékmondati tag állítmányánál kettős jelölést alkalmazunk: Pred_Atr; az összekapcsolási viszony (koordináció) megjelenítéséhez a mondat homogén tagjainál a kettős jelölés részeként _Co jelölést alkalmazunk, vagyis a felsorolt homogén tárgyak mindegyikéhez Obj_Co és így tovább jelölést írunk. Egyébként az összetett mondatokban hármas jelölések is előfordulhatnak, például amikor a homogén mellékmondatokat kell jelölni: Pred_Atr_Co – ez egy jelzői (atribútumi) mellékmondat. 1. TÁBLÁZAT. A szintaktikai funkciók és jelöléseik a korpuszban Jelölés Szintaktikai funkció Sub Alany Pred Állítmány (vagy Ő [Sub] mondta Ő ment segédszó) PredV Az [Pred]; volt [Pred] elégedett Példa PredN Az állítmány Volt [Pred] elégedett [PredN] Várom állítmány igei része Turi [Pred] viszonoznia [PredV] névszói része Obj Tárgy a vendéget [Obj]; meg kell oldani [Obj] Atr Attribútum (jelző) Középiskola [Atr]; tagállam [Atr] Adj Körülmények Most [Adj] dönteni fog; Partizanų gatvėje [Adj] 19 A prágai függőségi fa-bank (Prague Dependency Treebank), bővebben lásd: https://ufal.mff.cuni.cz/pdt3.0. 20 Online hozzáférés: http://www.ruscorpora.ru/en/. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 16 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 9. ÁBRA A mellérendelő kapcsolattal összekapcsolt tagok annotálási példája Ha többszörös, vegyes mellérendelésről van szó, akkor a szerkezetben lévő kötőszó a csúcs, és tőle indul az összes többi kötőszó nélküli tag (a vesszők a saját felsorolásszavaikkal ugyanazon a függőségi szinten vannak). A többi írásjelet Aux jelöléssel látják el (lásd a 10. ábrát). AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszkok | 17 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 10. ÁBRA Vegyes mellérendelő szerkezet annotálási példája (az ábrán a mellérendelő kapcsolat további esetei is láthatók) A mellérendelő mondatok csúcsa a mellérendelő kötőszó. A határozószókból, névmásokból vagy partikulumokból álló kapcsolószavak (pl. a todėl határozószó) a második mondatrész állítmányától függenek, és határozói funkciót (Adj) töltenek be, míg a mellérendelés Coord funkcióját a vessző tölti be, akárcsak a kötőszó nélküli mondatokban vagy az ismételt kötőszókat tartalmazó mondatokban, amelyeket itt partikuláknak tekintünk (lásd a 12. ábrát), ugyanúgy, mint a mondatrészek mellérendelése esetében (lásd a 11. és 12. ábrát). AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 18 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 11. ÁBRA Mellérendelő mondat kapcsolószóval történő annotálásának példája 12. ÁBRA A mellérendelő szerkezet annotálása korpuszok | 19 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Sudėtinga anotuoti skaitines išraiškas, pvz., valandas, metus. Jos anotuotos kaip aplinkybės bővítményekkel vagy bővítményként (lásd a 13., 14. ábrát). 13 PAV. Datos anotavimas 14. ÁBRA A dátumok és más számszerű kifejezések annotálása (az ábrán csak a szintaktikailag annotált mondat egy részlete látható) korpuszok | 20 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Az összetett állítmányokat nem mindig könnyű annotálni. Egyes esetekben ugyanúgy annotálják őket, ahogyan a litván nyelv grammatikáiban értelmezik, azaz névszói és igei típusú állítmányokként (pl. yra [Pred] paprastas [PredN]; gali [Pred] būti [PredV]), más esetekben azonban az állítmány második tagját tárgynak tekintik (pl. ketinu [Pred] sukviesti [Obj]). Nehéz volt a páros kötőszókkal alkotott szerkezetek annotálása, mivel mindkét kötőszó hierarchikusan egyenrangú. Ilyen esetben úgy tekintették, hogy a hierarchia magasabb pozícióját a 15. ÁBRA foglalja el. A páros kötőszókkal pagrindinio sakinio dėmens tarinys, nuo jo priklauso šalutinio sakinio dėmuo (žr. 15 pav.). alkotott összetett mondatok annotálásának példája úgy döntöttek, hogy a mellérendelő kapcsolat Galiausiai svarstyta dėl kai kurių kalbos dalių statuso. Pavyzdžiui, kartojamuosius kötőszavait partikuláknak tekintik, mivel funkciójuk a függőségi fa struktúrájában hasonló a partikulákéhoz (lásd a 12. ábrát). A kézi szintaktikai annotálás során számos problémát kellett megoldani, itt ezek közül csak néhányat neveztünk meg. Számos annotálási nehézséget a hagyományos grammatika szemléletét követve oldottak meg, csupán egy bizonyos annotálási módszerben kellett megegyezni. Más esetekben a anotavimo ypatumų ir anotuojant nuosekliai laikytis susitarimo. Tikimasi iškilusias problemas szintaktikai rendszerhez kellett alkalmazkodni, miközben tovább folytatták az automatikus Kitame poskyryje pristatoma duomenų paieška anotuotuose tekstynuose naudojant ANNIS szintaktikai elemzés fejlesztését. rendszert. Ez az egyik kihívás az annotált korpuszok használatakor, mivel az olyan korpuszokban, amelyekben számos jelölés és akár több annotálási szint is található, az adatok keresésének sokrétűnek kell lennie. Ezért választották a Humboldt Egyetem (Németország) kutatói által kifejlesztett ANNIS eszközt. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpuszok | 21 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 3. Keresés az ANNIS rendszeren keresztül Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti annotált korpuszt (a MATO-korpusz részét (ez a korpusz dokumentumokra, szépirodalomra van mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir felosztva, lekérdezés benyújtása. A lekérdezések struktúráját a(z) 3.1. és 3.2. alfejezetek írják le. Az ANNIS a kapcsolódó információkkal együtt a megfelelő konkordanciasorokat jeleníti meg (lásd a 16. ábrát). A konkordanciasor mind balra, mind jobbra 5-ről 25 szóra bővíthető (az írásjelek is beleszámítanak); az eredmények exportálására is lehetőség van. Mindkét korpuszban a lipcsei glosszázási jelölések alapján összeállított grammatikai jelöléseket alkalmaznak. Több olyan jelölés is hozzá lett adva, amely a fent említett jelölésekben nem szerepel, például a ~COMP a felsőfokot jelenti. 21 Az ilyen jelölések elé tilde jelet írunk. A szófajokat a következők szerint adjuk meg: Universal Dependency formátum. 16 PAV. Paieškos per ANNIS įrankį rezultatų fragmentas A MATO dokumentumok részében az įsakymas lemma keresésekor 21 Online hozzáférés: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. A többi annotált korpuszban gyakran Universal Dependency (UD) jelöléseket használnak (lásd: http://universaldependencies.org/; lásd még a 18. ábrát). Amint az első fejezetben írtuk, az UD-jelölések nagyon hosszúak (például a tárgyesetet, a nőnemet és a többes számot így jelölik: case=accusative|gender=feminine|number=plural), túl sok helyet foglalnak el az ANNIS felületén, ezért kényelmetlen az információ olvasása. AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti korpusza | 22 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 17. ÁBRA Az ANNIS eszközön keresztül végzett keresés eredményének részlete az ALKSNIS korpuszban, az įsakymas lemma keresésekor (ahhoz, hogy a szintaktikai kapcsolatok nyilakkal legyenek megjelölve, meg kell nyomni a pluszjelet a deps mellett) 3.1. Egyszerű keresés Egyetlen jellemző keresését egyszerű keresésnek nevezzük. A megjelenített annotáció (a grammatikai kategóriák megnevezései, az alkalmazott grammatikai jelölések stb.) az egyes korpuszok struktúrájától, nem pedig az ANNIS eszköztől függ. Atkreipiame dėmesį, kad formuojant užklausą reikia skirti didžiąsias ir mažąsias raides. 3.1.1. Pontos szóalakok (karakterláncok) keresése Paprastoji paieška vykdoma nurodant kategorijos pavadinimą, lygybės ženklą ir kategorijos az angol idézőjelek közé írt értéket, pl.:  lemma="kalba" (ez a lekérdezés azt jelenti, hogy a kalba lemmát keresi);  pos="ADJ" (ieškoma būdvardžių);  gram=".M.SG.GEN." (bestimmte grammatische Kategorien werden gesucht, vienaskaitos vyriškąja gimine kilmininko forma pavartotų žodžių). AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti in diesem Fall Korpora | 23 BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204 Bei der Suche nach einer konkreten Wortform im Text muss der Kategoriename tok angegeben oder einfach die gesuchte Form in Anführungszeichen eingetragen werden, z. B. :  tok="pasakė" arba "pasakė". In beiden annotierten Korpora kann man nach Lemmata, Wortarten, grammatischen Kategorien, konkrečių žodžių formų, o ALKSNYJE dar galima ieškoti sintaksinių pažymų, pvz.:  syfun="Atr" (es werden Attribute gesucht). Im ALKSNIS kann man außerdem nach Dependenzrelationen (deps) suchen, aber diese werden nach einem anderen Prinzip gesucht (siehe 3.2.3). 3.1.2. Suche nach Symbolstrukturen ANNIS ermöglicht die Suche unter Verwendung regulärer Ausdrücke (engl. regular expressions); sie werden durch spezielle Symbole gekennzeichnet. A reguláris kifejezésekkel végzett keresés kaip tikslių žodžių formų paieškos užklausa, tik reikia angliškas kabutes pakeisti pasviraisiais lényegében ugyanígy, perjelekkel írható le. 3.1.2.1. Bet kokių simbolių paieška A legfontosabb speciális szimbólum a pont, amely bármely egyetlen szimbólumot (betűt, számjegyet stb.) helyettesít, pl. :  lemma=/pl.t.s/ (például a platus, plotis, plitus keresése);  /p.sak.s/ vagy tok=/p.sak.s/ (például a pasakys, pasakos, pasakas, pasakęs, posakis keresése);  /201./ arba tok=/201./ (ieškoma, pvz., 2010, 2011, 2012…). Mivel a pont bármely jelet helyettesíthet, magának a pont szimbólumának a kereséséhez a következőt kell használni kombinaciją pasvirasis kairinis brūkšnys + taškas (\.), pvz.:  gram=/\..\.SG\.GEN\./ (például a .M.SG.GEN., .F.SG.GEN., ... keresése). 3.1.2.2. Több szimbólum közül egynek a keresése A teljesen meghatározatlan szimbólumok keresése helyett a lekérdezésben több konkrét ieškomų simbolių. Jie rašomi laužtiniuose skliaustuose, pvz.: szimbólum is megadható  lemma=/pl[ao]t.s/ (például a platus, plotis, de nem a plitus  /t[ei]lp./ arba tok=/t[ei]lp./ (ieškoma, pvz., telpa, tilpo, bet ne talpa); keresése);  /201[0124]/ vagy tok=/201./ (a 2010, 2011, 2012, 2014 keresése); korpuszok | 24 AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204  gram=/\.[MFN]\.SG\.GEN\./ (a .M.SG.GEN., .F.SG.GEN., .N.SG.GEN. keresése). Felhívjuk a figyelmet arra, hogy ezzel a módszerrel a megadott jelkészlet egyetlen jele alapján keresünk: a /dirb[aius]/ lehetővé teszi a dirba, dirbi, dirbu, dirbs keresését, de a dirbau vagy dirbsi keresését nem. 3.1.3. Ismétlési operátorok Ismételhetők (közönséges és speciális) jelek, pl. :  lemma=/..važiuoti/ (pl. a nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nevažiuoti keresése);  /dirb[ao][mt]e/ vagy tok=/dirb[ao][mt]e/ (a dirbame, dirbate, dirbome keresése, dirbote). Így a keresett szimbólumok száma állandó, pl. a bemutatott példákban két szimbólum. (arba [ao][mt]), taigi pagal užklausą lemma=/..važiuoti/ negausite rezultatų su lema įvažiuoti. Több lehetőséget kínálnak az ismétlési operátorok, jelentésük a következő:  ? – egy bizonyos szimbólum egyszer vagy egyáltalán nem szerepel;  + – egy bizonyos szimbólum legalább egyszer szerepel (vagyis egyszer, kétszer, háromszor, négyszer vagy még többször);  * – egy bizonyos szimbólum n alkalommal szerepel (vagyis egyáltalán nem kell szerepelnie, szerepelhet egyszer, kétszer vagy még többször). Ezek az operátorok segítenek az utánuk vagy előttük álló szimbólumok keresésében, pl. :  /šild?o/ (a šilo vagy šildo keresése);  /Ma+u/ (a Mau, Maau, Maaau, Maaaau stb. keresése);  /oi*/ (az o, oi, oii, oiii stb. keresése). A korábban említett operátorok bármelyik vagy több szimbólum egyikének keresésével is kombinálhatók, pl.: korpuszok | 25  lemma=/.*važiuoti/ (ieškoma, pvz., važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti);  /šauk[aiu]*/ arba tok=/šauk[aiu]*/ (ieškoma, pvz., šauk, šauki, šaukia, šaukiu); AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204  /šauk[aiu]+/ vagy tok=/šauk[aiu]+/ (például a šauki, šaukia, šaukiu keresése, de nem a šauk);  gram=/.*\.F\.. */ (a .F. szekvencia keresése bármely más szimbólumszekvenciák között). Megjegyzendő, hogy az olyan struktúrák, mint az [aiu]* vagy az [aiu]+, nincsenek hatással a keresett szimbólumok sorrendjére. Vagyis olyan eredmények jelennek meg, amelyekben szerepel az a vagy az i, vagy az u + a; vagy az i, vagy az u + a; vagy az i, vagy az u… Így a következő szimbólumkombinációk ismerhetők fel: aaa, i, uuuuu, uiua, uaa stb. 3.1.4. Alternatívák keresése A függőleges vonal (|) alternatívák keresését teszi lehetővé, pl. :  lemma="negeras" | lemma="geras";  /d(au|ū)ž. */ vagy tok=/d(au|ū)ž. */ (például a daužo, dūžta, daužymas keresése);  gram=/.*\.~(COMP|SUP)\.. */ (.~COMP. és .~SUP. keresése tetszőleges szimbólumsorozatok között);  "tik" | "tiktai" vagy tok="tik" | tok="tiktai" (a tik és tiktai keresése). 3.1.5. Negatívan megfogalmazott lekérdezések Bár ez a lehetőség hasznosabb a tulajdonságok összetett keresésekben történő kombinálásakor, az egyszerű keresésekben is megadható, hogy mit nem kell keresni, pl.:  pos!="NOUN" (minden olyan szót keres, amely nem főnév);  tok!=/. *[aąeęėiįyouųū]/ (minden olyan szóalakot keres, amely nem magánhangzóra végződik). Ha nem összetett keresési lekérdezést választunk (lásd 3.2), a negatívan megfogalmazott egyszerű lekérdezések problémákat okozhatnak, különösen, ha sok szóra terjednek ki (mint az első esetben – a főnevekre), ezért ezt a lekérdezést óvatosan kell használni. 3.2. Összetett keresés Az összetett keresés több egyszerű keresésből áll össze. Szükség van továbbá egy kiegészítő részre, amely leírja az egyszerű keresések közötti kapcsolatokat (a pozíció szerint megadva). Az egyszerű keresés minden egyes része egy „&” (ampersand) jellel kapcsolódik össze.