Ruim 100 jaar geleden werd het Litouws dankzij de inspanningen van Jonas Jablonskis (1901, 1918, 1922) gestandaardiseerd en geschikt gemaakt als het belangrijkste bindmiddel van de staat. Al in de eerste Litouwse grammatica van Jonas Jablonskis (1901) werden de fonetiek, morfologie en syntaxis van het Litouws geformaliseerd: de belangrijkste begrippen werden gedefinieerd en regels voor woordverbuiging en zinsbouw werden gegeven (zie fig. 1).
FIG. 1. Fragment uit de Litouwse grammatica van Jonas Jablonskis uit 19012
De bijdrage van Jonas Jablonskis aan de standaardisering van de Litouwse woordenschat en aan de verklaring van semantische kenmerken van woorden is onschatbaar.
Lange tijd was dit volkomen toereikend voor leerlingen en leraren, schrijvers en lezers, ambtenaren en wetenschappers. Met de komst van een beschavingsveranderende innovatie — computers — ontstond voor de klassieke grammatica en lexicon de noodzaak om een „nieuw jasje aan te trekken” en een volwaardig onderdeel te worden van de nieuwe
1 Dit artikel is gebaseerd op de lezing Grammatica van het Litouws in de wereld van open source, gehouden tijdens de 24e internationale Jonas Jablonskis-conferentie Digitale taalbronnen, hun ontwikkelingsrichtingen en toepassingsmogelijkheden (29-09-2017); deze werd georganiseerd door het Centrum voor Onderzoek naar de Standaardtaal van het Instituut voor de Litouwse Taal en de Vakgroep Litouwse Taal van de Universiteit van Vilnius.
2 Afbeelding uit http://www.epaveldas.lt/vbspi/biRecord.do?biRecordId=25383.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 2
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 2
deel van de technologie. Aanvankelijk waren taalkundige middelen op computers nodig voor tekstcodering (het omzetten van letters in cijfers), het automatisch corrigeren van fouten in ingevoerde tekst en het afbreken van tekst in kolommen met uitgelijnde tekst. Iets later werden ze nodig voor het zoeken naar informatie, spraakherkenning en -synthese, machinevertaling van de ene taal naar de andere, automatisch inhoudsbegrip, „gevoelsmatige” tekstanalyse enzovoort. Taalkundige middelen moesten tot in detail worden geformaliseerd en op een andere, voor computers begrijpelijke manier worden vastgelegd. De belangrijkste daarvan is de morfologie, omdat zij de basis vormt voor alle diepgaandere werkzaamheden in de computationele linguïstiek (syntaxis, semantische analyse enz.).
Het eerste werk van dit type werd rond de eeuwwisseling uitgevoerd door Vytautas Zinkevičius (1996, 2000), programmeur bij de experimentele fabriek „Bitas“. Bijna twee decennia lang was dit het enige en onmisbare middel voor modern onderzoek naar het Litouws en voor computertoepassingen. Het systeem werd met succes gebruikt om spelfouten op te sporen in tekstverwerkingsprogramma’s en om morfologische analyse en synthese uit te voeren bij wetenschappelijk en toegepast onderzoek aan het Instituut voor de Litouwse Taal, de Vytautas Magnus-universiteit (waar zijn werk de naam „Lemuoklis“ kreeg) en de Universiteit van Vilnius. Er werd zelfs een versie van dit systeem ontwikkeld die was aangepast voor de analyse van het Oudlitouws (Gelumbeckaitė et al. 2012). Naarmate de behoeften van de computationele linguïstiek echter toenamen, kwamen de tekortkomingen van het systeem aan het licht: niet-standaard, niet-gevraagde gegevensstructuren; gesloten broncode; een onvolledige implementatie van eigennamen, illatief, dualis, de toekomende tijd van primaire werkwoorden en verkorte en zeldzame vormen. Vooral de gesloten broncode belemmerde de verdere ontwikkeling van het systeem: in de praktijk kon alleen de auteur zelf de gegevens en het algoritme wijzigen.
Om de eerder beschreven tekortkomingen te vermijden en een nieuwe generatie computationele morfologie voor het Litouws te ontwikkelen, werden de volgende eisen geformuleerd:
1) uitsluitend open-sourcecode gebruiken en ontwikkelen;
2) alleen de gegevens mogen specifieke kenmerken van het Litouws hebben, niet hun vorm en interpretatie;
3) alle programmacode moet universeel zijn en geschikt voor elke andere taal;
4) oplossingen benutten die met succes zijn toegepast op andere talen in de wereld.
Aan de genoemde eisen voldoet het platform Hunspell3goed. Bovendien maakt een taalbeschrijving op deze manier het later eenvoudig om spelfouten te controleren in veel (meer dan 50) toepassingsprogramma’s (OpenOffice, LibreOffice, Firefox, Chrome, Safari, InDesign enz.), morfologische analyse en synthese van woorden uit te voeren, intelligente zoekopdrachten in tekstuele informatie uit te voeren enzovoort.
3 Toegang via internet: https://en.wikipedia.org/wiki/Hunspell.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 3
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 3
In dit artikel wordt een nieuwe implementatie van de morfologie van het Litouws op basis van het Hunspell-platform besproken. De daarmee samenhangende problemen en de oplossingen ervoor worden behandeld, en voorbeelden van succesvolle tests en praktische toepassingen worden gegeven.
1. BIJZONDERHEDEN VAN HET BESCHRIJVEN VAN HET LITOUWS IN HET HUNSPELL-FORMAAT
1.1. Ontstaansvoorwaarden en algemene principes van het Hunspell-platform
Het open-sourceplatform Hunspell ontwikkelde zich uit de eenvoudigste spellingcontroleprogramma’s Ispell4, Aspell5, MySpell6 enzovoort. Naarmate deze programma’s geleidelijk geavanceerder werden en geschikt werden gemaakt voor steeds meer uiteenlopende talen (vooral agglutinerende talen zoals het Fins, Hongaars en Turks), werd het mogelijk niet alleen spellingcontrole uit te voeren, maar ook problemen van morfologische analyse en synthese op te lossen. De makers van dit wereldwijd zeer populaire platform zijn voornamelijk wetenschappers en ingenieurs-programmeurs van Hongaarse afkomst (Trón et al. 2005). Het is dan ook niet verwonderlijk dat het eerste deel van de naam, „Hun-”, is ontleend aan de Engelse naam voor Hongarije.
De morfologie van een taal wordt op het Hunspell-platform beschreven in twee tekstbestanden: in het bestand met de extensie .aff worden de verbuigingsregels vastgelegd, terwijl het bestand met de extensie .dic een woordenboek van woordvormen bevat, met basisinformatie over de morfologie en verwijzingen naar een of meer groepen verbuigingsregels die aanvullend kunnen worden toegepast. Een afzonderlijke regel kan worden voorgesteld als een instructie waarin het volgende wordt aangegeven:
1) Wat in een woord uit het woordenboek van woordvormen door wat kan worden vervangen. Bijvoorbeeld, in de regel
SFX 85 čias ty [^š]čias is:Masc_Sg_Voc
„SFX” geeft aan dat het woordeinde wordt gewijzigd; „-čias” kan worden vervangen door „-ty”.
„PFX” geeft aan dat het woordbegin wordt gewijzigd. Wijzigingen in het midden van een woord zijn niet voorzien.
2) Het nummer van de groep verbuigingsregels waartoe deze regel behoort. Een groep kan uit één of meer regels bestaan, die altijd samen worden toegepast. In het vorige voorbeeld behoort de regel tot de groep met nummer „85”.
3) De voorwaarden waaronder de wijziging mogelijk is (er wordt een bepaalde formalisering van reguliere expressies toegepast). In ons voorbeeld is de wijziging alleen mogelijk op voorwaarde dat het einde van het woord uit het woordenboek van woordvormen niet „-ščias” is (bijvoorbeeld „vaikiščias”).
4) De morfologische informatie die met deze wijziging samenhangt. In ons voorbeeld wordt aan een dergelijke wijziging van het woordeinde het morfologische label „Masc_Sg_Voc” gekoppeld (mannelijk geslacht, enkelvoud, vocatief, bijvoorbeeld „svety”).
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 4
Meer informatie over de principes voor het opstellen van verbuigingsregels en het specificeren van morfologische informatie in Hunspell is te vinden op de website van dit platform7; de mogelijkheden om de morfologie van verschillende talen op dit platform te beschrijven, zijn uitvoerig onderzocht in het proefschrift van Tommi A. Pirinen (2014).
1.2. Specifieke eisen voor de Litouwse implementatie
Om een dergelijke formalisering van de taal geschikt te maken voor morfologische analyse en synthese, het indexeren van tekstinformatie en het doorzoeken ervan, moet aan de volgende twee eisen worden voldaan:
1) alleen lemma’s (lemma- of basisvormen) mogen in het woordenboek van woordvormen worden opgenomen;
2) prefixvorming, suffixvorming en reflexieve afleiding moeten worden weergegeven in het .aff-bestand en niet in het .dic-bestand.
De eerste eis is in het Litouws niet eenvoudig te realiseren vanwege de grote verscheidenheid aan verbuigingspatronen van werkwoorden (ongeveer 170 varianten), maar de mogelijkheid van het Hunspell-platform om vanuit de ene verbuigingsregel een andere aan te roepen, hielp dit probleem op te lossen. Hoewel de ‘diepte’ van zulke aanroepen slechts één kan bedragen, verkleint dit de omvang van het bestand met verbuigingsregels aanzienlijk: van enkele miljoenen regels tot enkele tienduizenden.
Het voldoen aan de tweede eis vergroot het .dic-bestand enigszins, omdat bijvoorbeeld afleidingen met prefixen, suffixen en reflexieve vormen van dezelfde stam, zoals „imti“, „paimti“, „suimti“ en „nesiimti“, op afzonderlijke regels worden opgenomen. Dit is niet het enige nadeel van deze eis: men kan gemakkelijk een minder gangbare afleiding van een werkwoord of bijvoeglijk naamwoord over het hoofd zien. Dit probleem kan echter vrij grondig worden ondervangen door lemma’s in de eerste plaats niet uit gepubliceerde woordenboeken te selecteren, maar uit verzamelde tekstcorpora.
1.3. Fragmenten uit Litouwse.dic- en.aff-bestanden (voorbeelden)
Enkele fragmenten uit een Litouws .dic-bestand (woordenboek), met vetgedrukte equivalenten van de voorbeeldwoorden van Jonas Jablonskis, zijn weergegeven in figuur 2.
FIG. 2. Een fragment uit het bestand met woordvormen .dic. De getallen na de schuine streep verwijzen naar groepen verbuigingsregels. De rood gemarkeerde verwijzingen leiden naar de groepen regels die in FIG. 3 zijn weergegeven.
In figuur 3 worden enkele fragmenten van het bestand .aff met verbuigingsregels voor het Litouws weergegeven:
SFX 21 Y 1
SFX 21 as uosna. is:Masc_Pl_I
...
SFX 98 Y 2
SFX 98 as ai. is:Masc_Pl_Nom
SFX 98 as ų. is:Masc_Pl_Gen
...
SFX 264 Y 6
SFX 264 is is. is:Masc_Sg_Nom
SFX 264 ys ys. is:Masc_Sg_Nom
SFX 264 is žio. is:Masc_Sg_Gen
SFX 264 ys žio. is:Masc_Sg_Gen
SFX 264 ai ai. is:Masc_Pl_Nom
SFX 264 ai ų. is:Masc_Pl_Gen
...
SFX 145 Y 12
SFX 145 is iams. is:Masc_Pl_Dat
SFX 145 ys iams. is:Masc_Pl_Dat
SFX 145 is iam. is:Masc_Pl_Dat_short
SFX 145 ys iam. is:Masc_Pl_Dat_short
SFX 145 is ius. is:Masc_Pl_Acc
SFX 145 ys ius. is:Masc_Pl_Acc
SFX 145 met -iais. is:Masc_Pl_Inst
SFX 145 ys met -iais. is:Masc_Pl_Inst
SFX 145 met -iuose. is:Masc_Pl_Loc
SFX 145 ys met -iuose. is:Masc_Pl_Loc
SFX 145 is iuos. is:Masc_Pl_Loc_short
SFX 145 ys iuos. is:Masc_Pl_Loc_short
FIG. 3. Fragmenten van het bestand .aff met verbuigingsregels. Enkele regels zijn vetgedrukt; deze worden verderop gebruikt om de morfologische analyse te illustreren.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 6
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 6
Met behulp van de in de voorbeelden gegeven taalbeschrijving en de standaard (taalonafhankelijke) analysetools van Hunspell zouden we voor de voorbeeldwoorden van Jonas Jablonskis het volgende resultaat krijgen (zie fig. 4).
FIG. 4. Voorbeeld van morfologische woordanalyse
2. WERKWIJZE EN RESULTATEN
Zodra een volledige taalbeschrijving in Hunspell-formaat is opgesteld (dat wil zeggen, de bijbehorende .dic- en.aff-bestanden zijn aangemaakt), ontstaan er praktisch onbeperkte mogelijkheden voor toepassingen, van spelling- of grammaticacontrole tot intelligente systemen voor het zoeken naar informatie. Vanwege de vrij complexe morfologie van het Litouws (veel regels en regelgroepen) en de noodzaak om de lijst met lemma’s af te stemmen op grote corpora (meer dan 1 miljard woorden) die de werkelijke toestand van het hedendaagse geschreven Litouws weerspiegelen, waren er ongeveer vijf jaar nodig vanaf de eerste pogingen tot de ontwikkeling van een soepel werkende versie van de morfologie. De eerder in dit artikel gegeven voorbeelden zijn vooral illustratief en bedoeld om het idee te verduidelijken; in werkelijkheid zijn de regels en regelgroepen veel complexer, met name die voor werkwoorden.
Om de ontwikkeling van de morfologie te versnellen en fouten te voorkomen bij het opstellen van duizenden regels en het toewijzen ervan aan lemma’s, werd eerst een voorlopige morfologiebeschrijving ontwikkeld die abstracter was dan wat de Hunspell-specificaties vereisen (regels in een MS Excel-tabel, lemma’s en hun classificatie in een MS Access-database). Er werden ook softwaretools ontwikkeld om deze voorlopige structuren, die voor mensen gemakkelijker te lezen en te begrijpen zijn, automatisch om te zetten in .aff- en.dic-bestanden, of in een andere vorm die door de toepassingsspecificaties wordt bepaald. De meest recente versie van de Litouwse .aff- en.dic-bestanden is beschikbaar op de GitHub-site van de auteur8.
Tijdens het volledige proces van morfologische formalisering werden de volgende hoofdbronnen gebruikt:
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 7
1) Grammatica van het hedendaagse Litouws (DLKG 2006);
2) Het corpus Hedendaags Litouws van de Vytautas Magnus Universiteit (hierna: VDU)9 – ca. 140 miljoen woorden;
3) Het corpus voor automatische vertaling van de Universiteit van Vilnius10 – ca. 800 miljoen woorden, ca. 4 miljoen unieke woorden;
4) Documenten van de Seimas van de Republiek Litouwen (hierna: LRS)11 – ca. 400 miljoen woorden, ca. 1 miljoen unieke woorden;
5) Woordenboek van het hedendaagse Litouws (DŽ 2006) – ca. 60.000 lemma’s;
6) Woordenboek van de Litouwse taal12 – ca. 500.000 artikelen;
7) Woordenboek van internationale woorden (VTŽŽe) – ca. 22.000 lemma’s;
8) Woordenboek van Litouwse achternamen (LPŽ) (ca. 80.000 achternamen).
In totaal werden ongeveer 5.000 adresseerbare regelgroepen opgesteld (18.000 afzonderlijke regels). De verdeling van de regelgroepen over de woordsoorten is weergegeven in figuur 5.
FIGUUR 5. Verdeling van groepen verbuigingsregels over woordsoorten
Het bestand .dic (woordenboek) is samengesteld uit 171.000 lemma’s. De verdeling van de lemma’s over de woordsoorten is weergegeven in figuur 6.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 8
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 8
FIGUUR 6. Verdeling van lemma’s over woordsoorten
Bij de selectie werd uitsluitend uitgegaan van correct modern Litouws en werden foutieve, niet-Litouwse, niet-aanbevolen, beledigende en verouderde woorden vermeden. Eigennamen werden verder onderverdeeld in familienamen, voornamen, geografische namen en overige gevallen. Deze selectie vergemakkelijkt de toepassing van de ontwikkelde morfologie voor spellingcontrole en maakt het mogelijk de analyseresultaten gemakkelijker toe te passen in latere tekstverwerkingsfasen (syntaxis, herkenning van benoemde entiteiten, indexering en zoeken).
De nauwkeurigheid van de nieuw ontwikkelde morfologische analysator bedraagt ongeveer 98 procent; dat wil zeggen dat de analysator gemiddeld 98 van de 100 woorden correct interpreteert (Kapočiūtė-Dzikienė et al. 2017). De overige 2 procent niet-herkende woorden bestaat meestal uit spelfouten, woorden uit andere talen (voornamen, familienamen, citaten uit zinnen enz.), niet-aanbevolen of niet-standaardwoorden en correcte woorden die niet in de lemmalijst zijn opgenomen.
3. PRAKTISCHE TOEPASSING
3.1. Het syntactisch-semantische analysesysteem van VDU
De nieuw ontwikkelde morfologie van het Litouws werd in de periode 2011–2015 toegepast in het syntactisch-semantische analysesysteem van VDUHunspell om spelling en grammatica te controleren en morfologische en syntactische tekstanalyse uit te voeren (zie fig. 7). De morfologische analyse werd uitgebreid met een gemengde statistisch-regelgebaseerde disambiguering (verborgen Markovmodel, op basis van een gouden standaard benaderde trigramkansen, het Viterbi-algoritme, enkele uitzonderingen). Een uitgebreidere bespreking van disambiguering in morfologische analyse staat in de publicatie van Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė en Loïc Boizou (2017).13
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 9
FIG. 7. Hunspell: toepassing van de Litouwse morfologie in het syntactisch-semantische analysesysteem van VDU
3.2. Zoeksysteem van het register van rechtsbesluiten van LRS
In de periode 2011–2013 werd, parallel aan de ontwikkeling van de nieuwe Litouwse morfologie, deze toegepast in het zoeksysteem van het register van rechtsbesluiten bij de kanselarij van LRS14. Gewoonlijk worden in dergelijke systemen alle documenten geïndexeerd door lemmatisering voordat de eerste zoekopdracht wordt uitgevoerd: alle woorden in de documenten worden vervangen door hun lemma's, en er wordt vastgelegd waar elk lemma voorkomt. Voordat een zoekopdracht wordt uitgevoerd, wordt ook de tekst ervan op dezelfde manier gelemmatiseerd; daardoor wordt later niet alleen de in de zoekopdracht opgegeven woordvorm gevonden, maar ook elke andere vorm van dat woord die in de gezochte documenten voorkomt. Omdat de gegevens .dic,.aff in dit systeem niet rechtstreeks konden worden gebruikt, werd het voor het systeem benodigde oorspronkelijke formaat (een tekstbestand waarin elke regel de vorm [lemma] [woordsoort] → [lijst van vormen] heeft) gegenereerd uit de eerder genoemde oorspronkelijke morfologiebeschrijving. Hoewel uit deze beschrijving ongeveer 15 miljoen theoretisch mogelijke woordvormen kunnen worden gegenereerd, werden vanwege de interne beperkingen van het zoeksysteem slechts ongeveer 1 miljoen van de meest voorkomende vormen gebruikt. Deze keuze bleek succesvol: het zoeken verloopt vrij soepel en het systeem wordt nog steeds gebruikt (zie fig. 8).
14 Online toegang: https://www.e-tar.lt
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 10
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 10
FIG. 8. Toepassing van de morfologie van het Litouws in de zoekfunctie van het register van rechtshandelingen van de LRS
4.3. Openbroncode-documentindexerings- en zoeksysteem Solr/Lucene15
Om de voordelen van openbroncode en de ervaring die was opgedaan bij de implementatie van de Litouwse morfologie in het register van rechtshandelingen breder te benutten, werd op basis van Solr/Lucene een systeem voor het indexeren en doorzoeken van Litouwse documenten ontwikkeld. Rechtstreekse toepassing van .dic,.aff-gegevens in dit systeem is mogelijk, maar zeer inefficiënt. Daarom werden deze vervangen door een eindige-toestands-transducer (FST – Finite State Transducer), opgebouwd uit de eerder genoemde basisbeschrijving van de morfologie en in staat alle woordvormen te genereren die volgens deze beschrijving theoretisch mogelijk zijn. Deze oplossing maakt het niet alleen mogelijk alle gewenste woordvormen nauwkeurig te indexeren en terug te vinden, maar versnelt ook de indexering honderden malen. Bovendien kunnen zoekresultaten worden verkregen met behulp van diverse semantische relaties, waarbij aanvullende taxonomisch-semantische informatie in aanmerking wordt genomen. Als bijvoorbeeld in de zoekopdracht het woord „gyvatė” wordt opgegeven, zoekt het systeem ook naar „angis”, „barškuolė” enzovoort (zie fig. 9); wordt „angis” opgegeven, dan bevatten de zoekresultaten niet langer „gyvačių” of „barškuolių” (Ralys, Dadurkevičius 2017).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 11
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 11
FIG. 9. Voorbeeld van de toepassing van de Litouwse morfologie in het openbroncode-documentindexerings- en zoeksysteem Solr/Lucene
4. VOORUITZICHTEN
Om de implementatie van de morfologie van het Litouws op het Hunspell-platform breder toe te passen, zouden twee varianten ervan verder moeten worden ontwikkeld: een variant voor de standaardtaal en een volledige variant (standaardtaal en niet-standaardtaal). De eerste variant zou het mogelijk maken spellingcontrole te blijven uitvoeren en aanbevelingen te geven voor het corrigeren van overtredingen van taalnormen; de tweede zou geschikt zijn voor toegepaste vraagstukken rond de analyse van levende taal.
Een minstens zo belangrijke taak voor de toekomst is om het morfologische woordenboek voortdurend aan te vullen met ontbrekende en nieuw opkomende woorden, geconstateerde fouten in verbuigingsregels en woordclassificatie te corrigeren en minstens eenmaal per jaar de nieuwste versies van .dic,.aff te publiceren.
Met de reeds opgedane ervaring zou het ook niet moeilijk zijn een formele beschrijving op te stellen van de Litouwse dialecten (in het bijzonder het Samogitisch) of van de taal van oude Litouwse geschriften.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 12
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 12
ŠALTINIAI
DLKG 2006 – Dabartinės lietuvių kalbos gramatika. Red. Vytautas Ambrazas. 4-oji pataisyta laida, Vilnius: Mokslo ir enciklopedijų leidybos institutas.
DŽ 2006 – Dabartinės lietuvių kalbos žodynas (elektroninis). Vyr. red. Stasys Keinys. 6-as leid. Vilnius: Lietuvių kalbos institutas.
LKŽe – Lietuvių kalbos žodynas, elektroninis variantas. Red. kolegija: Gertrūda Naktinienė (vyr. red.), Jonas Paulauskas, Ritutė Petrokienė, Vytautas Vitkauskas, Jolanta Zabarskaitė, Vilnius: Lietuvių kalbos institutas, 2005. Atnaujinta versija, 2008. Prieiga internete: www.lkz.lt.
LPŽ – Aleksandras Vanagas (red.), Lietuvių pavardžių žodynas 1–2, Vilnius: Mokslas, 1985–1989.
VTŽŽe 2003 – Vaitkevičiūtė V. Tarptautinių žodžių žodynas (elektroninis). Vilnius: Fotonija.
LITERATŪRA
Gelumbeckaite ir kt. 2012: Gelumbeckaite J., Šinkūnas M., Zinkevičius V. Old Lithuanian Reference Corpus (SLIEKKAS) and Automated Grammatical Annotation. – Journal for Language Technology and Computational Linguistics (JLCL), 2012. - 27.2. Altüberlieferte Sprachen als Gegenstand der Texttechnologie. Ancient Languages as the Object of Text Technology, ed. by Armin Hoenen, Thomas Jügel, Gesellschaft für Sprachentechnologie und Computerlinguistik (GSCL), 83–96 p.
Jablonskis J. 1901: Lietuviškos kalbos gramatika. Rašytojams ir skaitytojams vadovėlis. Parašė Petras Kriaušaitis. Tilžėje 1901. Spausdinta pas Otto v. Mauderode. 88 p.
Jablonskis J. 1918: Lietuvių kalbos gramatika: etimologija: pirmosioms mūsų aukštesniosioms mokslo įstaigoms / P. Kriaušaičio ir Rygiškių Jono. Vilnius: Lietuvių mokslo draugija. 237 p.
Jablonskis J. 1922: Lietuvių kalbos gramatika: etimologija: vidurinėms mokslo įstaigoms / Rygiškių Jonas. 2-asis leid. Kaunas; Vilnius: „Švyturio“ b-vė, (Tilžė: Otto v. Mauderodės sp.). 280 p.
Kapočiūtė-Dzikienė J. ir kt. 2017: Jurgita Kapočiūtė-Dzikienė, Erika Rimkutė, Loïc Boizou Comparison of Lithuanian Morphological Analyzers. – Text, Speech, and Dialogue. 20th International Conference, TSD 2017, Prague, August 27–31, 2017, Proceedings, 47–56.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 13
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 13
Ralys D., Dadurkevičius V. 2017: Informacijos paieškos sistemos ir lietuvių kalba, [žiūrėta 2017-10-30]. Prieiga internete:
Tommi A Pirinen 2014: Weighted Finite-State Methods in Spell-Checking and Correction, Doctoral dissertation, University of Helsinki.
Trón V. ir kt. 2005: Viktor Trón, András Kornai, György Gyepesi, László Németh, Péter Halácsy, and Dániel Varga. 2005. Hunmorph: open source word analysis. – Proceedings of the Workshop on Software (Software '05). Association for Computational Linguistics, Stroudsburg, PA, USA, 77–85.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimo lingvistiniai aspektai. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 148–154.
Zinkevičius V. 1996: Lietuvių kalbos morfologinių reiškinių kompiuterizavimas. – Lietuvių katalikų mokslų akademijos suvažiavimo darbai, XVI tomas, 155–162.
Zinkevičius V. 2000: Lemuoblis – morfologinei analizei. – Darbai ir dienos 24, 245–273.
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 14
LITHUANIAN MORPHOLOGY IN THE HUNSPELL FRAMEWORK
Summary
The paper presents the results of an attempt to build basic Lithuanian language resources using the widespread Hunspell platform. The spelling is actually the primary target of this open-source platform but the morphological analysis and synthesis are also possible. Moreover, the ability to efficiently perform lemmatization (stemming) makes this platform the best option for text search engines (e.g. Solr/Lucene) and information retrieval. Taggers, grammar checkers and other basic natural language processing tools can also be build using properly built Hunspell language resources.
Every Hunspell language resource consists of two files: dictionary and affixes (it may be empty). The dictionary contains main forms (lemmas) whereas the affixes contain the morphological rules to generate all possible forms. As a source for the dictionary we have used the Modern Lithuanian Dictionary (6-th edition), Corpus of the Contemporary Lithuanian Language compiled at the Center of Computation Linguistics of Vytautas Magnus University, database of documents of the Lithuanian Parliament, versti.eu machine translation corpus of Vilnius University and various public internet sources (totally 1.3 billion tokens). Main criteria for semi-manual compilation of the Lithuanian dictionary of lemmas from these sources was correctness, usability, actuality and approval by language authorities. Deprecated loanwords or extremely rare, exotic, obsolete, jargon, insulting forms were discarded from the list. Resulting dictionary consists of 171 000 lemmas: 42 000 common nouns, 73 000 proper nouns, 15 000 adjectives, 53 pronouns, 153 numerals, 35 000 verbs, 4 000 adverbs and 2 000 others (prepositions, conjunctions, particles, onomatopoeias, interjections, acronyms and abbreviations).
The second component of language resource, the so called “affix file”, contains information of various kind: metadata, preferable suggestions for spelling correction, grouping of rules, explicit tags for flexing and non-flexing properties, rules for suffix and affix alteration.
In order to make the Hunspell resources suitable for creating basic language tools, e.g. morphological analyzer and synthesizer, some principles should be kept:
1) every flexion paradigm (consisting of one or more rules) should be thoroughly generated from one single lemma in dictionary file (it is not trivial, especially for irregular verbs);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351–7204
Page 15
VIRGINIJUS DADURKEVIČIUS. Lietuvių kalbos morfologija atvirojo kodo hunspell platformoje | 15
2) every individual alteration case should have its own morphological tag, e.g. ‘Masc_Sg_Il’ for masculine + singular + illative;
3) every dictionary item should have references for part of speech and other non-flexing information;
4) avoid prefixation via rules, use dictionary instead – affixed forms may have completely different meanings and using them under single lemma may cause problems for text search engines;
5) do not rely much on calling rules from rules – calling depth can by no more than 1.
The coverage of the contemporary Lithuanian by this implementation of Lithuanian morphology is about 98 percent. The full list of all the theoretically possible forms generated by this resource contains about 17 million entries.
This work clearly shows an efficient way for any language (especially with scarce funding resources) to make basic language tools using a single open source development platform – the Hunspell.
