AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ

Vytautas Magnus Üniversitesi

LİTVANYA DİLİNİN MORFOLOJİK VE SÖZDİZİMSEL OLARAK ETİKETLENMİŞ DERLEMLERİ

ANAHTAR KELİMELER: derlem, otomatik morfolojik çözümleme, otomatik sözdizimsel çözümleme, dil teknolojileri.

GİRİŞ

Vytautas Magnus Üniversitesinin (VDU) Bilgisayarlı Dilbilim Merkezinde (KLC)¹ 25 yıldır dil teknolojileri geliştirilmektedir (Utka ir kt. 2017). VDU KLC tarafından hazırlanan Litvanca kaynaklar ve araçlar, Litvancanın bilgisayar ortamına aktarılması ve yeni teknolojilerin bu dile uygulanması için vazgeçilmez bir temel oluşturur. 2015 yılının başlarında Litvanya, CLARIN ERIC'in tam üyesi oldu; Temmuz 2015'te ise VDU KLC ve VDU Bilişim Fakültesi, Vilnius Üniversitesi ile Kaunas Teknoloji Üniversitesinden ortaklarıyla birlikte CLARIN-LT konsorsiyumunu kurdu ve “Uluslararası Araştırma Altyapısına Litvanya Üyeliği – Ortak Dil Kaynakları ve Teknolojileri Altyapısı” projesini yürütmeye başladı²; böylece Avrupa'nın ortak dil teknolojileri sistemine katıldı.

Bu makalenin amacı, VDU KLC tarafından hazırlanan ve Litvancaya ait iki kaynağı, yani etiketlenmiş derlemi tanıtmaktır: morfolojik olarak etiketlenmiş MATAS derlemi ve sözdizimsel olarak etiketlenmiş ALKSNIS derlemi. Bu kaynaklara CLARIN-LT deposundan herkese açık olarak erişilebilir; arama ANNIS sistemi³ üzerinden yapılabilir (ayrıntılar için bkz. Bölüm 3). Otomatik olarak morfolojik biçimde etiketlenmiş derlemde arama, http://corpus.vdu.lt⁴ adresindeki web sitesinden de yapılabilir.

Etiketlenmiş derlemler, dil teknolojilerinin geliştirilmesinde önemli rol oynayan temel kaynaklardır. Dilin bilgisayar ortamına aktarılması ve otomatik dil çözümlemesine yönelik bilgisayar araçlarının hazırlanması için dilbilgisel çözümleme ve dil hakkında istatistiksel veriler gereklidir. Dolayısıyla dilbilgisel etiketlerle zenginleştirilmiş derlemler, daha ileri otomatik dil çözümlemesi için bir tür ham madde niteliğindedir. Bu tür derlemler, doğal dil kaynakları ve araçları geliştirmek için şu alanlarda kullanılır:

¹ İnternet erişimi: http://tekstynas.vdu.lt.

² İnternet erişimi: http://clarin-lt.lt/.

³ İnternet erişimi: http://158.129.51.247:8080/annis-gui-3.4.4/.

⁴ Bu, 208 milyon sözcükten oluşan, otomatik olarak morfolojik biçimde etiketlenmiş bir derlemdir. Bu makalede bundan sonra bu derlem ele alınmayacaktır. Makalede ağırlıklı olarak, dilbilimci tarafından gözden geçirilmiş 1,6 milyon sözcüklük morfolojik etiketli MATAS derlemi incelenmektedir.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 2

otomatik dil tanıma sistemleri, makine öğrenimi, otomatik çeviri, bilgi çıkarımı vb.

Makalenin devamında, söz konusu derlemler ve ANNIS sistemi aracılığıyla bunlarda veri arama ayrı ayrı tanıtılmaktadır. Derlemlerden ve verilerinden Litvanca dilbilgisinin sistemini inceleyen araştırmacılar ve öğrenciler, ödevler hazırlayan öğretim görevlileri ve öğretmenler ile dil teknolojileriyle ilgilenen herkes yararlanabilir.

LİTVANYACA ANOTASYONLU DERLEMLER VE OLUŞTURULMA ÖZELLİKLERİ

1. Morfolojik olarak anotasyonlanmış MATAS derlemi

Morfolojik çözümleme, dil işlemenin ilk aşamasıdır ve çoğu zaman metni sonraki sözdizimsel veya anlamsal çözümlemeye hazırlar. Bu nedenle morfolojik anotatörlerin olabildiğince doğru çalışması çok önemlidir; çünkü morfoloji düzeyinde yapılan hatalar, dilin diğer düzeylerinin otomatik çözümlenmesini engeller.

Litvancanın ilk morfolojik anotatörü yaklaşık 25 yıl önce geliştirildi. Yazarı Vytautas Zinkevičius’tur (ayrıntılar için bk. Zinkevičius 2000). Günümüzde Litvanca için kamuya açık iki morfolojik anotatör bulunmaktadır: V. Zinkevičius’un daha önce anılan ve genellikle Lemuokliu⁵ olarak adlandırılan programı (lema, yani sözlük başı biçiminden) ve Litvanca Sözdizimsel ve Anlamsal Çözümleme Bilgi Sistemi portalında (bundan böyle semantika.lt) erişilebilen anotatör⁶. Bu makalede tanıtılan MATAS derlemi Lemuoklis kullanılarak anotasyonlanmıştır; sözdizimsel olarak anotasyonlanmış derlem ise semantika.lt morfolojik anotatörü kullanılarak hazırlanmıştır.

Lemuoklis oldukça iyi çalışsa da bu program kapalı kaynaklı olduğu için güncellenememektedir. Semantika.lt anotatörü, açık kaynaklı bir program olarak Hunspell platformunda geliştirilmiştir; bu anotatör güncellenmekte, yeni sözcüklerle zenginleştirilmekte (şu anda 171.000 lemayı kapsıyor) ve kuralları düzenlenmektedir (ayrıntılar için Dadurkevičius 2017). 2017’de yapılan araştırmada iki anotatörün niteliği değerlendirilmiş ve semantika.lt anotatörünün daha doğru çalıştığı belirlenmiştir (Kapočiūtė-Dzikienė ve diğerleri 2017).

Aşağıda tanıtılan MATAS derlemi 2002–2014 yılları arasında hazırlanmıştır. Temel olarak 2006’da oluşturulmuş 1 milyon sözcüklük bir derlem alınmış, bu derleme yeni metinler eklenmiş ve yeniden düzenlenmiştir. Öncelikle MATAS’ın metinleri otomatik olarak morfolojik açıdan anotasyonlanmış, daha sonra bir dilbilimci tarafından gözden geçirilip düzenlenmiştir.

⁵ İnternetten erişim: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; Bu program metni yalnızca morfolojik olarak anotasyonlamakla kalmaz, aynı zamanda sentezleyebilir, yani gerekli biçimleri üretebilir; eski yazıların çözümlenmesine de uyarlanmıştır.

⁶ İnternetten erişim: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti

tekstynai | 3

MATAS, belgelerden, edebî eserlerden ve bilimsel metinlerden oluşan 1,6 milyon metinden meydana gelir. Günümüz Litvanca Derlemi'nde olduğu gibi, en büyük bölümü (%36) gazetecilik metinleri oluşturur (bkz. Şekil 1).

ŞEKİL 1. Morfolojik olarak anotlanmış MATAS derleminin yapısı (yüzde olarak)

MATAS birkaç formatta erişime açıktır: dil bilgisi kategorileri ve sözcük türleri için pek alışılmadık kısaltmaların kullanıldığı KLC formatı (http://clarin-lt.lt/ portalın deposunda erişime açık derlem de bu formatta anotlanmıştır), örneğin:

<word="Tarp" lemma="tarp" type="prln"> <space> <word="tankiai" lemma="tankiai" type="prvks teig nelygin.l"> <space> <word="suaugusių" lemma="suaugti(-ga,-go)" type="dly teig nesngr veik.r būt.kart.l neįvardž vyr.gim dgsk K"> <space> <word="medžių" lemma="medis" type="dktv vyr.gim dgsk K"> <space> <word="kur ne kur" lemma="kur ne kur" type="prvks teig nelygin.l"> <space> <word="vis" lemma="vis" type="prvks teig nelygin.l"> <space> <word="pasimatydavo" lemma="pasimatyti(-to,-tė)" type="vksm teig sngr tiesiog.nuos būt.d.l vnsk IIIasm"> <space> <word="dangaus" lemma="dangus" type="dktv vyr.gim vnsk K"> <space> <word="lopinėlis" lemma="lopinėlis" type="dktv vyr.gim vnsk V"> <sep="."> <p>

MATAS ayrıca uluslararası TEI P5 formatında da anotlanmıştır. Bu formatta sözcük türleri ve dil bilgisel kategoriler tek bir harf ya da rakamla kısaltılır; örneğin vatstdv3 sırasıyla şunları ifade eder:

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4

fiil, çekimli biçim, olumlu biçim, dönüşlü, bildirme kipi, geçmişte alışkanlık bildiren zaman, tekil, üçüncü kişi. Aşağıda aynı metin parçası TEI P5 formatında verilmiştir:

<w lemma="tarp" ana="#r">Tarp</w> <pc> </pc> <w lemma="tankiai" ana="#ptn">tankiai</w> <pc> </pc> <w lemma="suaugti(-ga,-go)" ana="#vdtnvknvdk">suaugusių</w> <pc> </pc> <w lemma="medis" ana="#dbvdk">medžių</w> <pc> </pc> <w lemma="kur ne kur" ana="#ptn">kur ne kur</w> <pc> </pc> <w lemma="vis" ana="#ptn">vis</w> <pc> </pc> <w lemma="pasimatyti(-to,-tė)" ana="#vatstdv3">pasimatydavo</w> <pc> </pc> <w lemma="dangus" ana="#dbvvk">dangaus</w> <pc> </pc> <w lemma="lopinėlis" ana="#dbvvv">lopinėlis</w> <pc>.</pc>

Morfolojik olarak anotlanmış metinlerin http://corpus.vdu.lt web sitesinde erişilebilir olduğu bir başka format, MULTEXT-East⁷ formatı örnek alınarak oluşturulmuştur. Bu formata göre her sözcük türü, farklı sayıda morfolojik kategoriye sahiptir (2 ile 14 arasında); bunlar kısaltmalarla gösterilir. Örneğin, Ncmpnn- N etiketi isim anlamına gelir; c cins isim, m eril cinsiyet, p çoğul, n yalın hâl, n ise dönüşsüz isim anlamına gelir. Sondaki tire, örneğin universitetai sözcüğüne herhangi bir anlamsal etiket atanmadığını gösterir⁸.

Üçüncü bölümde, ANNIS sistemi kullanılarak hem MATAS hem de ALKSNIS derlemlerindeki aramayı tanıtacağız. Bu sistemde, Leipzig glosslama etiketlerine göre oluşturulmuş başka bir morfolojik etiket formatı kullanılır (ayrıntılar için bkz. Bölüm 3).

Farklı anotasyon sistemleri yalnızca Litvanca dil teknolojilerine özgü değildir. Bu sorun, Pepper dönüştürme aracının geliştirilmesine yol açmıştır (Zipser ve diğerleri, 2010). Bu araç, çeşitli kaynakların geliştirilme aşamalarını ve kullanılan anotasyon araçlarını yansıtır.

Yukarıdaki örneklerden de görülebileceği gibi, KLC'de dört morfolojik etiket sistemi kullanılmaktadır. Birkaç farklı anotasyon formatı, morfolojik olarak anotlanmış derlemin uzun bir süre boyunca hazırlanmış olmasından kaynaklanmıştır. Bir dönem hiçbir anotasyon standardı uygulanmıyordu; yalnızca morfolojik çözümleyicinin geliştiricisi V. Zinkevičius tarafından oluşturulan sözcük türü ve dil bilgisi kategorisi kısaltmaları kullanılıyordu. Bunlar kullanıcılar tarafından kolayca anlaşılır. Bir süre sonra, uluslararası işbirliği sonucunda, morfolojik olarak anotlanmış derlem yeniden anotlanırken

⁷ İnternet erişimi: http://nl.ijs.si/ME/V4/msd/html/index.html.

⁸ Bu etiketler hakkında daha fazla bilgi için bkz. http://corpus.vdu.lt/lt/morph.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5

uluslararası standartlarla. Belirtildiği gibi, semantika.lt (bu sistemin temel amacı çevrimiçi hizmetler oluşturmaktı) morfolojik çözümleyicisinde MULTEXT-East biçimindeki etiketler kullanılmaktadır. Etiketler kısa, ancak insanlar için anlaşılması güçtür; bilgisayar çözümlemesi için daha uygundurlar.

MULTEXT-East biçiminde morfolojik olarak ve sözdizimsel açıdan etiketlenmiş ALKSNIS derlemi. Derlem arama aracı ANNIS (bkz. Bölüm 3), ALKSNIS ve MATAS'ın morfolojik etiketleme biçimlerini birleştirmeyi mümkün kılmıştır. İlk düşünce, yaygın bir etiketleme sistemi olduğu ve kolayca okunabildiği (İngilizce) için Universal Dependency (UD) etiketlerini kullanmaktı. Ancak UD etiketleri çok uzundur ve ANNIS üzerinden arama yaparken kullanışsız oldukları ortaya çıkmıştır: her sözcüğün etiketleri çok yer kapladığından, aranan sözcüğün bağlamını incelerken pencere göstergesini bir yana ya da öbür yana kaydırmak gerekiyordu. Bu pratik sorun nedeniyle, kolay okunur ve oldukça kısa olduklarından Leipzig gloslama etiketlerinin uyarlanmasına karar verilmiştir. Burada açıklanan etiketleme biçimlerinin çeşitliliğine rağmen, her iki derlemin ANNIS arayüzünde yalnızca tek bir sistemin (uyarlanmış Leipzig gloslama sistemi) kullanıldığını vurgulamak gerekir; bu da kullanıcılar için büyük kolaylık sağlamalıdır.

MATE'de cümle sınırlarının belirtilmediğini ve bunun hızlıca otomatik olarak yapılabileceğini, ancak elde edilen sonuçların kontrol edilmesi gerektiğini belirtmek gerekir. MATAS, aşağıda ele alınan ALKSNIS derlemi gibi, http://clarin-lt.lt/ portalın deposunda⁹ erişime açıktır. Burada ANNIS sistemi¹⁰ kullanılarak arama yapılabilir (ayrıntılar için bkz. Bölüm 3).

2. Sözdizimsel olarak etiketlenmiş ALKSNIS derlemi

Litvanca sözdizimsel olarak etiketlenmiş ALKSNIS derlemi 2016 yılında hazırlanmıştır. Hazırlanması, Avrupa Araştırma Altyapısı Konsorsiyumu Genel Dil Kaynakları ve Teknolojileri Altyapısı (CLARIN ERIC) (MTI-02/2015) tarafından desteklenmiştir. Derlem, kamuya açık olarak http://clarin-lt.lt/ portalın deposunda¹¹ erişime açıktır. Nasıl kullanılacağı kullanıcı kılavuzunda¹² açıklanmıştır.

Derlem, Litvanca sözdizimsel çözümlemesi için bir referans standardı olarak tasarlanmıştır. Bu tür derlemlerin özelliği küçük olmaları, tür bakımından dengeli bir bileşime sahip olmaları ve sözdizimsel çözümlemenin otomatik olarak yapılmış olsa da dilbilimciler tarafından gözden geçirilip düzeltilmiş olmasıdır. Sözdizimsel çözümleme referans standardına dayanarak istatistiksel temelli bir çözümleyici (İng. statistically-based parser) oluşturulabilir ve otomatik sözdizimsel çözümleme genişletilebilir (Bielinskienė ve diğerleri, 2016).

⁹ İnternet erişimi: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.

¹⁰ İnternet erişimi: http://158.129.51.247:8080/annis-gui-3.4.4.

¹¹ İnternet erişimi: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.

¹² İnternet erişimi: https://youtu.be/PIEOPWurb4Y.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6

ALKSNIS, MATAS’tan daha yeni ve daha az tanımlanmış bir Litvanca dil kaynağı olduğundan, bu makalede ALKSNIS’e daha fazla yer ayıracak ve ayrıca sözdizimsel anotasyon sırasında ortaya çıkan soruları ele alacağız.

2.1. Derlem bölümleri

ALKSNIS derlemi 30.599 sözcük ve sözdizimsel olarak anotlanmış 2355 cümleden oluşur. Yakın ülkelerin dillerindeki derlemlerle karşılaştırıldığında bu derlem oldukça benzerdir ve yeterli büyüklükte olduğu söylenebilir: Letonca derlem¹³ 3800 cümle ve 53 bin sözcükten oluşur (Predkalnina ve diğerleri 2016); Estonca derlem ¹⁴ 1400 cümle ve 10.600 sözcükten oluşur (Muischnek ve diğerleri 2014); Lehçe derlem ¹⁵ ise 8227 cümleden oluşur. Sözdizimsel olarak anotlanmış ilk derlem olan PENN (ABD), çok daha büyük olup yaklaşık 3 milyon sözcükten oluşur¹⁶.

ALKSNIS’in metinleri dört tür bölümünü kapsar (bkz. Şekil 2). Genel ve uzmanlaşmış süreli yayınlarla edebiyat bölümleri yaklaşık olarak eşit büyüklüktedir; idari metinler bölümü ise en küçüğüdür, çünkü bu, Litvancanın kendine özgü bir türüdür: cümleler çoğunlukla uzun olur ve belge adları, başka belgelere yapılan atıflar vb. bakımından zengindir. Bu tür cümlelerin anotlanması, tipik sözdizimsel yapıyı ortaya koymazdı.

ŞEKİL 2. Sözdizimsel olarak anotlanmış ALKSNIS derleminin yapısı

Derlemi oluşturmak için bütün ve kısaltılmamış metinler kullanıldı. Cümleler, mümkün olduğunca çeşitli metin türlerinden seçildi. Edebiyat bölümü, Litvanyalı yazarların eserlerinden alınan cümlelerden oluşur. Seçilen cümleler bilgisayar analizine hazırlandı: metin kodlaması denetlendi, tablolar ve görseller silindi.

¹³ Çevrimiçi erişim: http://sintakse.korpuss.lv/index.html.

¹⁴ Çevrimiçi erişim: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.

¹⁵ Çevrimiçi erişim: http://zil.ipipan.waw.pl/Sk%C5%82adnica.

¹⁶ Çevrimiçi erişim: https://catalog.ldc.upenn.edu/ldc99t42.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 7

2.2. Derlem açıklama ve görselleştirme araçları

Otomatik sözdizimsel çözümleme, VDU KLC’nin “Derlem, Litvanca interneti ve kamu sektörü uygulamaları için Litvanca sözdizimsel-anlamsal çözümleme sistemi” projesi kapsamında hazırlanan ve Haskell¹⁷ ile geliştirilen sözdizimi çözümleyicisine dayanır. Çözümleyici, kurallara dayalı (İng. rule-based) yöntemi kullanır. Bu araç, semantika.lt bölümleme ve biçimbilimsel çözümleme modüllerinin biçimbilimsel olarak açıklanmış dosyalarını okur; çıktı olarak bileşenlere veya öbeklere ayrılmış cümleleri sunar, sözdizim ağaçları oluşturur, tematik rolleri (İng. thematic roles) ve sözdizimsel işlevleri belirtir (Boizou ve diğerleri 2014: 69).

Çevrimiçi hizmetler yalnızca JSON dosyaları üretir; ancak başka bir KLC aracı, sözdizim çözümleme sonuçlarını PML (Prague Markup Language) biçimine dönüştürür. Sözdizimsel olarak açıklanmış derlem için bağımlılık ağaçları (İng. dependency trees) oluşturulur. Bu biçim, Prag’daki Charles Üniversitesinin UFAL birimi tarafından geliştirilen TrED düzenleyicisiyle PML biçimindeki bağımlılık ağaçlarının görselleştirilmesini ve düzenlenmesini sağlar¹⁸ (bkz. Şekil 3). Otomatik olarak açıklanmış tüm cümleler dilbilimciler tarafından denetlenmiş ve düzeltilmiştir. Dolayısıyla sözdizim çözümlemesi üç düzeyi kapsar: sözcüklerin ve cümlelerin otomatik olarak bölümlenmesi ve biçimbilimsel çözümleme, otomatik sözdizim çözümlemesi (kurallara dayalı yöntemle) ve cümlelerin elle düzenlenmesi (ayrıntılar için bkz. 2.4).

2.3. ALKSNIS veri yapısı

Otomatik sözdizim çözümlemesinin ardından cümleler, ağaç ilkesi temelinde grafik olarak gösterilir (bkz. Şekil 3). Ağacın her düğümü cümledeki bir sözcüğe, noktalama işaretine ya da başka bir cümle birimine (simge, rakam vb.) karşılık gelir. Sözcükler arasındaki bağımlılık ilişkileri “dallar” veya kenarlarla gösterilir.

¹⁷ Sözdizimi çözümleyicisi, VDU Bilgisayarlı Dilbilim Merkezinde L. Boizou ve F. Zamblera tarafından geliştirilmiştir.

¹⁸ İnternet erişimi: https://ufal.mff.cuni.cz/tred/.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo­ti tekstynai | 8

ŞEKİL 3. Sözdizimsel olarak açıklanmış cümlenin TrEd düzenleyicisi biçimindeki bağımlılık ağacı

Tüm sözcükler için şu bilgiler bu sırayla verilir (bkz. Şekil 3):

1) cümlede kullanılan sözcüğün belirli biçimi (örn., gyventojai);

2) baş biçim (sözlük biçimi) – lemma (örn., gyventojas);

3) biçimbilimsel etiketler (örn., Ncmpnn-);

4) sözdizimsel işlev (örn., Sub) (kısaltmaların açıklamaları için aşağıya bkz.).

2.4. Analiz düzeyleri

Morfolojik analiz düzeyi. Morfolojik anotasyon, otomatik analizin ilk aşamasıdır; bu nedenle üst düzey sözdizimi veya cümle analizi için gereklidir. Morfolojik analiz, semantika.lt anotatörü kullanılarak gerçekleştirilmiştir (Dad urkevičius 2017). ALKSNYJE'de kullanılan morfolojik etiketler, MULTEXT-East biçimi örnek alınarak oluşturulmuştur (daha ayrıntılı bilgi 1. bölümde verilmiştir).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9

Sözdizimsel analiz düzeyi. Sözdizimsel çözümleyici, morfolojik olarak anotlanmış dosyaları işler; bileşenlere veya öbeklere ayrılmış cümleleri sunar, sözdizim ağaçları oluşturur ve bu ağaçların öğelerinin sözdizimsel işlevlerini belirtir. Analiz, bağımlılık dilbilgisi modeline (İng. dependency grammar) dayanır. Bu model genellikle, sözcük biçimlerinin çekimlendiği ve sözcük dizilişinin serbest olduğu Slav dilleri (PDT¹⁹, SynTagRus²⁰), Letonca vb. gibi tipolojik açıdan benzer dillerde uygulanır. Sözdizimsel bağımlılıklar hiyerarşiye göre ifade edilir. Başlangıç noktası, diğer cümle bileşenlerinin bağımlılıklarına (yani sözdizimsel ilişkilere) göre bağlandığı temel cümle bileşeni, yani ağacın köküdür.

Sözdizimsel etiketlerin kısaltmaları ile sözdizimsel ilişkiler ve bağımlılıklara ilişkin bilgiler, Çekçe çalışmaları temel alınarak oluşturulmuştur (Hajič ve diğerleri 1999); bu araştırmacılar, sentetik tipteki Çekçe için sözdizimsel analizi geliştiren ilk araştırmacılar arasındadır. Şu anda ALKSNYJE'de 18 temel sözdizimsel etiket kullanılmaktadır (varyantları sayılmadan): Sub – özne, Pred – yüklem (predikat), Obj – nesne vb. (bkz. Tablo 1). İkili veya çift etiketler tek bir etikette birleştirildiğinde etiket varyantları ortaya çıkar. Örneğin, isim türü veya fiil türü bileşik yüklemi işaretlemek için sırasıyla PredN ve PredV ikili etiketleri kullanılır; birleşik cümledeki sıfat işlevli (nitelik bildiren) yan cümleyi işaretlerken, yan cümle yüklemine çift etiket olan Pred_Atr verilir; bağlama (koordinasyon) ilişkisini göstermek için eş görevli cümle bileşenlerinde çift etiketin parçası olarak _Co işaretlenir; yani listelenen eş görevli tümleçlerin her birine Obj_Co vb. yazılır. Ayrıca, birleşik cümlelerde, örneğin eş görevli yan cümleleri işaretlemek gerektiğinde üçlü etiketler de görülebilir: Pred_Atr_Co – bu, sıfat işlevli (nitelik bildiren) bir yan cümledir.

TABLO 1. Derlemdeki sözdizimsel işlevler ve bunların etiketleri

Etiket

Sözdizimsel işlev

Örnek

Sub

Özne

O [Sub] dedi

Pred

Yüklem (veya yardımcı sözcük)

O yürüdü [Pred]; memnundu [Pred]

PredN

Yüklemin isim bölümü

Memnundu [Pred] [PredN]

PredV

Yüklemin fiil bölümü

Yanıt vermek [Pred] zorunda [PredV]

Obj

Nesne

Misafiri bekliyorum [Obj]; çözmek gerekiyor [Obj]

Atr

Niteleyici (sıfat)

Orta [Atr] okul; üye ülke [Atr]

Adj

Zarflar

Şimdi [Adj] karar verecek; Partizanų Caddesi'nde [Adj]

¹⁹ Prag Bağımlılık Ağaç Bankası (Prague Dependency Treebank), daha fazla bilgi için bkz. https://ufal.mff.cuni.cz/pdt3.0.

²⁰ Çevrimiçi erişim: http://www.ruscorpora.ru/en/.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10

Aux

Yardımcı işlev (örn. virgüller veya diğer simgeler)

AuxC

Alt sıralama (yan cümleler)

Dedi ki [AuxC]...

AuxK

Cümle sonu noktalama işareti

AuxL

Yardımcı sözcüksel birim (örn. yabancı dilde bir sözcük)

ABD şirketi North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]

AuxP

Edat

[AuxP] düzeyine geçecek

AuxZ

Parçacık

Her zamanki gibi [AuxZ]

Coord

Koordinasyon

Üreticilerin ve [Coord] satıcıların

_Co (pvz., Atr_Co)

Koordineli öğeler (ör. cümlede eş görevli ögeler)

Üreticilerin [Atr_Co] ve [Coord] satıcıların [Atr_Co]

Par

Ara sözler, seslenmeler

Doğrusunu söylemek gerekirse [Par], öyle görünüyor

ExD

Cümlede elips veya başka eksiltmeler

Kadın – [Pred_ExD] bir varlık

Pred_ (pvz., Pred_Obj)

Bağımlı cümlenin yan tümce türü (yüklem yanında işaretlenir)

Özellikleri belirlediğini yazdı [Pred_Obj]

Cümlelerin elle düzenlenmesi aşaması. Otomatik olarak sözdizimsel biçimde anotasyonlanmış tüm cümleler dilbilimciler tarafından kontrol edildi. Özellikle birleşik cümleler olmak üzere birçok cümlenin anotasyonunun düzeltilmesi ve doğru bağımlılıkların belirtilmesi gerekti. Bazı yerlerde biçimbilimsel etiketler de düzeltildi. Cümleleri üç dilbilimci ayrı ayrı düzeltti; daha sonra her cümle üç dilbilimcinin tamamı tarafından ayrıca kontrol edildi. Sözdizimsel anotasyonun özellikleri aşağıda açıklanmaktadır.

Sözdizimsel anotasyonun özellikleri. Otomatik sözdizimsel çözümleme yapılırken, belirtildiği gibi, sözdizim ağacının kökü (İng. root) cümlenin hiyerarşik olarak en üst ögesi (ör. fiil, bazen cümle başındaki bağlaç) ya da cümlenin başka bir ögesi (ör. birleşik cümlelerde bağlaç veya ilgi sözcüğü) olarak kabul edilir; cümlenin noktalamasını gösteren bir dal olarak da noktalama işareti kullanılır: nokta, soru işareti, ünlem işareti, üç nokta, noktalı virgül vb. Sözdizimsel anotasyonun özelliklerini göstermek için aşağıda somut örnekler sunacağız.

Cümle kökünün fiil [Pred] olduğu örnek Şekil 4’te, bağlaç [Coord] olduğu örnek ise Şekil 5’te gösterilmiştir.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11

ŞEKİL 4. Bağımlılık ağacının kökü – fiil

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12

ŞEKİL 5. Bağımlılık ağacının kökü – cümle başındaki bağlaç

Birleşik cümlenin kökünün noktalama işareti olduğu örnek Şekil 6’da sunulmuştur.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13

ŞEKİL 6. Bağımlılık ağacının kökü – birleşik cümlenin ögeleri arasındaki noktalama işareti

Edatlı yapılarda edatın daha üst bir konumda yer aldığı kabul edilir ve edat AuxP ile işaretlenir; ondan sonra gelen sözcük ise üstlendiği işleve göre (ör. nesne) işaretlenir: fiyatların [AuxP] elektrik için [Obj] (bk. Şekil 7).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14

ŞEKİL 7. İsim hâlli yapılarda anotasyon

Birleşik cümlenin yan cümleleri, ana cümlenin yüklemine bağlıdır; yan cümlenin bağlacı da bu yükleme bağlıdır (virgül bağlaca bağlıdır). Yan cümlenin işlevini de belirtmek önemlidir. Bu işlev, yan cümlenin yükleminin yanında belirtilir; ör. Pred_Obj – nesne yan cümlesi (bk. Şekil 8).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15

8 ŞEK. Yan cümleli bağımlı birleşik cümle ögelerinin anotasyon örneği

Birleştirme ilişkisinin göstergesi (bağlaç veya kablo), birleştirme yapısının başı olabilir (örn., oturup ve [Coord] oynamanın önerilmesi; çocuklara ve [Coord] onların ebeveynlerine önerilmesi) (bkz. 9. şek.).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16

9 ŞEK. Birleştirme ilişkileriyle bağlantılı ögelerin anotasyon örneği

Çok ögeli karma bir birleştirme varsa, yapıda bulunan bağlaç baş olur ve diğer bağlaçsız ögelerin tümü ondan çıkar (virgüller, kendi sıralama sözcükleriyle birlikte, aynı bağımlılık düzeyindedir). Diğer noktalama işaretleri Aux olarak işaretlenir (bkz. 10. şek.).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17

10 ŞEK. Karma bir birleştirme yapısının anotasyon örneği (şekilde başka birleştirme ilişkisi örnekleri de görülmektedir)

Birleştirme cümlelerinin başı, birleştirici bağlaçtır. Zarflardan, zamirlerden veya parçacıklardan oluşan bağlayıcı sözcükler (örn., bu nedenle zarfı), ikinci cümle ögesinin yüklemine bağlıdır ve zarf tümleci işlevi görür (Adj); birleştirme işlevini ise, bağlaçsız cümlelerde veya burada parçacık kabul edilen yinelenen bağlaçların bulunduğu cümlelerde olduğu gibi, kablo yerine getirir (bkz. 12. şek.). Bu, cümle ögelerinin birleştirilmesi durumunda da böyledir (bkz. 11, 12. şek.). Coord

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18

11 ŞEK. Bağlayıcı sözcük içeren birleştirme cümlesinin anotasyon örneği

12 ŞEK. Birleştirme yapısının anotasyonu

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19

Saatler ve yıllar gibi sayısal ifadeleri anotlamak zordur. Bunlar, niteleyicileri bulunan tümleçler ya da niteleyiciler olarak anotlanmıştır (bk. Şek. 13, 14).

ŞEK. 13. Tarih anotasyonu

ŞEK. 14. Tarihlerin ve diğer sayısal ifadelerin anotasyonu (şekilde yalnızca sözdizimsel olarak anotlanmış cümlenin bir bölümü gösterilmiştir)

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20

Birleşik yüklemleri anotlamak her zaman kolay değildir. Bazı durumlarda, bunlar Litvanca dilbilgilerinde anlaşıldıkları biçimde, yani ad türü ve fiil türü yüklemler olarak anotlanır (örn., yra [Pred] paprastas [PredN]; gali [Pred] būti [PredV]); bazı durumlardaysa yüklemin ikinci ögesi nesne sayılır (örn., ketinu [Pred] sukvies­ti [Obj]).

İkili bağlaçlı yapıları anotlamak zordu, çünkü her iki bağlaç hiyerarşik olarak eşdeğer konumdaydı. Bu durumda, hiyerarşide daha üst konumun ana cümle ögesinin yüklemi tarafından işgal edildiği ve yan cümle ögesinin ona bağlı olduğu kabul edildi (bk. Şek. 15).

ŞEK. 15. İkili bağlaçlı birleşik cümlelerin anotasyonuna örnek

Son olarak, bazı sözcük türlerinin statüsü üzerinde duruldu. Örneğin, yinelemeli eşgüdüm bağlaçlarının işlevi bağımlılık ağacı yapısında edatların işlevine benzediğinden, bunların edat sayılmasına karar verildi (bk. Şek. 12).

Elle sözdizimsel anotasyon yapılırken pek çok sorun ele alındı; burada bunlardan yalnızca birkaçı belirtildi. Anotasyonla ilgili güçlüklerin çoğu, yalnızca belirli bir anotasyon yöntemi üzerinde anlaşmaya varılarak geleneksel dilbilgisi yaklaşımına bağlı kalınmasıyla çözüldü. Diğer durumlarda ise sözdizimsel anotasyonun özelliklerine uyum sağlamak ve anotasyon sırasında üzerinde uzlaşılan yöntemi tutarlı biçimde uygulamak gerekti. Ortaya çıkan sorunların, otomatik sözdizimsel çözümlemenin daha da geliştirilmesiyle çözüleceği umulmaktadır.

Bir sonraki alt bölümde, ANNIS sistemi kullanılarak anotlanmış derlemlerde veri araması tanıtılmaktadır. Bu, anotlanmış derlemleri kullanmanın zorluklarından biridir; çünkü çok sayıda etiketin ve hatta birkaç anotasyon düzeyinin bulunduğu bu derlemlerde veri araması çok yönlü olmalıdır. Bu nedenle, Humboldt Üniversitesi (Almanya) araştırmacıları tarafından geliştirilen ANNIS aracı seçilmiştir.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21

3. ANNIS sistemi üzerinden arama

Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.

ANNIS, ilgili bilgileri içeren uygun konkordans satırlarını sunar (bkz. Şekil 16). Konkordans satırı hem soldan hem de sağdan 5 ila 25 sözcük genişletilebilir (noktalama işaretleri de sayılır); ayrıca sonuçlar dışa aktarılabilir.

Her iki metin derleminde de Leipzig glosslama etiketlerine²¹ dayalı dilbilgisel etiketler kullanılır. Söz konusu etiketlerde bulunmayan birkaç etiket eklenmiştir; örneğin ~COMP üstünlük derecesini ifade eder. Bu tür etiketlerin önüne tilde işareti yazılır. Sözcük türleri, Universal Dependency biçimine göre belirtilir.

ŞEKİL 16. ANNIS arama aracı sonuçlarından bir kesit

MATO belgeleri bölümünde įsakymas lemması aranırken

²¹ Çevrimiçi erişim: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. Diğer anotasyonlu metin derlemlerinde sıklıkla Universal Dependency (UD) etiketleri kullanılır (bkz. http://universaldependencies.org/; ayrıca bkz. Şekil 18). İlk bölümde belirtildiği gibi, UD etiketleri çok uzundur (örneğin: belirtme durumu, dişil cinsiyet ve çoğul sayısı şu şekilde gösterilir: case=accusative|gender=feminine|number=plural); ANNIS arayüzünde çok fazla yer kaplarlar ve bu nedenle bilgileri okumayı zorlaştırırlar.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22

ŞEKİL 17. ANNIS arama aracı sonuçlarından bir kesit

ALKSNIS metin derleminde įsakymas lemması aranırken

(sözdizimsel ilişkilerin oklarla gösterilmesi için deps yanındaki artı işaretine tıklamak gerekir)

3.1. Basit arama

Tek bir özelliğe göre yapılan aramaya basit arama denir. Sunulan anotasyon (dilbilgisel kategorilerin adları, kullanılan dilbilgisel etiketler vb.), ANNIS aracına değil, her derlemin yapısına bağlıdır.

Sorgu oluştururken büyük ve küçük harflerin ayırt edilmesi gerektiğini hatırlatırız.

3.1.1. Tam sözcük biçimlerinin (karakter dizilerinin) aranması

Basit arama; kategori adı, eşittir işareti ve çift tırnak içine alınmış kategori değeri belirtilerek yapılır, örneğin:

• lemma="kalba" (bu sorgu, kalba lemmasının arandığı anlamına gelir);

• pos="ADJ" (sıfatlar aranır);

• gram=".M.SG.GEN." (belirli dilbilgisel kategorileri taşıyan sözcükler aranır; bu örnekte tekil eril genitif biçiminde kullanılan sözcükler).

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23

Metinde belirli bir sözcük biçimini aramak için kategori adını tok belirtmek ya da aranan biçimi doğrudan tırnak içinde yazmak gerekir; örneğin:

• tok="pasakė" ya da "pasakė".

Her iki anotasyonlu derlemde de lemma, sözcük türü, dilbilgisel kategoriler ve belirli sözcük biçimleri aranabilir; ALKSNYJE'de ayrıca, örneğin, sözdizimsel etiketler de aranabilir:

• syfun="Atr" (nitelik araması yapılır).

ALKSNYJE'de bağımlılık ilişkileri (deps) de aranabilir; ancak bunlar farklı bir ilkeye göre aranır (bkz. 3.2.3).

3.1.2. Karakter dizilerinde arama

ANNIS, düzenli ifadeler (İng. regular expressions) kullanarak arama yapılmasına olanak tanır; bunlar özel karakterlerle gösterilir. Düzenli ifadelerle arama, özünde tam sözcük biçimlerini arama sorgusuyla aynı şekilde yazılır; yalnızca İngilizce tırnak işaretlerini eğik çizgilerle değiştirmek gerekir.

3.1.2.1. Herhangi bir karakteri arama

En önemli özel karakter noktadır; bu karakter tek bir karakterin (harf, rakam vb.) yerini tutar; örneğin:

• lemma=/pl.t.s/ (örneğin platus, plotis, plitus aranır);

• /p.sak.s/ veya tok=/p.sak.s/ (örneğin pasakys, pasakos, pasakas, pasakęs, pasakis aranır);

• /201./ veya tok=/201./ (örneğin 2010, 2011, 2012... aranır).

Nokta herhangi bir karakterin yerini tutabildiğinden, nokta karakterinin kendisini aramak için ters eğik çizgi + nokta (\.) birleşimi kullanılmalıdır; örneğin:

• gram=/^\..\SG\.GEN\./ (örneğin .M.SG.GEN.,.F.SG.GEN.,... aranır).

3.1.2.2. Birkaç sembolden birinin aranması

Tamamen belirsiz semboller aramak yerine, sorguda aranacak birkaç belirli sembol belirtilebilir. Bunlar köşeli parantez içinde yazılır, örneğin:

• lemma=/pl[ao]t.s/ (örneğin, platus, plotis aranır; ancak plitus aranmaz);

• /t[ei]lp./ veya tok=/t[ei]lp./ (örneğin, telpa, tilpo aranır; ancak talpa aranmaz);

• /201[0124]/ veya tok=/201./ (2010, 2011, 2012, 2014 aranır);

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24

• gram=/\.[MFN]\.SG\.GEN\./ (.M.SG.GEN.,.F.SG.GEN.,.N.SG.GEN. aranır).

Bu yöntemle, belirtilen sembol kümesinden tek bir sembolün aranacağını belirtmek isteriz: /dirb[aius]/, dirba, dirbi, dirbu, dirbs biçimlerini aramaya olanak tanır; ancak dirbau veya dirbsi biçimlerini aramaz.

3.1.3. Tekrarlama operatörleri

(Olağan ve özel) semboller tekrarlanabilir, örneğin:

• lemma=/..važiuoti/ (örneğin, nuvažiuoti, išvažiuoti, apvažiuoti, atvažiuoti, nev ažiuoti aranır);

• /dirb[ao][mt]e/ veya tok=/dirb[ao][mt]e/ (dirbame, dirbate, dirbome, dirbote aranır).

Böylece aranacak sembollerin sayısı sabittir; örneğin verilen örneklerde (veya [ao][mt]) iki sembol vardır. Dolayısıyla lemma=/..važiuoti/ sorgusu, įvažiuoti lemmasına ait sonuçları vermez. Tekrarlama operatörleriyle daha fazla olasılık elde edilir; bunların anlamları şöyledir:

•? – belirli bir sembol bir kez veya hiç kullanılmıştır;

• + – belirli bir sembol en az bir kez kullanılmıştır (yani bir, iki, üç, dört veya daha fazla kez);

• * – belirli bir sembol n kez kullanılmıştır (yani hiç kullanılmamış ya da bir, iki veya daha fazla kez kullanılmış olabilir)

Bu operatörler, kendilerinden sonra veya önce gelen sembolleri aramaya yardımcı olur, örneğin:

• /šild?o/ (šilo veya šildo aranır);

• /Ma+u/ (Mau, Maau, Maaau, Maaau vb. aranır);

• /oi*/ (o, oi, oii, oiii vb. aranır).

Yukarıda belirtilen operatörler, herhangi bir karakterin veya birkaç karakterden birinin aranmasıyla uyumludur; örneğin:

• lemma=/. *važiuoti/ (örneğin važiuoti, išvažiuoti, įvažiuoti, nuvažiuoti, pravažiuoti, nepravažiuoti aranır);

• /šauk[aiu]*/ veya tok=/šauk[aiu]*/ (örneğin šauk, šauki, šaukia, šaukiu aranır);

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25

/šauk[aiu]+/ veya tok=/šauk[aiu]+/ (örneğin šauki, šaukia, šaukiu aranır; ancak šauk aranmaz);

gram=/.*\.F\..*/ (diğer herhangi bir karakter dizisinin arasında.F. dizisi aranır).

[aiu]* veya [aiu]+ gibi yapıların, aranan karakterlerin sırasını etkilemediği belirtilmelidir. Dolayısıyla, a ya da i ya da u + a; veya i ya da u + a; veya i ya da u... içeren sonuçlar sunulur. Böylece şu karakter dizileri tanınır: aaa, i, uuuuu, uiua, uua vb.

3.1.4. Alternatif arama

Dikey çizgi (|), örneğin, alternatifleri aramaya olanak tanır:

lemma="kötü" | lemma="iyi";

/d(au|ū)ž.*/ veya tok=/d(au|ū)ž.*/ (örneğin, daužo, dūžta, daužymas aranır);

gram=/.*\.~(COMP|SUP)\..*/ (herhangi bir karakter dizisi arasında.~COMP. ve.~SUP. aranır);

"tik" | "tiktai" veya tok="tik" | tok="tiktai" (tik ve tiktai aranır).

3.1.5. Olumsuz biçimde oluşturulmuş sorgular

Bu imkân, karmaşık aramalarda özellikleri birleştirirken daha yararlı olsa da basit aramalarda da aranması istenmeyen şeyler belirtilebilir; örneğin:

pos!="NOUN" (isim olmayan tüm sözcükler aranır);

tok!=/.*[ąaęeėįiyiouųū]/ (sesli harfle bitmeyen tüm sözcük biçimleri aranır).

Karmaşık bir arama sorgusu seçilmezse (bkz. 3.2), olumsuz biçimde oluşturulmuş basit sorgular, özellikle çok sayıda sözcüğü kapsadıklarında (ilk örnekteki gibi—isimler) sorunlara yol açabilir; bu nedenle bu sorgu dikkatli kullanılmalıdır.

3.2. Bileşik arama

Bileşik arama, birkaç basit aramadan oluşturulur. Ayrıca basit aramalar (konumlarına göre belirtilenler) arasındaki ilişkileri açıklayan ek bir bileşen gerekir. Her basit arama bileşeni ampersand (&) işaretiyle birleştirilir.

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26

3.2.1. Tek bir sözcük için özellik kombinasyonları

Basit aramayla aynı sözcük aranır; basit aramalar arasındaki ilişki ise birleştirme işleciyle (_=_) ifade edilir; örneğin:

• "mano" & pos="PRON" & #1 _=_ #2 (mano zamirini arar, ancak manyti fiilinin şimdiki zaman üçüncü tekil şahsını aramaz).

Bu sorgu ifadesi, ilk basit aramanın (#1, yani "mano" ya da tok="mano") ve ikinci basit aramanın (#2, yani pos="PRON") aynı sözcükle ilişkili olduğu anlamına gelir.

3.2.2. Sözcük kombinasyonları

Basit aramaya dayanarak farklı sözcükler için bir sorgu oluşturulursa, birleştirme işleci dizi işleciyle (noktayla) değiştirilir; örneğin:

• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (pilnas sözcüğünden sonra tamlayan hâlinde kullanılan sözcük aranır).

Noktadan sonraki 1 sayısı, #2'nin doğrudan (araya başka bir şey girmeden) #1'den sonra geldiği anlamına gelir. 2 sayısı, araya bir sözcüğün; 3 ise iki sözcüğün girdiğini belirtir ve bu böyle devam eder..1 yerine sayı belirtmeden yalnızca nokta yazılabilir (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Aralık virgülle belirtilebilir; örneğin.2,4 (araya bir ila üç sözcük girmesi). Araya giren sözcük sayısı önemli değilse nokta ve yıldız (*) yazılmalıdır.

Tek bir bileşik sorguda dizi ve birleştirme işleçleri birlikte kullanılabilir; örneğin:

• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (pilnas sözcüğünden sonra gelen, tamlayan biçimindeki ve sıfat olmayan sözcükler aranır).

3.2.3. Sözdizimsel bağımlılıkların aranması

Bağımlılık yapıları da doğrudan yönetim operatörü -> ile bileşik arama yoluyla aranabilir; örneğin:

• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (sıfatları yöneten isimler aranır; ör. çok katlı apartman);

• pos="VERB" & gram!=/.*\.NEG\..*/ & gram=/.*\.GEN\..*/ & syfun="Obj" & #1 _=_ #2 & #3 _=_ #4 & #1 ->deps #3 (genitif biçimindeki tümleçleri yöneten olumlu fiiller aranır; ör. soruları beklemek).

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27

GENEL DEĞERLENDİRME

MATAS ve ALKSNIS derlemleri, Litvanca için önemli kaynaklardır. Dilin bilgisayarlaştırılmasının sonraki aşamaları için gereklidirler. Bu derlemlerden sözcük türlerinin, dilbilgisel biçimlerin ve sözdizimsel işlevlerin dağılımı, en sık kullanılan lemmalar, dilbilgisel biçimler vb. hakkında nicel veriler elde edilebilir (bazı somut nicel araştırmalar şu çalışmalarda bulunabilir: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS, semantika.lt çözümleyicisinin eğitilmesinde kullanılmıştır (etiketleme kalitesini değerlendirmek amacıyla).

Gelecekte otomatik sözdizimsel çözümlemeyi geliştirmeye devam etmek gereklidir. Öncelikle sözdizimsel etiketlemenin kalitesi iyileştirilebilir: sözdizimsel işlevler gözden geçirilebilir ve yeni etiketler eklenebilir (ör. yer, tarz, zaman vb. anlamlarına göre belirteçler ayrıntılandırılabilir). Sözdizimsel etiketlemenin başlangıcında çok sayıda etiketleme belirsizliğiyle karşılaşılmıştır; bu nedenle bazı sözdizimsel durumlar, örneğin bileşik yüklemlerin etiketlenmesi, elips, bağlaçsız yan cümlelerin ve açıklayıcı yapıların ayrıştırılması, bazı sözcük türlerinin statüsü vb. konular tartışılmalıdır.

Bir diğer çalışma yönü de derlemin kendisini genişletmektir. Derlemin türlere göre bölümleri zenginleştirilmeli; örneğin daha fazla bilimsel ve popüler bilim metni alınmalıdır. Ayrıca derlemin, yaygın olarak kullanılan uluslararası Universal Dependency biçimine dönüştürülmesi gereklidir (bkz. Şekil 18; burada dilbilgisel etiketler gösterilmemiştir; örnekte Fince bir cümle sözdizimsel olarak etiketlenmiştir).

ŞEKİL 18. Universal Dependency biçimi

Otomatik sözdizimsel çözümlemenin temel amaçlarından biri, ALKSNIS’i sözdizimsel çözümleme için altın standart olarak temel alan ve büyük metin koleksiyonlarını etiketlemek için kullanılacak istatistiksel temelli bir sözdizimsel çözümleyici (İng. statistically-based parser) oluşturmaktır.

Olanaklar elverdiğinde sözdizimsel çözümleme, tematik rol etiketleme (İng. thematic role annotation) gibi başka yönlerde de genişletilebilir. Bu, değerlik ile ilişkili belirli bir anlamsal gösterimdir. Bu katman, iç sözdizimsel etiketleme sisteminde her sözcüğe atanmıştır ve daha deneysel, tam olarak geliştirilmemiş ve sınanmamış olduğundan şu anda kamuya açık değildir. Ayrıca kalıplaşmış ifadelerin (İng. multi-word

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28

ifadeler, MWE²²), kolokasyonları ve deyimleri kapsar. Şimdiye kadar derlemde bunlar, bileşenleri tek bir birimde birleştirilmiş (ör. şimdilik, uzaktan) ve tek bir morfolojik ve sözdizimsel işleve sahip olan (çoğunlukla zarflar ve tümleçler olarak işaretlenen) morfolojik çok sözcüklü birimler dışında etiketlenmemiştir. Ayrıca anaforik ilişkilerin de işaretlenmesi planlanmaktadır (bir cümlede kullanılan bir isim başka bir cümlede (ya da cümlenin başka bir bölümünde) zamirle değiştirilir; yani zamir ile onun yerine kullanılan isim arasındaki bağlantılar işaretlenir).

LITERATŪRA

Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).

Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).

Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.

Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.

Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).

Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.

Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:

²² Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29

IOS Press, 111–118. Prieiga internete: http://ebooks.iospress.nl/publication/38013 (žiūrėta 2017 10 10).

Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).

Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.

Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).

Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).

Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).

Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).

Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).

Įteikta 2017 11 06

Priimta 2017 12 20

BENDRINĖ KALBA 90 (2017)

www.bendrinekalba.lt

ISSN 2351-7204

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30

LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK

Summary

Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.

KEYWORDS: corpus, automatic morphological analysis, automatic syntactic analysis, treebank, language technologies.

AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ

Vytauto Didžiojo universiteto Kompiuterinės lingvistikos centras

V. Putvinskio g. 23–216, 44243 Kaunas

agnė[email protected]

[email protected]

[email protected]

BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204