High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS

252 Acta Linguistica Lithuanica LXXIII DAIVA ŠVEIKAUSKIENĖ Institute of Lithuanian Language Dziedziny badań: lingwistyka komputerowa, banki drzew, warstwy adnotacji. HIGH QUALITY SYNTACTIC KORPUS Z ADNOTACJAMI JĘZYKA LITEWSKIEGO – VILSINTEKS Aukštos kokybės sintaksiškai anotuotas lietuvių kalbos tekstynas VILSINTEKS ADNOTACJA W niniejszym artykule przedstawiono dwojaką adnotację, stosowaną do wysokiej jakości adnotowania korpusu litewskiego. Kompleksowe informacje o zdaniu podano w tabeli, a strukturę składniową zdania przedstawiono na rysunku. Wykorzystuje się doświadczenia innych języków, uwzględniając specyficzne cechy języka litewskiego. Niewystarczalność reprezentacji drzewiastej dla struktury składniowej zdań litewskich ukazano za pomocą przykładów opatrzonych adnotacją statystyczną. Wyraźnie podkreślono również cel utworzenia korpusu z adnotacjami zawierającego wyczerpujące informacje. Przedstawiono przykłady zdań opatrzonych adnotacjami, które odzwierciedlają specyficzne cechy języka litewskiego. SŁOWA KLUCZOWE: składniowy korpus z adnotacjami; graficzna reprezentacja struktury składniowej; warstwy adnotacji w korpusie litewskim; niewystarczalność reprezentacji drzewiastej dla zdań litewskich; cel składniowego korpusu z adnotacjami. ANOTACJA W artykule omawia się anotowanie prowadzone na dwóch poziomach, wykorzystywane do stworzenia wysokiej jakości anotowanego korpusu tekstów języka litewskiego. Szczegółowe informacje o zdaniu podano w tabeli, a strukturę składniową zdania przedstawiono graficznie. Wykorzystuje się doświadczenia innych języków, uwzględniając specyficzne cechy języka litewskiego. Niewystarczalność drzewa w przedstawianiu Artykuły / Articles 253 High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS struktury składniowej zdań języka litewskiego ukazano na przykładach zdań anotowanych metodą statystyczną. W artykule wyraźnie podkreślono również cel stworzenia anotowanego korpusu, w którym zostaną zgromadzone szczegółowe informacje. Przedstawiono przykłady anotowanych zdań odzwierciedlających specyficzne cechy języka litewskiego. SŁOWA KLUCZOWE: korpus składniowo anotowany, przedstawianie struktury zdania grafu, tekstyno anotavimo lygmenys, medžio nepakankamumas vaizduojant lietuvių kalbos sakinius, tekstyno kūrimo tikslas. 1. WPROWADZENIE Pierwszą adnotacją korpusów było znakowanie części mowy POST [Church 1988: 136]. Tego rodzaju adnotacja występuje w Penn Treebank. Później wprowadzono inne zdania zawierające informacje składniowe. Reprezentowano je za pomocą różnych schematów [Atwell et al. 2000: 12]. W 2012 roku Köhler wspomniał, co następuje: „...nie istnieje ogólny standard określający, jak korpusy powinny być strukturyzowane i opatrywane adnotacjami” [Köhler 2012: 32]. Dlatego litewski korpus VILSINTEKS jest anotowany z uwzględnieniem specyficznych cech języka litewskiego – dużej liczby odmian fleksyjnych oraz swobodnego szyku wyrazów w zdaniu. Spośród dwóch głównych typów reprezentacji struktury składniowej, którymi są gramatyka struktur frazowych i gramatyka zależności, dla języka litewskiego wybrano tę drugą, ponieważ „...gramatyka zależności najbardziej odpowiada badaczom języków o stosunkowo swobodnym szyku wyrazów…” [Kay, Gawron and Norvig 1994: 55]. Najczęstszą reprezentacją struktury składniowej jest drzewo [Allen 1987: 41]. Nazwa korpusu z anotacją składniową – treebank – jest związana z tym terminem. Nazwa litewskiego treebanku nie zawiera słowa ‘tree’, ponieważ struktura składniowa niektórych zdań litewskich jest reprezentowana przez graf zawierający cykl, czyli nie spełnia warunków określonych przez definicję drzewa, ponieważ drzewo jest spójnym grafem acyklicznym [Swamy, Thulasiraman 1984: 33]. Akronim VILSINTEKS oznacza VILniaus SINtaksinis TEKStynas – wileński korpus składniowy. 2. ANOTACJA KORPUSU LITEWSKIEGO Ostatnio wiele mówi się i pisze o niskim stopniu komputeryzacji języka litewskiego. Zgodnie z danymi META-NET DAIVA ŠVEIKAUSKIENĖ 254 Acta Linguistica Lithuanica LXXIII projekt, język litewski należy do grupy najmniej skomputeryzowanych języków europejskich [Vaišnienė, Zabarskaitė 2012: 35]. Oprogramowanie stworzone dla innych języków nie daje zadowalających wyników, gdy stosuje się je do języka litewskiego. Najwyższy czas mówić nie o niskim stopniu komputeryzacji języka litewskiego, lecz o jakości jego komputeryzacji. Warto zatem ponownie przyjrzeć się językowi litewskiemu i spróbować stworzyć własną, wysokiej jakości komputeryzację języka litewskiego. Pierwsze próby anotacji składniowej software for the computerization of the Lithuanian language so as to produce korpusu litewskiego podjęto w 2013 roku. Składniowo adnotowany korpus VILSINTEKS utworzono w Instytucie Języka Litewskiego w Wilnie. Dążymy do dostarczenia jak największej ilości danych dotyczących zdania, zwłaszcza jeśli są to dane potrzebne w procesie tłumaczenia. W Praskim Banku Drzew Zależności podano wyczerpujące informacje; ma on trójpoziomową adnotację [Hajič 2000: 103]. Nie można było umieścić większej liczby poziomów adnotacji na jednym obrazie RYSUNEK 1. Przykład struktury składniowej litewskiego zdania Jie gali būti kitokie – Mogą być inni Artykuły / Articles 255 High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS RYSUNEK 2. Statystycznie sparsowane zdanie Kas nerizikuoja, tas negeria šampano, bet graudžiai ir neverkia (Kto nie ryzykuje, ten nie pije szampana, ale też nie płacze rzewnie) [Kapočiūtė, Nivre, Krupavičius 2013: 15] RYSUNEK 3. Sparsowane statystycznie zdanie Bet štai pro medį, kuriame sėdėjau, praslinko didelis šešėlis (Lecz oto przez drzewo, na którym siedziałem, przemknął duży cień) [Kapočiūtė, Nivre, Krupavičius 2013: 15] można było osiągnąć, dlatego zdecydowaliśmy się podzielić reprezentację informacji na dwie części, gdy zajmujemy się zdaniami litewskimi: tabelę, która zawiera morcontains. Orzecznik zależy od dwóch części zdania: od podmiotu lub dopełnienia oraz od orzeczenia. Relacje te są phological, syntactic and semantic information, while the syntactic structure should be presented in a picture. A graph with cycles is used for Lithuanian sentences because a tree is not able to reflect the entire syntactic information which the Lithuanian sentence wyrażane formalnie i nie można ich ignorować (więcej szczegółów zob. Šveikauskienė 2005: 412). Rysunek 1 przedstawia strukturę syntaktyczną zdania tytułowego. Zawiera ono orzecznik, który ma formalnie wyrażone relacje z podmiotem i orzeczeniem, a obie relacje muszą zostać przedstawione poprzez anotację korpusu. DAIVA ŠVEIKAUSKIENĖ 256 Acta Linguistica Lithuanica LXXIII Orzecznik musi mieć końcówkę uzgadniającą się z podmiotem, a jednocześnie jest przyłączony do orzeczenia; to znaczy, nie jest przydawką podmiotu. Pierwsze próby składniowego anotowania korpusu litewskiego wykazały, że oprogramowanie stworzone dla innych języków nie dawało dobrych wyników w języku litewskim. Około 1500 zdań zostało poddanych anotacji statystycznej na Uniwersytecie Technologicznym w Kownie [Kapočiūtė, Nivre, Krupavičius 2013: 12]. Przedstawione wyniki ukazały niewystarczalność informacji ukrytych na RYCINIE 4. VILSINTEKS parsed sentence Kto nie ryzykuje, ten nie pije szampana, ale też gorzko nie płacze Artykuły / Articles 257 High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS RYCINA 5. VILSINTEKS przeanalizowane zdanie Ale oto przez drzewo, na którym siedziałem, przemknął niewielki cień DAIVA ŠVEIKAUSKIENĖ 258 Acta Linguistica Lithuanica LXXIII struktura zdań. Obie ryciny ilustrują dwa zdania poddane analizie składniowej, oba W drugim zdaniu nie pokazano relacji lacking very important information. The first sentence lacks the arrow between the predicate negeria and subject tas (Figure 2). zgody między dwoma słowami medį i kuriame, które mają zgodne końcówki (Rycina 3), podczas gdy autorzy w tym samym artykule napisali: „przymiotnik określający rzeczownik musi być zgodny pod względem RODZAJU, LICZBY i PRZYPADKA”. Słowa medį i kuriame muszą być zgodne pod względem rodzaju i liczby, a tej informacji brakuje w strukturze zdania. Trudno zgodzić się z tym, że relacje między słowami kuriame sėdėjau - w którym siedziałem i pro medį przez drzewo są tego samego typu. Zdania opatrzone adnotacjami zgodnie z metodą stosowaną w VILSINTEKS przedstawiono odpowiednio na rysunkach 4 i 5. 3. WARSTWY ADNOTACJI W TABELI Informacje w tabeli mają trzy rodzaje: • Informacje o całym zdaniu, • Informacje o słowach w zdaniu, • Informacje niegramatyczne o słowach i zdaniu. 3.1. Informacje o całym zdaniu Informacje dotyczące całego zdania obejmują jego kod, czyli jego pozycję w korpusie, jego typ oraz jego cechy. Cechą zdania jest jego charakterystyka uwzględniająca jego funkcję w tekście, to znaczy, czy jest ono tytułem, nazwiskiem autora, podtytułem czy zdaniem tekstowym. Typ zdania wskazuje na informację komunikacyjną, to znaczy, czy jest ono oznajmujące, rozkazujące, interrogative, etc., and structural information: personal, impersonal, elliptical, simple, composite sentence, etc. [Ambrazas 1997: 573]. 3.2. Informacje o słowach w zdaniu Każde słowo jest opatrzone danymi dotyczącymi jego numeru w zdaniu, danymi morfologicznymi (czas, przypadek, rodzaj itp.), lematem, danymi dotyczącymi Straipsniai / Artykuły 259 High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS jego semantyki leksykalnej, funkcji składniowej, bezpośrednich relacji składniowych z innymi słowami w zdaniu oraz przypadków głębokich. Ponieważ szyk wyrazów w języku litewskim zazwyczaj nie niesie żadnej informacji składniowej, cechy semantyki leksykalnej są bardzo ważne dla identyfikacji jego funkcji składniowej. Rzeczownik w bierniku z cechą czasu jest określeniem przysłownym, a bez niej – dopełnieniem. Jeśli w zdaniu występują dwa rzeczowniki w bierniku, cecha semantyki leksykalnej jest czasami jedynym kryterium pozwalającym rozstrzygnąć o ich funkcji składniowej. 3.3. Informacje o słowach i zdaniu inne niż gramatyczne Informacje stylistyczne dotyczące słowa podano w tabeli. Pomaga to wybrać właściwy odpowiednik w innym języku podczas tłumaczenia słowa. Konieczne jest podanie poprzednika zaimka. Mille, Wanner i Burga [2012: 5] opisują strukturę koreferencyjną, która łączy zaimek z jego poprzednikiem w jednym zdaniu. Litewski bank drzew udostępnia również informacje o poprzedniku zaimka, jeśli znajduje się on poza zdaniem. Jest to bardzo ważne dla tłumaczenia, ponieważ rodzaj rzeczownika (lub odpowiednio zaimka) może różnić się w różnych językach. Na przykład litewskie zdanie Ji buvo graži ma trzy tłumaczenia na język niemiecki. Jeśli jest to „dziewczyna”, właściwym tłumaczeniem jest Es war schön. Jeśli jest to „kot”, właściwym tłumaczeniem jest Sie war schön, a jeśli jest to „dzień”, właściwym tłumaczeniem jest Er war schön. Wszystkie trzy zaimki w języku litewskim są rodzaju żeńskiego, ponieważ wszystkie trzy rzeczowniki są rodzaju żeńskiego, podczas gdy w przypadku języka niemieckiego ten zaimek ma trzy różne odpowiedniki, uwzględniające rzeczownik, który zastępuje. Tabela zawiera brakujące słowa w zdaniach eliptycznych oraz pominięcia w ted subject, which is expressed by a personal pronoun. It is very often the case języku litewskim. Możemy się tego domyślić na podstawie zakończenia czasownika. Orzecznikowa kopula w czasie teraźniejszym jest zwykle również pomijana, dlatego tabela zawiera te brakujące słowa. Akronimy są przedstawione w tabeli w pełnym brzmieniu. Liczby są dodatkowo przedstawione w tabeli za pomocą cyfr, a cyfry za pomocą liczb, ponieważ leksykalne wyrażenie liczb w różnych językach może się różnić. DAIVA ŠVEIKAUSKIENĖ 260 Acta Linguistica Lithuanica LXXIII 4. TYPY INFORMACJI W STRUKTURZE SKŁADNIOWEJ W strukturze składniowej zdanie dzieli się w pierwszym etapie na grupę rzeczownikową, grupę czasownikową i znak końca zdania. Język litewski ma swobodny szyk wyrazów i czasami znak końca zdania jest jedynym środkiem pozwalającym określić typ zdania, tj. czy jest to zdanie oznajmujące, czy pytające, na przykład Tu šiandien laimėjai prizą. – Wygrałeś dziś nagrodę. oraz Tu šiandien laimėjai prizą? – Czy wygrałeś dziś nagrodę?. Rysunek 6 przedstawia strukturę składniową zdania pytającego. Tłumaczenie zdania jest wybierane zgodnie ze znakiem na końcu zdania. słowa, które je rozwijają, a głową grupy orzeczeniowej jest orzeczenie z Furthermore, the structure of the sentence is represented using dependency grammar. The head of the subject group is the subject and below are depicted podrzędnymi słowami znajdującymi się poniżej. Dwa inne pola, które są bardzo ważne dla adnotowania korpusu litewskiego, to typ relacji składniowych między słowami oraz semantycznie nierozstrzygalne grupy słów. RYSUNEK 6. Struktura składniowa zdania pytającego Tu šiandien laimėjai prizą? – Czy wygrałeś dziś nagrodę? Artykuły / Articles 267 High Quality Syntactic Annotated Corpus of Lithuanian – VILSINTEKS Aukštos kokybės sintaksiškai anotuotas lietuvių kalbos tekstynas VILSINTEKS STRESZCZENIE Ostatnio bardzo dużo mówi się i pisze o tym, że język litewski jest słabo skomputeryzowany. Kupuje się oprogramowanie stworzone dla innych języków, które w przypadku języka litewskiego najczęściej nie daje zadowalających rezultatów. Nadszedł już czas, aby zacząć omawiać jakość komputeryzacji języka litewskiego, zamiast mówić o jego słabej komputeryzacji. W artykule opisano wysokiej jakości syntaktycznie anotowany korpus języka litewskiego, w którym przedstawiono wiarygodne informacje. Anotowanie išsami informacija apie sakinį nurodoma lentelėje ir sintaksinė struktūra nubraižoma graprzeprowadza się na dwóch poziomach: fizycznym. Podczas anotowania dużą uwagę poświęca się przedstawianiu relacji syntaktycznych. Są one pokazane za pomocą linii o różnych kolorach i typach. W artykule opisano nierozkładalne połączenia wyrazowe – są to grupy wyrazów, które tylko razem mogą rozszerzać inny wyraz, a wyraz rozszerzający może oznaczać tylko całą grupę. Powiązanie innych wyrazów zdania z jednym ze składników nierozkładalnego połączenia nie ma sensu. W strukturze nierozkładalne połączenia łączy się w jeden blok, ukazując wewnętrzne związki syntaktyczne. W artykule przedstawiono przykłady zdań z adnotacją syntaktyczną. Do przedstawienia struktury zdania wykorzystuje się graf, ponieważ drzewo, które z powodzeniem stosuje się do struktury zdań języka angielskiego, nie może odzwierciedlać całej informacji syntaktycznej zawartej w zdaniu litewskim. Bardzo dobrze widać to na przykładach zdań anotowanych metodą statystyczną, które przedstawiono w niniejszym artykule. Pokazano struktury dwóch zdań, w których brakuje bardzo ważnych informacji: w jednym nie przedstawiono związku syntaktycznego między podmiotem a orzeczeniem, w drugim zaś nie ma związku między wyrazami, które uzgadniają się pod względem liczby i rodzaju. Dla porównania w artykule przedstawiono poniższe zdania, anotowane również metodą stosowaną przez VILSINTEKS. Celem tworzonego korpusu jest zgromadzenie wyczerpujących i wiarygodnych informacji o gramatyce języka litewskiego poprzez przeprowadzanie bezbłędnej analizy zdań, tzn. gdy wyniki pracy komputera są następnie sprawdzane przez człowieka. Anotowany korpus będzie publicznie dostępny w Internecie. Tak jak obecnie z korpusu VDU można uzyskać przykłady użycia podanego słowa, tak na stronie internetowej VILSINTEKS będzie można uzyskać przykłady struktur składniowych mających określone cechy – na przykład zdań pojedynczych, w których funkcję podmiotu pełni zaimek itp. –. Do anotowania wykorzystywane są arkusze Excel, ponieważ umożliwiają one obrazowe przedstawienie struktury zdania i łatwe przekształcenie informacji do formatu XML, który jest szeroko stosowany w wyszukiwaniu. Anotowany korpus będzie więc można wykorzystać do statystycznych badań języka litewskiego, a także do pozyskiwania informacji o gramatyce języka litewskiego itd. Złożono 28 października 2013 r. DAIVA ŠVEIKAUSKIENĖ Instytut Języka Litewskiego ul. Petro Vileišio 5-216, LT-10308 Wilno, Litwa [email protected]