Desde hace ya 25 años, en el Centro de Lingüística Computacional (KLC) de la Universidad Vytautas Magnus (VDU)1 se crean y desarrollan tecnologías del lenguaje (Utka et al. 2017). Los recursos y herramientas para la lengua lituana preparados por el KLC de la VDU constituyen la base indispensable para informatizar el lituano y adaptarle nuevas tecnologías. A principios de 2015, Lituania se convirtió en miembro de pleno derecho de CLARIN ERIC, y en julio de 2015 el KLC de la VDU y la Facultad de Informática de la VDU, junto con socios de la Universidad de Vilna y la Universidad Tecnológica de Kaunas, fundaron el consorcio CLARIN-LT y pusieron en marcha el proyecto «La pertenencia de Lituania a la infraestructura internacional de investigación: infraestructura común de recursos y tecnologías lingüísticos»2, integrándose así en el sistema europeo común de tecnologías del lenguaje.
El objetivo de este artículo es presentar dos recursos de la lengua lituana, corpus anotados preparados por el KLC de la VDU: el corpus anotado morfológicamente MATAS y el corpus anotado sintácticamente ALKSNIS. Estos recursos están disponibles públicamente en el repositorio CLARIN-LT; se puede realizar la búsqueda mediante el sistema ANNIS3 (véase más en la sección 3), y también es posible buscar en el corpus anotado morfológicamente de forma automática en el sitio web http://corpus.vdu.lt4.
Los corpus anotados son recursos fundamentales que desempeñan un papel importante en el desarrollo de las tecnologías del lenguaje. La informatización de una lengua y la creación de herramientas informáticas destinadas al análisis automático del lenguaje requieren análisis gramatical y datos estadísticos sobre la lengua. Así pues, los corpus enriquecidos con anotaciones gramaticales son una especie de materia prima para el análisis automático posterior del lenguaje. Estos corpus se utilizan para crear otros recursos y herramientas de procesamiento del lenguaje natural en ámbitos como
1 Disponible en línea: http://tekstynas.vdu.lt.
2 Disponible en línea: http://clarin-lt.lt/.
3 Disponible en línea: http://158.129.51.247:8080/annis-gui-3.4.4/.
4 Se trata de un corpus anotado morfológicamente de forma automática, compuesto por 208 millones de palabras. El artículo no vuelve a tratarlo. La atención se centra en el corpus MATAS, de 1,6 millones de palabras, anotado morfológicamente y revisado por un lingüista.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 2
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 2
sistemas de reconocimiento automático del lenguaje, aprendizaje automático, traducción automatizada, extracción de información, etc.
A continuación, el artículo presenta por separado los corpus mencionados y la búsqueda de datos en ellos mediante el sistema ANNIS. Los investigadores y estudiantes que estudian la gramática del lituano, los docentes y profesores que preparan ejercicios, así como todas las personas interesadas en las tecnologías del lenguaje, pueden utilizar los corpus y sus datos.
CORPUS ANOTADOS DEL LITUANO Y CARACTERÍSTICAS DE SU ELABORACIÓN
1. Corpus morfológicamente anotado MATAS
El análisis morfológico es la primera etapa del procesamiento del lenguaje y a menudo prepara el texto para un análisis sintáctico o semántico posterior; por ello, es muy importante que los analizadores morfológicos funcionen con la mayor precisión posible, ya que los errores cometidos en el nivel morfológico dificultan el análisis automático del lenguaje en otros niveles.
El primer analizador morfológico del lituano se creó hace unos 25 años. Su autor es Vytautas Zinkevičius (véase Zinkevičius 2000 para más información). Actualmente, hay dos analizadores morfológicos del lituano disponibles públicamente: el programa ya mencionado de V. Zinkevičius, llamado habitualmente Lemuoklis5 (del término lema, forma de encabezamiento), y el analizador disponible en el portal Sistema de información para el análisis sintáctico y semántico del lituano (en adelante, semantika.lt)6. En este artículo se presenta el corpus MATAS, anotado con Lemuoklis, mientras que el corpus anotado sintácticamente se preparó utilizando el analizador morfológico de semantika.lt.
Aunque Lemuoklis funciona bastante bien, no es posible actualizar este programa porque es de código cerrado. El analizador de Semantika.lt se creó sobre la plataforma Hunspell como programa de código abierto; este analizador se actualiza y se amplía con palabras nuevas (ahora incluye 171 000 lemas), y sus reglas se revisan (véase Dadurkevičius 2017 para más información). Un estudio realizado en 2017 para evaluar la calidad de ambos analizadores determinó que el analizador de semantika.lt funciona con mayor precisión (Kapočiūtė-Dzikienė et al. 2017).
El corpus MATAS que se presenta a continuación se elaboró entre 2002 y 2014. Se tomó como base un corpus de un millón de palabras, creado en 2006; se amplió con textos nuevos y se reorganizó. Primero, los textos de MATAS se anotaron morfológicamente de forma automática; después, un lingüista los revisó y corrigió.
5 Acceso en línea: http://tekstynas.vdu.lt/page.xhtml?id=morphological-annotator; este programa no solo anota morfológicamente el texto, sino que también puede sintetizarlo, es decir, generar las formas necesarias; además, está adaptado para analizar textos antiguos.
6 Acceso en línea: http://semantika.lt/SyntaticAndSemanticAnalysis/Analysis.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 3
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuo ti
tekstynai | 3
MATAS consta de 1,6 millones de textos procedentes de documentos, obras literarias y textos científicos. Al igual que en el Corpus del lituano contemporáneo, la mayor parte (el 36%) corresponde a textos periodísticos (véase la figura 1).
FIG. 1. Estructura del corpus morfológicamente anotado MATAS (en porcentajes)
MATAS está disponible en varios formatos: el denominado formato KLC, que utiliza abreviaturas algo inusuales para las partes de la oración y las categorías gramaticales (también está anotado en este formato el corpus disponible en el repositorio del portal http://clarin-lt.lt/), por ejemplo:
MATAS también está anotado en el formato internacional TEI P5. En él, las partes de la oración y las categorías gramaticales se abrevian con una letra o un dígito; por ejemplo, vatstdv3 significa, respectivamente:
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 4
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 4
verbo, forma personal, forma afirmativa, reflexivo, modo indicativo, pretérito frecuentativo, singular, tercera persona. A continuación se presenta el mismo fragmento de texto en formato TEI P5:
Otro formato en el que están disponibles los textos anotados morfológicamente en el sitio web http://corpus.vdu.lt se basa en el ejemplo del formato MULTEXT-East7. Según este formato, cada parte de la oración tiene un número distinto de categorías morfológicas (de 2 a 14), que se representan mediante abreviaturas; por ejemplo, la etiqueta Ncmpnn- N significa sustantivo; c, sustantivo común; m, género masculino; p, plural; n, nominativo; y n, sustantivo no reflexivo. El guion final indica que a esa palabra, por ejemplo universitetai, no se le asigna ninguna etiqueta semántica8.
En el tercer capítulo presentaremos las búsquedas en los corpus MATAS y ALKSNIS mediante el sistema ANNIS. Este emplea otro formato de etiquetas morfológicas, elaborado a partir de las etiquetas de glosado de Leipzig (véase el capítulo 3 para más detalles).
Los distintos sistemas de anotación no son exclusivos de las tecnologías de la lengua lituana. Este problema propició la creación de la herramienta de conversión Pepper (Zipser et al. 2010). Esto ilustra las distintas etapas de creación de los recursos y las herramientas de anotación utilizadas.
Como muestran los ejemplos anteriores, en KLC se utilizan cuatro sistemas de etiquetas morfológicas. La existencia de varios formatos de anotación se debe a que el corpus anotado morfológicamente se preparó durante un largo periodo. Hubo un tiempo en que no se aplicaba ningún estándar de anotación: simplemente se utilizaban las abreviaturas de las partes de la oración y las categorías gramaticales creadas por V. Zinkevičius, desarrollador del analizador morfológico. Estas resultan fáciles de entender para los usuarios. Más adelante, gracias a la colaboración internacional, el corpus anotado morfológicamente se volvió a anotar utilizando
7 Disponible en línea: http://nl.ijs.si/ME/V4/msd/html/index.html.
8 Para más información sobre estas etiquetas, véase http://corpus.vdu.lt/lt/morph.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 5
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 5
estándares internacionales. Como se ha mencionado, el analizador morfológico de semantika.lt (el objetivo principal de este sistema era crear servicios en línea) utiliza etiquetas en formato MULTEXT-East. Las etiquetas son breves, pero difíciles de entender para las personas; son más adecuadas para el análisis informático.
El corpus morfológica y sintácticamente anotado ALKSNIS también utiliza el formato MULTEXT-East. La herramienta de búsqueda de corpus ANNIS (véase la sección 3) permitió combinar los formatos de anotación morfológica de ALKSNIS y MATAS. La primera idea fue utilizar las etiquetas Universal Dependency (UD), ya que es un sistema de anotación bastante extendido y fácil de leer (en inglés). Sin embargo, las etiquetas UD son muy largas, lo que resultó incómodo al realizar búsquedas con ANNIS: las etiquetas de cada palabra ocupan mucho espacio, por lo que, al analizar el contexto de la palabra buscada, era necesario desplazar la ventana hacia un lado u otro. Debido a este problema práctico, se decidió adaptar las etiquetas de glosado de Leipzig, ya que son fáciles de leer y bastante breves. A pesar de la diversidad de etiquetas de anotación descrita aquí, cabe destacar que en la interfaz ANNIS de ambos corpus se utiliza un único sistema (el de glosado de Leipzig adaptado), lo que debería facilitar considerablemente el uso a los usuarios.
Cabe señalar que MATE no indica los límites entre oraciones; estos pueden añadirse rápidamente de forma automática, pero hay que comprobar los resultados obtenidos. MATAS, al igual que el corpus ALKSNIS que se describe a continuación, está disponible en http://clarin-lt.lt/ el repositorio del portal9. Allí se pueden realizar búsquedas mediante el sistema ANNIS10 (véase la sección 3 para más información).
2. Corpus sintácticamente anotado ALKSNIS
El corpus sintácticamente anotado de la lengua lituana ALKSNIS se preparó en 2016. Su elaboración contó con el apoyo del Consorcio de Infraestructura Europea de Investigación de Recursos Lingüísticos y Tecnologías (CLARIN ERIC) (MTI-02/2015). El corpus está disponible públicamente en http://clarin-lt.lt/ el repositorio del portal11. En la guía del usuario12 se explica cómo utilizarlo.
El corpus se diseñó como referencia de análisis sintáctico del lituano. Los corpus de este tipo suelen ser pequeños y tener una composición de géneros óptima; además, aunque el análisis sintáctico se realiza automáticamente, lingüistas lo revisan y corrigen. A partir de esta referencia de análisis sintáctico se puede crear un analizador sintáctico de base estadística (en inglés, statistically-based parser) y ampliar el análisis sintáctico automático (Bielinskienė y otros, 2016).
9 Acceso en línea: https://clarin.vdu.lt/xmlui/handle/20.500.11821/9.
10 Acceso en línea: http://158.129.51.247:8080/annis-gui-3.4.4.
11 Acceso en línea: https://clarin.vdu.lt/xmlui/handle/20.500.11821/10.
12 Acceso en línea: https://youtu.be/PIEOPWurb4Y.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 6
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 6
Dado que ALKSNIS es un recurso más reciente de la lengua lituana que MATAS y está menos descrito, en este artículo prestaremos más atención a ALKSNIS y también trataremos las cuestiones surgidas durante el análisis sintáctico.
2.1. Partes del corpus
El corpus ALKSNIS consta de 30 599 palabras y 2355 oraciones anotadas sintácticamente. En comparación con los corpus de lenguas de países vecinos, este corpus es bastante similar y, puede afirmarse, tiene un tamaño adecuado: el corpus de lengua letona13 consta de 3800 oraciones y 53 mil palabras (Predkalnina y otros, 2016); el de lengua estonia 14, de 1400 oraciones y 10 600 palabras (Muischnek y otros, 2014); el de lengua polaca 15, de 8227 oraciones. El primer corpus anotado sintácticamente, PENN (EE. UU.), consta de muchos más elementos: unos 3 millones de palabras16.
Los textos de ALKSNIS comprenden cuatro secciones genéricas (véase la fig. 2). Las secciones de publicaciones periódicas generales y especializadas, así como la de literatura de ficción, tienen tamaños similares, mientras que la sección de textos administrativos es la más pequeña, pues se trata de un tipo específico de lengua lituana: las oraciones suelen ser largas y contienen numerosos nombres de documentos, referencias a otros documentos, etc. Anotar oraciones de este tipo no revelaría una estructura sintáctica típica.
FIG. 2. Estructura del corpus ALKSNIS anotado sintácticamente
Para crear el corpus se utilizaron textos íntegros, sin abreviar. Las oraciones se seleccionaron de textos pertenecientes a los géneros más diversos posibles. La sección de literatura de ficción está formada por oraciones extraídas de obras de autores lituanos. Las oraciones seleccionadas se prepararon para el análisis informático: se comprobó la codificación del texto y se eliminaron las tablas y las figuras.
13 Disponible en línea: http://sintakse.korpuss.lv/index.html.
14 Disponible en línea: https://metashare.ut.ee/repository/browse/estonian-treebank/4eb86e5e463411e2a6e4005056b400242c46832883754ad7bd89d07f69d6a0fc/.
15 Disponible en línea: http://zil.ipipan.waw.pl/Sk%C5%82adnica.
16 Disponible en línea: https://catalog.ldc.upenn.edu/ldc99t42.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 7
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 7
2.2. Herramientas de anotación y visualización del corpus
El análisis sintáctico automático se basa en el analizador sintáctico elaborado durante el proyecto VDU KLC «Sistema de análisis sintáctico-semántico de la lengua lituana para corpus, la internet lituana y aplicaciones del sector público», desarrollado en Haskell17. El analizador utiliza un método basado en reglas (ingl. rule-based). Esta herramienta lee archivos anotados morfológicamente de los módulos de segmentación y análisis morfológico de semantika.lt y, como resultado, presenta oraciones divididas en cláusulas o sintagmas, genera árboles sintácticos e indica sus roles temáticos (ingl. thematic roles) y funciones sintácticas (Boizou et al. 2014: 69).
Los servicios en línea generan únicamente archivos JSON, pero otra herramienta de KLC convierte los resultados del análisis sintáctico al formato PML (Prague Markup Language). Para el corpus anotado sintácticamente se generan árboles de dependencias (ingl. dependency trees). Este formato permite visualizar y editar árboles de dependencias en formato PML con el editor TrED18, desarrollado por UFAL, de la Universidad Carolina de Praga (véase la fig. 3). Lingüistas revisaron y corrigieron todas las oraciones anotadas automáticamente. Así pues, el análisis sintáctico abarca tres niveles: segmentación automática de palabras y oraciones, junto con el análisis morfológico; análisis sintáctico automático (mediante un método basado en reglas), y edición manual de las oraciones (véase más información en 2.4).
2.3. Estructura de datos de ALKSNIS
Tras el análisis sintáctico automático, las oraciones se presentan gráficamente en forma de árbol (véase la fig. 3). Cada nodo del árbol corresponde a una palabra de la oración, un signo de puntuación u otra unidad de la oración (símbolo, cifra, etc.). Las relaciones de dependencia entre palabras se indican mediante «ramas» o aristas.
17 El analizador sintáctico fue desarrollado por L. Boizou y F. Zamblera en el Centro de Lingüística Computacional de VDU.
18 Disponible en línea: https://ufal.mff.cuni.cz/tred/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 8
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 8
FIG. 3. Árbol de dependencias de una oración anotada sintácticamente en el formato del editor TrEd
Para cada palabra se indican, en el siguiente orden (véase la fig. 3):
1) la forma concreta de la palabra utilizada en la oración (p. ej., gyventojai);
2) la forma de cita (forma de diccionario), es decir, el lema (p. ej., gyventojas);
3) las etiquetas morfológicas (p. ej., Ncmpnn-);
4) la función sintáctica (p. ej., Sub) (véase a continuación la explicación de las abreviaturas).
2.4. Niveles de análisis
Nivel de análisis morfológico. El etiquetado morfológico es la primera etapa del análisis automático y, por tanto, es indispensable para el análisis sintáctico o de oraciones de nivel superior. El análisis morfológico se realizó utilizando el anotador semantika.lt (Dad urkevičius 2017). Las etiquetas morfológicas utilizadas en ALKSNYJE se elaboraron tomando como modelo el formato MULTEXT-East (descrito con más detalle en el capítulo 1).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 9
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 9
Nivel de análisis sintáctico. El analizador sintáctico procesa archivos anotados morfológicamente y proporciona oraciones divididas en cláusulas o sintagmas, genera árboles sintácticos e indica las funciones sintácticas de sus elementos. El análisis se basa en el modelo de gramática de dependencias (ingl. dependency grammar). Este suele aplicarse a lenguas tipológicamente similares, caracterizadas por la flexión de las formas de las palabras y un orden libre de palabras, por ejemplo, las lenguas eslavas (PDT19, SynTagRus20), el letón, etc. Las dependencias sintácticas se expresan según una jerarquía. Se comienza por el constituyente principal de la oración —la raíz del árbol—, al que se vinculan los demás constituyentes de la oración según su dependencia (es decir, sus relaciones sintácticas).
Las abreviaturas de las etiquetas sintácticas y la información sobre las relaciones y dependencias sintácticas se basan en el trabajo realizado por los checos (Hajič et al. 1999); fueron de los primeros en desarrollar el análisis sintáctico para el checo, una lengua de tipo sintético. Actualmente, ALKSNYJE utiliza 18 etiquetas sintácticas principales (sin contar sus variantes): Sub – sujeto, Pred – predicado, Obj – objeto, etc. (véase la tabla 1). Las variantes de las etiquetas aparecen cuando se combinan etiquetas dobles o compuestas en una sola; por ejemplo, para marcar un predicado compuesto de tipo nominal o verbal se utilizan, respectivamente, las etiquetas PredN y PredV; para marcar una cláusula subordinada adjetiva (atributiva) en una oración compleja, el predicado de la cláusula subordinada lleva la etiqueta doble Pred_Atr; para indicar una relación de coordinación, como parte de una etiqueta doble se añade _Co a los constituyentes coordinados de la oración, es decir, cada uno de los complementos enumerados lleva la etiqueta Obj_Co, etc. Además, en las oraciones complejas también pueden aparecer etiquetas triples, por ejemplo, cuando es necesario marcar cláusulas subordinadas coordinadas: Pred_Atr_Co – es una cláusula subordinada adjetiva (atributiva).
TABLA 1. Funciones sintácticas y sus etiquetas en el corpus
Etiqueta
Función sintáctica
Ejemplo
Sub
Sujeto
Jis [Sub] sakė
Pred
Predicado (o palabra auxiliar)
Jis ėjo [Pred]; buvo [Pred] patenkintas
PredN
Parte nominal del predicado
Estaba [Pred] satisfecho [PredN]
PredV
Parte verbal del predicado
Debe [Pred] responder [PredV]
Obj
Objeto
Espero al invitado [Obj]; hay que resolver [Obj]
Atr
Atributo (modificador)
Escuela secundaria [Atr]; país miembro [Atr]
Adj
Circunstancias
Ahora [Adj] decidirá; en la calle Partizanų [Adj]
19 Banco de árboles de dependencias de Praga (Prague Dependency Treebank), véase más información en https://ufal.mff.cuni.cz/pdt3.0.
20 Disponible en línea: http://www.ruscorpora.ru/en/.
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 10
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 10
Aux
Función auxiliar (p. ej., comas u otros símbolos)
AuxC
Subordinación (oraciones subordinadas)
Dijo que [AuxC]...
AuxK
Signo de puntuación de final de oración
AuxL
Unidad léxica auxiliar (p. ej., una palabra en lengua extranjera)
La empresa estadounidense North [AuxL] American [AuxL] Investment [AuxL] Consulting [AuxL] Inc. [Atr]
AuxP
Preposición
Pasará al nivel [AuxP]
AuxZ
Partícula
Como [AuxZ] siempre
Coord
Coordinación
Fabricantes y [Coord] vendedores
_Co (p. ej., Atr_Co)
Elementos coordinados (p. ej., elementos oracionales coordinados)
Fabricantes [Atr_Co] y [Coord] vendedores [Atr_Co]
Par
Incisos y vocativos
En realidad [Par], parece
ExD
Elipsis u otras omisiones en la oración
La mujer es una criatura [Pred_ExD]
Pred_ (p. ej., Pred_Obj)
Tipo de cláusula subordinada de una oración subordinada (se marca junto al predicado)
Escribió que las características están determinadas por [Pred_Obj]
Nivel de revisión manual de las oraciones. Todas las oraciones anotadas sintácticamente de forma automática fueron revisadas por lingüistas. Fue necesario corregir la anotación de muchas oraciones, especialmente las compuestas, e indicar las relaciones de dependencia correctas. En algunos casos también se corrigieron las etiquetas morfológicas. Tres lingüistas revisaron las oraciones por separado y, posteriormente, los tres volvieron a comprobar cada oración. Las particularidades de la anotación sintáctica se describen a continuación.
Características de la anotación sintáctica. Al realizar el análisis sintáctico automático, como se ha mencionado, se considera vértice del árbol sintáctico (ingl. root) el constituyente de mayor nivel jerárquico de la oración (p. ej., un verbo, a veces una conjunción al comienzo de la oración) u otro elemento de la oración (p. ej., en una oración compuesta, su conjunción o palabra de enlace); y, como rama que representa la puntuación de la oración, un signo de puntuación: punto, signo de interrogación, signo de exclamación, puntos suspensivos, punto y coma, etc. A continuación presentaremos ejemplos concretos para ilustrar las características de la anotación sintáctica.
En la figura 4 se muestra un ejemplo en el que el vértice de la oración es un verbo [Pred], y en la figura 5, uno en el que es una conjunción [Coord].
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 11
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 11
FIG. 4. Vértice del árbol de dependencias: verbo
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 12
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 12
FIG. 5. Vértice del árbol de dependencias: conjunción al comienzo de la oración
En la figura 6 se presenta un ejemplo en el que el vértice de una oración compuesta es un signo de puntuación.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 13
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 13
FIG. 6. Vértice del árbol de dependencias: signo de puntuación entre los constituyentes de una oración compuesta
Se considera que, en las construcciones preposicionales, la preposición ocupa una posición superior y se etiqueta como AuxP, mientras que la palabra que la sigue se etiqueta según la función que desempeña (p. ej., objeto): precios de [AuxP] electricidad [Obj] (véase la fig. 7).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 14
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 14
FIG. 7. Anotación de construcciones preposicionales
Los constituyentes subordinados de una oración compuesta dependen del predicado del constituyente principal, y de este depende la conjunción del constituyente subordinado (la coma depende de la conjunción). También es importante indicar la función del constituyente subordinado. Esta se indica junto al predicado del constituyente subordinado; por ejemplo, Pred_Obj: oración subordinada sustantiva de complemento (de objeto) (véase la fig. 8).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 15
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 15
FIG. 8. Ejemplo de anotación de cláusulas subordinadas de una oración compuesta por subordinación
El indicador de la relación coordinante (conjunción o cable) puede ser el núcleo de una construcción coordinada (p. ej., se propuso sentarse y [Coord] jugar; se propuso a los niños y [Coord] a sus padres) (véase la fig. 9).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 16
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 16
FIG. 9. Ejemplo de anotación de cláusulas relacionadas mediante relaciones coordinantes
Si hay una coordinación mixta con varios miembros, la conjunción presente en la construcción es el núcleo, y de ella dependen todos los demás miembros asindéticos (las comas, junto con sus palabras enumerativas, están en el mismo nivel de dependencia). Los demás signos de puntuación se etiquetan como Aux (véase la fig. 10).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351–7204
Page 17
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 17
FIG. 10. Ejemplo de anotación de una construcción coordinada mixta (en la figura también se observan otros casos de relaciones coordinantes)
La cabeza de las oraciones coordinadas es la conjunción coordinante. Las palabras de enlace formadas por adverbios, pronombres o partículas (p. ej., el adverbio por lo tanto) dependen del predicado del segundo miembro oracional y desempeñan la función de circunstancial (Adj), mientras que la función de coordinación Coord la desempeña el cable, como en las oraciones sin conjunción o en las oraciones con conjunciones repetidas, que aquí se consideran partículas (véase la fig. 12), así como en el caso de la coordinación de los miembros de una oración (véanse las figs. 11 y 12).
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 18
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 18
FIG. 11. Ejemplo de anotación de una oración coordinada con una palabra de enlace
FIG. 12. Anotación de una construcción coordinada
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 19
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 19
Es complicado anotar expresiones numéricas, por ejemplo, horas y años. Se anotan como circunstanciales con modificadores o como modificadores (véanse las figs. 13 y 14).
FIG. 13. Anotación de fechas
FIG. 14. Anotación de fechas y otras expresiones numéricas (en la figura se presenta solo un fragmento de una oración anotada sintácticamente)
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 20
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 20
No siempre es fácil anotar los predicados compuestos. En algunos casos se anotan tal como se interpretan en las gramáticas de la lengua lituana, es decir, como predicados de tipo nominal y verbal (por ejemplo, es [Pred] simple [PredN]; puede [Pred] ser [PredV]), mientras que en algunos casos el segundo componente del predicado se considera un objeto (por ejemplo, pienso [Pred] convocar [Obj]).
Fue complicado anotar construcciones con conjunciones correlativas, porque ambas conjunciones tienen el mismo rango jerárquico. En ese caso, se consideró que el predicado de la oración principal ocupa una posición jerárquica superior y que de él depende la cláusula subordinada (véase la fig. 15).
FIG. 15. Ejemplo de anotación de oraciones compuestas con conjunciones correlativas
Por último, se debatió el estatus de algunas categorías gramaticales. Por ejemplo, se decidió considerar partículas a las conjunciones coordinantes repetidas, porque su función en la estructura del árbol de dependencias es similar a la de las partículas (véase la fig. 12).
Al realizar manualmente el análisis sintáctico, hubo que resolver numerosos problemas; aquí solo se han mencionado algunos. Muchas de las dificultades de anotación se resolvieron siguiendo el enfoque de la gramática tradicional y acordando un método de anotación determinado. En otros casos, fue necesario adaptarse a las particularidades de la anotación sintáctica y ceñirse sistemáticamente a lo acordado. Se espera resolver los problemas que surjan a medida que se siga desarrollando el análisis sintáctico automático.
En la siguiente subsección se presenta la búsqueda de datos en corpus anotados mediante el sistema ANNIS. Este es uno de los retos que plantea el uso de corpus anotados, ya que la búsqueda de datos en estos corpus, que contienen numerosas etiquetas y varios niveles de anotación, debe ser diversa. Por esta razón, se eligió ANNIS, una herramienta desarrollada por investigadores de la Universidad Humboldt (Alemania).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 21
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA BIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 21
3. Búsqueda mediante el sistema ANNIS
Naudoti ANNIS įrankį nėra labai sudėtinga (plačiau žr. Zeldes 2016). Reikia pasirinkti anotuotą tekstyną (MATO tekstyno dalį (šis tekstynas suskirstytas į dokumentus, grožinę literatūrą, mokslinius tekstus ir periodiką) arba ALKSNIO tekstyną (jis įvardytas taip: Alksnis_paula_1.0) ir pateikti užklausą. Užklausų struktūra aprašyta 3.1 ir 3.2 poskyriuose.
ANNIS presenta las líneas de concordancia correspondientes junto con la información relacionada (véase la fig. 16). La línea de concordancia puede ampliarse de 5 a 25 palabras (incluidos los signos de puntuación), tanto a la izquierda como a la derecha; también es posible exportar los resultados.
En ambos corpus se utilizan etiquetas gramaticales elaboradas según las etiquetas de glosado de Leipzig21. Se han añadido varias etiquetas que no aparecen en las etiquetas mencionadas; por ejemplo, ~COMP significa grado comparativo. Ante estas etiquetas se escribe una tilde. Las partes de la oración se indican según el formato Universal Dependency.
FIG. 16. Fragmento de los resultados de búsqueda con la herramienta ANNIS
Búsqueda del lema įsakymas en la sección de documentos de MATO
21 Disponible en línea: https://www.eva.mpg.de/lingua/resources/glossing-rules.php. En otros corpus anotados se suelen utilizar las etiquetas Universal Dependency (UD) (véase http://universaldependencies.org/; véase también la fig. 18). Como se indicó en el primer capítulo, las etiquetas UD son muy largas (por ejemplo, el caso acusativo, el género femenino y el número plural se indican así: case=accusative|gender=feminine|number=plural); ocupan demasiado espacio en la interfaz de ANNIS y, por ello, resulta incómodo leer la información.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 22
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 22
FIG. 17. Fragmento de los resultados de búsqueda con la herramienta ANNIS
Búsqueda del lema įsakymas en el corpus ALKSNIS
(para que las relaciones sintácticas se marquen con flechas, hay que pulsar el signo más junto a deps)
3.1. Búsqueda simple
La búsqueda de un solo rasgo se denomina búsqueda simple. La anotación proporcionada (nombres de categorías gramaticales, etiquetas gramaticales utilizadas, etc.) depende de la estructura de cada corpus, no de la herramienta ANNIS.
Señalamos que, al formular una consulta, hay que distinguir entre mayúsculas y minúsculas.
3.1.1. Búsqueda de formas exactas de palabras (cadenas de caracteres)
La búsqueda simple se realiza indicando el nombre de la categoría, el signo de igualdad y el valor de la categoría entre comillas inglesas, por ejemplo:
• lemma="kalba" (esta consulta significa que se busca el lema kalba);
• pos="ADJ" (se buscan adjetivos);
• gram=".M.SG.GEN." (se buscan palabras utilizadas con determinadas categorías gramaticales, en este caso formas en genitivo singular masculino).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 23
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 23
Al buscar una forma concreta de una palabra en el texto, hay que indicar el nombre de la categoría tok o simplemente escribir entre comillas la forma que se busca, por ejemplo:
• tok="dijo" o "dijo".
En ambos corpus anotados se pueden buscar lemas, clases de palabras, categorías gramaticales y formas concretas de palabras; en ALKSNYJE también se pueden buscar etiquetas sintácticas, por ejemplo:
• syfun="Atr" (se buscan atributos).
En ALKSNYJE también se pueden buscar relaciones de dependencia (deps), pero se buscan según otro principio (véase 3.2.3).
3.1.2. Búsqueda de estructuras de caracteres
ANNIS permite realizar búsquedas mediante expresiones regulares (en inglés, regular expressions), que se indican mediante símbolos especiales. La búsqueda con expresiones regulares se escribe, en esencia, igual que una consulta para buscar formas exactas de palabras, pero hay que sustituir las comillas inglesas por barras inclinadas.
3.1.2.1. Búsqueda de cualquier carácter
El símbolo especial más importante es el punto, que sustituye a cualquier carácter individual (letra, dígito, etc.), por ejemplo:
• lemma=/pl.t.s/ (se buscan, por ejemplo, platus, plotis, plitus);
• /p.sak.s/ o tok=/p.sak.s/ (se buscan, por ejemplo, pasakys, pasakos, pasakas, pasakęs, pasakis);
• /201./ o tok=/201./ (se buscan, por ejemplo, 2010, 2011, 2012...).
Como el punto puede sustituir a cualquier signo, para buscar el propio símbolo del punto hay que usar la combinación de barra invertida + punto (\.), por ejemplo:
• gram=/^\..\SG\.GEN\./ (se buscan, por ejemplo, .M.SG.GEN.,.F.SG.GEN.,...).
3.1.2.2. Búsqueda de uno de varios caracteres
En lugar de buscar caracteres totalmente indeterminados, en la consulta de búsqueda se pueden especificar varios caracteres concretos. Se escriben entre corchetes, por ejemplo:
• lemma=/pl[ao]t.s/ (se buscan, por ejemplo, platus, plotis, pero no plitus);
• /t[ei]lp./ o tok=/t[ei]lp./ (se buscan, por ejemplo, telpa, tilpo, pero no talpa);
• /201[0124]/ o tok=/201./ (se buscan 2010, 2011, 2012, 2014);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 24
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anuotuoti tekstynai | 24
Téngase en cuenta que con este método se busca un solo carácter del conjunto especificado: /dirb[aius]/ permite buscar dirba, dirbi, dirbu, dirbs, pero no dirbau ni dirbsi.
3.1.3. Operadores de repetición
Se pueden repetir caracteres (normales y especiales), por ejemplo:
• /dirb[ao][mt]e/ o tok=/dirb[ao][mt]e/ (se buscan dirbame, dirbate, dirbome, dirbote).
Así, el número de caracteres buscados es constante, por ejemplo, dos caracteres en los ejemplos presentados (o [ao][mt]); por tanto, con la consulta lemma=/..važiuoti/ no se obtendrán resultados con el lema įvažiuoti. Los operadores de repetición ofrecen más posibilidades; sus significados son los siguientes:
•? – un determinado carácter aparece una vez o ninguna;
• + – un determinado carácter aparece al menos una vez (es decir, una, dos, tres, cuatro o más veces);
• * – un determinado carácter aparece n veces (es decir, puede no aparecer en absoluto, aparecer una vez, dos veces o más)
Estos operadores ayudan a buscar caracteres que aparecen después de ellos o antes de ellos, por ejemplo:
• /šauk[aiu]*/ o tok=/šauk[aiu]*/ (se buscan, por ejemplo, šauk, šauki, šaukia, šaukiu);
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 25
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anot uoti tekstynai | 25
/šauk[aiu]+/ o tok=/šauk[aiu]+/ (se buscan, por ejemplo, šauki, šaukia, šaukiu, pero no šauk);
gram=/.*\.F\..*/ (se busca la secuencia.F. entre cualquier otra secuencia de caracteres).
Cabe señalar que estructuras como [aiu]* o [aiu]+ no afectan al orden de los caracteres buscados. Por lo tanto, se muestran resultados que contienen a o i, o u + a; o i, o u + a; o i, o u.... Así, se reconocen las siguientes combinaciones de caracteres: aaa, i, uuuuu, uiua, uua, etc.
3.1.4. Búsqueda de alternativas
La barra vertical (|) permite buscar alternativas, por ejemplo:
lema="no bueno" | lema="bueno";
/d(au|ū)ž.*/ o tok=/d(au|ū)ž.*/ (se buscan, por ejemplo, daužo, dūžta, daužymas);
gram=/.*\.~(COMP|SUP)\..*/ (se buscan.~COMP. y.~SUP. entre secuencias de símbolos cualesquiera);
"tik" | "tiktai" o tok="tik" | tok="tiktai" (se buscan tik y tiktai).
3.1.5. Consultas formuladas negativamente
Aunque esta posibilidad resulta más útil al combinar rasgos en búsquedas compuestas, también en las búsquedas simples se puede indicar qué no se desea buscar, por ejemplo:
pos!="NOUN" (se buscan todas las palabras que no son sustantivos);
tok!=/.*[ąaęeėįiyiouųū]/ (se buscan todas las formas de palabras que no terminan en vocal).
Si no se selecciona una consulta de búsqueda compuesta (véase 3.2), las consultas simples formuladas negativamente pueden causar problemas, especialmente si abarcan muchas palabras (como en el primer caso, los sustantivos), por lo que esta consulta debe utilizarse con cautela.
3.2. Búsqueda compuesta
La búsqueda compuesta se construye a partir de varias búsquedas simples. También se necesita una parte adicional que describa las relaciones entre las búsquedas simples (indicadas por posición). Cada parte de búsqueda simple se une mediante el signo ampersand (&).
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 26
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoji tekstynai | 26
3.2.1. Combinaciones de atributos para una sola palabra
La búsqueda simple busca la misma palabra, y la relación entre las búsquedas simples se expresa mediante el operador de combinación (_=_), por ejemplo:
• "mano" & pos="PRON" & #1 _=_ #2 (buscar el pronombre mano, pero no la tercera persona del presente del verbo manyti).
Esta formulación de la consulta significa que la primera búsqueda simple (#1, es decir, "mano" o tok="mano") y la segunda búsqueda simple (#2, es decir, pos="PRON") están relacionadas con la misma palabra.
3.2.2. Combinaciones de palabras
Si se formula una consulta para distintas palabras basándose en la búsqueda simple, el operador de combinación se sustituye por el operador de secuencia (un punto), por ejemplo:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & #1.1 #2 (se busca una palabra usada en genitivo después de la palabra pilnas).
El número 1 después del punto significa que #2 va inmediatamente (sin ninguna palabra intercalada) después de #1. El número 2 indicaría que se intercala una palabra, el 3, dos palabras, etc. En lugar de.1 se puede escribir un punto sin ningún número (lemma="pilnas" & gram=/.*\.GEN\..*/ & #1. #2). Se puede especificar el intervalo con una coma, por ejemplo,.2,4 (con entre una y tres palabras intercaladas). Si el tamaño de la inserción no importa, se debe escribir un punto y un asterisco (*).
En una consulta compuesta se pueden usar los operadores de secuencia y de combinación, por ejemplo:
• lemma="pilnas" & gram=/.*\.GEN\..*/ & pos!="ADJ" & #1.1 #2 & #2 _=_ #3 (se buscan palabras en genitivo que no sean adjetivos después de la palabra pilnas).
3.2.3. Búsqueda de dependencias sintácticas
También es posible buscar estructuras de dependencia mediante una búsqueda compleja con el operador de gobierno directo ->, por ejemplo:
• pos="NOUN" & pos="ADJ" & #1 ->deps #2 (se buscan sustantivos que rigen adjetivos, por ejemplo, daugiabutis namas);
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 27
OBSERVACIONES FINALES
Los corpus MATAS y ALKSNIS son recursos importantes para la lengua lituana. Son necesarios para las siguientes etapas de la informatización de la lengua. A partir de estos corpus se pueden obtener datos cuantitativos sobre la distribución de las clases de palabras, las formas gramaticales y las funciones sintácticas, así como sobre los lemas y las formas gramaticales más frecuentes, entre otros aspectos (en los siguientes trabajos pueden encontrarse algunos estudios cuantitativos concretos: Rimkutė 2006; Utka 2009; Brokaitė 2017). MATAS se utilizó para entrenar el analizador semantika.lt (con el fin de evaluar la calidad de la anotación).
En el futuro, es necesario seguir desarrollando el análisis sintáctico automático. En primer lugar, podría mejorarse la calidad de la anotación sintáctica: precisar las funciones sintácticas y añadir nuevas etiquetas (por ejemplo, precisar los complementos circunstanciales según su semántica: de lugar, modo, tiempo, etc.). Al comienzo de la anotación sintáctica surgieron numerosas dudas sobre la anotación; por ello, habría que debatir algunos casos sintácticos, como la anotación de los predicados compuestos, la elipsis, la distinción entre cláusulas asindéticas y construcciones explicativas, el estatus de algunas clases de palabras, etc.
Otra línea de trabajo consiste en ampliar el propio corpus. Habría que completar sus secciones genéricas, por ejemplo, incorporando más textos científicos y de divulgación científica. Además, es necesario convertir el corpus al formato internacional de uso extendido Universal Dependency (véase la fig. 18; aquí no se indican las etiquetas gramaticales; el ejemplo muestra una oración en finés anotada sintácticamente).
FIG. 18. Formato Universal Dependency
Uno de los principales objetivos del análisis sintáctico automático es crear un analizador sintáctico de base estadística (ing. statistically-based parser), basado en ALKSNIS como referencia para el análisis sintáctico y destinado a anotar grandes volúmenes de textos.
Si se dispone de los medios necesarios, el análisis sintáctico también puede ampliarse en otras direcciones, por ejemplo, mediante la anotación de roles temáticos (ing. thematic role annotation). Se trata de una representación semántica relacionada con la valencia. Este nivel está asignado a cada palabra en el sistema interno de anotación sintáctica y actualmente no es visible públicamente, ya que es más experimental, no está plenamente desarrollado ni ha sido validado. También sería útil etiquetar las expresiones fijas (ing. multi-word
BENDRINĖ KALBA 90 (2017) www.bendrinekalba.lt ISSN 2351-7204
Page 28
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 28
expresiones, MWE22), que incluyen colocaciones y fraseologismos. Hasta ahora no se etiquetaban en el corpus, salvo las unidades morfológicas compuestas cuyos componentes se unen en una sola unidad (por ejemplo, por ahora, de lejos) y que tienen una sola función morfológica y sintáctica (generalmente se etiquetan como adverbios y complementos circunstanciales). También se prevé marcar las relaciones anafóricas (cuando en una oración se emplea un sustantivo y en otra oración —o en otra parte de la misma oración— este se sustituye por un pronombre, es decir, se marcan los vínculos entre el pronombre y el sustantivo al que sustituye).
LITERATŪRA
Bielinskienė A., Boizou L., Kovalevskaitė J., Rimkutė E. 2016: Lithuanian dependency treebank ALKSNIS. – Human language technologies – the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 107–114. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45523 (žiūrėta 2017 10 15).
Boizou L., Zamblera F. 2014. Syntactic engine for the Lithuanian language. – Human language technologies – the Baltic perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam: IOS Press, 69–74. Prieiga internete: http://ebooks.iospress.nl/publication/38006 (žiūrėta 2017 10 15).
Bro į kaitė K. 2017: Tarinio raiška gramatinėmis formomis sintaksiškai anotuotame lietuvių kalbos tekstyne ALKSNIS. Magistro darbas. Vytauto Didžiojo universitetas.
Dadūrkevičius 2017: Lietuvių kalbos gramatika skaitmeniniame atvirojo kodo pasaulyje. – 24-osios Jono Jablonskio konferencijos Skaitmeniniai kalbos ištekliai jų plėtros kryptys ir panaudos galimybės pranešimų tezės. 2017 m. rugsėjo 29 d., Vilnius.
Hajič J., Panevová J., Buráňová E., Urešová Z., Bémová A. 1999: ANNOTATIONS AT ANALYTICAL LEVEL. Instructions for annotators (11.10.1999), UK MFF ÚFAL Praha. Prieiga internete https://ufal.mff.cuni.cz/pedt2.0/publications/a-man-en.pdf (žiūrėta 2017 11 05).
Kapočiūtė-Dzikienė J., Rimkutė E., Boizou L. 2017: A Comparison of Lithuanian Morphological Analyzers. – 20th International Conference Text, Speech, and Dialogue (TSD 2017). Springer International Publishing AG, 47–56.
Muischnek K., Müürisep K., Puolakainen T. 2014: Dependency Parsing of Estonian: Statistical and Rule-based Approaches. – Human Language Technologies – The Baltic Perspective: proceedings of the 6th international conference, Baltic HLT 2014. Amsterdam:
22 Pastoviųjų junginių tyrimams skirtas tarptautinis projektas PARSEME, žr. https://typo.uni-konstanz.de/parseme/.
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 29
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai | 29
Pretkalniņa L., Rituma L., Saulīte B. 2016: Universal Dependency Treebank for Latvian: A Pilot. – Proceedings of the 7th International Conference on Human Language Technologies – the Baltic Perspective: proceedings of the 7th international conference, Baltic HLT 2016. Amsterdam: IOS Press, 136–143. Prieiga internete: http://ebooks.iospress.nl/volumearticle/45527 (žiūrėta 2017 10 10).
Rimkutė E. 2006: Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Daktaro disertacija. Vytauto Didžiojo universitetas.
Utka A. 2009: Dažninis rašytinės lietuvių kalbos žodynas: 1 milijono žodžių morfologiškai anotuoto tekstyno pagrindu. Kaunas: Vytauto Didžiojo universiteto leidykla. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/Dazninis_zodynas.pdf (žiūrėta 2017 12 07).
Utka A., Bielinskienė A., Boizou L., Kovalevskaitė J., Repečka V., Rimkutė E. 2017: Kalbos technologijos – būtina sąlyga kalbai egzistuoti. BNS Spaudos centras. 2017 m. spalio 5, 1–4. Prieiga internete: http://sc.bns.lt/view/item/246397 (žiūrėta 2017 10 20).
Zeldes A. 2016: ANNIS User Guide (Version 3.4.3). Prieiga internete: http://corpus-tools.org/annis/resources/ANNIS_User_Guide_3.4.3.pdf (žiūrėta 2017 10 31).
Zinkevičius V. 2000: Lemuoklis – morfologinei analizei. – Darbai ir dienos, 24, 245–274. Prieiga internete: http://donelaitis.vdu.lt/publikacijos/zinkevicius.pdf (žiūrėta 2017 10 07).
Zipser F., Romary L. 2010: A model oriented approach to the mapping of annotation formats using standards. – Proceedings of the Workshop on Language Resource and Language Technology Standards, LREC 2010. Malta. Prieiga internete: http://hal.archives-ouvertes.fr/inria-00527799/en/ (žiūrėta 2017 12 07).
Įteikta 2017 11 06
Priimta 2017 12 20
BENDRINĖ KALBA 90 (2017)
www.bendrinekalba.lt
ISSN 2351-7204
Page 30
AGNĖ BIELINSKIENĖ, LOÏC BOIZOU, ERIKA RIMKUTĖ. Lietuvių kalbos morfologiškai ir sintaksiškai anotouti tekstynai | 30
LITHUANIAN MORPHOLOGICALLY ANNOTATED CORPUS AND TREEBANK
Summary
Annotated corpora are fundamental resources, which are very useful to develop language technology. The size, quality, and structure of such annotated corpora has a direct influence on the development of other tools. This article describes two annotated corpora prepared by the Centre of Computational Linguistics at Vytautas Magnus University: MATAS, a morphologically annotated corpus, and ALKSNIS, a treebank. It mainly discusses the structure and the tag set of both corpora, as well as the annotation procedure and tools. Both corpora are available online through ANNIS interface, therefore the syntax of ANNIS simple and complex requests is summarised for the Lithuanian potential users.
