Estratégias Lexicométricas para Detetar Especificidades Textuais

Proposta recebida em 21 de Mar¸co 2018 e aceite para publica¸c˜ao em 16 de Julho 2018. Estrat´egias Lexicom´etricas para Detetar Especificidades Textuais Lexicometric strategies to detect textual specificities ´ Alvaro Iriarte Universidade do Minho Grupo Galabra-UMinho [email protected] Pablo Gamallo Universidade de Santiago de Compostela CiTIUSiTIUS-USC [email protected] Alberto Sim˜oes 2Ai — Polytechnic Institute of C´avado and Ave Barcelos, Portugal Grupo Galabra-UMinho [email protected] Resumo Neste artigo propomo-nos a definir e desenvolver uma estrat´egia autom´atica para procurar especificidades lexicais dentro de conjuntos de textos utilizando unidades lexicais simples e express˜oes com v´arias palavras, ou termos multipalavra (MWE, a sua sigla em inglˆes). Propomos uma metodologia para o c´alculo da divergˆencia de distribui¸c˜oes de lemas e de MWE que permitir´a encontrar, automaticamente, diferen¸cas e semelhan¸cas entre textos n˜ao anotados. Esta metodologia poder´a ser utilizada para posteriormente identificar grupos de textos sobre os quais se proceder´a a an´alises quantitativas e qualitativas semiautom´aticas e/ou com interven¸c˜ao humana. Num primeiro teste, utilizamos dois textos de especialidade (da ´area da pediatria) e um texto liter´ario, presumindo que os textos de especialidade deveriam apresentar maiores divergˆencias relativamente ao texto liter´ario do que entre eles pr´oprios. Como os testes feitos mostraram a tendˆencia esperada, decidimos aplicar a mesma metodologia a um segundo grupo de textos (trˆes conjuntos de entrevistas a visitantes da cidade de Santiago de Compostela). Palavras chave divergencia de Kullback-Leibler, divergˆencia lexical, lexicometria Abstract In this article we propose to to define and develop an automatic strategy to search for lexical specificities within sets of texts using simple lexical units and multiword expressions (MWE). We propose a methodology for calculating the divergence of lemma and MWE distributions that will automatically find differences and similarities between unlabeled texts. This methodology can be used to subsequently identify groups of texts to which quantitative and qualitative analyzes will be applied (semiautomatically and/or with human intervention). In a first test, we used two specialized texts (from the area of Paediatrics) and a literary text, assuming that the texts of specialty should present greater divergences with respect to the literary text than among themselves. As the tests that were done showed the expected trend, we decided to apply the same methodology to a second set of texts (three sets of interviews done to visitors in the city of Santiago de Compostela). Keywords Kullback–Leibler divergence, lexical divergence, lexicometry 1 Introdu¸c˜ao Dentro das Ciˆencias Humanas e Sociais e mais concretamente nas Humanidades Digitais, h´a uma necessidade cada vez maior de ter acesso a ferramentas computacionais e estat´ısticas que permitam detetar semelhan¸cas e diferen¸cas entre grupos de textos (Kilgarriff,1996) ou medir a riqueza lexical dos mesmos (Tweedie & Baayen, 1998). As an´alises quantitativas baseadas na distribui¸c˜ao de tra¸cos lingu´ısticos s˜ao essenciais para o desenvolvimento de trabalhos lingu´ısticos e sociolingu´ısticos que procuram especificidades e diferen¸cas em textos de natureza e origem diversas. Dentro dos tra¸cos lingu´ısticos, tˆem especial relevˆancia as caracter´ısticas lexicais dos textos. Propomo-nos a definir e desenvolver uma estrat´egia autom´atica para procurar especificidades lingu´ısticas, nomeadamente especificidades lexicais, dentro de conjuntos de textos. O l´exico DOI: 10.21814/lm.10.1.263 This work is Licensed under a Creative Commons Attribution 4.0 License Linguam´ atica — ISSN: 1647–0818 Vol. 10 N´um. 1 2018 - P´ag. 19–26 utilizado por diferentes indiv´ıduos pode diferir substancialmente segundo as propriedades e caracter´ısticas dos mesmos, incluindo, como veremos, g´enero, profiss˜ao, estudos, etc. O nosso objetivo n˜ao ´e tanto identificar especificidades textuais em rela¸c˜ao ao conte´udo espec´ıfico do texto nem ao seu estilo (tamanho de frases e palavras, etc.), mas sim em rela¸c˜ao ao uso de unidades lexicais simples (lemas/palavras) e termos multipalavra (MWE), entendidos aqui como combina¸c˜oes lexicais, n-grams ou cadeias de palavras (Maia et al.,2008;Stubbs & Barth,2003) e n˜ao no sentido de combina¸c˜oes lexicais restritas, mais frequente dentro da linguistica e da lexicografia (Mel’ˇcuk et al.,1995), combina¸c˜oes lexicais que deveriam funcionar melhor do que as palavras simples ou os lemas, para detetar divergˆencias e convergˆencias textuais, porque deveriam apresentar valores de divergˆencia maiores. Propomos uma metodologia para o c´alculo da divergˆencia de distribui¸c˜oes de lemas e de MWE que permitir´a encontrar, automaticamente, diferen¸cas e semelhan¸cas entre textos n˜ao anotados. Esta metodologia poder´a ser utilizada para posteriormente identificar grupos de textos diferenciados sobre os quais se proceder´a a an´alises quantitativas e qualitativas semiautom´aticas e/ou com interven¸c˜ao humana. A identifica¸c˜ao destes conjuntos de textos com maior grau de convergˆencia poder´a, assim, ser feita sem nenhum tipo de crit´erio ou conhecimento pr´evio, como o que est´a a ser utilizado nos testes do presente artigo (tradu¸c˜ao liter´aria vs. texto t´ecnico;entrevistas a universit´arios vs. entrevistas a n˜ao universit´arios, etc., permitindo assim abordagens, nas an´alises referidas, com menos riscos de vieses cognitivos ou at´e de preconceitos. As nossas hip´oteses de partida foram: 1. A divergˆencia de Kullback-Leibler (divergˆencia KL) permite comparar distribui¸c˜oes de palavras e MWE, o que poder´a ser usado para comparar automaticamente textos n˜ao anotados previamente; 2. O uso de combina¸c˜oes lexicais para detetar divergˆencias e convergˆencias textuais deveria funcionar melhor do que o uso de palavras simples, porque apresentar´a valores de divergˆencia maiores. Para levar a cabo o objetivo acima sublinhado, desenvolveremos um m´etodo concreto de c´alculo da divergˆencia lexical entre textos com base, principalmente, na extra¸c˜ao de MWE. Pensamos que esta abordagem poder´a acrescentar valor `as an´alises lexicom´etricas com base na unidade palavra. Uma vez que estas, as palavras, n˜ao funcionam como unidades isoladas (Saussure,1999;Iriarte,2001), consideramos uma mais-valia para os trabalhos de lexicometria e textometria o facto de ultrapassar a palavra como unidade de an´alise e descri¸c˜ao lingu´ıstica. ´ E no m´ınimo estranho que, com o surgimento de ferramentas inform´aticas que permitiram abordagens lingu´ısticas mais empiristas, se continue a trabalhar com categorias gramaticais (PoS) j´a documentadas pelos gregos no ano 100 a.C. (Robins,1997). O artigo organiza-se da seguinte maneira: trabalho relacionado (sec¸c˜ao 2), descri¸c˜ao do m´etodo (sec¸c˜ao 3), experiˆencias (sec¸c˜ao 4) e conclus˜oes. 2 Trabalho relacionado O presente artigo presenta uma estrat´egia para a compara¸c˜ao textual. Existem numerosos m´etodos cujo objetivo ´e tamb´em a compara¸c˜ao quantitativa entre textos, alguns deles centrados no estilo formal e outros no conte´udo textual. Entre os m´etodos estil´ısticos e formais, um dos mais comuns ´e o que calcula a diversidade lexical a partir de uma fam´ılia de medidas baseadas na rela¸c˜ao entre o n´umero de unidades lexicais e o tamanho total do texto, sendo a mais b´asica a ratio entre tipos e tokens, chamada TTR (McCarthy & Jarvis,2010;Fergadiotis et al.,2013). Este m´etodo permite medir a riqueza lexical dos textos, mas n˜ao estabelece a compara¸c˜ao entre eles com base no tipo de unidades lexicais utilizadas. Outros m´etodos estil´ısticos centram-se na legibilidade e complexidade dos textos com base no cˆomputo do tamanho das frases (percentagem de palavras por ora¸c˜ao) e das pr´oprias palavras (percentagem de s´ılabas por palavras) (Loughran & McDonald,2013), como o que deu lugar ao teste de legibilidade chamado Flesch-Kincaid, que mede a dificuldade de um texto para ser compreendido no processo de leitura. Em compara¸c˜ao com os estil´ısticos e formais, os m´etodos focados no conte´udo semˆantico dos textos calculam a similaridade textual com base em modelos distribucionais e embeddings, que por sua vez foram inspirados pelos m´etodos que calculam a similaridade semˆantica entre ora¸c˜oes. As palavras s˜ao representadas como vetores de contextos e os documentos (ou pequenos extratos de textos) s˜ao modelados como a soma desses vetores. A compara¸c˜ao entre os extratos textuais ´e levada a cabo mediante medidas de similaridade entre vetores, sendo a mais comum a do coseno (Agirre et al.,2016;Mikolov et al.,2013). A diversidade lexical e a legibilidade s˜ao estrat´egias quantita20– Linguam´ atica ´ Alvaro Iriarte, Pablo Gamallo & Alberto Sim˜oes tivas muito gen´ericas centradas no estilo e na forma, enquanto a similaridade distribucional ´e um m´etodo muito mais espec´ıfico ao focar-se no conte´udo. O m´etodo proposto no presente artigo, centrado na divergˆencia lexical mediante lemas e MWE, situa-se a um n´ıvel interm´edio entre o formalismo estil´ıstico e o conte´udo textual. Outros trabalhos mais pr´oximos do nosso exploram tra¸cos lingu´ısticos concretos —por exemplo uso de pronomes pessoais, de palavras com polaridade, de modificadores nominais, etc.—, com o intuito de detetar caracter´ısticas textuais pr´oprias de grupos sociais: homens/mulheres, jovens, etc. (Argamon et al.,2003) Por outro lado, e j´a fora do ˆambito do PLN, o trabalho da Rede Galabra1centra-se, de maneira especial, em projetos de investiga¸c˜ao relacionados com os discursos e pr´aticas culturais na comunidade e os seus impactos, nas suas dimens˜oes econ´omicas, ambientais, socioculturais ou simb´olicas (Torres-Feij´o,2015;Pazos-Justo et al.,2018) As nossas responsabilidades, dentro dos referidos projetos, est˜ao relacionadas com o tratamento lingu´ıstico (nomeadamente a extra¸c˜ao terminol´ogica e a an´alise lexicom´etrica) dos corpora constitu´ıdos: inqu´eritos, entrevistas, grava¸c˜oes de grupos de discuss˜ao e corpus documental j´a catalogado (vd. infra). Utilizando as mesmas orienta¸c˜oes metodol´ogicas e o mesmo corpus, tentar-se-´a replicar alguns resultados dos projetos da Rede Galabra (finalizados e em curso)2. Reivindicar a re1https://redegalabra.org/ 2Entre outros: - Discursos, im´agenes y pr´acticas culturales sobre Santiago de Compostela como meta de los Caminos de Santiago. Projeto de 3 anos de dura¸c˜ao financiado pela Subdirecci´on General de Proyectos de Investigaci´on. Direcci´on General de Investigaci´on Cient´ıfica y T´ecnica. Ministerio de Econom´ıa y Competitividad. Gobierno de Espa˜na [C´odigo: FFI2012-35521] (2012-2015); https://redegalabra.org/discursosimagens-e-praticas-culturais-sobre-santiago-decompostela-como-meta-dos-caminhos - Bienestar de la comunidad local atrav´es de narrativas y usos culturales: Santiago y el Camino actual [em curso]; - Discursos sobre Santiago de Compostela y el/los Camino(s) de Santiago en la novela espa˜nola actual (2010) a trav´es de t´ecnicas anal´ıticas digitales: Posibilidades y valor del conocimiento generado [Tese de doutoramento de Mar´ıa Luisa Fern´andez, orientada por Elias J. Feij´o e Roberto Samartim (Grupo Galabra da Univ. de Santiago de Compostela e Grupo Galabra-UMinho)]; - “Narrativas, usos e consumos de visitantes como aliados ou amena¸cas para o bem-estar da comunidade local: o caso de Santiago de Compostela” (Ref: FFI2017-88196R), parcialmente subsidiado pelo Ministerio de Industria, Econom´ıa y Competitividad do Governo da Espanha no quadro do Programa Estatal de I+D+I Orientada a los plica¸c˜ao dos resultados na ´area das Ciˆencias Humanas e Sociais (CHS) ´e de suma importˆancia, uma vez que ´e uma pr´atica pouco frequente, o que impede consolidar e validar muitas das nossas pesquisas em CHS como investiga¸c˜ao dita cient´ıfica. As nossas tarefas consistem em explorar, de maneira autom´atica ou semiautom´atica, todo o potencial dos inqu´eritos e entrevistas feitos aos visitantes, bem como a importante base de dados composta pelos produtos liter´arios e culturais j´a catalogados, mediante o tratamento estat´ıstico e lingu´ıstico do corpus, neste caso concreto, com a extra¸c˜ao terminol´ogica (da base de dados documental j´a constru´ıda e das entrevistas j´a realizadas), focando, de maneira especial, o que podemos chamar, de maneira gen´erica, termos multipalavra (MWE), que corresponder˜ao, no nosso trabalho, ao que conhecemos como express˜oes idiom´aticas (deitar foguetes antes da festa;to ask for the moon), coloca¸c˜oes (´odio mortal;bitter hatred), quase-frasemas (cart˜ao vermelho;black belt) ou entidades nomeadas (Santiago de Compostela,Cavaleiros da Ordem de Santiago,25 de Julho, etc.) mas tamb´em outras combina¸c˜oes lexicais frequentes, n˜ao necessariamente restritas (Mel’ˇcuk et al.,1995). ` A partida, o uso de MWE deveria ser mais eficaz do que o uso de palavras simples (mesmo que previamente selecionadas) permitindo poder trabalhar com corpora n˜ao anotados. Por exemplo, em an´alises posteriores de outros trabalhos do projeto, a palavra ´agua ser´a contabilizada na categoria Gastronomia quando ocorre em combina¸c˜oes como beber ´agua,´agua de mesa,´agua mineral, etc., mas n˜ao em cair na ´agua ou ´agua do rio, por exemplo. Esta ´ultima ocorrˆencia, por´em, seria contabilizada (erradamente) ao utilizarmos a unidade palavra. Outro exemplo: formas do adjetivo caro que ocorrem nas combina¸c˜oes pre¸cos caros,uma cidade cara, etc. ser˜ao contabilizadas na categoria Economia ao usarmos MWE com anota¸c˜ao morfossint´actica, evitando a contagem de formas como cara a cara,dar a cara,caro colega,fazer-se caro, etc. 3 Descri¸c˜ao do m´etodo Para al´em da compara¸c˜ao direta de frequˆencias da mesma palavra em dois corpora, ´e poss´ıvel comparar toda a distribui¸c˜ao das frequˆencias, como um todo. Para isso foi usada a Divergˆencia de Kullback-Leibler (Kullback & Leibler,1951) Retos de la Sociedad (2018-2021) Estrat´egias Lexicom´etricas para Detetar Especificidades Textuais Linguam´ atica – 21 que, dada a distribui¸c˜ao de dois corpos diferentes (PciePcj) pode ser definida por: DKL(Pci||Pcj) = X k Fci(k) log Fci(k) Fcj(k)(1) onde Fci(k) ´e a probabilidade (frequˆencia relativa) de palavra kno corpus ci. A equa¸c˜ao 1permite obter uma medida de quanto a distribui¸c˜ao Pcjse distancia da distribui¸c˜ao Pci, tomando em conta as probabilidades (ou frequˆencias relativas) das palavras de cada corpus. Para as an´alises aqui apresentadas foi usada uma implementa¸c˜ao em Perl Math::KullbackLeibler::Discrete de um dos autores.3 4 Testes 4.1 Objetivos O nosso objetivo ´e utilizar a divergˆencia KL para calcular graus de especificidade ou de convergˆencia lexical entre grupos de textos, sem interven¸c˜ao humana e sem necessidade de trabalhar com corpora anotados. Numa primeira experiˆencia comparamos trˆes textos: dois textos de especialidade (da ´area da pediatria) e um texto liter´ario (a tradu¸c˜ao para o espanhol do romance Ensaio sobre a Cegueira, de Jos´e Saramago), sabendo `a partida que as divergˆencias dever˜ao ser maiores entre qualquer um dos textos de especialidade e o texto liter´ario. Na segunda experiˆencia, aplicaremos a divergˆencia KL para calcular graus de especificidade ou de convergˆencia lexical entre v´arios reagrupamentos das entrevistas realizadas a 24 visitantes da cidade de Santiago de Compostela. Como foi referido, as nossas hip´oteses de partida foram: 1. A divergˆencia de Kullback-Leibler (divergˆencia KL) permite comparar distribui¸c˜oes de palavras e MWE, o que poder´a ser usado para comparar automaticamente textos n˜ao anotados previamente; 2. O uso de combina¸c˜oes lexicais para detetar divergˆencias e convergˆencias textuais deveria funcionar melhor do que o uso de palavras simples, porque deveria apresentar valores de divergˆencia maiores. Deixamos para futuros trabalhos, com colegas de outras ´areas da rede Galabra, as an´alises rela3https://github.com/ambs/Math-KullbackLeiblerDiscrete cionais e contrastivas (do ponto de vista qualitativo e quantitativo) destes mesmos lemas e combina¸c˜oes lexicais extra´ıdos das transcri¸c˜oes das entrevistas. 4.2 Corpus A base de dados utilizada pela Rede Galabra disponibiliza o acesso a informa¸c˜ao retirada de um corpus documental e a um conjunto de inqu´eritos e entrevistas4. Uma vez que, neste momento falta ainda por finalizar o processo de transcri¸c˜ao das entrevistas a portugueses e brasileiros, o trabalho aqui apresentado ´e realizado apenas sobre 24 entrevistas em castelhano (para al´em dos trˆes textos utilizados na primeira experiˆencia: dois da ´area da pediatria e um texto liter´ario). Com base nos dados dispon´ıveis nos inqu´eritos, relativos `as mesmas pessoas entrevistadas (idade, g´enero, n´ıvel de estudos, e autoidentifica¸c˜ao como peregrinos ou como turistas), subdividimos as entrevistas nos seguintes subgrupos5: 1. Autoidentifica¸c˜ao –Peregrinos (11 entrevistas) –N˜ao peregrinos (13 entrevistas) 2. N´ıvel de estudos –Universit´arios (16 entrevistas) –N˜ao universit´arios (8 entrevistas) 3. G´enero –Mulheres (11 entrevistas) –Homens (13 entrevistas) 4Ocorpus documental disponibiliza aos investigadores do grupo uma base de dados avan¸cada com 560 livros catalogados (Samartim,2015), procedente de produtos culturais e liter´arios publicados entre 2008 e 2012. O corpus foi limitado `as produ¸c˜oes culturais efetivamente consumidas pelos turistas procedentes da Galiza, Espanha, Portugal e Brasil desde 2008 (Portugal e Brasil s˜ao os pa´ıses de procedˆencia do maior n´umero de visitantes n˜ao espanh´ois e n˜ao comunit´arios respetivamente). Ocorpus vivo ´e constitu´ıdo por inqu´eritos e entrevistas a visitantes, comerciantes e comunidade local. Os inqu´eritos, num total de 2157, foram realizados entre 27/03/2013 e 26/03/2014 a turistas galegos e espanh´ois (1323), portugueses (428) e brasileiros (406). Foram gravadas 41 entrevistas a turistas galegos e espanh´ois, 59 entrevistas a turistas portugueses e 56 entrevistas a turistas brasileiros. 5A divis˜ao por grupos et´arios ser´a exclu´ıda, para o presente trabalho, devido ao reduzido tamanho dos 4 grupos et´arios estabelecidos no projeto “Discursos, imagens e pr´aticas culturais sobre Santiago de Compostela como meta dos Caminhos”: Idade <30; 30 ≤Idade <45; 45 ≤ Idade <69; 70 ≤idade. 22– Linguam´ atica ´ Alvaro Iriarte, Pablo Gamallo & Alberto Sim˜oes Antes de calcular o grau de divergˆencia lexical entre os seis conjuntos de entrevistas, foi feito um teste pr´evio com as frequˆencias dos lemas e das MWE extra´ıdos dos dois textos6de especialidade (da ´area da pediatria). e um texto liter´ario (a tradu¸c˜ao para o espanhol do romance Ensaio sobre a Cegueira, de Jos´e Saramago), sabendo `a partida, como j´a referimos, que os dois textos de pediatria deveriam apresentar maior convergˆencia entre si. Atendendo `a Lei de Zifp, as distribui¸c˜oes de palavras baseadas em frequˆencias relativas produzem diferentes escalas de valores com textos de diferentes tamanhos. Para podermos trabalhar com textos de tamanho semelhante e assim comparar os valores usando frequˆencias absolutas, reduzimos os tamanhos dos conjuntos dos textos (as entrevistas e os dois textos utilizados no primeiro teste) ao tamanho do documento mais pequeno de cada grupo. Assim, reduzimos todos os grupos de entrevistas ao tamanho do conjunto de entrevistas feitas a n˜ao universit´arios (64 751 palavras) e o tamanho dos trˆes textos utilizados no primeiro teste, ao tamanho de um dos textos da especialidade de pediatria (25 998 palavras). O tamanho original dos grupos de entrevistas e dos textos utilizados no primeiro teste s˜ao descritos na tabela 1. texto # palavras 11 entrevistas a peregrinos 71 652 13 entrevistas a n˜ao peregrinos 116 285 16 entrevistas a universit´arios 123 186 8 entrevistas a n˜ao universit´arios 64 751 11 entrevistas a mulheres 92 650 13 entrevistas a homens 102 497 Texto de Pediatr´ıa 1 35 713 Texto de Pediatr´ıa 2 25 998 Texto do romance Ensayo sobre la Ceguera 107 296 Tabela 1: Tamanhos originais dos textos analisados. Para os prop´ositos dos testes aqui realizados, pensamos ser irrelevante o facto de termos cortado os textos de maneira aleat´oria. A partir destes conjuntos de textos, foram extra´ıdos os lemas e as MWE com as respetivas frequˆencias e constru´ıdas as correspondentes matrizes usadas no c´alculo das divergˆencias. A extra¸c˜ao de lemas e MWE foi feita com os m´odulos 6Cifuentes, Javier & Ventura-Junc´a, Patricio (2001). Manual de Pediatr´ıa. Retrieved January 16, 2018, from http://botica.com.ve/PDF/6mlped.pdf; Cerrolaza, Javier, Merc´e, Luis. & Emilio Jard´on, Em´ılio (2008). 1. Consideraciones generales 5 Consideraciones cl´ınicas previas 6. Retrieved January 16, 2018, from http://www.espanito.com/1-consideracionesgenerales-5-consideraciones-clnicas-previas.html correspondentes da ferramenta LinguaKit (Gamallo & Garcia,2017)7. O anotador morfossint´actico (que inclui o lematizador) integrado no LinguaKit foi avaliado para trˆes l´ınguas, nomeadamente inglˆes, portuguˆes e espanhol, com resultados pr´oximos do estado da arte: ≈96% para portuguˆes e espanhol, e ligeiramente mais baixos (≈94%) para inglˆes (Gamallo et al.,2015;Garcia & Gamallo,2015). Quanto ao extrator de MWE, foi descrito e avaliado qualitativamente em (Gamallo & Garcia,2017). Na Tabela 2apresentamos alguns dados quantitativos relativos aos resultados da extra¸c˜ao de lemas e de MWE dos dois textos de especialidade e do texto liter´ario referidos na sec¸c˜ao 4.2 lemas lemas (total >1) MWE MWE (total >1) Total 4754 2495 6725 798 Ceguera 2209 1371 1226 72 Pediatr´ıa 1 2089 1456 2698 419 Pediatr´ıa 2 2273 1485 2905 411 Tabela 2: Node lemas e MWE extra´ıdos (primeiro teste). Na Tabela 3apresentamos dados quantitativos relativos aos resultados da extra¸c˜ao de lemas e de MWE da transcri¸c˜ao das 24 entrevistas referidas supra. lemas lemas (total >1) MWE MWE (total >1) Total 3907 3370 4271 3145 Mulheres 2203 2062 1526 1280 Homens 2319 2293 1669 1661 Universit´arios 2211 2165 1679 1553 N˜ao universit´arios 2204 2124 1658 1441 Peregrinos 2261 2017 1712 1183 N˜ao peregrinos 2281 2281 1687 1687 Tabela 3: Node lemas e MWE extra´ıdos das entrevistas. 4.3 Primeiro teste: texto cient´ıfico vs. texto liter´ario Nesta primeira experiˆencia, a partir das matrizes com as frequˆencias dos lemas e dos MWE extra´ıdos dos dois textos de especialidade e do texto liter´ario referidos na sec¸c˜ao 4.2, calculamos o grau de divergˆencia lexical entre os mesmos, presumindo, como dissemos, que os dois textos da ´area de especialidade deveriam apresentar maior convergˆencia entre si e que as divergˆencias deveriam ser maiores entre estes e o texto liter´ario. Dado tratar-se de uma divergˆencia, para um par de documentos (d1, d2) foi calculada a m´edia das divergˆencias das suas distribui¸c˜oes DKL(Pd1||Pd2) e DKL(Pd2||Pd2). 7https://github.com/citiususc/Linguakit Estrat´egias Lexicom´etricas para Detetar Especificidades Textuais Linguam´ atica – 23 Os resultados s˜ao apresentados em duas colunas, sendo que a segunda corresponde aos resultados de frequˆencias >1 . Como veremos, todas as configura¸c˜oes devolvem resultados consistentes entre elas. 4.3.1 C´alculo de divergˆencias usando lemas Na Tabela 4apresentamos os resultados da compara¸c˜ao dos dados relativos `as listas de frequˆencias dos lemas extra´ıdos de cada um dos textos, comparados dois a dois. Considerando que a divergˆencia de KullbackLeibler ´e nula para duas distribui¸c˜oes idˆenticas, pode-se concluir, como esperado, que as maiores divergˆencias aparecem entre o texto liter´ario e cada um dos textos de especialidade. Lemas Lemas(freq >1) Ceguera - Pediatr´ıa 1 3,1445 2,8761 Ceguera - Pediatr´ıa 2 3,3874 3,0859 Pediatr´ıa 1 - Pediatr´ıa 2 1,9542 1,6351 Tabela 4: C´alculo de divergˆencias usando lemas (primeiro teste). 4.3.2 C´alculo de divergˆencias usando MWE Na Tabela 5apresentamos os resultados da compara¸c˜ao dos dados relativos `as listas de frequˆencias das MWE extra´ıdas de cada um dos textos, comparados dois a dois. Tamb´em aqui, como esperado, as maiores divergˆencias aparecem, novamente, entre o texto liter´ario e cada um dos textos de especialidade. MWE MWE(freq >1) Ceguera - Pediatr´ıa 1 13,3517 15,6336 Ceguera - Pediatr´ıa 2 13,3193 15,6978 Pediatr´ıa 1 - Pediatr´ıa 2 12,1861 12,3519 Tabela 5: C´alculo de divergˆencias usando MWE (primeiro teste). 4.4 Segundo teste: entrevistas Na segunda experiˆencia, a partir das matrizes com as frequˆencias dos lemas e das MWE extra´ıdos da transcri¸c˜ao de 24 entrevistas realizadas, entre 27/03/2013 e 26/03/2014, a 24 pessoas que visitaram a cidade de Santiago de Compostela, calculamos o grau de divergˆencia lexical entre os seis conjuntos de entrevistas j´a referidos (peregrinos vs. n˜ao peregrinos; universit´arios vs. n˜ao universit´arios; mulheres vs. homens). Como no caso anterior, dado tratar-se de uma divergˆencia, para um par de documentos (d1, d2) foi calculada a m´edia das divergˆencias das suas distribui¸c˜oes DKL(Pd1||Pd2) e DKL(Pd2||Pd2). Com os conjuntos de entrevistas estudados, o esperado ´e que as maiores divergˆencias apare¸cam entre os grupos que se op˜oem diretamente: entrevistas a mulheres vs. entrevistas a homens; entrevistas a peregrinos vs. entrevistas a n˜ao peregrinos; entrevistas a universit´arios vs. entrevistas a n˜ao universit´arios. Como veremos, todas as configura¸c˜oes devolvem resultados consistentes entre elas. 4.4.1 C´alculo de divergˆencias usando lemas Na Tabela 6apresentamos os resultados da compara¸c˜ao dos dados relativos `as listas de frequˆencias dos lemas extra´ıdos de cada um dos seis grupos de entrevistas comparados dois a dois. Pode-se concluir que, ao compararmos os grupos de entrevistas dois a dois, as maiores divergˆencias aparecem entre os grupos que se op˜oem diretamente: homem–mulher; peregrino– n˜ao peregrino; universit´ario–n˜ao universit´ario. Lemas Lemas(freq >1) mulheres – homens 0,5059 0,48865 mulheres – Univer. 0,389 0,3696 mulheres – N˜aoUniver. 0,2818 0,25865 mulheres – Peregr. 0,3057 0,26615 mulheres – N˜aoPeregr. 0,41205 0,39725 homens – Univer. 0,16135 0,1539 homens – N˜aoUniv 0,37225 0,36145 homens – Peregr. 0,4111 0,3841 homens – N˜aoPeregr. 0,10655 0,10375 Univers. – N˜aoUniver. 0,50035 0,48785 Univer. – Peregr. 0,3924 0,36345 Univer. – N˜aoPeregr 0,13005 0,12535 N˜aoUniver. – Peregr. 0,30215 0,26945 N˜aoUniver. – N˜aoPeregr. 0,36475 0,3567 Peregr. - N˜aoPeregr. 0,4699 0,44575 Tabela 6: C´alculo divergˆencias usando lemas. 4.4.2 C´alculo de divergˆencias usando MWE Na Tabela 7apresentamos os resultados da compara¸c˜ao dos dados relativos `as listas de frequˆencias das MWE extra´ıdas de cada um dos seis grupos de entrevistas, comparados dois a dois. Neste caso, tamb´em se pode concluir que, ao compararmos os grupos de entrevistas dois a dois, as maiores divergˆencias aparecem entre os grupos que se op˜oem diretamente: homem–mulher; 24– Linguam´ atica ´ Alvaro Iriarte, Pablo Gamallo & Alberto Sim˜oes peregrino–n˜ao peregrino; universit´ario–n˜ao universit´ario. MWE MWE(freq >1) mulheres – homens 11,7211 11,6629 mulheres – Univer. 9,4818 9,1155 mulheres – N˜aoUniver. 6,77665 5,88005 mulheres – Peregr. 7,82915 6,5231 mulheres – N˜aoPeregr. 9,6372 9,38765 homens – Univer. 3,2259 2,86875 homens – N˜aoUniver. 8,57 8,3035 homens – Peregr. 9,70665 9,1854 homens – N˜aoPeregr. 2,12425 2,10125 Univers – N˜aoUniver. 11,6121 11,53955 Univer. – Peregr 9,62975 8,99675 Univer. – N˜aoPeregr. 3,1857 2,8462 N˜aoUniver. – Peregr. 7,84815 6,634 N˜aoUniver. – N˜aoPeregr. 8,5075 8,2438 Peregr. – N˜aoPeregr. 11,54975 11,3894 Tabela 7: C´alculo de divergˆencias usando MWE. 5 Conclus˜oes As duas experiˆencias apresentadas (a compara¸c˜ao de dois textos de especialidade e de um texto liter´ario —primeiro teste— e a compara¸c˜ao dos trˆes conjuntos de entrevistas a visitantes da cidade de Santiago de Compostela) permitem confirmar que a divergˆencia de Kullback-Leibler (divergˆencia KL) ´e uma medida robusta porque extrai, em ambos os casos, os valores esperados. A configura¸c˜ao que apresenta divergˆencias maiores ´e a que s´o toma em conta frequˆencias >1 e usa lemas. Portanto, das duas hip´oteses de partida: 1. A divergencia de Kullback-Leibler (divergˆencia KL) permite comparar automaticamente textos n˜ao anotados; 2. O uso de MWE ser´a mais adequado do que o uso dos lemas porque apresentar´a valores de divergˆencia maiores; s´o se confirmou a primeira, embora se possa afirmar que o uso das MWE tamb´em ´e v´alido para comparar textos com a divergˆencia KL pois se conseguem resultados igualmente robustos. ´ E preciso tamb´em sublinhar que o n´umero de MWE utilizados para calcular as divergˆencias ´e menor que o de lemas, o que nos leva a inferir que uma extra¸c˜ao autom´atica com mais cobertura e exaustividade deveria melhorar os resultados. No primeiro teste, utilizamos dois textos de especialidade (da ´area da pediatria) e um texto liter´ario, presumindo que os textos de especialidade deveriam apresentar maiores divergˆencias relativamente ao texto liter´ario do que entre eles pr´oprios. Como as experiˆencias feitas mostraram a tendˆencia esperada, decidimos aplicar a metodologia a um segundo grupo de textos (trˆes conjuntos de entrevistas a visitantes da cidade de Santiago de Compostela). No segundo teste, baseado em entrevistas, os resultados n˜ao s´o ajudam a confirmar a efic´acia da medida de divergˆencia, mas tamb´em permitem confirmar a pertinˆencia das categorias socioculturais utilizadas para desenhar as entrevistas, bem como a sua pertinˆencia nas an´alises qualitativas futuras que pretendemos desenvolver no projeto. Neste sentido, conjeturamos que uma categoria social ou cultural tem tra¸cos distintivos diferenciadores se o seu discurso ´e divergente do de indiv´ıduos doutras categorias. Deix´amos para futuros trabalhos: 1. Procurar estrat´egias que permitam combinar o uso de formas, lemas e MWE no c´alculo de divergˆencias/convergˆencias em textos n˜ao anotados. 2. As an´alises relacionais e contrastivas (do ponto de vista qualitativo e quantitativo) dos lemas e MWE mais relevantes extra´ıdos das transcri¸c˜oes das entrevistas referidas na nota 4. Agradecimentos Este trabalho ´e apoiado pelo projeto Narrativas, usos e consumos de visitantes como aliados ou amena¸cas para o bem-estar da comunidade local: o caso de Santiago de Compostela. Ref: FFI2017-88196-R, parcialmente subsidiado pelo Ministerio de Industria, Econom´ıa y Competitividad espanhol no quadro do Programa Estatal de I+D+i Orientada a los Retos de la Sociedad (2018-2021). Referˆencias Agirre, Eneko, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau & Janyce Wiebe. 2016. SemEval-2016 Task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. Em International Workshop on Semantic Evaluation (SemEval), 497–511. Argamon, Shlomo, Moshe Koppel, Jonathan Fine & Anat Rachel Shimoni. 2003. Gender, genre, and writing style in formal written texts. Text & Talk 23(3). 321–346. Estrat´egias Lexicom´etricas para Detetar Especificidades Textuais Linguam´ atica – 25 Fergadiotis, Gerasimos, Heather H. Wright & Thomas M. West. 2013. Measuring lexical diversity in narrative discourse of people with aphasia. American Journal of SpeechLanguage Pathology 22(2). 397–408. doi:10. 1044/1058-0360. Gamallo, Pablo & Marcos Garcia. 2017. LinguaKit: uma ferramenta multilingue para a an´alise lingu´ıstica e a extra¸c˜ao de informa¸c˜ao. Linguam´atica 9(1). 19–28. doi:10.21814/lm.9.1. 243. Gamallo, Pablo, Juan Carlos Pichel, Marcos Garcia, Jos´e Manuel Abu´ın & Tom´as Fern´andezPena. 2015. An´alisis morfosint´actico y clasificaci´on de entidades nombradas en un entorno Big Data. Procesamiento del Lenguaje Natural 53. 17–24. Garcia, Marcos & Pablo Gamallo. 2015. Yet another suite of multilingual NLP tools. Em Languages, Applications and Technologies CCIS, 65–75. Springer. Iriarte, ´ Alvaro. 2001. A unidade lexicogr´afica. palavras, coloca¸c˜oes, frasemas, pragmatemas: Universidade do Minho. Tese de Doutoramento. Kilgarriff, Adam. 1996. Why chi-square doesn’t work, and an improved LOB-Brown comparison. Em Association for Computers and the Humanities and the Association for Literary and Linguistic Computing, 169–172. Kullback, S. & R. A. Leibler. 1951. On information and sufficiency. The Annals of Mathematical Statistics 22(1). 79–86. doi:10.1214/aoms/ 1177729694. Loughran, Tim & Bill McDonald. 2013. Measuring readability in financial disclosures. Journal of Finance doi:10.2139/ssrn.1920411. Maia, Belinda, Rui Sousa Silva, Anabela Barreiro & Cec´ılia Fr´ois. 2008. N-grams in search of theories. Em Barbara LewandowskaTomaszczyk (ed.), Corpus Linguistics, Computer Tools, and Applications: State-of-the Art, 71–84. Peter Lang. McCarthy, PM & J Jarvis. 2010. Mtld, voc-d, and hd-d: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods 41(2). 381–392. Mel’ˇcuk, Igor, Andr´e Clas & Alain Polgu`ere. 1995. Introduction `a la lexicologie explicative et combinatoire. Duculot. Mikolov, Tomas, Ilya Sutskever, Kai Chen, Gregory S. Corrado & Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. Em Advances in Neural Information Processing Systems, 3111– 3119. Pazos-Justo, Carlos, Mar´ıa Lu´ısa del R´ıo Araujo & Roberto Samartim. 2018. Pol´ıticas culturais e comunidade local: contributos para a an´alise do caso de santiago de compostela como meta dos caminhos de santiago. Em Atas do III Congresso Internacional sobre Culturas: Interfaces da Lusofonia, vol. 7, Instituto de Ciˆencias Sociais da Universidade do Minho. No prelo. Robins, Robert Henry. 1997. A short history of linguistics Longman linguistics library. Longman. Samartim, Roberto. 2015. Bases de dados para o estudo da cultura: apresenta¸c˜ao do catalogador e possibilidades de abordagem sobre o corpus documental do projeto caminho de santiago. Em Estudos da AIL sobre teoria e metodologia, vol. 2, 115–125. AIL Editora. Saussure, Ferdinand. 1999. Curso de lingu´ıstica geral. Lisboa: Dom Quixote. Stubbs, Michael & Isabel Barth. 2003. Using recurrent phrases as text type discriminators: a quantitative method and some findings. Functions of Language 10(1). 61–104. Torres-Feij´o, Elias. 2015. Identity sustainability, identity affectivity, and the ithaca traveler: Conceptual tools for measuring and modeling tourism as an opportunity. Em Gabriel R. Ricci (ed.), Travel, Tourism and Identity, Culture & Civilization, vol. 7, 143–162. Transaction Publishers. Tweedie, Fiona J. & Harald R. Baayen. 1998. How variable may a constant be? measures of lexical richness in perspective. Computers and the Humanities 32(5). 323–352. 26– Linguam´ atica ´ Alvaro Iriarte, Pablo Gamallo & Alberto Sim˜oes