Adaptación del Método de Etiquetado No Supervisado TBL

Adap aci´on del M´e odo de E ique ado No Supe isado TBL Jes´us Gonz´alez Ma ´ı In elligen Dialogue Sys ems Se illa [email p o ec ed] Da id Gonz´alez Maline G. In es igaci´on Julie a Uni e sidad de Se illa [email p o ec ed] Jos´eAn onioT oyano Depa amen o LSI Uni e sidad de Se illa oy[email p o ec ed] Resumen: Se p esen a una mejo a al m´e odo de e ique ado de B ill basado en eglas y ans o maciones. Se disminuye conside ablemen e los iempos de en enamien o sin sac ifica de ninguna mane a la eficicacia del m´e odo. Palab as cla e: B ill, TBL, egla, ans o maci´on, e ique ado mo osin ´ac ico, ca- ego ia Abs ac : This pape p oposes an imp o emen o he B ill’s “T ans o ma ion- Rule Based” POS-Tagge Algo i hm. Ou imp o emen dec eases aining imes conside ably wi hou affec ing he accu acy o he algo i hm. Keywo ds: B ill, TBL, ule, ans o ma ion, Pa -o -OS agging, ca ego y 1. In oducci´on Desob aesconocidalanecesidadde ealiza el e ique ado mo osin ´ac ico den o de los p ocesos de a amien o del lenguaje na u al. Pa a lle a a cabo es a a ea se pueden u iliza di e sos ipos de algo i mos, en e los cuales podemos encon a el p o- pues o po B ill(B ill, 1992)(B ill, 1994) y en conc e o la e si´on no supe isada de su e i- que ado basado en ans o maciones(B ill, 1995). La g an en aja de es e m´e odo es que pe mi e una mayo implicaci´on po pa e de los ling¨uis as a la ho a de mejo a lo y adap a lo a los di e en es ´ambi os de aplicaci´on del mismo. Sin emba go, y a pesa de la e ec i idad del m´e odo, los iempos de en enamien o que equie e un algo i mo de es e ipo son conside ablemen e supe io es a los iempos que emplean los e ique ado es basados en los modelos de Ma ko . Exis eng ancan idadde abajosque in en an mejo a de alguna o ma es e p o- blema: (Roche y Schabes, 1995), (Ramshaw y Ma cus, 1996), (Aone y Hausman, 1996), (Ngai y Flo ian, 2001), e c... Pe o la mayo ´ıa de los mismos sac ifican la eficacia del e ique ado po elocidad de ejecuci´on; po consiguien e el m´e odo cae en des en aja con espec o a o os que p opo cionan un mejo esul ado en iempos semejan es. Todos los abajos mencionados se cen an en es udia las p obabilidades de las eglas pa a e i a gene a aquellas que a pos e io i sean innecesa ias. Sin emba go, es o no se cumple siemp e y a eces se pie den eglas que pod ´ıan se muy p o echosas pa a au- men a el n´ume o de palab as co ec amen e e ique adas. En es e a ´ıculo se p esen a una adap- aci´on del m´e ododeB illquenodesecha ninguna egla, pe o que ealiza una mejo a empo al muy in e esan e ya que pe mi e compe i con los ya mencionados algo i mos basados en modelos de Ma ko . En defi- ni i a, aumen a en p opo ci´on la calidad de los esul ados espec o a los iempos de en enamien o, sin sac ifica el g ado de p ecisi´on y cobe u a de las aglas ob enidas. 2. Algo i mo de B ill No Supe isado El algo i mo de B ill pa e de un ex o sin e ique a y de un dicciona io que con ie- ne las di e en es ca ego ´ıas g ama icales a las que puede op a una palab a. A con inuaci´on ealiza los siguien es pasos: 1. En p ime luga , e ique a cada palab a consuconjun odee ique asco espon- dien e. 2. Gene a odas las eglas posibles bas´andose en un conjun o de e minado de plan illas (PREVWORD, NEXT- WORD, PREVTAG, NEXTTAG, ...).1 3. Pun ´ua cada egla en unci´on de una se- ie de pa ´ame os, como po ejemplo la ecuencia de apa ici´on de las mismas. 4. Si no exis e ninguna egla que haya sido pun uada po encima de un cie o um- b al e mina el en enamien o del e ique- ado . Si exis e, la aplica a odas las pa- lab as del ex o que concue den con el con ex o de la egla y la a˜nade al con- jun o de eglas ap endidas po el e ique- ado . 5. Vol e al paso 2. Veamos un b e e ejemplo. Supongamos el siguien e es ado en el p oceso de en ena- mien o del e ique ado : ... ele aba(VERB) a(PREP-NOMB) la(DET- NOMB) o illa(NOMB-VERB) misma(ADJ) del(DET) ´ıo(NOMB-VERB) y(CONJ) ... ... ... habi aba(VERB) un(DET) pueblo(NOMB) de(PREP) homb es(NOMB) igo osos(ADJ) ... Pa a la palab a ambigua “o illa” de la p i- me a ase y omando como e e encia la pa- lab a no ambigua “pueblo” de la seguda ase, enemos la siguien e coincidencia de con ex- o: PREVTAG(DET): NOMB-VERB →NOMB Como se e, pa a las dos palab as “o illa” y “pueblo”, exis e una posible e ique a com´un que les p ecede: “DET”. Dado que enemos un caso no ambiguo (“pueblo”) en el cual una palab a posee la ca ego ´ıa g a- ma ical de “NOMB”, en el caso de “o illa”, gene amos la egla an e io men e ci ada. Si es a egla ob iene la mayo pun uaci´on se aplica ´a y en el siguien e paso del algo i mo el ex o se hab ´a ans o mado en: ... ele aba(VERB) a(PREP-NOMB) la(DET- NOMB) o illa(NOMB) misma(ADJ) del(DET) ´ıo(NOMB-VERB) y(CONJ) ... 1La e si´on implemen ada po los au o es s´olo con- empla los ci ados ipos de plan illas. 3. Va iaci´on de Es ados La mejo a del algo i mo se basa en un es udio de los es ados po los que pasa el p oceso de en enamien o. En cada i e aci´on, se gene a un conjun o de eglas posibles en e las que elegi aquella que ob enga la mayo pun uaci´on, que no malmen e coinci- de con aquella que m´as palab as desambigua. Podemos defini un es ado del algo i mo median e los siguien es elemen os: el ex o de en ada, el conjun o de eglas candida as, la egla de mayo pun uaci´on y el conjun o de eglas ap endido du an e los an e io es es ados del algo i mo. Pa a consegui una mejo aquenocomp ome alaeficacia debemos consegui un algo i mo di e en e, m´as eficien e pe o que man enga el mismo n´ume o de es ados as´ı como la secuencia de los mismos. Po an o, la idea cla e de es a p opues a consis e en encon a cu´ales son los ac o es que implican un cambio de un es ado a o o, abaja con dichos elemen os y gene a un nue o algo i mo que no necesi e el es ue zo compu acional del o iginal. Pa a p opone una nue a soluci´on se es- udi´o p e iamen e el algo i mo o iginal pa a encon a su pa e c ´ı ica, es o es, la que mayo ca ga compu acional sopo a. ´ Es a ecae sob e la a ea de gene a el conjun o de eglas candida as y puede llega a consumi el 85 % del iempo del algo i mo. Es o es de- bido a que el algo i mo o iginal no iene m´as emedio que ol e a gene a las a cada paso o es ado. La pun uaci´on de eglas ambi´en consumeunapa eimpo an edel iempo pe o no es significa i a en compa aci´on al iempo necesa io pa a gene a las miles (o incluso millones) de eglas que pueden llega a gene a se. El p oblema de la gene aci´on de dichas eglas consume mucho iempo po que equie- e eco e el ex o de en ada un n´ume o muy ele ado de eces en cada i e aci´on: node eco idos noi e aciones =(palab as ambiguas)2 4. Gene aci´on R´apida de Reglas Una ez se es udian los di e en es es ados po los que pasa el algo i mo du an e sus ejecuciones, se puede obse a que el es ado de eglas candida as a ´ıa en unci´on de una se ie de pa ones que p esen amos a Jesús González Ma í, Da id González Maline y José An onio T oyano con inuaci´on: Apa ici´on en nue os con ex os La apa ici´on de nue as eglas en el conjun o de eglas candida as cuando se cambia de un es ado a o o en una i e aci´on,sedebeexlusi amen eala apa ici´on de nue os con ex os que cuad en con las palab as que a´un siguen siendo ambiguas en el ex o. Es o quie e deci que, cuando desambiguamos una palab a en una i e aci´on, en la siguien e pueden apa ece nue as eglas o igi- nadas po las palab as ambiguas que aho a ienen en com´un su con ex o con el con ex o no ambiguo. Po ejemplo, dado el siguien e agmen o de un ex o sob e el que es ´a abajando el sis ema de en enamien o: ... ele aba(VERB) a(PREP-NOMB) la(DET-NOMB) o illa(NOMB-VERB) misma(ADJ) del(DET) ´ıo(NOMB-VERB) y(CONJ) ... ... la(NOMB)2mayo (NOMB-ADJ) pa e(NOMB-VERB) de(PREP) la(DET- NOMB) gen e(NOMB) ... ... habi aba(VERB) un(DET) pue- blo(NOMB) de(PREP) homb es(NOMB) igo osos(ADJ) ... Si enemos en cuen a el educido con- jun o de eglas que se gene a ´ıan a pa i de la palab a ambigua “o illa” de la p ime a ase, emos que s´olo exis e una palab a no ambigua que concue da con su con ex o pa a la plan illa PREVTAG: “pueblo”, pues an olapalab aquelap ecede,comola que p ecede a “o illa” pe enecen a la ca ego ´ıa g ama ical de de e minan e. Po lo an o la ´unica egla que se gene a se ´ıa: •PREVTAG(DET): NOMB-VERB →NOMB Es a egla significa que si es amos an e una palab a que puede se o bien un 2La ca ego ´ıa NOMB iene del nomb e de la no a musical “LA”. Conside ese el ejemplo como un caso en el que se ha desambiguado inco ec amen e. nomb eobienun e boylapalab a que le p ecede con iene en sus posibles e ique as DET, en onces debemos elegi pa a ella la ca ego ´ıa de NOMB. En es e mismo es ado, la egla que ob- iene mayo pun uaci´on si e pa a de- sambigua la palab a “mayo ” a NOMB. Si aho a u ie amos que ol e a gene- a odas las eglas del conjun o pa a la palab a “o illa”, ya no es “pueblo” quien concue da en con ex o, sino am- bi´en la palab a “mayo ” gene ando es as dos nue as eglas en el conjun o de eglas posibles: •PREVTAG(NOMB): NOMB-VERB → NOMB •PREVWORD(“la”): NOMB-VERB → NOMB Desapa ici´on po la palab a desambigua- da En cuan o a la desapa ici´on de eglas, se pueden da dos casos. El m´as e iden e es el caso en el que una palab a ambigua que gene aba eglas, pasa a se no am- bigua. En es e caso, desapa ecen odas las eglas que se gene aban u iliz´andose dicha palab a como e e encia. En el ejemplo an e io , en´ıamos un o al de es eglas gene adas a pa i de la palab a “o illa” como palab a ambigua de e e encia. Si en una de las i e aciones se eligie a una egla que la desambiguase, las es eglas que se gene a on en el caso an e io desapa ece ´ıan. Desapa ici´on po con ex os p opios y ajenos Exis e un segundo caso de desapa ici´on de eglas que se p oduce al desambigua palab as que cuad an con los con ex os de alguna palab a po encialmen e u ili- zable pa a la gene aci´on. Po ejemplo, p esen ando el siguien e es ado an´alogo al an e io pe o con la palab a “mayo ” desambiguada: ... ele aba(VERB) a(PREP-NOMB) la(DET-NOMB) o illa(NOMB-VERB) misma(ADJ) del(DET) ´ıo(NOMB-VERB) y(CONJ) ... A dap ación del Mé odo de E ique ado No Supe isado TBL ... la(NOMB) mayo (NOMB) pa e(NOMB- VERB) de(PREP) la(DET-NOMB) gen- e(NOMB) ... ... habi aba(VERB) un(DET) pue- blo(NOMB) de(PREP) homb es(NOMB) igo osos(ADJ) ... Las eglas que se gene an son las siguien- es: •PREVTAG(DET): NOMB-VERB →NOMB •PREVTAG(NOMB): NOMB-VERB → NOMB •PREVWORD(“la”): NOMB-VERB → NOMB Sin emba go, se puede obse a que el “la” que p ecede a la palab a “o illa” es ambi´en una palab a ambigua, lo cual da luga a dos con ex os di e en es a e- ne en cuen a a la ho a de gene a e- glas. Si dicha palab a ue a desambigua- da en una de las i e aciones del algo- i mo, end ´ıamos que ene en cuen a cu´ales son las eglas que desapa ecen po es a causa. En es e caso conc e o, si de- sambiguamos “la” a de e minan e,la e- gla que desapa ece ´ıa se ´ıa: •PREVTAG(NOMB): NOMB-VERB → NOMB 5. Resul ados Pa a la ealizaci´on de las p uebas de medici´on de iempos y compa aci´on en e algo i mos, se u iliz´o una m´aquina con p ocesado In el Pen ium III a 800 Mhz, 256 MBy es de memo ia RAM y ejecu ando un sis ema ope a i o Windows 2000. La implemen aci´on del algo i mo o iginal u ilizada ue c eada a pa i del a ´ıculo publicado po B ill sob e el en enamien o no supe isado. P ime o se ealiz´ouna implemen aci´on “al pie de la le a” y a con inuaci´on se implemen ´ouna e si´on queusabaes uc u asdeda osindexadas. Finalmen e se ealiz´ouna e ce aimplemen- aci´on que sacaba p o echo de los p incipios mencionados en la secci´on an e io . Cada e si´on se ue cons uyendo en base a la an e io po lo que odo el c´odigo com´un es compa ido haciendo de es e modo m´as fiable los esul ados y compa a i as. El siguien e cuad o mues a los di e en es iempos de ejecuci´on (en segundos) del algo i mo en sus es a ian es u ilizadas en las p uebas: Tam a ˜no del Tex o 1Kb 5Kb 10 Kb 20 Kb O iginal 1.14 160.97 640.87 5329.37 Indexada 0.53 103.95 408.24 2834.84 R´apida 0.34 48.31 138.13 807.09 Cuad o 1: Tiempos de ejecuci´on El mismo esul ado puede ap ecia se g ´aficamen e en la figu a 1. Se obse a el c ecimien o exponencial del iempo de ejecuci´on en las es e siones. El n´ume o de eglas que se puede llega a gene a en un ex o depende exponencialmen e del ama˜no del mismo. Se obse a que la di e encia de iemposamedidaqueel ama˜no c ece es muy conside able. Figu a 1: Tiempos de ejecuci´on Como se ci ´o an e io men e, la mejo a se ha ealizado ´unicamen e en la gene aci´on de eglas y no en o a pa e del algo i - mo. Es a ca ac e ´ıs ica puede ap ecia se mejo si medimos la di e encia de iempos que exis e en e cada i e aci´on. Ya que las esimplemen acionessecompo an exac amen e de la misma o ma, incluso a la ho a de conse a el es ado en e las i e aciones, ealizamos la medici´on en e la e si´on indexada y la e si´on mejo ada, ob eniendo una g ´afica como la de la figu a 2. Jesús González Ma í, Da id González Maline y José An onio T oyano Figu a 2: Tiempos de i e aci´on Se obse a que la ejecuci´on del algo i mo mejo ado pa ece mucho m´as cons an e en su iempo de i e aci´on que el algo i mo o iginal. Es o se debe a que el algo i mo o iginal gene a la o alidad del conjun o de eglas posibles en cada i e aci´on, mien- as que el algo i mo p opues o an s´olo ealiza dicha ope aci´on al comienzo de la ejecuci´on misma. De es e modo, ealiza en cada i e aci´on ´unicamen e los c´alculos necesa ios pa a a e igua las modificaciones delconjun ode eglasdelai e aci´on an e io . La figu a 3 mues a la di e encia de iem- pos en cada i e aci´on de los dos algo i mos compa ados. Ya que el iempo de pun uaci´on delas eglasesid´en icamen e igual en ambos algo i mos, se obse a que la disminuci´on en la di e encia se debe a c´omo p og esi amen e dec ece el n´ume o de eglas candida as que se pueden calcula , consecuencia l´ogica de c´omo se an desambiguando las palab as en el ex o. Figu a 3: Di e encia de Tiempos 6. Conclusi´on En es e a ´ıculo se ha buscado una solu- ci´on a la len i ud de ejecuci´on del algo i mo de en enamien o pa a el e ique ado no supe isado p opues o po B ill. Pa a ello se han es udiado los di e en es es ados po los que pasa el algo i mo, as´ı como los ac o es que hacen a ia de un es ado a o o, de una i e aci´onalasiguien e.Apa i de esa in o maci´on, se dise˜na un nue o algo i mo capaz de e i a ene que egene- a la in o maci´on ob enida del ex o sino quesegene abas´andose en el es ado an e io . Es impo an e hace hincapi´eenelhecho de que los conjun os de eglas soluci´on de la e si´on de B ill y la nue a e si´on p opues a son exac amen e id´en icos. Es a soluci´on po an o puede defini se como una adap aci´on que mejo a la eficiencia empo al del algo i mo o iginal. El esul ado es un nue o e ique ado no supe isado que se ejecu a en unos m´a genes de iempo conside ablemen e in e io es a losdela e si´on o iginal de B ill, con la en aja a˜nadida de que el compo amien o y los esul ados del algo i mo con espec o al o iginal se man ienen in ac os. 7. T abajo Fu u o Al igual que se ha conseguido educi el iempo de gene aci´on de las eglas candida as en cada i e aci´on del algo i mo, de un modo semejan esepod ´ıa mejo a la eficiencia en el iempo necesa io pa a la pun uaci´on de las mismas. Es e en oque saca pa ido de que la a iaci´on en las pun uaciones de las eglas siguen ambi´en cie os pa ones de modificaci´on semejan es a los del conjun o de eglas candida as. Dado que en la e si´on mejo ada aqu´ı p opues a la gene aci´on de eglas ha sido educida a un segundo plano en cuan o a consumo de ecu sos, el nue o cuello debo ellaeslapun uaci´on. La posible educci´on del iempo de pun uaci´on da ´ıa luga a un algo i mo mucho m´as ´apido que el ac ual, aunque en p opo ci´on, no se consegui ´a una mejo a compa able a la desc i a en el p esen e abajo. A dap ación del Mé odo de E ique ado No Supe isado TBL Pues o que las mejo as p esen adas se han ealizado sob e el e ique ado o iginal de B ill, se ´ıa in e esan e eliza compa a- i as con o os e ique ado es (po ejemplo: nTBL), incluso e ique ado es basados en modelosdeMa ko (comoTNT). Po o o lado, se ´ıa muy in e esan e compa a el g ado de eficacia del algo i mo cuando se aumen a el n´ume o de plan illas posibles. En nues o es udio s´olo se han im- plemen ado PREVWORD, NEXTWORD, NEXTTAG, y PREVTAG. Algunas plan- illas posibles se ´ıan: PREVPREVWORD (palab a an e io a la an e io ), PREV- PREVTAG (e ique a de la palab a an e io a la an e io ), ..., 2-PREVWORD (las dos palab as an e io es), 2-NEXTTAG (las e ique as de las dos palab as pos e io es), e c... Bibliog a ´ıa Aone, China su y Ke in Hausman, 1996. Un- supe ised lea ning o a ule-based Spanish Pa o Speech agge . B ill, E ic. 1992. A simple ule-based pa os speech agge . En 3 d Con e ence on Ap- plied Na u al Language P ocessing. T en- o, I alia. B ill, E ic. 1994. Some ad ances in ule-based pa o speech agging. En 12 h Con e ence on A i icial In elligence (AAAI-94). Sea le, Wa. B ill, E ic. 1995. Unsupe ised lea ning o disambigua ion ules o pa o speech agging. En 3 d Wo kshop on Ve y La ge Co po a. Ngai, G ace y Radu Flo ian, 2001. T ans o ma ion-based lea ning in he as lane. Ramshaw,LanceA.yMi chellP.Ma cus, 1996. Explo ing he s a is ical de i a ion o ans o ma ion ule sequences o pa - o -speech agging. Roche, Emmanuel y Y es Schabes, 1995. De- e minis ic Pa -o -Speech agging wi h i- ni e s a e ansduce s. Jesús González Ma í, Da id González Maline y José An onio T oyano