Identificación de entidades con nombre basada en modelos de Markov y árboles de decisión

Iden i icaci´on de En idades con Nomb e basada en Modelos de Ma ko y ´ A boles de Decisi´on ∗ Jos´e A. T oyano, V´ıc o J. D´ıaz, Fe nando En ´ıquez Ja ie Ba oso yVicen e Ca illo Uni e sidad de Se illa A da. Reina Me cedes s/n 41012 Se illa { oyano, jdiaz}@lsi.us.es Resumen: Es e a ´ıculo p esen a un sis ema pa a el econocimien o de en idades con nomb e apoy´andonos en dos ´ecnicas cl´asicas de ap endizaje au om´a ico: los modelos de Ma ko y los ´a boles de decisi´on. Se han desa ollado a ios sis emas en los que hemos in es igado el e ec o p oducido po la inclusi´on de ca ac e ´ıs icas que no dependen en exceso del idioma u ilizado. Los expe imen os se han ealizado con el co pus del espa˜nol dis ibuido pa a la a ea de econocimien o de en idades con nomb e del CoNLL 2002. Palab as cla e: Reconocimien o de en idades, Modelos de Ma ko , ´ A boles de decisi´on Abs ac : In his pape we in es iga e Named En i y Recogni ion (NER) sys ems using wo well-known classi ie s in he machine lea ning li e a u e: Ma ko Models and Decision T ees. We ha e designed se e al sys ems o check he impac o in o- ducing di e en cha ac e is ics which ha e a weak dependence o he language used. We also epo he esul s ob ained by ou sys ems on he Spanish co pus p o ided in he NER Task o ConNLL 2002 con e ence. Keywo ds: Name-En i y Recogni ion, Ma ko Models, Decision T ees 1. In oducci´on Un sis ema enca gado del econocimien- o de en idades con nomb e (NER, Named En i y Recogni ion) pe sigue delimi a en un ex o a bi a io aquellas ases simples que esponden de o ma di ec a a p egun as del ipo ¿qui´en?, ¿d´onde?, ¿cu´ando? o ¿cu´an o?. Po ejemplo, dado el siguien e ex o: El p esiden e del Consejo Municipal Social, Luis M. Jap´on, ad i i´o en una con e encia en Mad id celeb a- do el d´ıa del T abajo, que el gobie - no p e ende a pa i de ene o subi el p ecio del abaco en oda Espa˜na m´as de un 20 po cien o. un sis ema NER econoce ´ıa un nomb e de pe sona (Luis M. Jap´on), dos localizaciones (Mad id, Espa˜na), una o ganizaci´on (Consejo Municipal Social), dos echas (d´ıa del T aba- jo, ene o) y una can idad (20 po cien o). El econocimien o de es as en idades se conside a un paso p e io hacia la comp en- ∗Pa cialmen e inanciado po el Minis e io de Cien- cia y Tecnolog´ıa (FIT-150500-2002-416). si´on au om´a ica de un ex o, ya que apo - an mucha in o maci´on sob e su con enido. Po an o, es ecuen e que los sis emas NER es ´en in eg ados den o de o os sis emas m´as complejos que abo dan la ecupe aci´on de in o maci´on, la ex acci´on de in o maci´on o los sis emas de b´usquedas de espues as, po ci a an s´olo algunos de ellos. Las con e encias MUC-6 y MUC-7 (Chin- cho , 1998) cons i uye on un hi o a la ho a de especi ica lo que se en iende po en idad con nomb e y la o ma de e aluaci´on de los sis- emas NER. Los esul ados an p ome edo es que se ob u ie on en onces han mo i ado el desa ollo de sis emas NER cada ez m´as am- biciosos en los que se alo an o os ac o es como la capacidad de adap aci´on a dis in os g´ene os y o ma os de ex os, el mul iling¨uis- mo, la limi aci´on en el uso de in o maci´on ex e na como dicciona ios o gaze e s, e c. 1.1. Plan eamien o del p oblema Los sis emas NER pueden se in e p e a- dos como un p oblema de clasi icaci´on en el que dado un ex o ep esen ado como una se- cuencia de palab as (o okens) ¯w=w1. . . wT se desea asocia a cada palab a wiuna e i- que a ique de e mina el ipo de en idad que es. En nues o caso adop a emos la on- olog´ıa p opues a en (Tjong, 2002) donde se conside an las siguien es clase de en idades: PER pa a pe sonas, LOC pa a localizaciones, ORG pa a o ganizaciones y MISC pa a en i- dades miscel´aneas que no se ci˜nen a los es an e io es ipos. Pa a que cada palab a disponga de una e ique a p opia u iliza emos la no aci´on BIO ( igu a 1). La e ique a de la p ime a palab a pe enecien e a una en idad de ipo XXX se ´a e ique ada median e B-XXX. Las sigu- ien es palab as, si exis en, pe enecien es a la misma en idad se ´an e ique adas I-XXX. Finalmen e, aquellas palab as del ex o que no son conside adas en idades p esen a ´an la e ique a O. De es a o ma, si deseamos e- conoce n ipos de en idades, dispond emos de 2n+ 1 e ique as. Palab a E ique a La O Delegaci´on B-ORG de I-ORG la I-ORG Agencia I-ORG EFE I-ORG en O Ex emadu a B-LOC ansmi i ´a O ... ... Figu a 1: Ejemplo de ex o e ique ado Un aspec o impo an e en odo desa ollo de un sis ema NER es pode calib a su cali- dad. Pa a consegui lo se suelen adop a me- didas que de e minen, dado un ex o de e- e encia p e iamen e e ique ado, la di e gen- cia que exis e en e las e ique as p opues as y las del ex o. Las medidas m´as habi uales que se aplican son la cobe u a Cy p ecisi´on Pde inidas median e: P=# en idades co ec as en el an´alisis p opues o # en idades en el an´alisis p opues o C=# en idades co ec as en el an´alisis p opues o # en idades en el ex o Es ecuen e apo a adem´as una medida de compensaci´on en e la cobe u a y p e- cisi´on denominada medida Fβde inida me- dian e: Fβ=(β2+ 1)P C β2P C 2. Modelos de ap endizaje Una ez plan eado el econocimien o de en idades como un p oblema de clasi icaci´on es posible la adopci´on de m´e odos de ap en- dizaje au om´a ico supe isado. Es os m´e o- dos pa en de un ex o (co pus) de e e- encia p e iamen e e ique ado (conjun o de en enamien o) y su obje i o es cap u a el conocimien o impl´ıci o es dicho conjun o con la idea de aplica lo sob e ex os desconoci- dos. Una de las me as que nos hemos ma cado en es e abajo es explo a qu´e g ado de ´exi- o puede se alcanzado po un sis ema NER u ilizando como base dos de los m´e odos m´as ampliamen e di ulgados en la li e a u a: los modelos de Ma ko y los ´a boles de decisi´on. 2.1. Modelos de Ma ko Conside ando que el e ique ado de en i- dades sigue un p oceso ma ko iano de p ime o den podemos de e mina que dada un ex o de Tpalab as w= (w1,...,wT) su e ique a- do ¯ = ( 1,..., T) end ´ıa dado po : ¯ = a gmax 1,..., T i=T Y i=1 P( i| i−1)P(wi| i) conside ando una e ique a ex a 0=O pa a ma ca el p incipio de e ique ado. El ac o P( i| i−1) es ablece la p obabilidad de ansi- ci´on de una e ique a a o a. El ac o P(wi| i) es ablece la p obabilidades l´exicas de que una palab a sea emi ida po una e ique a. Las p obabilidades l´exicas y de ansici´on deben se es imadas y almacenadas en sendas ma- ices. Una ez conocidas ambas, se puede aplica el algo i mo de Vi e bi pa a calcula el ec o ¯ . Vis o lo an e io , el p oblema undamen- al con el que nos en en amos es la de e - minaci´on de ambas ma ices. A pa i de un co pus de en enamien o podemos ob ene el alo de los pa ´ame os aplicando el es- imado de m´axima p obabilidad. La ´unica di icul ad es que la ca encia de su icien es ejemplos (dispe si´on de da os) puede in o- duci nos demasiados pa ´ame os con alo es nulos o muy ce canos a ce o. Es e p oblema, m´as agudo cuan o mayo es el conjun o de e ique as o palab as, puede se amo iguado aplicando ´ecnicas de sua izado que epa en la masa p obabil´ıs ica en e odos las obse - aciones. 2.2. ´ A boles de decisi´on Los ´a boles de decisi´on son clasi icado es inspi ados en la es a egia di ide y ence ´as. Un ´a bol de decisi´on es un ipo especial de ´a bol donde cada nodo in e io se asocia con una p egun a sob e un de e minado conjun o de a ibu os X. Las espues as a dichas p e- gun as de e minan cada uno de los caminos que pa en de cada nodo. Dado un obje o odesc i o median e una upla de a ibu os (x1,...xm)∈X, el p oceso de clasi icaci´on comienza desde la a´ız y desciende po las amas del ´a bol seg´un sean las espues as ob enidas en cada uno de los nodos has a al- canza la hoja que de e mina ´a su clase. El p oblema de la cons ucci´on e icien e de ´a boles de decisi´on a pa i de co pus ha sido obje o de amplio es udio, p o undizando en aquellos c i e ios de di isi´on de nodos que a o ecen la ganancia de in o maci´on. Aho- a bien, cuando el p oblema de clasi icaci´on es complejo, el ´a bol de decisi´on puede e- ne un ama˜no al que no sea ´acil su com- p ensi´on. Tambi´en su gen di icul ades cuan- do abo damos obje os del que no conocemos comple amen e odas sus ca ac e ´ıs icas. A pesa de es o, los ´a boles de decisi´on son uno de los clasi icado es m´as ampliamen e u iliza- dos en el campo del ap endizaje au om´a ico. 2.3. Combinaci´on de clasi icado es En muchas ocasiones es deseable dispo- ne de a ias opiniones an es de oma una decisi´on. Es a idea es la que espalda a dos ´ecnicas de ap endizaje que se basan en la combinaci´on de dis in os clasi icado es. Dos de las ´ecnicas m´as u ilizadas son el boos ing y el bagging (Wi en y F ank, 2002). Ambas se basan en la gene aci´on de dis in os clasi- icado es a pa i del mismo conjun o de en- enamien o, pe o se di e encian en la mane a en la que es os clasi icado es son cons uidos. Las ideas b´asicas de es as ´ecnicas son: Bagging: Consis e en la gene aci´on de dis in os conjun os de en enamien o a pa i del conjun o o iginal. Pa a gene- a cada nue o conjun o, se mues ea el o iginal eliminando y eplicando ejem- plos de o ma alea o ia. Cada conjun o de en enamien o da ´a luga a un clasi- icado dis in o. Boos ing: En luga de gene a cada mo- delo de o ma independien e como lo hace el bagging, el boos ing es una ´ecni- ca i e a i a que a ap o echando en ca- da i e aci´on los esul ados de la i e aci´on an e io . Cada nue o modelo se ue za pa a que d´e mejo espues a en los ejem- plos en los que los modelos an e io es acasa on. Ello se consigue dando dis- in os pesos a los ejemplos del conjun o de ap endizaje. Una ez gene ados los dis in os clasi i- cado es, el esul ado inal se ob iene po o aci´on (ponde ada en el caso del boos ing). 3. Ca ac e ´ıs icas u ilizadas Los modelos de Ma ko ienen muchas en ajas, pe o en e ellas no se encuen a una g an lexibilidad pa a in eg a dis in as ca - ac e ´ıs icas. En un p oblema como el del e- conocimien o de en idades con nomb e, es o supone una limi aci´on ya que al ededo de una en idad se pueden encon a muchas pis- as pa a de e mina sus l´ımi es y pa a clasi- ica la. B´asicamen e se pueden dis ingui dos posibles soluciones a la in eg aci´on de ca ac- e ´ıs icas en los modelos de Ma ko . 1. Aquellas que inco po an in o maci´on adicional ans o mando el co pus de en- enamien o median e la sus i uci´on de las e ique as o iginales po o as que apo en m´as in o maci´on. Po ejemplo, en (R¨ossle , 2002) se u iliza es a ´ecnica pa a especializa las e ique as de las pa- lab as que apa ecen con m´as ecuencia an es y despu´es de cada ipo de en idad. 2. Aquellas, como sucede en (Zhou y Su, 2002), que in en an inclui esa in o ma- ci´on en las palab as, en ez de en las e ique as. Bajo es e en oque, las p oba- bilidades l´exicas pueden se es imadas eniendo en cuen a ca ac e ´ıs icas m´as complejas. Una o ma pa ecida de p o- cede , es a ez aplicada a la a ea de e i- que ado mo osin ´ac ico, la encon amos en (B an s, 2000) donde la p obabilidad de las palab as desconocidas se es ima en base a la ecuencia de secuencias de le as como, po ejemplo, los su ijos. Ambas soluciones equie en un mayo o- lumen de da os de en enamien o a medi- da que se inco po an nue as ca ac e ´ıs icas. Las p ime as po que ampl´ıan el conjun o de e ique as y aumen a po an o la dimensi´on de la ma iz de ansiciones, las segundas po que ampl´ıan la ma iz l´exica en unci´on del n´ume o de posibles combinaciones de ca- ac e ´ıs icas. En muchos casos la iden i icaci´on de en- idades con nomb e plan ea un p oblema de clasi icaci´on bas an e di ´ıcil, po ejemplo la palab a Se illa puede hace e e encia a un luga , a una o ganizaci´on (el ayun amien o) o incluso a una pe sona (un apellido). An e es e ipo de ambig¨uedades hay muchos elemen- os que pueden se ele an es pa a clasi ica adecuadamen e, de mane a que cuan as m´as ca ac e ´ıs icas engamos en cuen a mejo . Si que emos explo a es e camino y a˜nadi un n´ume o conside able de ca ac e ´ıs icas, no pod emos hace lo apoy´andonos exclusi- amen e en los modelos de Ma ko , po los p oblemas que plan ea ´ıa la es imaci´on de los pa ´ame os. Es e plan eamien o nos lle a a desca ga de abajo al modelo de Ma ko , exigi´endole exclusi amen e la a ea de iden i ica las se- cuencias de palab as que o man pa e de una en idad, sin de e mina la ca ego ´ıa a la que pe enece. Con ello se esuel en dos p oble- mas de dis in a na u aleza, la delimi aci´on y la clasi icaci´on, lo que pe mi e aplica a cada uno de ellos la ´ecnica m´as ap opiada, y u i- liza en cada caso ambi´en las ca ac e ´ıs icas m´as ap opiadas. En las siguien es subsecciones desc ibi e- mos las di e en es ca ac e ´ıs icas que hemos p obado en nues os expe imen os. 3.1. En la delimi aci´on En la delimi aci´on de en idades, la in- clusi´on de ca ac e ´ıs icas, m´as que a˜nadi in o maci´on, lo que nos a a pe mi i es queda nos exclusi amen e con la in o maci´on que nos hace al a. La ´ecnica que hemos elegido pa a in oduci es e ipo de in o - maci´on es la de ans o maci´on del co pus (R¨ossle , 2002). B´asicamen e es a ´ecnica consis e en modi ica an o el co pus de en- enamien o como el de es de mane a que se ob enga un modelo de Ma ko dis in o al que se ob end ´ıa con el co pus o iginal. Con ello se pueden consegui a ias cosas: modela un p oblema de e ique ado dis- in o al o iginal da m´as peso a cie as palab as del o- cabula io ag upa a ias palab as del ocabula io en una ´unica en ada La igu a 1, que p esen a un agmen o del co pus o iginal, nos se i ´a de apoyo a la ho a de mos a las dis in as ans o maciones que hemos aplicado al co pus. Pa a que el modelo de Ma ko se enca gue exclusi amen e de de- limi a las en idades exis en es p ocedemos a ans o ma el co pus de en enamien o eli- minando de las e ique as la in o maci´on e- la i a a la ca ego ´ıa de las en idades ( igu a 2). Palab a E ique a La O Delegaci´on B-XXX de I-XXX la I-XXX Agencia I-XXX EFE I-XXX en O Ex emadu a B-XXX ansmi i ´a O ... ... Figu a 2: T ans o maci´on de e ique as La es a egia de simpli ica la a ea del modelo de Ma ko da esul ados bas an e buenos al de ec a en idades que han apa e- cido en el co pus de en enamien o pe o se compo a bas an e mal an e en idades desco- nocidas. El p oblema de las palab as descono- cidas es bas an e com´un en odo p oceso de e ique ado, pe o es m´as c ´ı ico a´un, si cabe, en la iden i icaci´on de en idades ya que dichas palab as suelen se buenas candida as pa a o ma pa e de una en idad. La al a de in- o maci´on que conlle a el desconocimien o de una palab a puede se compensada con la in- o maci´on que p opo cionan las may´usculas, ya que en espa˜nol g an pa e de los nomb es de en idades con ienen palab as en may´uscu- las y, a la in e sa, la mayo pa e de las pa- lab as en may´usculas o man pa e de en i- dades con nomb e. Adem´as de las palab as que con ienen may´usculas, hay o o ipo de palab as que pueden se de ayuda en la de- ecci´on de nomb es de en idades, se a a de aquellas palab as en min´uscula que apa ecen ecuen emen e al ededo o den o de una en- idad. Tan o la in o maci´on de las may´usculas como la de las palab as que apa ecen de o - ma ecuen e odeando o den o de una en- idad ha sido in oducida a a ´es de ans- o maciones del co pus de en enamien o. A di e encia de la ans o maci´on an e io , en es e caso no se modi ican las e ique as sino que son las palab as del ocabula io las que se ans o man. Se aplican las siguien es e- glas: Se sus i uye cada palab a del co pus po un oken ep esen a i o. Los okens conside ados son: may pa a palab as que comienzan con may´usculas, min pa a min´usculas, may pa a palab as s´olo con may´usculas, myp o pa a una may´uscula seguida de un pun o, ab e pa a ab e ia u as en gene al, y 1apal pa a aquellas palab as que comienzan una ase. Se excluyen de es a ans o maci´on aquellas palab as que apa ecen e- cuen emen e al ededo o den o de una en idad. Palab a E ique a La O may B-XXX de I-XXX la I-XXX may I-XXX may I-XXX en O may B-XXX min O ... ... Figu a 3: T ans o maci´on de e ique as y pal- ab as Dado que es a ´ul ima ans o maci´on a ec- a al ocabula io debe aplica se an o al co - pus de en enamien o como al de es . La igu a 3 mues a el aspec o del agmen o del co pus o iginal ( igu a 1) as la aplicaci´on de las ans o maciones de e ique as y ocabu- la io. 3.2. En la clasi icaci´on T as delimi a las en idades disponemos de un ex o en el que han sido se˜naladas las posibles en idades sin especi ica a qu´e clase pe enecen. Pa a cada una de es as en idades se gene a un ec o de ca ac e ´ıs icas que son u ilizadas pa a clasi ica . Los ejemplos de en enamien o son gene- ados aplicando el mismo p oceso de ex ac- ci´on de ec o es de ca ac e ´ıs icas a las en i- dades p esen es en el co pus de en enamien- o. Las ca ac e ´ıs icas u ilizadas en los expe- imen os se ag upan en las siguien es ca e- go ´ıas: 1. O og ´a icas: A pesa de que pa e de es a in o maci´on ha sido ya u ilizada en el p oceso de delimi aci´on puede a´un se ´u il a la ho a de disc imina la ca ego ´ıa de una en idad. Se iene en cuen a si una en idad con iene palab as que comienzan en may´usculas, o almen e en may´uscu- las, d´ıgi os y n´ume os omanos. Se in- cluyen ambi´en en es e g upo o as ca- ac e ´ıs icas como la longi ud en pala- b as de una en idad, la posici´on ela i a den o de la ase y si con iene comillas o no. 2. Su ijos: Se calculan a pa i del co pus de en enamien o los su ijos de dos y es le as ele an es pa a cada ca ego ´ıa. 3. Con ex os: En una en ana de es pa- lab as al ededo de una en idad se cal- culan las palab as ele an es pa a cada ca ego ´ıa seg´un los ejemplos del co pus de en enamien o. 4. Palab as signi ica i as: Pa a cada ca e- go ´ıa se calcula el conjun o de palab as signi ica i as eliminando palab as hue- cas y en min´usculas de los ejemplos del co pus de en enamien o. 5. Lis as ex e nas: Se comp ueba si una en idad p esen a alguna palab a pe enecien e a una se ie de lis as gene adas con in o maci´on ex e nas al co pus de en enamien o. Se ienen en cuen a lis as de nomb es, apellidos, pa´ıses, ciudades y dispa ado es in e nos de cada ca ego ´ıa (po ejemplo calle pa a la ca ego ´ıa LOC). En las ca ac e ´ıs icas 2, 3 y 4 se dispone de una se ie de lis as gene adas au om´a ica- men e a pa i del co pus de en enamien- o. Todas los elemen os de una lis a no son igualmen e ele an es ya que algunos se ´an muy ecuen es en el co pus de en enamien- o y o os lo se ´an menos. En nues os ex- pe imen os ap o echamos esa in o maci´on a la ho a de compu a la ca ac e ´ıs ica de una en idad, dando m´as peso a los elemen os m´as ecuen es. 4. Expe imen os Todos los expe imen os se han ealiza- do con el co pus del espa˜nol dis ibuido pa a la a ea de econocimien o de en idades con nomb e del CoNLL 2002 (Tjong, 2002). Dicha dis ibuci´on cons a de un co pus de en- enamien o de 264715 okens y 18794 en i- dades, un es A (52923 okens y 4315 en i- dades) que ha sido u ilizado du an e el desa- ollo y un es B (51533 okens y 3558 en i- dades) u ilizado exclusi amen e en las p ue- bas inales. 4.1. Expe imen o 1 En la abla 1 se mues an los esul ados de nues o p ime expe imen o. Como pun- o de a anque decidimos cons ui un ´unico modelo de Ma ko que lle ase a cabo al mis- mo iempo las a eas de delimi aci´on y clasi i- caci´on. Po an o no se aplica ninguna ans- o maci´on al co pus ni se u iliza ning´un clasi- icado adicional. Los esul ados no son malos, aunque s´ı se obse a cie a debilidad en la ca ego ´ıa MISC debido segu amen e a que es la menos na u al de las de inidas en la on olog´ıa de CoNLL. p ecisi´on cobe u a Fβ=1 PER 80.04 % 56.19 % 66.03 % LOC 77.39 % 67.90 % 72.33 % ORG 73.28 % 69.93 % 71.56 % MISC 46.37 % 33.82 % 39.12 % To al 73.52 % 63.02 % 67.87 % Tabla 1: Delimi aci´on y clasi icaci´on con modelos de Ma ko La abla 2 mues a los esul ados de la a ea de delimi aci´on (sin clasi icaci´on) de en- idades . En el expe imen o T E se ans o - ma el co pus de en enamien o p e iamen e a la es imaci´on del modelo de Ma ko , cam- biando las e ique as al y como se indica en la igu a 2. En el expe imen o T E Vc se ans- o man an o el co pus de ap endizaje como el de es , cambiando las e ique as y el o- cabula io al y como se mues a en la igu a 3. Los esul ados mues an que la u ilizaci´on de los modelos de Ma ko exclusi amen e en p ecisi´on cobe u a Fβ=1 T E 79.98 % 66.56 % 72.66 % T E Vc 87.21 % 84.71 % 85.95 % Tabla 2: S´olo delimi aci´on con modelos de Ma ko la delimi aci´on conlle a una sensible mejo- a con espec o al expe imen o inicial ( abla 1). Es a mejo a es bas an e m´as acusada en el expe imen o T E Vc donde la es i- maci´on del modelo se e bene iciada po el ap o echamien o de la in o maci´on que p o- po cionan las may´usculas, las palab as deli- mi ado es y la educci´on del ama˜no del o- cabula io. 4.2. Expe imen o 2 En es e segundo expe imen o pa imos del mejo esul ado en el p oceso de delimi aci´on (expe imen o 1, T E Vc). Pa a cada una de las en idades de ec adas se gene a un ec- o de ca ac e ´ıs icas. La base de da os esul- an es si e como conjun o de en enamien o pa a la ob enci´on de un ´a bol de decisi´on. La abla 3 mues a los esul ados de cinco p ue- bas dis in as, que di ie en en las ca ac e ´ıs i- cas u ilizadas pa a gene a cada ec o : Base: se u ilizan ca ac e ´ıs icas o - og ´a icas, con ex os, su ijos y palab as signi ica i as. Es as ca ac e ´ıs icas se u ilizan como base en el es o de mode- los. RedCon : se educen las lis as de con ex- os y palab as signi ica i as en un 25 %. Re Misc: se e ue za la in o maci´on so- b e la ca ego ´ıa MISC. Pa a ello se ge- ne an nue as lis as de palab as signi ica- i as que incluyen aquellas palab as e- le an es pa a MISC y no ele an es pa a el es o de ca ego ´ıas. Ex : se inco po an ca ac e ´ıs icas calcu- ladas en base a lis as ex e nas (ciudades, nomb es de pe sona, apellidos, ...). Todas: se incluyen al expe imen o Base, las ca ac e ´ıs icas de los o os es expe- imen os. Las es modi icaciones p opues as mejo- an po sepa ado los esul ados del expe i- men o base. La mejo a m´as signi ica i a se debe a la educci´on de un 25 % en las lis as p ecisi´on cobe u a Fβ=1 Base 63.44 % 61.62 % 62.51 % RedCon 67.75 % 65.81 % 66.76 % Re Misc 66.68 % 64.77 % 65.71 % Ex 64.71 % 62.85 % 63.77 % Todas 68.93 % 66.96 % 67.93 % Tabla 3: Clasi icaci´on con ´a boles de decisi´on de palab as signi ica i as y con ex o, con e- llo se consigue elaja la dependencia de los ejemplos del co pus con espec o a es as ca- ac e ´ıs icas lo que impide que a ec en de o - ma nega i a a los ejemplos del es que no las p esen en. En meno medida mejo an el expe imen o base el e ue zo de la ca ego ´ıa MISC, que o ien a el sis ema a la ca ego ´ıa m´as di ´ıcil, y la u ilizaci´on de in o maci´on ex- e na al co pus de ap endizaje. Con la combinaci´on de las es modi i- caciones se alcanza un esul ado simila al ob enido en el expe imen o inicial ( abla 1) en el que se u ilizaba un modelo de Ma ko pa a econoce y clasi ica al mismo iempo. No obs an e, queda la imp esi´on de que a´un hay ma gen de mejo a ya que la suma de las mejo as ob enidas po sepa ado con cada una de las modi icaciones supe a ´ıa sensiblemen e el esul ado de la combinaci´on. Es a imp e- si´on queda ´a con i mada en el siguien e ex- pe imen o, en el que u ilizando ´ecnicas de ap endizaje m´as complejas se consigue saca m´as pa ido de los da os u ilizados en ´es e. 4.3. Expe imen o 3 En es e expe imen o se comp ueba el e ec- o que iene la u ilizaci´on de ´ecnicas que ge- ne an dis in os clasi icado es a pa i del mis- mo conjun o de en enamien os. Se compa an los esul ados ob enidos con el mejo modelo del expe imen o 2 en el que se u ilizan ´a boles de decisi´on como modelo de ap endizaje con los ob enidos aplicando boos ing ybagging. p ecisi´on cobe u a Fβ=1 ´ A bol 68.93 % 66.96 % 67.93 % Boos ing 70.12 % 68.11 % 69.10 % Bagging 71.10 % 69.06 % 70.07 % Tabla 4: Clasi icaci´on con boos ing ybagging Se han ob enido mejo as en los esul ados en ambos casos, lo que mues a la impo an- cia de la elecci´on de un modelo de ap endiza- je ap opiado en la e apa de clasi icaci´on. Es a es una de las l´ıneas que que emos explo a en el u u o, expe imen ando con clasi icado es m´as e s´a iles como las SVM (Suppo Vec- o Machines) o las p opias ´ecnicas de bag- ging yboos ing aplicadas a clasi icado es m´as simples, que se han demos ado muy ´u iles en es e ipo de p oblemas (Ca e as e al., 2002). 5. Conclusiones y abajo u u o El sis ema p esen ado en es e abajo cons i uye una p ime a ap oximaci´on al p o- blema de Reconocimien o de En idades con Nomb e. Los esul ados ob enidos si ua ´ıan a nues o sis ema en la pa e media del ank- ing de los abajos p esen ados en la a ea NER de CoNLL 2002. La poca ele ancia de la in o maci´on ex- e na al co pus hace que el sis ema sea ´acil- men e po able an e cambios de idioma y de conjun os de ca ego ´ıas. La di isi´on en e de- limi aci´on y clasi icaci´on acili a el desa o- llo y la mejo a del sis ema, ya que pe mi e a aca ambos p oblemas de o ma sepa ada usando dis in as ´ecnicas. Pa a el p oblema de la delimi aci´on, los modelos de Ma ko se han mos ado como una ´ecnica bas an e ´u il, ya que con unas simples ans o ma- ciones del co pus se han ob enido unos e- sul ados muy buenos. En la e apa de clasi i- caci´on el ango de ´ecnicas a u iliza es muy amplio, hemos comenzado u ilizado ´a boles de decisi´on con unos esul ados acep ables, pe o una ez ob enida una base de da os a pa i del co pus podemos expe imen a con cualquie ipo de clasi icado . En nues a agenda de abajos u u os hay muchos en es abie os po los que con- inua nues a in es igaci´on. Con espec o a la delimi aci´on a´un se puede a ina m´as ex- pe imen ando con nue as ca ac e ´ıs icas que pe mi an ag upa las palab as del ocabu- la io median e un c i e io ling¨u´ıs ico en lu- ga de con simples exp esiones egula es. En la pa e de clasi icaci´on, las ´ıas de abajo pasan po la b´usqueda de nue as ca ac e ´ıs i- cas que apo en m´as in o maci´on a los clasi- icado es y la expe imen aci´on con nue os modelos de ap endizaje. El expe imen o 3 ha sido un p ime in en o en es e sen ido, y nos ha abie o un camino espe anzado mos ´andonos que se puede saca m´as pa - ido de los mismos da os de en enamien o eligiendo la ´ecnica de ap endizaje ap opia- da. Bibliog a ´ıa B an s, T. 2000. TnT - a s a is ical pa - o -speech agge , En P oceedings o he 6 h Applied NLP Con e ence (ANLP00), p´aginas 224–231, Sea le, USA. Ca e as, X., L. M`a quez y L. Pad ´o. 2002. Named En i y Ex ac ion using AdaBoos , En CoNLL02 Compu a ional Na u al Language Lea ning. Sha ed Task, Chincho , N. 1998. MUC-7 Named En i y Task De ini ion (Ve sion 3.5), En Mes- sage Unde s anding Con e ence P oceed- ings MUC-7, Fai ax, Vi ginia, USA. Mannig C. y H. Sch¨u ze. 1999. Founda ions o S a is ical Na u al Language P ocessing MIT P ess. R¨ossle M. 2002. Using Ma ko Mod- els o Named En i y ecogni ion in Ge - man newspape s, En P oceedings o he Wo l¡kshop on Machine Lea ning Ap- p oaches in Compu a ional Linguis ics, p´aginas 29–37, T en o, I alia. Tjong K. S. E. 2002. In oduc ion o CoNLL-2002 sha ed ask: Language- independen named en i y ecogni ion En P oceedings o Six h Con e ence on Na - u al Language Lea ning CoNLL 2002, Taipei, Taiwan. Wi en I. H. y E. F ank. 2000. Da a Mining, Mo gan Kau mann Publishe s. Zhou, G. y J. Su. 2002. Named En i y Recogni ion using an HMM-based Chunk Tagge , En P oceedings o ACL 2002, p´aginas 473-480