Una aproximación al uso de word embeddings en una tarea de similitud de textos en español

Una ap oximaci´on al uso de wo d embeddings en una a ea de simili ud de ex os en espa˜nol An app oach o he use o wo d embeddings in a ex ual simila i y ask o Spanish ex s Tom´as L´opez-Solaz Uni e sidad de Se illa lop[email p o ec ed] Jos´e A. T oyano Uni e sidad de Se illa oy[email p o ec ed] F. Ja ie O ega Uni e sidad de Se illa ja[email p o ec ed] Fe nando En ´ıquez Uni e sidad de Se illa [email p o ec ed] Resumen: En es e abajo mos amos c´omo una ep esen aci´on ec o ial de pala- b as basada en wo d embeddings puede ayuda a mejo a los esul ados en una a ea de simili ud sem´an ica de ex os. Pa a ello hemos expe imen ado con dos m´e odos que se apoyan en la ep esen aci´on ec o ial de palab as pa a calcula el g ado de simili ud de dos ex os, uno basado en la ag egaci´on de ec o es y o o basado en el c´alculo de alineamien os. El m´e odo de alineamien o se apoya en la simili ud de ec o es de palab as pa a de e mina la inculaci´on en e las mismas. El m´e odo de ag egaci´on nos pe mi e cons ui ep esen aciones ec o iales de los ex os a pa i de los ec o es indi iduales de palab as. Es as ep esen aciones son compa adas me- dian e dos dis ancias cl´asicas como son la eucl´ıdea y la del coseno. Hemos e aluado nues os sis emas con el co pus basado en Wikipedia dis ibuido en la compe ici´on de simili ud de ex os en espa˜nol de SemE al-2015. Nues os expe imen os mues an que el m´e odo basado en alineamien o se compo a mucho mejo , ob eniendo esul a- dos muy ce canos al mejo sis ema de SemE al. El m´e odo basado en ag egaci´on de ec o es se compo a sensiblemen e peo . No obs an e, es a segunda ap oximaci´on pa ece cap u a aspec os de simili ud no ecogidos po la p ime a, ya que cuando se combinan las salidas de ambos sis emas se mejo an los esul ados del m´e odo de alineamien o, supe ando incluso los esul ados del mejo sis ema de SemE al. Palab as cla e: Simili ud sem´an ica, wo d embedding, alineamien o de ex os Abs ac : In his pape we show how a ec o ep esen a ion o wo ds based on wo d embeddings can help o imp o e he esul s in asks ocused on he seman ic simila i y o ex s. Thus we ha e expe imen ed wi h wo me hods ha ely on he ec o ep esen a ion o wo ds o calcula e he deg ee o simila i y o wo ex s, one based on he agg ega ion o ec o s and he o he one based on he calcula ion o alignmen s. The alignmen me hod elies on he simila i y o wo d ec o s o de e mine he seman ic link be ween hem. The agg ega ion me hod allows us o cons uc ec o ep esen a ions o he ex s om he indi idual ec o s o each wo d. These ep esen a ions a e compa ed by means o wo classic dis ance measu es: Euclidean dis ance and cosine simila i y. We ha e e alua ed ou sys ems wi h he co pus based on Wikipedia dis ibu ed in he compe i ion o simila i y o ex s in Spanish o SemE al-2015. Ou expe imen s show ha he me hod based on he alignmen o wo ds pe o ms much be e , ob aining esul s ha a e e y close o he bes sys em a SemE al. The me hod based on ec o ep esen a ions o ex s beha es subs an ially wo se. Howe e , his second app oach seems o cap u e aspec s o simila i y no de ec ed by he i s one, as when he ou pu s o bo h sys ems a e combined he esul s o he alignmen me hod a e su passed, e en exceeding he esul s o he bes sys em a SemE al. Keywo ds: Seman ic simila i y, wo d embedding, ex alignmen 1 In oducci´on La medici´on iable de la simili ud de ex os es una aplicaci´on de g an ayuda pa a dis in as a eas elacionadas con el p ocesamien o de ex os en lenguaje na u al. S´olo po ci a al- gunos ejemplos, los sis emas de clasi icaci´on de documen os, de es´umenes de ex os, o de aducci´on au om´a ica, pueden bene icia se de un m´odulo de simili ud que es ablezca el g ado de pa ecido en e dos unidades ex ua- les. En gene al, podemos dis ingui en e dos ipos de simili ud: a ni el de palab as y a ni- el de ex os. Las dis in as ap oximaciones de simili ud a ni el de palab as se ag upan en dos ca e- go ´ıas: simili ud l´exica de palab as y simili- ud sem´an ica de palab as. Dos palab as son simila es a ni el l´exico si es ´an compues as po secuencias pa ecidas de ca ac e es. Pa- a de e mina la simili ud l´exica de palab as se suelen u iliza dis in as m´e icas basadas en compa aci´on de cadenas de ca ac e es. La simili ud sem´an ica de palab as, po su pa - e, nos pe mi e medi si dos palab as ienen signi icados pa ecidos o se usan en con ex os pa ecidos. Hay dos g andes g upos de ´ecni- cas pa a calcula la simili ud sem´an ica de palab as: ´ecnicas basadas en conocimien o y ´ecnicas basadas en co pus. Las ´ecnicas de simili ud de palab as basa- das en conocimien o miden el g ado de pa e- cido en e palab as apoy´andose en alg´un ipo de ecu so ling¨u´ıs ico que p opo cione in o - maci´on sob e el signi icado de las palab as. El ecu so po excelencia es Wo dNe (Mille , 1995), una base de da os l´exica o ganizada en o no a a ias elaciones en e palab as. La elaci´on de sinonimia es la m´as impo an- e y en ella se apoya el concep o de synse (g upo de sin´onimos) que pe mi e de ini de o ma impl´ıci a el signi icado de las palab as a a ´es del conjun o de synse s en los que apa ece. En unci´on de las elaciones en e palab as, se han de inido a ias m´e icas de simili ud en e las que des acan las de Res- nik (Resnik, 1995), Lin (Lin, 1998) y Jian & Con a h (Jiang y Con a h, 1997). Las ´ecnicas de simili ud de palab as basadas en co pus de e minan el pa ecido sem´an ico de dos palab as en unci´on de los usos de esas palab as en una g an colecci´on de ex os. Po lo gene al, es as ´ecnicas se basan en alg´un ipo de ep esen aci´on ec o- ial de las palab as en unci´on de los dis in os con ex os en los que dichas palab as apa e- cen. Den o de las ´ecnicas basadas en co - pus des acan las de la en seman ic analysis (LSA) y las de wo d embedding. LSA analiza las elaciones en e un conjun o de documen- os y los ´e minos que con ienen, es ablecien- do que dos palab as son simila es si ocu en en agmen os simila es de ex os. LSA pa - e de una ma iz de palab as en e a docu- men os y aplica una ´ecnica ma em´a ica de- nominada singula alue decomposi ion que pe mi e educi el n´ume o de ilas (documen- os) p ese ando la simili ud en e columnas (palab as). Po su pa e, las ´ecnicas de wo d embedding pa en de ep esen aciones BOW (bag o wo ds) de los dis in os con ex os de las palab as pa a ob ene ep esen aciones ec- o iales de las palab as de dimensiones mu- cho m´as educidas que cap u an el signi icado y las elaciones en e palab as. Hay di e sas ´ecnicas pa a calcula es as ep esen aciones, una de las m´as empleadas se basa en edes neu onales de una sola capa ocul a que p e- dicen la palab a dado el con ex o o ice e sa, adap ando as´ı una de las piezas b´asicas de los modelos de ap endizaje p o undo, los au oco- di icado es. Las ´ecnicas de wo d embedding han demos ado se muy ´u iles en m´ul iples a eas del P ocesamien o del Lenguaje Na u- al apa e de la simili ud de ex os (Collobe e al., 2011), (Zou e al., 2013), y en la ac- ualidad gozan de g an popula idad. Es o se debe en g an medida a la exis encia de he- amien as como Wo d2 ec (Mikolo e al., 2013) o GloVe (Penning on, Soche , y Man- ning, 2014) que han acili ado mucho el ac- ceso a es e ipo de ´ecnicas a la comunidad in es igado a. Las ´ecnicas de simili ud a ni el de pa- lab as p opo cionan una in o maci´on b´asica pa a a on a la a ea de simili ud a ni el de ex os. Muchas de las ap oximaciones de si- mili ud de ex os se basan en la idea de ali- neamien o, que b´asicamen e consis e en un empa ejamien o en e palab as de los dos ex- os a compa a . El alineamien o en e dos ex os p opo - ciona un ma co sob e el que se pueden e a- lua dis in as heu ´ıs icas pa a de e mina el g ado de simili ud en e los ex os. Po ejem- plo, usando las conexiones p opues as en el alineamien o pa a calcula m´e icas de simi- li ud sem´an ica en e las palab as empa eja- das y ag egando es as m´e icas indi iduales pa a ob ene una m´e ica de simili ud global en e los dos ex os. En es e abajo es amos in e esados en analiza ´ıas que pe mi an in eg a el conoci- mien o ob enido median e wo d embeddings a la ho a de de e mina el g ado de simili ud de dos ex os. El uso de wo d embeddings no es nue o en sis emas de simili ud de ex os, pe- o siemp e como complemen o a o as ´ecni- cas o ecu sos. Nues a in enci´on es e alua el compo amien o de un sis ema que se base exclusi amen e en el conocimien o p opo cio- nado po un modelo de wo d embedding. Hemos iden i icado dos mane as en las que la ep esen aci´on de palab as en el espacio con inuo puede se de u ilidad pa a es a a- ea: con un m´e odo de alineamien o basado exclusi amen e en embeddings y con una e- p esen aci´on ec o ial de ex os basada en los ec o es de palab as. El m´e odo de alineamien o p opues o usa el g ado de simili ud de palab as como me- canismo pa a iden i ica posibles empa eja- mien os de palab as, cons uy´endose alinea- mien os bidi eccionales en los que las pala- b as son empa ejadas pa cialmen e en un- ci´on de su simili ud. La segunda ap oximaci´on consis e en el uso de los ec o es de palab as pa a cons ui ep esen aciones ec o iales de los ex os. Es- as ep esen aciones son compa adas median- e dos dis ancias cl´asicas como son la eucl´ıdea y la del coseno pa a ob ene as´ı un g ado de simili ud en e dos ex os. Hemos e aluado nues os sis emas con el co pus basado en wikipedia dis ibuido en la compe ici´on de simili ud de ex os en espa˜nol de SemE al-2015. De nues as dos ap oxima- ciones, la que mejo se compo a es la del m´e odo de alineamien o, pa a la que se ob- ienen esul ados muy ce canos al mejo sis- ema de SemE al. La idea de usa los ec o es de palab as pa a cons ui ec o es pa a los ex os se compo a sensiblemen e peo . No obs an e es a segunda ap oximaci´on pa ece cap u a aspec os de simili ud no ecogidos po la p ime a, ya que cuando se combinan las salidas de ambos sis emas se mejo an los esul ados del m´e odo de alineamien o, su- pe ando incluso los esul ados del mejo sis- ema de SemE al. El es o del a ´ıculo se o ganiza de la si- guien e o ma: la secci´on 2 desc ibe b e e- men e algunos abajos elacionados, la sec- ci´on 3 desc ibe an o el m´e odo basado en ep esen aci´on ec o ial de ex os como el ba- sado en alineamien o, as´ı como el m´e odo de combinaci´on aplicado, la secci´on 4 incluye los esul ados expe imen ales y, po ´ul imo, la secci´on 5 incluye las conclusiones y plan ea algunas l´ıneas de abajo u u o. 2 T abajos elacionados La mayo ´ıa de las con ibuciones ecien es en el ´ambi o de la simili ud sem´an ica de ex os p o ienen de los pa icipan es en las a eas que se p oponen anualmen e en SemE al1. De es as pa icipaciones han su gido muchas ´ecnicas, ideas, e incluso amewo ks que o e- cen componen es que pueden se u ilizados pa a desa olla sis emas de simili ud de ex- os, como po ejemplo DKP o (B¨a , Zesch, y Gu e ych, 2013). Apa e de los abajos p esen ados en SemE al, o o e e en e cl´asi- co en es e campo es el abajo de (Mihal- cea, Co ley, y S appa a a, 2006) cen ado en el c´alculo de simili ud sem´an ica pa a ex os co os, y en el que se esumen las m´e icas de simili ud m´as impo an es que pos e io - men e se han enido u ilizando como pa e de la mayo ´ıa de los sis emas de simili ud de ex os. Las dis in as p opues as que han pa ici- pado en las ediciones ecien es de las a eas de simili ud de SemE al son combinaciones de m´e icas cl´asicas con ideas o iginales. En muchos casos, los pa icipan es an mejo an- do sus sis emas a˜no a a˜no pa a inco po a nue as ideas o pa a adap a se a los dis in os cambios en la de inici´on de las a eas po pa - e de los o ganizado es. A modo de mues a del ipo de ´ecnicas usadas en es os sis emas, esumimos a con inuaci´on las ca ac e ´ıs icas m´as signi ica i as de los es mejo es sis emas en la a ea en espa˜nol de la compe ici´on de SemE al de 2015 (Agi e e al., 2015), cuyo co pus hemos usado en nues os expe imen- os. El mejo g upo ue (H¨anig, Remus, y Puen e, 2015), su soluci´on in eg a es ´ecni- cas: ep esen aci´on ec o ial de ex os (BOW y dis ancia del coseno), alineamien o median- e m´e icas de simili ud y uso de machine lea ning pa a la combinaci´on de las dis in- as m´e icas calculadas. Usa un alineamien o secuencial y emplea Wo d2 ec en una ´ul i- ma ase pa a in en a empa eja palab as e- siduales que no han sido empa ejadas po su ´ecnica de alineamien o. El segundo g upo de la compe ici´on (Ka- 1h ps://en.wikipedia.o g/wiki/SemE al umu i, Vuggumudi, y Chi i ala, 2015) se apoya en un sis ema p e io pa a ingl´es y u i- liza el aduc o de Google pa a adap a las en adas al espa˜nol a su sis ema. In eg a un sis ema de alineamien o con dis in as m´e i- cas basadas en p opo cionalidad, n´ume o de sus an i os, n´ume o de adje i os, ama˜no de los ex os, e c. El e ce g upo de la compe ici´on (Bi¸cici, 2015) p esen ´o un sis ema basado en m´aqui- nas de aducci´on e e encial. La idea p in- cipal es compa a c´omo se pa ecen los ex os o iginales cuando son aducidos a o os idio- mas. 3 M´e odo p opues o El m´e odo p opues o pa a el c´alculo de la si- mili ud en e ex os se basa en la combina- ci´on de di e sos indicado es en los que el ac- o com´un es el uso de wo d embeddings pa a ep esen a las palab as. 3.1 Ag egando wo d embeddings La p ime a ap oximaci´on que o ma pa e de nues o sis ema consis e en la aplicaci´on de alguna medida de simili ud en e los ec o- es que p opo ciona la ep esen aci´on de wo d embeddings. Dado que es os ec o es es ´an asociados a palab as indi iduales, pa a cada ex o es necesa io aplica alg´un m´e odo que uni ique los ec o es de cada palab a gene ando un ´unico ec o . T as p oba dis in as unciones de ag egaci´on, se eligi´o como ep esen aci´on la media a i m´e ica de los ec o es, ob eni- da sumando odos los ec o es de palab as y di idiendo en e el n´ume o de palab as que componen el ex o (ecuaci´on 1). ~ Vd=Pn i=0 ~ i n(1) Una ez ob enido el ec o ag egado pa a cada ex o se aplican medidas de simili ud ‘ adicionales’, como son la dis ancia eucl´ıdea y la simili ud del coseno. 3.2 Alineamien o O o indicado que ob enemos sob e el g a- do de simili ud en e los ex os se basa en la idea gene al del alineamien o de palab as. En es e caso se lle a a cabo el empa ejamien o de las palab as que, pe eneciendo cada una a un ex o dis in o, gua dan alguna elaci´on sem´an ica en e ellas. Una ez comple ada la ase de alineamien o de palab as se u iliza la dis ancia en e los wo d embeddings de cada palab a pa a inalmen e aplica una unci´on de ag egaci´on que nos p opo cione el g ado de simili ud global en e los ex os. El alineamien o se ealiza habi ualmen e en un ´unico sen ido, buscando pa a cada pa- lab a de la o aci´on de meno ama˜no aque- lla que debe o ma pa eja con ella de en e odas las que o man la o aci´on m´as la ga. Sin emba go, en nues o m´e odo ealizamos un alineamien o bidi eccional, as el cual se desca an los pa es de palab as epe idos an- es de oma la decisi´on inal. De es e modo con amos con un mayo n´ume o de medidas pa ciales mejo ando los esul ados inales. El p oceso comienza con la cons ucci´on de un ec o en el que exis e una posici´on asociada a cada palab a del conjun o o ma- do po la uni´on de los dos ex os a analiza . Pa a cada palab a del p ime ex o se bus- ca ´a una palab a del segundo ex o con la que alinea la. Si la misma palab a exis e en los dos ex os se alinea ´a consigo misma, y en caso con a io se calcula ´a la dis ancia en e las ep esen aciones ec o iales de la palab a de e e encia del p ime ex o y odas las del segundo, con el in de busca la m´as ce cana. El alo a in oduci en la posici´on del ec o asociada a la palab a de e e encia se ´a un 1 en el p ime caso, y 1 menos la dis ancia en el segundo. Si el alineamien o no se puede lle a a cabo se in oduci ´a un 0. Es o puede sucede si la palab a no es ´a p esen e en el ocabula io del modelo de wo d embeddings u ilizado. El ec o esul an e ep esen a indicado- es indi iduales de simili ud pa a las pala- b as que apa ecen en los ex os, po lo que es necesa io aplica una unci´on de ag egaci´on. En el algo i mo 1 se desc ibe el p oceso de o ma m´as de allada, siendo posible apli- ca dis in as con igu aciones pa a ob ene las selec ed wo ds que se u ilizan pa a gene a el alo ag egado de simili ud (n´ume o o al de palab as, palab as con alo dis in o de ce o, e c.). En la igu a 1 se mues a un ejemplo de alineamien o en e dos ex os, incluyendo los alo es de simili ud ob enidos pa a cada pa de palab as. El ec o esul an e end ´a on- ce posiciones (el n´ume o de palab as dis in as p esen es en ambos ex os) y el g ado de simi- li ud se calcula en es e caso con las posiciones cuyo alo es dis in o de ce o, siendo el esul- ado 0,718 sob e 1. La igu a e leja la capa- 4Dos o aciones son comple amen e equi alen es al signi ica la misma cosa. 3Dos o aciones son p ´ac icamen e equi alen es pe o algunos de alles di ie en. 2Dos o aciones son ap oximadamen e equi alen es pe o alguna in o maci´on impo an e di ie e o no es ´a. 1Dos o aciones no son equi alen es pe o son del mismo ema. 0Dos o aciones son de di e en es emas. Tabla 1: Desc ipci´on de los ni eles de simili ud pa a la a ea de SemE al 2015 Algo i mo 1 Alineamien o en pseudoc´odigo Requi e: 1, 2se s de okens, m = modelo Wo d2Vec Ensu e: sim = simili ud m´e ica 1: ocab = 1+ 2 2: bow = [0] ∗ ocab.size() 3: o all win 1do 4: i win 2 hen 5: bow[w] = 1 6: else i win m hen 7: bow[w] = max(m.simila i y(w, 2)) 8: else 9: con inue 10: end i 11: end o 12: o all win 2do 13: i win m hen 14: bow[w] = max(m.simila i y(w, 1)) 15: else 16: con inue 17: end i 18: end o 19: alues = (w o w in selec ed wo ds) 20: sim =sum( alues)/ alues.size() 21: e u n sim Figu a 1: Ejemplo de alineamien o cidad de es ablece elaciones sem´an icas en- e palab as dis in as a a ´es del modelo de wo d embedding (‘ abajado es’-‘empleados’) y la posibilidad de ene una palab a alineada con m´as de una palab a dis in a (‘de’). 3.3 Combinaci´on Con el obje i o de ap o echa los di e en es en oques apo ados po las soluciones p o- pues as en las secciones an e io es, hemos ex- pe imen ado con un m´e odo de combinaci´on basado en un algo i mo de ap endizaje au- om´a ico supe isado pa a eg esi´on. En es- e caso se cons uye un conjun o de da os de en enamien o o mado po los alo es de- uel os po los sis emas an e io men e desc i- os, gene ando un nue o modelo que se pueda aplica a nue os pa es de ex os que se deseen analiza . 4 Expe imen aci´on Como ma co de e e encia pa a e alua el endimien o de nues a p opues a se ecu- i´o a la ´ul ima edici´on de la con e encia in- e nacional SemE al, celeb ada en 2015 (Agi- e e al., 2015). En e los di e en es e os que se p esen- a on en es e e en o, hemos seleccionado la a ea pa a el espa˜nol que consis e en, dadas dos o aciones, de ol e un alo de simili ud con inuo en e 0 y 4. Pa a en ende la di e- encia de ma ices que hay en e los dis in os alo es, mos amos en la abla 1 una peque˜na desc ipci´on de cada uno de los cinco ni eles en que se ha di idido el g ado de simili ud a ob ene . Teniendo en cuen a el al o pode de con- oca o ia de es e e en o y el ni el de los pa - icipan es, conside amos la abla de esul a- dos de es a a ea el mejo ma co de e e encia posible pa a alida nues a p opues a. En la abla 2 se mues an ´unicamen e los mejo es esul ados de SemE al 2015. Sis ema Pea son ∆ Baseline- okencos 0,529 0,0 % RTM-DCU 0,582 5,4 % UMDulu h 0,594 6,5 % ExBThemis 0,706 17,7 % Tabla 2: Resul ados SemE al 2015 Valo F ases 4 El esp´ecimen es excepcional po las pa es conse adas: un c ´aneo y mand´ıbula y un molde in e no de la caja c aneal. El esp´ecimen comp ende la mayo pa e de la ca a y mand´ıbula con los dien es y un molde in e no de la caja c aneal. 3“Time 100” es una lis a de las 100 pe sonas m´as in luyen es seg´un la e is a Time. La p ime a lis a ue publicada en 1999 con las 100 pe sonas m´as in luyen es del siglo 20. 2La “ma ine a” es un baile de pa eja suel o, el m´as conocido de la cos a del Pe ´u. La ma ine a es el baile nacional del Pe ´u, y su ejecuci´on busca hace se con de oche de g acia, pica d´ıa y des eza. 1La “c ip a de San a Leocadia” es ´a si uada en el in e io de la ca ed al de O iedo, As u ias. Es eban B´a ho y ue sepul ado en la c ip a de la ca ed al de Wawel en C aco ia. 0El ´ıo a a iesa la impo an e ciudad de Puebla de Za agoza, la cua a m´as poblada del pa´ıs. El “G ˆemio Espo i o Bag´e” es un club de ´u bol b asile˜no, de la ciudad de Bag´e en el es ado de Rio G ande do Sul. Tabla 3: Ejemplos de pa es de ases pa a cada ni el de simili ud 4.1 Conjun o de da os El conjun o de da os con iene pa es de o a- ciones ex a´ıdas de los a ´ıculos de la Wiki- pedia y cons a como es habi ual de dos pa - es, una de ain y o a de es . Cada pa e iene 324 y 251 pa es de o aciones espec i a- men e. En la abla 3 se mues a un ejemplo ex a´ıdo del conjun o de da os pa a cada uno de los ni eles de simili ud es ablecidos pa a la a ea. Los alo es de simili ud de las o a- ciones ue on asignados calculando la media de las asignaciones manuales ealizadas po cinco jueces humanos. Las o aciones en gene- al es ´an bien cons uidas y usan un lenguaje o mal. Se ealiz´o un peque˜no p e-p ocesado que consis i´o ´unicamen e en elimina los signos de pun uaci´on. Aunque es una p ´ac ica com´un, la eliminaci´on de palab as huecas o s op wo ds no se lle ´o a cabo al conside a se que apo aban in o maci´on ele an e al p oceso de alineamien o. 4.2 Modelos Wo d2Vec El sis ema de wo d embedding que hemos em- pleado en es a p opues a pa a ob ene la e- p esen aci´on ec o ial de las palab as es ´a ba- sado en la implemen aci´on de Wo d2Vec (Mi- kolo e al., 2013) que encon amos en la he- amien a Gensim (ˇ Reh˚uˇ ek y Sojka, 2010). A a ´es de ella hemos gene ado un p ime modelo (Modelo-1) con ex os en espa˜nol p o- enien es de a ´ıculos de la Wikipedia2, man- eniendo as´ı el mismo dominio que encon a- mos en los da os de la a ea de SemE al que 2h ps://dumps.wikimedia.o g/eswiki/la es / nos si e de e e encia. Es e modelo se c e´o con ec o es de 300 dimensiones, haciendo uso de la opci´on nega- i e sample pa a elimina palab as de uido y ejecu ando un o al de 20 i e aciones pa a e o za el en enamien o y mejo a los esul- ados, siendo cada ez m´as es ic o el ac o de ap endizaje en cada una de es as e apas. Adem´as de gene a es e nue o modelo ambi´en se han lle ado a cabo expe imen- os u ilizando un modelo ex endido (Ca de- llino, 2016) (Modelo-2). Pa a su cons ucci´on se u iliza on, adem´as de ex os de la Wikipe- dia, o as uen es de da os como el co pus AnCo a-ES 3o Eu opa l 4. La expe imen aci´on con es e modelo ex- endido nos pe mi i ´a comp oba los e ec os de in oduci en el modelo palab as ex a´ıdas de o os ipos de documen os con sus espec- i os con ex os, lo cual a ec a ´a a las dis in- as m´e icas aqu´ı expues as que hacen uso de dicho modelo. 4.3 Resul ados A la ho a de e alua los esul ados, se ha u i- lizado la medida es ad´ıs ica que se aplic´o en la a ea o iginal del SemE al, el coe icien e de co elaci´on de Pea son. En las ablas 4 y 5 se mues an los esul a- dos ob enidos po los m´e odos aqu´ı p opues- os, as´ı como el mejo esul ado egis ado en la a ea de SemE al 2015 (ExBThemis). Apa ecen an o los m´e odos indi iduales co- mo el esul ado de combina dichos m´e odos jun o a la di e encia del esul ado espec o al 3h p://clic.ub.edu/co pus/ 4h p://www.s a m .o g/eu opa l/ sis ema ExBThemis. En la abla 4 emos los esul ados ob enidos con el modelo de wo d embeddings c eado exclusi amen e con da os de la Wikipedia (Modelo-1), mien as que en la abla 5 emos los esul ados ob enidos u i- lizando el modelo ex endido con da os adi- cionales que no p o ienen de la Wikipedia (Modelo-2). Sis ema Pea son ∆ ExBThemis 0,706 - Euclidea (E) 0,509 -19,7 % Coseno (C) 0,467 -23,9 % Alineamien o (A) 0,692 -1,4 % Combinado (E+C+A) 0,713 0,7 % Tabla 4: Resul ados con el Modelo-1 Sis ema Pea son ∆ ExBThemis 0,706 - Euclidea (E) 0,642 -6,4 % Coseno (C) 0,646 -5,9 % Alineamien o (A) 0,687 -1,8 % Combinado (E+C+A) 0,723 1,8 % Tabla 5: Resul ados con el Modelo-2 En ambos casos las m´e icas empleadas de o ma indi idual no son capaces de ob e- ne esul ados que supe en los ob enidos po el sis ema ExBThemis, aunque el m´e odo de alineamien o aqu´ı plan eado se queda a me- nos de dos pun os po cen uales. Teniendo en cuen a que nos compa amos con el mejo sis- ema de en e odos los que se p esen a on pa a esol e es a a ea en la edici´on 2015 de SemE al, dicho esul ado puede conside a - se ele an e po s´ı mismo. Sin emba go, es la combinaci´on de las di e en es m´e icas la que a oja las mejo es ci as supe ando sig- ni ica i amen e nues a e e encia, especial- men e en el caso de u iliza el Modelo-2. P ecisamen e en el mejo de los casos, u i- lizando el Modelo-2, la inse ci´on de ex os de di e en es dominios a la ho a de gene a el modelo de wo d embedding a ec a nega i- amen e al m´e odo de alineamien o, quiz´as po las di e encias en cuan o a las elaciones sem´an icas en e palab as que son ap endi- das pa iendo de dichos ex os. Sin emba go, ese en iquecimien o del ocabula io a o e- ce eno memen e a las m´e icas m´as adicio- nales, que consiguen esul ados conside able- men e mejo es bene iciando con ello a la com- binaci´on, que compensa as´ı la lige a p´e dida su ida po el alineamien o. 5 Conclusiones y abajo u u o En es e abajo hemos explo ado la o ma de ap o echa un modelo de wo d embedding pa a mejo a los esul ados en una a ea de simili ud sem´an ica de ex os. Nues o p in- cipal obje i o e a e alua la mejo a que se puede ob ene en es a a ea sin hace uso de o os ecu sos que no sean la ep esen aci´on ec o ial en el espacio con inuo. Pa a ello he- mos de inido dos mane as de calcula la simi- li ud sem´an ica de ex os. Po un lado, me- dian e un alineamien o en e ex os bidi ec- cional y ponde ado en unci´on del pa ecido de las palab as empa ejadas. La o a ´ecni- ca se apoya en los ec o es de palab as pa a cons ui ep esen aciones ec o iales de los ex os que son compa adas pa a de e mina el g ado de simili ud en e ellos. Los expe i- men os sob e un co pus de la compe ici´on Se- mE al de 2015 pa a espa˜nol mues an que el m´e odo de alineamien o se compo a de ma- ne a muy sa is ac o ia, quedando muy ce ca del mejo sis ema de la compe ici´on. En el ca- so de la ´ecnica basada en la ep esen aci´on ec o ial de ex os, los esul ados son peo es pe o apo an conocimien o complemen a io. Es o se demues a con el hecho de que cuan- do se combinan las salidas de ambas ´ecnicas se consiguen mejo a ambos esul ados, su- pe ando incluso al mejo de los sis emas de la compe ici´on. Tambi´en hemos expe imen a- do con dos modelos dis in os de wo d embed- ding, uno de ellos en enado exclusi amen e con ex os de Wikipedia y o o, m´as ex enso, ambi´en con ex os de la Wikipedia m´as ex- os de o as uen es. Dado que el co pus de SemE al es ´a c eado con ex os de Wikipe- dia, es e expe imen o nos ha pe mi ido e a- lua la sensibilidad de las ´ecnicas a los ex os usados pa a el en enamien o de los modelos. Los expe imen os han mos ado que la ´ecni- ca basada en la ep esen aci´on ec o ial de ex os se bene icia de un modelo de wo d em- bedding m´as ex enso aunque en enado con ex os de un dominio di e en e. Po su pa - e, la ´ecnica de alineamien o es penalizada le emen e po el cambio de dominio aunque sus esul ados siguen siendo mejo es que los de la ´ecnica de ep esen aci´on ec o ial. En cualquie caso, la combinaci´on sigue mejo an- do los esul ados de ambas ´ecnicas, quedan- do ambi´en po encima del mejo sis ema de la compe ici´on. Como abajo u u o es amos especialmen e in e esados en analiza el com- po amien o de nues os sis emas en un con- ex o mul iling¨ue. El buen compo amien o de las ´ecnicas de wo d embedding a la ho- a de compa a palab as de dis in os idiomas (Mikolo , Le, y Su ske e , 2013) y el hecho de que nues a ap oximaci´on s´olo se base en la in o maci´on de los modelos de wo d embed- ding nos hace pensa que puede compo a se bien pa a calcula la simili ud de ex os en dis in os idiomas. Ag adecimien os Es e abajo ha sido inanciado a a ´es del p oyec o de in es igaci´on AORESCU (P11- TIC-7684 MO). Bibliog a ´ıa Agi e, E., C. Banea, C. Ca die, D. Ce , M. Diab, A. Gonzalez-Agi e, W. Guo, I. Lopez-Gazpio, M. Ma i xala , y R. Mihalcea. 2015. Seme al-2015 ask 2: Seman ic ex ual simila i y, english, spanish and pilo on in e p e abili y. En P oceedings o he 9 h in e na io- nal wo kshop on seman ic e alua ion (SemE al 2015), p´aginas 252–263. B¨a , D., T. Zesch, y I. Gu e ych. 2013. Dk- p o simila i y: An open sou ce amewo k o ex simila i y. En ACL (Con e en- ce Sys em Demons a ions), p´aginas 121– 126. Bi¸cici, E. 2015. R m-dcu: P edic ing seman- ic simila i y wi h e e en ial ansla ion machines. SemE al-2015. Ca dellino, C. 2016. Spanish Billion Wo ds Co pus and Embeddings, Ma ch. Collobe , R., J. Wes on, L. Bo ou, M. Ka - len, K. Ka ukcuoglu, y P. Kuksa. 2011. Na u al language p ocessing (almos ) om sc a ch. J. Mach. Lea n. Res., 12:2493–2537, No iemb e. H¨anig, C., R. Remus, y X. D. L. Puen e. 2015. Exb hemis: Ex ensi e ea u e ex- ac ion om wo d alignmen s o seman- ic ex ual simila i y. SemE al-2015, p´agi- na 264. Jiang, J. y D. Con a h. 1997. Seman ic simila i y based on co pus s a is ics and lexical axonomy. a Xi p ep in cmp- lg/9709008. Ka umu i, S., V. Vuggumudi, y S. Chi i ala. 2015. Umdulu h-blue eam: S cs s-a mul- ilingual and chunk le el seman ic simila- i y sys em. SemE al-2015, p´agina 107. Lin, D. 1998. Ex ac ing colloca ions om ex co po a. En Fi s wo kshop on compu a ional e minology, p´aginas 57– 63. Ci esee . Mihalcea, R., C. Co ley, y C. S appa a a. 2006. Co pus-based and knowledge-based measu es o ex seman ic simila i y. En AAAI, olumen 6, p´aginas 775–780. Mikolo , T., Q. Le, y I. Su ske e . 2013. Ex- ploi ing simila i ies among languages o machine ansla ion. a Xi p ep in a - Xi :1309.4168. Mikolo , T., I. Su ske e , K. Chen, G. Co a- do, y J. Dean. 2013. Dis ibu ed ep e- sen a ions o wo ds and ph ases and hei composi ionali y. En Ad ances in neu- al in o ma ion p ocessing sys ems, p´agi- nas 3111–3119. Mille , G. 1995. Wo dne : a lexical da abase o english. Communica ions o he ACM, 38(11):39–41. Penning on, J., R. Soche , y C. Manning. 2014. Glo e: Global ec o s o wo d e- p esen a ion. En EMNLP, olumen 14, p´aginas 1532–1543. ˇ Reh˚uˇ ek, R. y P. Sojka. 2010. So wa- e F amewo k o Topic Modelling wi h La ge Co po a. En P oceedings o he LREC 2010 Wo kshop on New Challen- ges o NLP F amewo ks, p´aginas 45–50, Valle a, Mal a, Mayo. ELRA. h p:// is.muni.cz/publica ion/884893/en. Resnik, P. 1995. Using in o ma ion con en o e alua e seman ic simila i y in a axo- nomy. a Xi p ep in cmp-lg/9511007. Zou, W., R. Soche , D. Ce , y C. Man- ning. 2013. Bilingual wo d embeddings o ph ase-based machine ansla ion. En EMNLP, p´aginas 1393–1398.