Valoración de la corrección y seguridad de un bot conversacional en español para informar a los usuarios de lentes de contacto

GRAU EN ÒPTICA I OPTOMETRIA TRABAJO FINAL DE GRADO VALORACIÓN DE LA CORRECCIÓN Y SEGURIDAD DE UN BOT CONVERSACIONAL EN ESPAÑOL PARA INFORMAR A LOS USUARIOS DE LENTES DE CONTACTO MARIAM MANSOUR SOLIMAN DIRECTOR: Genis Ca dona To adeflo Depa amen : Òp ica i Op ome ia FEBRERO 2025 1 Valo ació de la co ecció i segu e a d'un bo con e sacional en espanyol pe in o ma els usua is de len s de con ac e Mansou Soliman, Ma iam1 1Facul a d’Òp ica i Op ome ia de Te assa, Uni e si a Poli ècnica de Ca alunya - Ba celonaTech (UPC). Campus Te assa. Ca e del Violinis a Vellsolá, 37, 08222 Te assa, Ba celona El eball consis eix a de e mina el ni ell de co ecció i la segu e a elacionada amb la in o mació que p opo ciona un bo con e sacional ( ipus Cha GPT) sob e l'ús i el man enimen de len s de con ac e. A la in oducció de l'es udi es a una e isió bibliog àfica d'a icles cien ífics sob e aspec es elaciona s amb les len s de con ac e, els ipus i les complicacions. Pel que a a la in el·ligència a ificial (IA), pa la em sob e què és el Cha GPT, els seus a an a ges i desa an a ges. Se simula à una sè ie de 10 p egun es ípiques que pod ien e els usua is, aques es p egun es es an seleccionades a pa i dels es udis oba s a la li e a u a i de la nos a expe iència clínica. Aques es p egun es les hem con es a amb els nos es p opis coneixemen s i desp és s'ha e una consul a al Cha GPT p egun an -li de cada p egun a de mane a que el Cha GPT espongui 3 egades pe a cada p egun a, pe ob eni 30 espos es en o al. Aques es 30 espos es les hem alo a en un Excel segons el con ingu , la segu e a , la legibili a de pa aules ècniques i de l'índex Flesch-Kincaid. S'ha calcula la mi jana i la des iació es ànda d de cada espos a i desp és ha e una compa a i a en e els dos idiomes. Els esul a s ob ingu s del Cha GPT e ela un g au al de ni ell de lec u a i com el Cha GPT no a una ce ca a emps eal a in e ne i pe an espon a pa i de la in o mació que es a en ena , que no sabem ben bé quin a se , pe an , es ecomana que les in es igacions u u es es concen en en aques es limi acions i dona impo ància a la comp ensió de lec u a pe a la in o mació que ansme a l'usua i s'en engui a una eda de 12-13 anys ap oximadamen . Pa aules clau: len s de con ac e, Cha GPT, in el·ligència a ificial (IA), cha bo . 2 Valo ación de la co ección y segu idad de un bo con e sacional en español pa a in o ma a los usua ios de len es de con ac o Mansou Soliman, Ma iam1 1Facul a d’Òp ica i Op ome ia de Te assa, Uni e si a Poli ècnica de Ca alunya - Ba celonaTech (UPC). Campus Te assa. Ca e del Violinis a Vellsolá, 37, 08222 Te assa, Ba celona El abajo consis e en de e mina el ni el de co ección y la segu idad elacionada con la in o mación que p opo ciona un bo con e sacional ( ipo Cha GPT) sob e el uso y el man enimien o de len es de con ac o. En la in oducción del es udio se ealiza una e isión bibliog á ica de a ículos cien í icos sob e aspec os elacionados con las len es de con ac o, sus ipos y sus complicaciones. En cuan o a la in eligencia a i icial (IA), habla emos sob e lo que es el Cha GPT, sus en ajas y des en ajas. Se simula á una se ie de 10 p egun as ípicas que pod ían ealiza los usua ios, es as p egun as es án seleccionadas a pa i de los es udios encon ados en la li e a u a y de nues a expe iencia clínica. Es as p egun as las hemos con es ado con nues os p opios conocimien os y después se ha hecho una consul a al Cha GPT p egun ándole de cada p egun a de mane a que el Cha GPT esponda 3 eces pa a cada p egun a, pa a ob ene 30 espues as en o al. Es as 30 espues as las hemos alo ado en un Excel según el Con enido, la Segu idad, la Legibilidad de palab as écnicas y del índice Flesch-Kincaid. Se ha calculado el p omedio y la des iación es ánda de cada espues a y después se ha hecho una compa a i a en e los dos idiomas. Los esul ados ob enidos del Cha GPT e ela un g ado al o de ni el de lec u a y como el Cha GPT no hace una búsqueda a iempo eal en in e ne y po lo an o esponde a pa i de la in o mación que se en enó, que no sabemos muy bien cuál ue, po lo an o, se ecomienda que las u u as in es igaciones se concen an en es as limi aciones y da impo ancia a la comp ensión de lec u a pa a la in o mación que ansmi e al usua io se en ienda a una edad de 12-13 años ap oximadamen e. Palab as cla e: len es de con ac o, Cha GPT, in elegencia a ificial (IA), cha bo . 3 Assessing he co ec ness and sa e y o a Spanish-language cha bo o in o m con ac lens wea e s Mansou Soliman, Ma iam1 1Facul a d’Òp ica i Op ome ia de Te assa, Uni e si a Poli ècnica de Ca alunya - Ba celonaTech (UPC). Campus Te assa. Ca e del Violinis a Vellsolá, 37, 08222 Te assa, Ba celona The wo k consis s o de e mining he le el o co ec ness and secu i y ela ed o he in o ma ion p o ided by a con e sa ional bo (Cha GPT ype) on he use and main enance o con ac lenses. In he in oduc ion o he s udy, a bibliog aphic e iew o scien ific a icles on aspec s ela ed o con ac lenses, hei ypes and complica ions is ca ied ou . Rega ding a ificial in elligence (AI), we will alk abou wha Cha GPT is, i s ad an ages and disad an ages. A se ies o 10 ypical ques ions ha use s could ask will be simula ed. These ques ions a e selec ed om he s udies ound in he li e a u e and om ou clinical expe ience. We ha e answe ed hese ques ions wi h ou own knowledge and hen a que y has been made o Cha GPT asking i o each ques ion so ha Cha GPT answe s 3 imes o each ques ion, o ob ain 30 answe s in o al. We ha e e alua ed hese 30 answe s in an Excel acco ding o he Con en , Secu i y, Legibili y o echnical wo ds and he Flesch-Kincaid index. The a e age and s anda d de ia ion o each esponse we e calcula ed and hen a compa ison was made be ween he wo languages. The esul s ob ained om Cha GPT e eal a high le el o eading and as Cha GPT does no pe o m a eal- ime sea ch on he In e ne and he e o e esponds based on he in o ma ion i was ained on, which we do no know e y well wha i was, he e o e, i is ecommended ha u u e esea ch concen a e on hese limi a ions and gi e impo ance o eading comp ehension so ha he in o ma ion ansmi ed o he use is unde s ood a an age o app oxima ely 12-13 yea s. Key wo ds: con ac lenses, Cha GPT, A ificial in elligence (AI), cha bo . 4 1. In oducción Las len es de con ac o son discos delgados y anspa en es de plás ico que se colocan en el ojo pa a mejo a la isión. Además, ienen un ac o ino y o ma cu ada. Es e p oduc o sani a io es cada ez más escogido po los usua ios que quie en co egi su ame opía. Las len es de con ac o pueden mejo a la isión de las pe sonas que ienen e o es e ac i os como, po ejemplo, miopía, hipe me opía, as igma ismo, además p esbicia. Las len es de con ac o uncionan de mane a simila a las ga as, e ac ando la luz de una mane a que ayuda a en oca co ec amen e la luz en la e ina, lo que pe mi e una isión cla a. Las len es de con ac o juegan un papel c ucial en mejo a la calidad de ida de las pe sonas que ienen e o es de e acción. Además, p opo cionan co ección isual e ec i a, comodidad, es é ica y lexibilidad, lo que las con ie e en una opción p e e ida pa a muchos. Exis en di e en es ipos de len es de con ac o: 1. Las blandas (Hid ogel o Silicona-hid ogel) 2. Las ígidas ( Co neales o Escle ales) El uso de las len es de con ac o ha aumen ado mucho a lo la go de los años pa a una amplia gama de aplicaciones, incluida la co ección de la isión, el a amien o de as o nos de la có nea y la cosmé ica1. Ap oximadamen e 150 millones de pe sonas en el mundo u ilizan len es de con ac o2pa a co egi los e o es de e acción y como p incipal opción e apéu ica en casos a aquia, que a ocono, có neas i egula es y anisome opía al a que no pueden ayuda con las ga as o a ecciones como p oblemas de la supe icie ocula que necesi an len es especiales pa a su manejo2. La mayo ía de las complicaciones elacionadas con las len es de con ac o que suelen pasa con los usua ios que se adap en po p ime a ez a las len es de con ac o, ocu en debido al incumplimien o de las ecomendaciones3, poca in o mación y consejos sob e el cuidado de las len es de con ac o, ya que muchos usua ios se in o man a a és de páginas web online, y más ecien emen e, a a és de he amien as de in eligencia a i icial (IA). Los dos subcampos de la IA son el ap endizaje au omá ico y el p ocesamien o del lenguaje na u al (NLP)4. El ap endizaje au omá ico incluye écnicas en las que se necesi a “ap endizaje supe isado”, es deci , los expe os e ique an y e alúan ca ac e ís icas especí icas y ni eles de se e idad en los da os, como en las imágenes, pa a en ena el sis ema de IA. Den o del ap endizaje au omá ico exis e un subcampo llamado ap endizaje p o undo, que emplea edes neu onales complejas pa a analiza y ap ende de g andes olúmenes de da os de mane a más a anzada. El ap endizaje p o undo, conocido como “ap endizaje no supe isado”, ya que e i a la necesidad de e ique a o clasi ica ca ac e ís icas especí icas de los da os. En luga de eso, analiza odas las ca ac e ís icas de la imagen en su conjun o y las compa a con un diagnós ico es ablecido po un expe o, pe mi iendo que el sis ema ap enda pa ones complejos po sí mismo5. El ap endizaje p o undo es á limi ado po el conjun o de da os de en enamien o que suelen se uni o mes/homogéneos y no siemp e incluyen su icien es ejemplos de di e en es en e medades. Además, pueden su gi p oblemas cuando hay desacue dos o a iaciones en e los expe os al iden i ica ca ac e ís icas de una en e medad. O a des en aja es el p oblema de la "caja neg a" en la IA: es o signi ica que el p oceso y las decisiones in e nas del sis ema no son cla os pa a el usua io, lo que di icul a en ende cómo se llega a un esul ado. 5 NLP, es el p ocesamien o del lenguaje na u al que es un subconjun o de la in eligencia a i icial, que se cen a en la ex acción y el p ocesamien o de da os de ex o que incluyen palab as esc i as y habladas6. NLP se ha u ilizado en di e sas aplicaciones médicas. Po ejemplo, se ex aen da os de ex o de no as en egis os médicos clínicos, qui ú gicos y elec ónicos pa a iden i ica casos de ca a a as7y glaucoma8. También se usa pa a clasi ica las de i aciones de pacien es ambula o ios a especialis as en o almología9, p edeci cómo la pé dida de isión elacionada con la diabe es10 a ec a á la calidad de ida y an icipa posibles complicaciones en la ci ugía de ca a a as11, en e o os casos. Los modelos de lenguaje g ande (LLM) son una clase a anzada de in eligencia a i icial que su ge después de los modelos de ap endizaje p o undo, especializados en ap ende y de ec a pa ones. Es os modelos es án diseñados especí icamen e pa a el p ocesamien o del lenguaje humano, pe mi iéndoles analiza , comp ende , gene a y maneja el lenguaje de mane a e ec i a12. LLM, han cob ado impo ancia as la ecien e in oducción del T ans o mado p een enado Gene a i o de Cha , más conocido como Cha -GPT13,14. A inicios de 2023, Cha GPT a ajo g an in e és en la comunidad médica mundial cuando log ó casi el 60 % de acie os, ce ca del pun aje de ap obación, en el Examen de Licencia Médica de los Es ados Unidos (USMLE). Es o ue posible g acias a su habilidad pa a esponde a di e sas p egun as en lenguaje na u al y po su es ilo de in e acción simila al de una con e sación humana14,15. El Cha GPT es un cha bo de in eligencia a i icial gene a i a, desa ollado po OpenAI. Lanzado en 2022 basado en LLM. Además, puede gene a espues as con e sacionales simila es a las humanas y pe mi e a los usua ios e ina y di igi una con e sación hacía la du ación, el o ma o, el es ilo, el ni el de de alle y el lenguaje deseados. Es un modelo de lenguaje basado en la in eligencia a i icial y que cada ez se es á ol iendo más ápidamen e popula den o de la comunidad cien í ica. La en aja más des acada del Cha GPT, es que u iliza el p ocesamien o del lenguaje na u al pa a gene a espues as a las p egun as que se le plan ean, siendo que el Cha GPT es el más u ilizado ac ualmen e. También se basa en las capacidades de los g andes modelos de lenguaje pa a gene a espues as cohe en es y con ex ualmen e ele an es. Además, es á diseñado pa a gene a espues as a los humanos a una amplia gama de indicaciones y p egun as y que puede mejo a la p es ación de a ención médica y calidad de ida de los pacien es16. El Cha GPT es cada ez más u ilizado po in es igado es y es udian es pa a a eas labo ales y académicas. El lenguaje au o i a io y con e sacionalmen e co ec o que p opo cionan es as he amien as puede enmasca a sus limi aciones inhe en es cuando se les p esen an p egun as cien í icas y clínicas especí icas16. DESVENTAJAS DEL CHATBOTS: Los cha bo s pueden se ú iles pa a pe sonas con habilidades limi adas en esc i u a o lenguaje, pe mi iéndoles c ea a eas esc i as de mane a más ápida y con mejo calidad. Sin emba go, c ece la p eocupación de que algunos usen es os cha bo s pa a edac a ensayos, a ículos cien í icos e incluso manusc i os de mane a poco é ica17. 6 Se le hizo una consul a a Cha GPT sob e emas como la "in es igación u u a," la "inno ación" y los "a ances ecnológicos" en el ámbi o de la oculoplas ia. Sin emba go, no ue capaz de o ece ideas nue as y solo epi ió concep os ya conocidos en la in es igación18. Po o o lado, cuando se le o muló la p egun a de mane a adecuada, Cha GPT demos ó la capacidad de inclui de alles especí icos como medicamen os, ins ucciones de seguimien o, ho a ios de consul a y ubicación en los esúmenes de al a médica19. Se descub ió ambién que el Cha GPT gene aba í ulos de a ículos ic icios que no exis ían en un 60-70% de las eces, asignando iden i icado es DOI que pe enecen a o os a ículos. Po es a azón, no es con iable pa a la ecupe ación de a ículos y no se ecomienda su uso en e isiones de li e a u a sob e la en e medad del ojo seco20. Se debe pe mi i el uso de he amien as de in eligencia a i icial únicamen e pa a acili a la legibilidad y la cla idad en el p oceso de edacción. Sin emba go, los au o es deben inclui una decla ación sob e el uso de es as he amien as al en ia su manusc i o/submisión21. Po lo que hace e e encia a las necesidades que ienen los usua ios de LC, menciona emos un es udio ecien e que se ealizó en Tehe án, I án en 3 clínicas, 2 clínicas que es án a iliadas a los hospi ales de o almología Fa abi y Noo y en o a clínica de o almología p i ada especializada que p esc ibe LC Blandas y Rígidas22. En es e es udio ealiza on una en e is a a 24 pacien es pa a de e mina las necesidades y dudas que enían espec o al uso y cuidado de len es de con ac o. Como se menciona á en el apa ado de Mé odos, es os a ículos, además de o os y de la expe iencia clínica, se u iliza on pa a de ini las p egun as que se p esen a ían al Cha GPT. En e las inquie udes de los usua ios de LC desc i as en el es udio des acan: - ¿Qué in o mación necesi an los usua ios de len es de con ac o (CLW) pa a usa LC? - ¿Qué capaci ación quie en ecibi espec o al uso de LC? - ¿Qué in o mación y capaci ación eciben du an e la p ime a isi a de p esc ipción de LC y qué in o mación se equie e, pe o no se p opo ciona? - ¿Qué in o mación es necesa ia pa a ellos después de ecibi la LC y ol e a casa que no ienen? - ¿Qué p eocupaciones ienen sob e las LC? En nues o abajo se p e ende de e mina el ni el de co ección y la segu idad elacionada con la in o mación que p opo ciona un bo con e sacional ( ipo Cha GPT) sob e uso y man enimien o de len es de con ac o. Se simula á unas 10 p egun as ípicas que pod ían ealiza los usua ios y alo a á las espues as del bo , y los posibles p oblemas de segu idad asociados a una in o mación inco ec a o pa cial. Hemos hecho la búsqueda en cas ellano pa a da p io idad a que el bo u ilice, a su ez, ecu sos en es e idioma pa a con ecciona sus espues as. És e es un abajo complemen a io de o o en el que se alo a á lo mismo, pe o en inglés, acili ando la compa ación de ambos g upos de espues as. El obje i o p incipal de nues o abajo es desa ia al Cha GPT con di e en es p egun as sob e len es de con ac o, el uso y man enimien o de los mismos como usua ios de len es de con ac o pa a compa a los esul ados y las espues as con a ículos cien í icos pa a asegu a que el Cha GPT pueda se una uen e con iable de in o mación pa a las pe sonas que no ienen idea sob e el uso de las len es de con ac o que se adap en/quie en adap a se po p ime a ez. 7 2. Mé odos y Ma e ial Se pensó en más de 10 p egun as y después se seleccionó sólo 10 p egun as pa a con es a las. Es as 10 p egun as es án en cas ellano e inglés. La azón de elegi es as 10 p egun as es po que son p egun as ecuen es de los usua ios que desean adap a se a LC po p ime a ez. Es án seleccionadas a pa i de los es udios encon ados en la li e a u a y de nues a expe iencia clínica. Nº P egun as PREGUNTAS EN CASTELLANO 1 ¿Quién puede adap a me len es de con ac o? 2 ¿Cómo cuido de mis len es de con ac o? 3 ¿Puedo do mi con mis len es de con ac o? 4 ¿Como puedo sabe si mis len es de con ac o es án caducadas? 5 ¿Puedo p oba las len es de con ac o de mi amigo? 6 ¿Puedo comp a len es de con ac o po In e ne ? 7 ¿Puedo u iliza len es de con ac o si engo ojo seco? 8 ¿Qué debo hace si mis ojos se i i an o se uel en ojos mien as uso mis len es de con ac o? 9 ¿Cómo sé si mis len es de con ac o es án den o hacia ue a? 10 ¿Puedo nada o ducha me con mis len es de con ac o pues as? Nº P egun as PREGUNTAS EN CASTELLANO 1 Which heal hca e p o essional can i my con ac lenses? 2 How can I ake ca e o my con ac lenses? 3 Can I sleep wi h my lenses on? 4 How can I unde s and i my con ac lenses a e expi ed? 8 5 Can I y my iend’s con ac lenses? 6 Can I o de con ac lenses o e he in e ne ? 7 Can I wea con ac lenses i I ha e d y eyes? 8 Wha should I do i my eyes become i i a ed o ed while wea ing my con ac lenses? 9 How do I know i my con ac lenses a e inside ou ? 10 Can I swim o showe wi h my con ac lenses in? Las 10 p egun as las hemos con es ado con nues os p opios conocimien os como op ome is as. Hemos p egun ado al Cha GPT las 10 p egun as y le hemos pedido 3 espues as de cada p egun a, es deci 30 espues as en o al de las 10 p egun as seleccionadas. En el Excel hemos alo ado las espues as de las 30 p egun as que nos con es aba el Cha GPT, según su con enido, segu idad y su legibilidad: en el con enido lo hemos alo ado con un ango del 0 al 10, el 0 quie e deci muy malo y el 10 muy bueno, la segu idad en e el 0 y el 10, el 0 quie e deci muy insegu o y el 10 es muy segu o. Respec o a la legibilidad, se ha alo ado en 2 ases, la legibilidad de palab as écnicas, que consis e en obse a si las espues as que daba el Cha GPT con ienen palab as écnicas o no y se ha alo ado en e el 0 (que es el No) y el 1 (Sí). Respec o a la legibilidad del índice de Flesch-Kincaid, es una p ueba que de e mina la acilidad de comp ensión y lec u a de un ex o. Fue c eada po Rudolph Flesch en 1956 y mejo ada po J. Pe e Kincaid en 1975, po enca go de la Ma ina de los Es ados Unidos. La p ueba o o ga al ex o un alo den o de una escala de pun os. Cuan o mayo sea el esul ado, más ácil se á en ende el documen o. El obje i o pa a la mayo ía de los documen os es ánda es un esul ado comp endido en e 60 y 70 que se co esponden ap oximadamen e a un ex o llano que se puede en ende ácilmen e po una pe sona de 12 o 13 años de edad. Es a p ueba se alo a en la página web del índice, simplemen e con la copia y pega de las espues as pa a calcula el índice, en es e caso hemos enido en cuen a el esul ado que da el easy sco e. Además, se alo ó cada una de las espues as del Cha GPT a odas las p egun as que se le p esen a on y se ob u o un p omedio po cada espues a. 9 14. Sallam M. (2023). Cha GPT U ili y in Heal hca e Educa ion, Resea ch, and P ac ice: Sys ema ic Re iew on he P omising Pe spec i es and Valid Conce ns. Heal hca e (Basel, Swi ze land), 11(6), 887. 15. Kung, T. H., Chea ham, M., Medenilla, A., Sillos, C., De Leon, L., Elepaño, C., Mad iaga, M., Aggabao, R., Diaz-Candido, G., Maningo, J., & Tseng, V. (2023). Pe o mance o Cha GPT on USMLE: Po en ial o AI-assis ed medical educa ion using la ge language models. PLOS digi al heal h, 2(2), e0000198. 16. Mo eddu R, Vigolo D, Ye isen AK. Tecnología de len es de Mo eddu, R., Vigolo, D., & Ye isen, A. K. (2019). Con ac Lens Technology: F om Fundamen als o Applica ions. Ad anced heal hca e ma e ials, 8(15), e1900368. 17. Hua, H. U., Kaakou , A. H., Rachi skaya, A., S i as a a, S., Sha ma, S., & Mammo, D. A. (2023). E alua ion and Compa ison o Oph halmic Scien ific Abs ac s and Re e ences by Cu en A ificial In elligence Cha bo s. JAMA oph halmology, 141(9), 819–824. 18. Se h I, Bulloch G, Xie Y, Zhu Z. Explo ing he po en ial o Cha GPT o ad ancing oculoplas ic su gical esea ch. Ann Oph halmol Vis Sci. 2023;6:1038–41. 19. Singh, S., Djalilian, A., & Ali, M. J. (2023). Cha GPT and Oph halmology: Explo ing I s Po en ial wi h Discha ge Summa ies and Ope a i e No es. Semina s in oph halmology, 38(5), 503–507. 20. Singh, S., & Wa son, S. (2023). Cha GPT as a ool o conduc ing li e a u e e iew o d y eye disease. Clinical & expe imen al oph halmology, 51(7), 731–732. 21. Salimi, A., & Saheb, H. (2023). La ge Language Models in Oph halmology Scien ific W i ing: E hical Conside a ions Blu ed Lines o No a All?. Ame ican jou nal o oph halmology, 254, 177–181. 22. Falaha i-Ma as , F., Alipou , F., Fa okhzadian, J., & Ahmadian, L. (2021). De e mining he in o ma ion needs o con ac lens wea e s o be e educa ion and mo e suppo : a quali a i e s udy. BMC oph halmology,21(1), 325. 23. Singhal K, Tu T, Go weis J, Say es R, Wulczyn E, Hou L, e al. Towa ds expe - le el medical ques ion answe ing wi h la ge language models. a xi p ep in . 2023;2305.090617. 24. Aye s, J. W., Poliak, A., D edze, M., Leas, E. C., Zhu, Z., Kelley, J. B., Faix, D. J., Goodman, A. M., Longhu s , C. A., Hoga h, M., & Smi h, D. M. (2023). Compa ing Physician and A ificial In elligence Cha bo Responses o Pa ien Ques ions Pos ed o a Public Social Media Fo um. JAMA in e nal medicine, 183(6), 589–596. 16