Valoración de la corrección y seguridad de un bot conversacional en español para informar a los usuarios de lentes de contacto

GRAU EN ÒPTICA I OPTOMETRIA TRABAJO FINAL DE GRADO VALORACIÓN DE LA CORRECCIÓN Y SEGURIDAD DE UN BOT CONVERSACIONAL EN ESPAÑOL PARA INFORMAR A LOS USUARIOS DE LENTES DE CONTACTO MARIAM MANSOUR SOLIMAN DIRECTOR: Genis Cardona Torradeflot Departament: Òptica i Optometria FEBRERO 2025 1 Valoració de la correcció i seguretat d'un bot conversacional en espanyol per informar els usuaris de lents de contacte Mansour Soliman, Mariam1 1Facultat d’Òptica i Optometria de Terrassa, Universitat Politècnica de Catalunya - BarcelonaTech (UPC). Campus Terrassa. Carrer del Violinista Vellsolá, 37, 08222 Terrassa, Barcelona El treball consisteix a determinar el nivell de correcció i la seguretat relacionada amb la informació que proporciona un bot conversacional (tipus ChatGPT) sobre l'ús i el manteniment de lents de contacte. A la introducció de l'estudi es fa una revisió bibliogràfica d'articles científics sobre aspectes relacionats amb les lents de contacte, els tipus i les complicacions. Pel que fa a la intel·ligència artificial (IA), parlarem sobre què és el ChatGPT, els seus avantatges i desavantatges. Se simularà una sèrie de 10 preguntes típiques que podrien fer els usuaris, aquestes preguntes estan seleccionades a partir dels estudis trobats a la literatura i de la nostra experiència clínica. Aquestes preguntes les hem contestat amb els nostres propis coneixements i després s'ha fet una consulta al ChatGPT preguntant-li de cada pregunta de manera que el ChatGPT respongui 3 vegades per a cada pregunta, per obtenir 30 respostes en total. Aquestes 30 respostes les hem valorat en un Excel segons el contingut, la seguretat, la legibilitat de paraules tècniques i de l'índex Flesch-Kincaid. S'ha calculat la mitjana i la desviació estàndard de cada resposta i després ha fet una comparativa entre els dos idiomes. Els resultats obtinguts del ChatGPT revela un grau alt de nivell de lectura i com el Chat GPT no fa una cerca a temps real a internet i per tant respon a partir de la informació que es va entrenar, que no sabem ben bé quin va ser, per tant, es recomana que les investigacions futures es concentren en aquestes limitacions i donar importància a la comprensió de lectura per a la informació que transmet a l'usuari s'entengui a una edat de 12-13 anys aproximadament. Paraules clau: lents de contacte, ChatGPT, intel·ligència artificial (IA), chatbot. 2 Valoración de la corrección y seguridad de un bot conversacional en español para informar a los usuarios de lentes de contacto Mansour Soliman, Mariam1 1Facultat d’Òptica i Optometria de Terrassa, Universitat Politècnica de Catalunya - BarcelonaTech (UPC). Campus Terrassa. Carrer del Violinista Vellsolá, 37, 08222 Terrassa, Barcelona El trabajo consiste en determinar el nivel de corrección y la seguridad relacionada con la información que proporciona un bot conversacional (tipo ChatGPT) sobre el uso y el mantenimiento de lentes de contacto. En la introducción del estudio se realiza una revisión bibliográfica de artículos científicos sobre aspectos relacionados con las lentes de contacto, sus tipos y sus complicaciones. En cuanto a la inteligencia artificial (IA), hablaremos sobre lo que es el ChatGPT, sus ventajas y desventajas. Se simulará una serie de 10 preguntas típicas que podrían realizar los usuarios, estas preguntas están seleccionadas a partir de los estudios encontrados en la literatura y de nuestra experiencia clínica. Estas preguntas las hemos contestado con nuestros propios conocimientos y después se ha hecho una consulta al ChatGPT preguntándole de cada pregunta de manera que el ChatGPT responda 3 veces para cada pregunta, para obtener 30 respuestas en total. Estas 30 respuestas las hemos valorado en un Excel según el Contenido, la Seguridad, la Legibilidad de palabras técnicas y del índice Flesch-Kincaid. Se ha calculado el promedio y la desviación estándar de cada respuesta y después se ha hecho una comparativa entre los dos idiomas. Los resultados obtenidos del ChatGPT revela un grado alto de nivel de lectura y como el ChatGPT no hace una búsqueda a tiempo real en internet y por lo tanto responde a partir de la información que se entrenó, que no sabemos muy bien cuál fue, por lo tanto, se recomienda que las futuras investigaciones se concentran en estas limitaciones y dar importancia a la comprensión de lectura para la información que transmite al usuario se entienda a una edad de 12-13 años aproximadamente. Palabras clave: lentes de contacto, ChatGPT, intelegencia artificial (IA), chatbot. 3 Assessing the correctness and safety of a Spanish-language chatbot to inform contact lens wearers Mansour Soliman, Mariam1 1Facultat d’Òptica i Optometria de Terrassa, Universitat Politècnica de Catalunya - BarcelonaTech (UPC). Campus Terrassa. Carrer del Violinista Vellsolá, 37, 08222 Terrassa, Barcelona The work consists of determining the level of correctness and security related to the information provided by a conversational bot (ChatGPT type) on the use and maintenance of contact lenses. In the introduction to the study, a bibliographic review of scientific articles on aspects related to contact lenses, their types and complications is carried out. Regarding artificial intelligence (AI), we will talk about what ChatGPT is, its advantages and disadvantages. A series of 10 typical questions that users could ask will be simulated. These questions are selected from the studies found in the literature and from our clinical experience. We have answered these questions with our own knowledge and then a query has been made to ChatGPT asking it for each question so that ChatGPT answers 3 times for each question, to obtain 30 answers in total. We have evaluated these 30 answers in an Excel according to the Content, Security, Legibility of technical words and the Flesch-Kincaid index. The average and standard deviation of each response were calculated and then a comparison was made between the two languages. The results obtained from ChatGPT reveal a high level of reading and as ChatGPT does not perform a real-time search on the Internet and therefore responds based on the information it was trained on, which we do not know very well what it was, therefore, it is recommended that future research concentrate on these limitations and give importance to reading comprehension so that the information transmitted to the user is understood at an age of approximately 12-13 years. Key words: contact lenses, ChatGPT, Artificial intelligence (AI), chatbot. 4 1. Introducción Las lentes de contacto son discos delgados y transparentes de plástico que se colocan en el ojo para mejorar la visión. Además, tienen un tacto fino y forma curvada. Este producto sanitario es cada vez más escogido por los usuarios que quieren corregir su ametropía. Las lentes de contacto pueden mejorar la visión de las personas que tienen errores refractivos como, por ejemplo, miopía, hipermetropía, astigmatismo, además presbicia. Las lentes de contacto funcionan de manera similar a las gafas, refractando la luz de una manera que ayuda a enfocar correctamente la luz en la retina, lo que permite una visión clara. Las lentes de contacto juegan un papel crucial en mejorar la calidad de vida de las personas que tienen errores de refracción. Además, proporcionan corrección visual efectiva, comodidad, estética y flexibilidad, lo que las convierte en una opción preferida para muchos. Existen diferentes tipos de lentes de contacto: 1. Las blandas (Hidrogel o Silicona-hidrogel) 2. Las rígidas ( Corneales o Esclerales) El uso de las lentes de contacto ha aumentado mucho a lo largo de los años para una amplia gama de aplicaciones, incluida la corrección de la visión, el tratamiento de trastornos de la córnea y la cosmética1. Aproximadamente 150 millones de personas en el mundo utilizan lentes de contacto2para corregir los errores de refracción y como principal opción terapéutica en casos afaquia, queratocono, córneas irregulares y anisometropía alta que no pueden ayudar con las gafas o afecciones como problemas de la superficie ocular que necesitan lentes especiales para su manejo2. La mayoría de las complicaciones relacionadas con las lentes de contacto que suelen pasar con los usuarios que se adapten por primera vez a las lentes de contacto, ocurren debido al incumplimiento de las recomendaciones3, poca información y consejos sobre el cuidado de las lentes de contacto, ya que muchos usuarios se informan a través de páginas web online, y más recientemente, a través de herramientas de inteligencia artificial (IA). Los dos subcampos de la IA son el aprendizaje automático y el procesamiento del lenguaje natural (NLP)4. El aprendizaje automático incluye técnicas en las que se necesita “aprendizaje supervisado”, es decir, los expertos etiquetan y evalúan características específicas y niveles de severidad en los datos, como en las imágenes, para entrenar el sistema de IA. Dentro del aprendizaje automático existe un subcampo llamado aprendizaje profundo, que emplea redes neuronales complejas para analizar y aprender de grandes volúmenes de datos de manera más avanzada. El aprendizaje profundo, conocido como “aprendizaje no supervisado”, ya que evita la necesidad de etiquetar o clasificar características específicas de los datos. En lugar de eso, analiza todas las características de la imagen en su conjunto y las compara con un diagnóstico establecido por un experto, permitiendo que el sistema aprenda patrones complejos por sí mismo5. El aprendizaje profundo está limitado por el conjunto de datos de entrenamiento que suelen ser uniformes/homogéneos y no siempre incluyen suficientes ejemplos de diferentes enfermedades. Además, pueden surgir problemas cuando hay desacuerdos o variaciones entre los expertos al identificar características de una enfermedad. Otra desventaja es el problema de la "caja negra" en la IA: esto significa que el proceso y las decisiones internas del sistema no son claros para el usuario, lo que dificulta entender cómo se llega a un resultado. 5 NLP, es el procesamiento del lenguaje natural que es un subconjunto de la inteligencia artificial, que se centra en la extracción y el procesamiento de datos de texto que incluyen palabras escritas y habladas6. NLP se ha utilizado en diversas aplicaciones médicas. Por ejemplo, se extraen datos de texto de notas en registros médicos clínicos, quirúrgicos y electrónicos para identificar casos de cataratas7y glaucoma8. También se usa para clasificar las derivaciones de pacientes ambulatorios a especialistas en oftalmología9, predecir cómo la pérdida de visión relacionada con la diabetes10 afectará la calidad de vida y anticipar posibles complicaciones en la cirugía de cataratas11, entre otros casos. Los modelos de lenguaje grande (LLM) son una clase avanzada de inteligencia artificial que surge después de los modelos de aprendizaje profundo, especializados en aprender y detectar patrones. Estos modelos están diseñados específicamente para el procesamiento del lenguaje humano, permitiéndoles analizar, comprender, generar y manejar el lenguaje de manera efectiva12. LLM, han cobrado importancia tras la reciente introducción del Transformador preentrenado Generativo de Chat, más conocido como Chat-GPT13,14. A inicios de 2023, ChatGPT atrajo gran interés en la comunidad médica mundial cuando logró casi el 60 % de aciertos, cerca del puntaje de aprobación, en el Examen de Licencia Médica de los Estados Unidos (USMLE). Esto fue posible gracias a su habilidad para responder a diversas preguntas en lenguaje natural y por su estilo de interacción similar al de una conversación humana14,15. El ChatGPT es un chatbot de inteligencia artificial generativa, desarrollado por OpenAI. Lanzado en 2022 basado en LLM. Además, puede generar respuestas conversacionales similares a las humanas y permite a los usuarios refinar y dirigir una conversación hacía la duración, el formato, el estilo, el nivel de detalle y el lenguaje deseados. Es un modelo de lenguaje basado en la inteligencia artificial y que cada vez se está volviendo más rápidamente popular dentro de la comunidad científica. La ventaja más destacada del ChatGPT, es que utiliza el procesamiento del lenguaje natural para generar respuestas a las preguntas que se le plantean, siendo que el ChatGPT es el más utilizado actualmente. También se basa en las capacidades de los grandes modelos de lenguaje para generar respuestas coherentes y contextualmente relevantes. Además, está diseñado para generar respuestas a los humanos a una amplia gama de indicaciones y preguntas y que puede mejorar la prestación de atención médica y calidad de vida de los pacientes16. El ChatGPT es cada vez más utilizado por investigadores y estudiantes para tareas laborales y académicas. El lenguaje autoritario y conversacionalmente correcto que proporcionan estas herramientas puede enmascarar sus limitaciones inherentes cuando se les presentan preguntas científicas y clínicas específicas16. DESVENTAJAS DEL CHATBOTS: Los chatbots pueden ser útiles para personas con habilidades limitadas en escritura o lenguaje, permitiéndoles crear tareas escritas de manera más rápida y con mejor calidad. Sin embargo, crece la preocupación de que algunos usen estos chatbots para redactar ensayos, artículos científicos e incluso manuscritos de manera poco ética17. 6 Se le hizo una consulta a ChatGPT sobre temas como la "investigación futura," la "innovación" y los "avances tecnológicos" en el ámbito de la oculoplastia. Sin embargo, no fue capaz de ofrecer ideas nuevas y solo repitió conceptos ya conocidos en la investigación18. Por otro lado, cuando se le formuló la pregunta de manera adecuada, ChatGPT demostró la capacidad de incluir detalles específicos como medicamentos, instrucciones de seguimiento, horarios de consulta y ubicación en los resúmenes de alta médica19. Se descubrió también que el ChatGPT generaba títulos de artículos ficticios que no existían en un 60-70% de las veces, asignando identificadores DOI que pertenecen a otros artículos. Por esta razón, no es confiable para la recuperación de artículos y no se recomienda su uso en revisiones de literatura sobre la enfermedad del ojo seco20. Se debe permitir el uso de herramientas de inteligencia artificial únicamente para facilitar la legibilidad y la claridad en el proceso de redacción. Sin embargo, los autores deben incluir una declaración sobre el uso de estas herramientas al enviar su manuscrito/submisión21. Por lo que hace referencia a las necesidades que tienen los usuarios de LC, mencionaremos un estudio reciente que se realizó en Teherán, Irán en 3 clínicas, 2 clínicas que están afiliadas a los hospitales de oftalmología Farabi y Noor y en otra clínica de oftalmología privada especializada que prescribe LC Blandas y Rígidas22. En este estudio realizaron una entrevista a 24 pacientes para determinar las necesidades y dudas que tenían respecto al uso y cuidado de lentes de contacto. Como se mencionará en el apartado de Métodos, estos artículos, además de otros y de la experiencia clínica, se utilizaron para definir las preguntas que se presentarían al ChatGPT. Entre las inquietudes de los usuarios de LC descritas en el estudio destacan: - ¿Qué información necesitan los usuarios de lentes de contacto (CLW) para usar LC? - ¿Qué capacitación quieren recibir respecto al uso de LC? - ¿Qué información y capacitación reciben durante la primera visita de prescripción de LC y qué información se requiere, pero no se proporciona? - ¿Qué información es necesaria para ellos después de recibir la LC y volver a casa que no tienen? - ¿Qué preocupaciones tienen sobre las LC? En nuestro trabajo se pretende determinar el nivel de corrección y la seguridad relacionada con la información que proporciona un bot conversacional (tipo ChatGPT) sobre uso y mantenimiento de lentes de contacto. Se simulará unas 10 preguntas típicas que podrían realizar los usuarios y valorará las respuestas del bot, y los posibles problemas de seguridad asociados a una información incorrecta o parcial. Hemos hecho la búsqueda en castellano para dar prioridad a que el bot utilice, a su vez, recursos en este idioma para confeccionar sus respuestas. Éste es un trabajo complementario de otro en el que se valorará lo mismo, pero en inglés, facilitando la comparación de ambos grupos de respuestas. El objetivo principal de nuestro trabajo es desafiar al ChatGPT con diferentes preguntas sobre lentes de contacto, el uso y mantenimiento de los mismos como usuarios de lentes de contacto para comparar los resultados y las respuestas con artículos científicos para asegurar que el ChatGPT pueda ser una fuente confiable de información para las personas que no tienen idea sobre el uso de las lentes de contacto que se adapten/quieren adaptarse por primera vez. 7 2. Métodos y Material Se pensó en más de 10 preguntas y después se seleccionó sólo 10 preguntas para contestarlas. Estas 10 preguntas están en castellano e inglés. La razón de elegir estas 10 preguntas es porque son preguntas frecuentes de los usuarios que desean adaptarse a LC por primera vez. Están seleccionadas a partir de los estudios encontrados en la literatura y de nuestra experiencia clínica. Nº Preguntas PREGUNTAS EN CASTELLANO 1 ¿Quién puede adaptarme lentes de contacto? 2 ¿Cómo cuido de mis lentes de contacto? 3 ¿Puedo dormir con mis lentes de contacto? 4 ¿Como puedo saber si mis lentes de contacto están caducadas? 5 ¿Puedo probar las lentes de contacto de mi amigo? 6 ¿Puedo comprar lentes de contacto por Internet? 7 ¿Puedo utilizar lentes de contacto si tengo ojo seco? 8 ¿Qué debo hacer si mis ojos se irritan o se vuelven rojos mientras uso mis lentes de contacto? 9 ¿Cómo sé si mis lentes de contacto están dentro hacia fuera? 10 ¿Puedo nadar o ducharme con mis lentes de contacto puestas? Nº Preguntas PREGUNTAS EN CASTELLANO 1 Which healthcare professional can fit my contact lenses? 2 How can I take care of my contact lenses? 3 Can I sleep with my lenses on? 4 How can I understand if my contact lenses are expired? 8 5 Can I try my friend’s contact lenses? 6 Can I order contact lenses over the internet? 7 Can I wear contact lenses if I have dry eyes? 8 What should I do if my eyes become irritated or red while wearing my contact lenses? 9 How do I know if my contact lenses are inside out? 10 Can I swim or shower with my contact lenses in? Las 10 preguntas las hemos contestado con nuestros propios conocimientos como optometristas. Hemos preguntado al ChatGPT las 10 preguntas y le hemos pedido 3 respuestas de cada pregunta, es decir 30 respuestas en total de las 10 preguntas seleccionadas. En el Excel hemos valorado las respuestas de las 30 preguntas que nos contestaba el ChatGPT, según su contenido, seguridad y su legibilidad: en el contenido lo hemos valorado con un rango del 0 al 10, el 0 quiere decir muy malo y el 10 muy bueno, la seguridad entre el 0 y el 10, el 0 quiere decir muy inseguro y el 10 es muy seguro. Respecto a la legibilidad, se ha valorado en 2 fases, la legibilidad de palabras técnicas, que consiste en observar si las respuestas que daba el ChatGPT contienen palabras técnicas o no y se ha valorado entre el 0 (que es el No) y el 1 (Sí). Respecto a la legibilidad del índice de Flesch-Kincaid, es una prueba que determina la facilidad de comprensión y lectura de un texto. Fue creada por Rudolph Flesch en 1956 y mejorada por J. Peter Kincaid en 1975, por encargo de la Marina de los Estados Unidos. La prueba otorga al texto un valor dentro de una escala de puntos. Cuanto mayor sea el resultado, más fácil será entender el documento. El objetivo para la mayoría de los documentos estándar es un resultado comprendido entre 60 y 70 que se corresponden aproximadamente a un texto llano que se puede entender fácilmente por una persona de 12 o 13 años de edad. Esta prueba se valora en la página web del índice, simplemente con la copia y pega de las respuestas para calcular el índice, en este caso hemos tenido en cuenta el resultado que da el easy score. Además, se valoró cada una de las respuestas del ChatGPT a todas las preguntas que se le presentaron y se obtuvo un promedio por cada respuesta. 9 14. Sallam M. (2023). ChatGPT Utility in Healthcare Education, Research, and Practice: Systematic Review on the Promising Perspectives and Valid Concerns. Healthcare (Basel, Switzerland), 11(6), 887. 15. Kung, T. H., Cheatham, M., Medenilla, A., Sillos, C., De Leon, L., Elepaño, C., Madriaga, M., Aggabao, R., Diaz-Candido, G., Maningo, J., & Tseng, V. (2023). Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS digital health, 2(2), e0000198. 16. Moreddu R, Vigolo D, Yetisen AK. Tecnología de lentes de Moreddu, R., Vigolo, D., & Yetisen, A. K. (2019). Contact Lens Technology: From Fundamentals to Applications. Advanced healthcare materials, 8(15), e1900368. 17. Hua, H. U., Kaakour, A. H., Rachitskaya, A., Srivastava, S., Sharma, S., & Mammo, D. A. (2023). Evaluation and Comparison of Ophthalmic Scientific Abstracts and References by Current Artificial Intelligence Chatbots. JAMA ophthalmology, 141(9), 819–824. 18. Seth I, Bulloch G, Xie Y, Zhu Z. Exploring the potential of ChatGPT for advancing oculoplastic surgical research. Ann Ophthalmol Vis Sci. 2023;6:1038–41. 19. Singh, S., Djalilian, A., & Ali, M. J. (2023). ChatGPT and Ophthalmology: Exploring Its Potential with Discharge Summaries and Operative Notes. Seminars in ophthalmology, 38(5), 503–507. 20. Singh, S., & Watson, S. (2023). ChatGPT as a tool for conducting literature review for dry eye disease. Clinical & experimental ophthalmology, 51(7), 731–732. 21. Salimi, A., & Saheb, H. (2023). Large Language Models in Ophthalmology Scientific Writing: Ethical Considerations Blurred Lines or Not at All?. American journal of ophthalmology, 254, 177–181. 22. Falahati-Marvast, F., Alipour, F., Farokhzadian, J., & Ahmadian, L. (2021). Determining the information needs of contact lens wearers for better education and more support: a qualitative study. BMC ophthalmology,21(1), 325. 23. Singhal K, Tu T, Gottweis J, Sayres R, Wulczyn E, Hou L, et al. Towards expertlevel medical question answering with large language models. arxiv preprint. 2023;2305.090617. 24. Ayers, J. W., Poliak, A., Dredze, M., Leas, E. C., Zhu, Z., Kelley, J. B., Faix, D. J., Goodman, A. M., Longhurst, C. A., Hogarth, M., & Smith, D. M. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA internal medicine, 183(6), 589–596. 16