Diseño de apps para evaluación de competencias clínicas en el Grado de Medicina: El caso de easyMD®

DISEÑO DE APPS PARA EVALUACIÓN DE COMPETENCIAS CLÍNICAS EN EL GRADO EN MEDICINA: EL CASO DE ® TRABAJO DE FIN DE GRADO - GRADO EN MEDICINA Est: Daniel Sánchez Ruiz. TUTORA: Verónica Casado Vicente FACULTAD DE MEDICINA – UNIVERSIDAD DE VALLADOLID 1 ÍNDICE ÍNDICE .................................................................................................................................................. 1 RESUMEN ............................................................................................................................................ 2 ABSTRACT ............................................................................................................................................ 2 1. INTRODUCCIÓN Y JUSTIFICACIÓN DEL TRABAJO .......................................................................... 3 1.1. ¿QUÉ ES UNA ECOE? ¿QUÉ EVALÚA? ...................................................................................... 4 2. OBJETIVOS .................................................................................................................................. 5 2.1. OBJETIVO DOCENTE ................................................................................................................ 6 2.2. OBJETIVO DE INNOVACIÓN DOCENTE ..................................................................................... 6 3. MATERIAL Y MÉTODOS ............................................................................................................... 7 3.1. MATERIAL ............................................................................................................................... 7 3.2. MÉTODOS ............................................................................................................................... 7 4. DESARROLLO TÉCNICO DEL TRABAJO ........................................................................................ 13 4.1. FASE 1: AUTOAPRENDIZAJE Y PROGRAMACIÓN EN LENGUAJE SWIFT Y HTML5 .................... 13 4.2 FASE 2: DISEÑO DEL MARCO Y COMANDOS CON ADOBE XD® ............................................... 13 4.3 FASE 3: CREACIÓN DE CUESTIONARIOS CON TYPEFORM ....................................................... 14 5. DISCUSIÓN ................................................................................................................................ 15 6. CONCLUSIONES ......................................................................................................................... 15 7. AGRADECIMIENTOS .................................................................................................................. 16 8. BIBLIOGRAFÍA ........................................................................................................................... 17 2 RESUMEN La digitalización del mundo actual lleva años penetrando en el mundo sanitario y en el mundo educativo en particular. Sin embargo, en el ámbito de la educación médica existen pocas plataformas, en castellano y gratuitas, que permitan complementar la formación al estudiante de Medicina, y más concretamente en el ámbito de la prueba ECOE, que se realiza al final del grado en todas las facultades de medicina de España. Es por ello que este trabajo describe la construcción de easyMD®, una plataforma online con versión web y app que se estructura, en su versión beta, en 8 casos clínicos que intentan simular con el mayor realismo posible una estación de la prueba ECOE. Se han seleccionado casos en función de su frecuencia en la práctica clínica, su gravedad y su impacto social. Cada caso cuenta con aproximadamente 20 preguntas, sobre todo de Test de Respuesta Múltiple, de todos los ámbitos competenciales que evalúa una ECOE normalizada, y se tardan en resolver aproximadamente 10 minutos de media. Se concluye que hay una serie de limitaciones a la hora de evaluar las competencias más dependientes de desempeño práctico y de procedimientos, como es la anamnesis o la exploración física, y mayores fortalezas a la hora de diseñar herramientas evaluativas para otras competencias con menor peso en ECOE normalizada como son la ética, las relaciones interprofesionales y aspectos legales. ABSTRACT The digitalization of the current world has been penetrating the health and educational issues in particular for years. However, in the field of medical education there are only a few services, also free and in Spanish, to complement the training of the medical student, and more specifically in the field of the OSCE test, which takes place at the end of the Medical degree in all faculties of medicine of Spain. That’s why this work describes the construction of easyMD®, an online platform with web version and app that is structured, in its beta version, in 8 clinical cases that try to simulate with the greatest possible realism an ECOE test station. Cases have been selected according to their frequency in clinical practice, their severity and their social impact. Each case has approximately 20 questions, especially Multiple Choice Question test (MCQ), from all areas of competence that assess a standardized ECOE, and it takes about 10 minutes to resolve on average. It is concluded that there are a number of limitations when assessing the competences most dependent on practical performance and procedures, such as anamnesis or physical examination, and greater strengths when designing assessment tools for other 3 competencies with less weight in ECOE standardized such as ethics, interprofessional relations and legal issues. 1. INTRODUCCIÓN Y JUSTIFICACIÓN DEL TRABAJO Es una evidencia que, sobre todo en los últimos 12 años, desde el lanzamiento al mercado por Apple del primer iPhone y la expansión de los smartphones y de las conexiones 3G y 4G, las apps móviles han dado un paso más en la digitalización de la sociedad, a nivel global y a nivel nacional. Si nos centramos además en España, somos el país que junto con Singapur tiene una tasa mayor de penetración de los smartphones (80%), y un 85% de nuestra población tiene acceso a internet(1). Es por tanto imposible que el mundo sanitario y el mundo educativo se hayan mantenido al margen de este cambio tecnológico y social. Tal como señala diversa evidencia en educación (en general) y en educación médica (en particular), la implantación de las tecnologías de la información y comunicación, ligadas a internet y a la conectividad, no paran de influir cada vez más en las distintas etapas de la formación médica (pregraduada, especializada y continuada). Cada vez existe más oferta de formación médica online o semipresencial sobre todo en el contexto de la formación continuada, y más métodos de consulta en línea que en los últimos años han ido adaptándose a la interfaz móvil, que constituyen un apoyo cada vez más relevante en la toma de decisiones clínicas. De momento nos centraremos en el universo de los smartphones y las aplicaciones móviles por los motivos antes expuestos. Si hacemos un análisis mediante búsqueda en los 2 repositorios más grandes de apps móviles en España (Google Play de Android, App Store de Apple), se observan 2 tendencias claras. - La mayoría de apps móviles en Medicina están más destinadas a cuestiones administrativas (apps de seguros de salud privados y de servicios de salud de Comunidades Autónomas). - Si limitamos la búsqueda a apps formativas, dominan aquellas ligadas a la enseñanza de la Anatomía (tanto en castellano como en inglés) y ayuda a la preparación del examen MIR (obviamente, solo en castellano). Por tanto, podemos observar una primera tendencia; la mayoría de apps móviles que, al margen de las áreas de conocimiento anteriormente descritas, están en inglés, siendo las aplicaciones en castellano una minoría. 4 - Otra de las conclusiones de esta búsqueda es que la mayoría de las apps móviles, sobre todo aquellas que tienen que ver con la formación médica, son de pago o de acceso limitado gratuito y acceso completo por suscripción. - Si comparamos la a oferta entre ambas plataformas podemos comprobar que no varía sustancialmente, a pesar de los requisitos y procesos de publicación en Google Play son más laxos y más rápidos que en el App Store de Apple. Por tanto, observamos una segunda tendencia; independientemente de la plataforma, en la mayoría de aplicaciones móviles existe afán de lucro. Es por ello que con una simple búsqueda podemos darnos cuenta de que existe una acusada carencia de material para estudiantes de Medicina, que usan sus móviles al menos lo mismo que la media de la población española y que podrían ver en ellos una herramienta para usar en su formación preclínica, y sobre todo en su formación clínica. Por ejemplo, hoy en día no hay ninguna app en Castellano de asistencia, ayuda u orientación al estudiante de Medicina para la prueba ECOE (Evaluación Clínica Objetiva y Estructurada). 1.1. ¿QUÉ ES UNA ECOE? ¿QUÉ EVALÚA? La ECOE (siglas de Evaluación Clínica Objetiva y Estructurada), OSCE en lengua inglesa (Objective Structured Clinical Examination), dado que surgió en los países anglosajones, es como su nombre indica una prueba de evaluación práctica que evalúa una serie de competencias, que según los criterios de calidad establecidos por la Conferencia Nacional de Decanos de las Facultades de Medicina de España (CNDFME), evalúa los siguientes ámbitos competenciales: anamnesis, exploración física, habilidades técnicas/procedimentales, habilidades de comunicación, juicio clínico, manejo diagnóstico y terapéutico, prevención y promoción de la salud, relaciones interprofesionales, aspectos éticos, legales, y profesionales (Tabla 1) Todas las pruebas ECOE han sido auditadas por la CNDFME y la ECOE de la Facultad de Medicina de la Universidad de Valladolid es de las pocas que cumplen todos los estándares de calidad definidos entre todas las nacionales. Entre estos criterios se encuentra que haya 20 estaciones, que al menos 6 estaciones sean con pacientes simulados, que todos los casos estén guionizados y que las situaciones clinicas sean de alta prevalencia y o gravedad. La ECOE de la Facultad de Medicina tiene 20 estaciones, de las cuales 8 son con actores profesionales entrenados como pacientes simulados, 7 estaciones con maniquí o simulador y 5 estaciones de silla. 5 A la hora de pretender configurar una herramienta formativa para la ECOE, que pretende evaluar competencias prácticas, hay que definir los puntos clave que supone trasladar una prueba de este tipo a una pantalla. Por definición, la ECOE pretende definir un contexto lo más realista posible de situaciones clínicas, presentadas como síndromes clínicos, de alta frecuencia en la práctica diaria en hospitales y centros de salud. Por tanto, la justificación de este Trabajo de Fin de Grado se fundamenta en 3 ausencias principales en el mercado actual: no hay ninguna aplicación (web o móvil), en castellano, que sea una ayuda para la preparación de la prueba ECOE y no del MIR, y además que sea gratuita. Es por ello por lo que he decidido crear EasyMD®, como una plataforma de simulación de casos clínicos, muy centrada en lo imprescindible en el abordaje de un problema clínico, que además constituye el corpus de lo que se evalúa en una estación de la ECOE; competencias clínicas. 2. OBJETIVOS - Objetivo docente: Conocer y demostrar cómo realizar una adaptación de las estaciones de la Evaluación Clínica Objetiva y Estructurada al entorno digital para la evaluación de algunas competencias clínicas, basado en aprendizaje autodirigido. Tabla 1: Competencias ECOE. Comparativa entre Ponderación CNDFME y UVa Anamnesis 20 (± 5%) 20 Exploración física 15 (± 5%) 15 Habilidades técnicas/procedimentales 10 (± 5%) 10 Habilidades de comunicación 15 (± 5%) 15 Juicio clínico, manejo diagnóstico y terapéutico 20 (± 5%) 20 Prevención y promoción de la salud 10 (± 5%) 10 Relaciones interprofesionales 5 (± 5%) 5 Aspectos éticos, legales y profesionales 5 (± 5%) 5 Otras competencias Total 100 100 6 - Objetivo de innovación docente: Proponer un proyecto de innovación docente para lo cual se diseña, y en la medida de lo posible, evaluar una herramienta formativa de nueva creación (diseñada ad hoc) para la evaluación de algunas competencias clínicas, basado en aprendizaje autodirigido. 2.1. Objetivo docente Los distintos tipos de saber (declarativo, procedural y condicional), y el aprendizaje que tiene que llevar a ellos están indivisiblemente ligados a la evaluación de los mismos, y más en el entorno del Grado en Medicina, donde se tiene que adquirir un alto nivel de competencia en gran parte de las áreas que permitan el abordaje diagnósticoterapéutico de los problemas más frecuentes y de mayor gravedad en la práctica. La evaluación del estudiante, por supuesto la del estudiante del Grado en Medicina incluído, puede ser formativa y sumativa, y componerse de pruebas objetivas, pruebas de ensayo, evaluaciones orales y evaluaciones prácticas; estas últimas pueden ser simuladas o integradas en el entorno clínico. La Evaluación Clínica Objetiva y Estructurada (ECOE), OSCE en su versión anglosajona, constituye junto al test de respuesta múltiple (MCQ, Multiple Choice Question), los 2 métodos más recomendados, por la evidencia científica que los respalda, en la evaluación de conocimientos y de competencias respectivamente en la etapa de pregrado en Medicina. Por ello constituye, desde la instauración del último curso del Grado en Medicina en las universidades españolas, en un método generalizado y estandarizado para la evaluación de competencias clínicas a modo de evaluación final del Grado. Los criterios de calidad de la ECOE están determinados a nivel nacional por la Conferencia Nacional de Decanos de las Facultades de Medicina de España (CNDFME) y nuestra ECOE de la Facultad de Medicina ha superado, como he dicho anteriormente todos los criterios y estándares de calidad en la auditoria externa propuesta por la CNDFME. 2.2. Objetivo de innovación docente Dado el contexto de ausencia de apps para la preparación de la prueba ECOE y la evaluación de competencias clínicas trasladada al ámbito digital, lo que se plantea es crear de cero una app móvil en la que se vayan generando varios contextos clínicos a modo de cuestionario. Este cuestionario parte de una situación inicial, como en las pruebas ECOE, y si se contesta bien va dejando avanzar, dando más información relevante para el caso. 7 Posteriormente, por las limitaciones que tiene una app móvil para su publicación en plataformas y facilitar la accesibilidad, se plantea una versión web de EasyMD®(2), adaptable también a todo dispositivo móvil, que es la versión publicada en mayo de 2019. 3. MATERIAL Y MÉTODOS 3.1. Material He planteado en primer lugar los materiales para la elaboración de la aplicación móvil, de la versión web y de los casos clínicos. - Hardware: Apple MacBook Air 2015, 128 GB y iPhone XS 64 GB. Requeridos para el diseño y pruebas de la app. - Software de programación de la app y de la página web: xCODE6, Adobe XD, Adobe Dreamweaver, - Software de diseño gráfico: Adobe InDesign, Adobe Spark, Canva for Work. - Plataforma casos y cuestionario: Typeform. El material tenido en cuenta para la elaboración de los casos clínicos y su sucesión incluye una estación retirada de la ECOE de la Universidad de Valladolid 2017 sobre violencia de género, mientras que el resto son situaciones generadas ad hoc para el trabajo. 3.2. Métodos La metodología seguida, cuestiones de diseño aparte que son parte de la arquitectura y a las que se hará breve mención posteriormente, corresponde al siguiente proceso de creación y a la respuesta a las siguientes preguntas. - ¿Es posible realizar una adaptación a un entorno virtual de una prueba que requiere evaluar competencias como anamnesis, comunicación interpersonal y habilidades de comunicación? - ¿Qué competencias clínicas se pueden evaluar de una manera más óptima en un entorno digital? 8 - ¿Cómo se seleccionan las situaciones clínicas que serán motivo de cuestionario y de entrenamiento para una ECOE? - ¿Cómo se adapta un check-list de una ECOE para su adaptación y puntuación de un cuestionario que pretende simular una estación de ECOE? - ¿Cómo se preparan los temas que serán motivo de los casos clínicos para garantizar su calidad científica y técnica? a) ¿Es posible realizar una adaptación a un entorno virtual de una prueba que requiere evaluar competencias como anamnesis, comunicación interpersonal y habilidades de comunicación? RESPUESTA: Si, con matices y limitaciones. Si recordamos las competencias que se pretenden evaluar mediante una ECOE normalizada (anamnesis, exploración física, habilidades técnicas y procedimentales, juicio clínico, diagnóstico y tratamiento, habilidades de comunicación, relaciones interprofesionales, aspectos éticos/legales y profesionalismo) nos encontramos con una limitación, dado que no se puede recrear virtualmente, al menos por el momento, la evaluación que un observador realiza de competencias como la anamnesis, la exploración física o las habilidades técnicas y de comunicación, que no constituyen un saber declarativo, sino un saber procedimental y actitudinal. Por tanto, en algunas de las estaciones en las que se pretende ponderar el conocimiento de algunas de estas competencias que pretenden evaluar saberes procedimentales (demostrar cómo), la estructura del caso y de las preguntas va más encaminada hacia la comprobación de la indicación o procedencia de determinadas actitudes o decisiones clínicas, que sí que permitan conocer a la app (que en este caso es el examinador), que el examinado domina; por ejemplo, la anamnesis en un contexto determinado como un dolor torácico en una mujer de 35 años, que requeriría saber si la mujer está tomando anticonceptivos y la pertinencia o importancia de esa pregunta, por ejemplo. La forma de hacer las preguntas influye. Todas parten, por ser un método general muy válido para la evaluación de conocimientos (además de generalizado en las Facultades de Medicina de España) que es el test de respuesta múltiple. En este caso, ante algunas de las limitaciones que tiene, por la versatilidad de la plataforma Typeform en la asignación de puntuaciones diferenciadas a cada uno de los items preguntados; en algunos de los casos clínicos se prefiere asignar distintas puntuaciones a cada una de las preguntas. 15 5. DISCUSIÓN La discusión del tema se ve condicionada, inevitablemente, por el hecho de que es un proyecto completamente novedoso, que impide su comparación con experiencias similares. Tampoco existe bibliografía disponible sobre la implantación, adecuación y experiencias con apps en la preparación de la ECOE, ni siquiera con la OSCE en países anglosajones. Sí que se puede realizar una discusión a nivel técnico y a nivel científico, centrándonos en los contenidos. - Sobre cuestiones técnicas: La app diseñada en inicio contenía bugs que lo hacían inestable, y es imposible de averiguar con un conocimiento amateur. A pesar de la formación autodigida y las horas dedicadas es complicado no tener que contar al final con un equipo multidisciplinar y ayuda diversa para dominar cuestiones sobre programación, dominio multiplataforma, etc. De lo que sí hay bibliografía publicada, aunque de poca evidencia por tratarse en muchos casos de artículos de opinión, es de la cada vez más necesaria interacción entre médicos, ingenieros de diversas ramas, físicos, matemáticos. Además la app es más accesible en una versión web que es la presentada a día de hoy, porque no requiere de cumplimentación de requisitos que las plataformas imponen a los creadores de apps, además de ser multiplataforma. - Sobre cuestiones de innovación docente: Con las limitaciones disponibles, es muy complicado intentar hacer una “ECOE virtual”. Lo que sí se puede hacer es intentar adaptar y potenciar determinadas áreas a evaluar en una ECOE que normalmente no tienen tanto peso, ni tampoco en la formación médica, como pueden ser las cuestiones éticas o de profesionalismo médico. Sí se puede adaptar cada caso a una duración estimada de casi 10 minutos (9 minutos y 23 segundos), como en una prueba ECOE real. 6. CONCLUSIONES easyMD®, aún en su versión beta, es la primera herramienta específica para la preparación de la ECOE en lengua castellana. No nace con la intención de ser una ECOE virtual ni sustituirla como herramienta evaluativa, sino aproximarse a ello para permitir un mejor desempeño en la ECOE. Una de las conclusiones más importantes es que es importantísimo diseñar los siguientes pasos de esta herramienta, que deberían ir por dos vertientes 16 - Evaluación de la herramienta formativa: Se tienen que plantear herramientas que permitan evaluar la aplicación, no solo en términos de satisfacción del usuario, sino en términos de utilidad como herramienta evaluativa y ver si el uso de la plataforma en su versión final condiciona una mejora en el desempeño de la prueba ECOE, que pueda ser o no dependiente del nivel académico de cada estudiante. - Continuidad de desarrollo: Actualmente la app y la web, además de los casos clínicos, disponen de post de revisión de las cuestiones tratadas en los casos clínicos. Sería interesante ver también si, estos post que están orientados al desempeño en la prueba ECOE, pueden ser útiles también como herramienta formativa. 7. Agradecimientos Además de los agradecimientos a mi tutora, Verónica Casado Vicente, por su paciencia con un proyecto al principio muy grande, y luego más modesto, quiero agradecer al equipo de MedLab Media Group su disposición a colaborar para intentar conseguir tener una versión de la app funcionando para la presentación del trabajo. Están trabajando en ello y esperamos que en septiembre de 2019 pueda estar en plena marcha y rendimiento. 17 8. BIBLIOGRAFÍA 1. Las cifras de Internet: En España el 85% de la población está conectada [Internet]. Expansión.com. 2018 [citado 5 de junio de 2019]. Disponible en: http://www.expansion.com/economiadigital/innovacion/2018/02/01/5a72e73a22601db2288b4658.html 2. Daniel Sánchez Ruiz. easyMD [Internet]. easyMD. [citado 7 de junio de 2019]. Disponible en: https://easy-md.com/ 3. Lubarsky S, Charlin B, Cook DA, Chalk C, Vleuten CPM van der. Script concordance testing: a review of published validity evidence. Med Educ. 2011;45(4):329-38. 4. Search - UpToDate [Internet]. [citado 7 de junio de 2019]. Disponible en: https://www.uptodate.com/contents/search 5. BMJ Best Practice [Internet]. [citado 7 de junio de 2019]. Disponible en: https://bestpractice.bmj.com/specialties 6. Casado Vicente, Verónica CF García G. Manual de Exploración Física (basado en la persona, en el síntoma y en la evidencia). 1.a ed.