EDUREV: elaboración de recursos visuales para asistir la generación de revisiones sistemáticas en educación

Proyecto de Innovación Convocatoria 2023/2024 Nº de proyecto 203 EDUREV: elaboración de recursos visuales para asistir la generación de revisiones sistemáticas en educación Responsable del Proyecto: Celia Camilli Trujillo Facultad de EducaciónCentro de Formación del Profesorado Departamento Investigación y Psicología en Educación 1. Objetivos propuestos en la presentación del proyecto El creciente interés en la práctica basada en la evidencia ha aumentado de manera exponencial en las últimas décadas. La investigación ha desempeñado durante mucho tiempo un papel clave para formar e informar a los profesionales de quienes se espera una práctica de calidad que se sustente en las mejores evidencias disponibles. Al respecto, autores como Valverde-Berrocoso (2015) confirman la necesidad de hacer presente la educación basada en la evidencia en los programas de formación de estudiantes de máster y doctorado. El presente proyecto de innovación es la culminación de cuatros años 1 consecutivos de trabajo en el desarrollo de EDUREV como recurso en abierto dirigido a estudiantes de máster y doctorado para asistir en el diseño y elaboración de revisiones sistemáticas en Educación. Las revisiones sistemáticas informan para la toma de decisiones en muchas disciplinas. Estas proporcionan un resumen exhaustivo actual de la literatura relevante para dar respuesta a una pregunta de investigación (Nunn y Chang, 2020). Asimismo, los recursos educativos abiertos (REA) son cualquier recurso disponible a bajo costo o sin costo alguno que pueda usarse para la enseñanza, el aprendizaje o la investigación. El término puede incluir libros de texto, lecturas de cursos y otros contenidos de aprendizaje; simulaciones, juegos y otras aplicaciones de aprendizaje; programas de estudio, cuestionarios y herramientas de evaluación; y prácticamente cualquier otro material que pueda utilizarse con fines educativos. Los REA generalmente se refieren a recursos electrónicos, incluidos aquellos en formatos multimedia. Provienen de colegios y universidades, bibliotecas, organizaciones de archivos, agencias gubernamentales, organizaciones comerciales como editoriales, profesores u otras personas que desarrollan recursos educativos que están dispuestos a compartir. El desarrollo de REA exige el cumplimento de las características propias de este tipo de recurso como son: - Accesibilidad: acceso gratuito y variedad de recursos que pueden ser útiles para la atención a la diversidad. - Reusabilidad: son editables y reutilizables por los usuarios. - Adaptabilidad: se pueden, y deben, adaptar al contexto educativo en el que se desean emplear. - Combinación: se pueden combinar entre sí dando lugar a nuevos materiales. En este sentido, la creación de materiales audiovisuales para apoyar el diseño y elaboración de RS favorece el conocimiento porque facilita el proceso de enseñanzaaprendizaje por las características que estos poseen, y la cercanía que propician a los estudiantes que han nacido dentro de una era digital (Dávila Vélez, 2018). El vídeo constituye un recurso de gran atractivo porque forma parte del lenguaje de los “nativos digitales”, pues están ampliamente familiarizados con este tipo de formato utilizándolo constantemente para actividades de socialización y entretenimiento. Su rápido avance lo ha convertido en un importante medio didáctico para complementar estrategias tradicionales de formación. La creación de vídeos diseñados específicamente para EDUREV busca mejorar la experiencia de aprendizaje en cuanto a la atención y comprensión de lo que implica una 1 2020-2021. EDUREV: recurso educativo en abierto para asistir a la generación de revisiones sistemáticas en Educación (nº 280) 2021-2022. EDUREV: la evaluación de la calidad metodológica de los estudios en las revisiones sistemáticas en Educación (nº 286) 2022-2023. EDUREV: validación de un recurso en abierto para la elaboración de revisiones sistemáticas en Educación (nº 381) 2023-2024. EDUREV: elaboración de recursos visuales para asistir la generación de revisiones sistemáticas en educación (nº 203) revisión sistemática (RS) en Educación, proporciona información adicional a las fases propias de una revisión, se adapta a diferentes estilos de aprendizaje por ser un medio visual y facilita la retención de los pasos, actividades o tareas que exige este método de investigación. Asimismo, los vídeos son una herramienta más de apoyo para el profesorado que enseñanza las RS como método de síntesis de la evidencia (Lisbdnetwork, 2023). A partir de lo expuesto, el objetivo general del presente proyecto es Desarrollar recursos audiovisuales para completar y ampliar la información de cada una de las fases de la revisión sistemática que conforman EDUREV con la finalidad de ayudar a estudiantes de Máster y Doctorado en la formación de esta metodología de investigación basada en la evidencia siendo los objetivos específicos: Objetivo específico 1. Revisión de recursos visuales para el aprendizaje de revisiones sistemáticas en Educación. Para ello: ➔ Identificar recursos visuales publicados en español y en inglés para el aprendizaje de revisiones sistemáticas en Educación y en otras disciplinas próximas como Psicología. ➔ Valorar el contenido de los recursos visuales para el desarrollo de revisiones sistemáticas. ➔ Valorar qué recursos visuales son más apropiados para cada fase de la revisión sistemática que conforman EDUREV. Objetivo específico 2. Crear recursos visuales para cada una de las fases de la revisión sistemática de EDUREV. Para ello: ➔ Revisar las características y requisitos técnicos de cada uno de los formatos visuales que se van a desarrollar. ➔ Construir los fundamentos teóricos, pedagógicos y metodológicos que sustentan a cada uno de los recursos visuales. ➔ Conocer herramientas y soportes para la creación y edición (ej. Genially, Canva, Adobe…) ➔ Validar cada recurso visual con expertos y estudiantes de máster y doctorado quienes están trabajando con revisiones sistemáticas. Objetivo específico 3. Validar el funcionamiento técnico de EDUREV con la incorporación de los recursos visuales. Para ello: ➔ Adecuar EDUREV en función del formato de los recursos visuales desarrollados. ➔ Probar el funcionamiento de los recursos visuales en la herramienta EDUREV (prueba piloto). ➔ Probar nuevamente todo el funcionamiento técnico de EDUREV. 2. Objetivos alcanzados Objetivo específico 1. Revisión de recursos visuales para el aprendizaje de revisiones sistemáticas en Educación: ➔ Identificar recursos visuales publicados en español y en inglés para el aprendizaje de revisiones sistemáticas en Educación y en otras disciplinas próximas como Psicología. ➔ Valorar el contenido de los recursos visuales para el desarrollo de revisiones sistemáticas. ➔ Valorar qué recursos visuales son más apropiados para cada fase de la revisión sistemática que conforman EDUREV. Se continuó trabajando en la revisión bibliográfica iniciada en el curso 2020-2021 relativa a RS con la finalidad de encontrar recursos visuales que ofrecieran información que guiara una práctica de calidad. Las revistas que se consultaron fueron Review of Educational Research, Educational Research Review, Educational Research and Evaluation y Research Synthesis Methods Asimismo, se han revisado meta-análisis sobre recursos visuales y su impacto en el aprendizaje: - Cho, K., & Permzadian, V. (2024). The impact of open educational resources on student achievement: A meta-analysis. International Journal of Educational Research,126, 102365. https://doi.org/10.1016/j.ijer.2024.102365. - Lin, Y. & Yu, Z. (2023). A Meta-analysis Evaluating the Effectiveness of Instructional Video Technologies. Technology, Knowledge and Learning, 1-35. 10.1007/s10758-023-09669-3. - Noetel, M., Griffith, S., Delaney, O., Sanders, T., Parker, P., del Pozo Cruz, B., & Lonsdale, C. (2021). Video Improves Learning in Higher Education: A Systematic Review. Review of Educational Research, 91(2), 204-236. https://doi.org/10.3102/0034654321990713 - Trenholm, S. y Marmolejo-Ramos, F. (2024). When Video Improves Learning in Higher Education. Educ. Sci., 14, 311. https://doi.org/ 10.3390/educsci14030311 A este listado se sumó la revisión de artículos para la elaboración de RS con la finalidad de evaluar qué recursos visuales serían los más adecuados para apoyar qué fases o pasos dentro de EDUREV: - Barnett-Page, E. & Thomas, J. (2009). Methods for the synthesis of qualitative research: a critical review. Evidence for Policy and Practice Information and Coordinating (EPPI) Centre. - Mohamed Shaffril, H. A., Samsuddin, S. F., & Abu Samah, A. (2021). The ABC of systematic literature review: the basic methodological guidance for beginners. Qual Quant, 55, 1319–1346. https://doi.org/10.1007/s11135-020-01059-6 - Patino, C. M., & Ferreira, J. C. (2018). Inclusion and exclusion criteria in research studies: definitions and why they matter. J Bras Pneumol, 44(2), 84. http://doi.org/10.1590/s1806-37562018000000088 - Schuermans, N. (2013, March 18). Towards rigour in qualitative research [Paper presentation]. Human Geography PhD Research Seminar, KU Leuven, Leuven, Belgium. Objetivo específico 2. Crear recursos visuales para cada una de las fases de la revisión sistemática de EDUREV: ➔ Revisar las características y requisitos técnicos de cada uno de los formatos visuales que se van a desarrollar. ➔ Construir los fundamentos teóricos, pedagógicos y metodológicos que sustentan a cada uno de los recursos visuales. ➔ Conocer herramientas y soportes para la creación y edición (ej. Genially, Canva, Adobe…) ➔ Validar cada recurso visual con expertos y estudiantes de máster y doctorado quienes están trabajando con revisiones sistemáticas. La lectura de investigaciones previas relativas a recursos visuales para el aprendizaje en educación superior sirvió de orientación para decidir que el vídeo es el más apropiado por su impacto positivo en el rendimiento académico. Varios metaanálisis han demostrado que la tecnología puede mejorar el aprendizaje (Lin & Yu, 2023; Noetel et al., 2021) y otros múltiples estudios han confirmado que el vídeo puede ser una herramienta educativa muy eficaz (Salier et al., 2024). Sin embargo, algunos estudios contradicen estos hallazgos. Tal es el caso de la investigación de Furenes et al. (2021) quienes encontraron que estudiantes con niveles socioeconómicos bajos están en desventaja en cuanto al uso de pantallas en comparación con libros en papel o el estudio de Poquet et al. (2018) en donde el efecto de la enseñanza basada en vídeo depende de la naturaleza del conocimiento que se debe aprender. Estos autores señalan que la eficacia del aprendizaje basado en vídeo puede variar dependiendo, por ejemplo, de si los objetivos de aprendizaje implican simples recuerdo versus comprensión. La revisión de la literatura nos permitió fundamentar las bases pedagógicas, metodológicas y técnicas para la elaboración de los vídeos para EDUREV. De esta forma se atendieron los siguientes criterios de calidad: (a) presentación inicial del tema (presentación), (b) clara relación de los contenidos con los objetivos de aprendizaje que se quieren alcanzar, (c) nivel adecuado para el público objetivo, (d) mención de los contenidos/aprendizajes que se esperan lograr, (e) adecuación y actualización en el tiempo y (f) contenidos respetuosos con la propiedad intelectual. No obstante, a fecha de hoy junio 2024, no se logó validar los vídeos con los estudiantes universitarios porque la herramienta sigue sin publicarse debido a la falta de financiación para poder hacerla pública en un servidor de la UCM. A pesar de las consultas realizadas a distintos servicios dentro de la UCM y asociaciones interesadas en la difusión de la herramienta, no ha sido posible dar visibilidad a EDUREV y, en consecuencia, a los recursos visuales que se han diseñado. Objetivo específico 3. Validar el funcionamiento técnico de EDUREV con la incorporación de los recursos visuales: ➔ Adecuar EDUREV en función del formato de los recursos visuales desarrollados. ➔ Probar el funcionamiento de los recursos visuales en la herramienta EDUREV (prueba piloto). ➔ Probar nuevamente todo el funcionamiento técnico de EDUREV. Los REA son una forma de abordar los crecientes costos de la educación y también tienen el potencial de facilitar nuevos estilos de enseñanza y aprendizaje. Los criterios de calidad para la elaboración de REA se revisaron nuevamente con la finalidad de garantizar su cumplimento. Asimismo, se evaluó el funcionamiento técnico de EDUREV y las especificaciones técnicas de los vídeos para valorar su puesta en marcha dentro de la herramienta. La prueba piloto permitió probar en menor escala aspectos logísticos de la ejecución del recurso lo que facilitó la reducción de errores en otras fases de la RS. 3. Metodología empleada en el proyecto La metodología empleada atendió a cuestiones pedagógicas y técnicas para el diseño y la evaluación de vídeos para EDUREV como recurso en abierto. EDUREV: evaluación de la calidad como recurso en abierto Se revisaron distintas directrices, guías y rúbricas que ayudan a evaluar la calidad de los REA (dos Santos et al., 2023): - relevancia, exactitud, calidad de la producción, accesibilidad, interactividad y licencia. - claridad, comprensibilidad y legibilidad; precisión del contenido y precisión técnica; adaptabilidad; oportunidad; accesibilidad; Recursos suplementarios. - grado de alineación con los estándares, calidad de la explicación del tema, utilidad de materiales diseñados para apoyar la enseñanza, calidad de la evaluación, calidad de la interactividad tecnológica, calidad de los ejercicios de instrucción y práctica, oportunidades para un aprendizaje más profundo y garantía de accesibilidad. Creación de vídeos educativos para EDUREV Para la creación de los vídeos educativos sobre RS se siguieron las recomendaciones de Brame et al. (2016). Estos autores señalan que el medio no es intrínsecamente efectivo en sí mismo porque muchos estudiantes ignoran a menudo grandes segmentos del vídeo mientras que MacHardy y Pardos (2015) señalan que algunos vídeos contribuyen poco al desempeño académico de los estudiantes. Por tanto, son tres los elementos claves que ayudan a maximizar la utilidad del vídeo: - carga cognitiva - participación del estudiante - aprendizaje activo: vídeo con preguntas interactivas, empleo de funciones interactivas que den control a los estudiantes, pregunta guía, el vídeo forma parte de una tarea más amplia. Asimismo, las siguientes preguntas guiaron la elaboración de los vídeos los cuales atendieron a las fases de una RS: - ¿El material cubre la materia/contenido que se quiere enseñar? - ¿El contenido es preciso y está libre de errores importantes y faltas de ortografía? - ¿Está claramente escrito y en un nivel apropiado para los estudiantes? - ¿El material es accesible, con texto alternativo para todas las imágenes y subtítulos en los vídeos? - ¿Cuánto esfuerzo supone para el estudiante la comprensión del contenido? 4. Recursos humanos (Máximo 1 folio) El equipo de trabajo está conformado por un total de 12 profesores y un personal de administración y servicio en donde participan dos facultades: ➔ Facultad de Educación (UCM, Kennesaw State University, UNIR, UCJC, UAX). ➔ Facultad de Psicología (UCM). Y cinco departamentos: ➔ Investigación y Psicología en Educación (UCM). ➔ Department of Secondary and Middle Grades Education (Kennesaw State University, USA). ➔ Departamento de Psicobiología y Metodología en Ciencias del Comportamiento (UCM). ➔ Métodos de Investigación y Diagnóstico en Educación (UNIR, UCJC). La elaboración de los vídeos para EDUREV implicó un aprendizaje en la elaboración de material audiovisual como complementos a la formación. De esta manera, la experiencia del Dr. García Aparicio como consultor externo en el proyecto “Asistencia Técnica al Programa de Apoyo a la Reforma de la Administración Pública y a la Calidad de los Servicios Públicos (PARAP II)", financiado por Comisión Europea (referencia: EuropeAid/137933/DH/SER/DO) sirvió de inspiración. Este proyecto implicó la grabación y publicación de numerosos vídeos formativos que sustentaron diversos cursos virtuales y MOOC para servidores públicos en República Dominicana. De la misma manera, el aprendizaje continuo de los miembros del equipo en revisiones sistemáticas se ha evidenciado en publicaciones relacionadas con este método de investigación. Estas investigaciones se han enfocado en distintos temas en donde ha habido una colaboración entre miembros del equipo de EDUREV y entre miembros del equipo con otros investigadores de sus propios grupos de investigación. Algunos de estos estudios son el resultado de proyectos de investigación competitivos: - Bueno Álvarez, J. A.; Martín Martín, M. & Asensio Muñoz, I. (2022). Sentimiento de Autoeficacia en Futuros Docentes: Revisión Sistemática en Iberoamérica 2015-2021. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 20(4),31-50. - Fontana, M. y Camilli, C. (2023). Una meta-síntesis de la colaboración familiaescuela y su impacto en la educación. En M. Fontana (Ed.) La alianza familiaescuela y su impacto educativo (pp. 15-52). Elementos para la generación de políticas educativas basadas en la evidencia. Narcea. - Castro Morera, M., & Egido Gálvez, I. (2022). El profesor en el centro del debate sobre la eficacia de la enseñanza: meta-síntesis del impacto de las características del docente. Revista Iberoamericana De Educación, 90(1), 57–75. - Camilli, C., Arroyo, D., Asensio, I. & Mateos, P. (2022). Revisión sistemática integrativa del Trabajo Fin de Grado: aspectos contextuales y pedagógicos. Revista Complutense de Educación, 33(3), 543-553. - Navarro Asencio, E., López Martín, E., Asensio Muñoz, I., Expósito Casas, E., Carpintero Molina, E., & Ruiz De Miguel, C. (2021). Meta-análisis de generalización de la fiabilidad del cuestionario FIT-Choice. Revista De Educación, 393, 231-251. - Jorrín Abellán, I. (2023). The Interactive Research Methods Lab: A Hub for the Promotion of Educational Change based on Methodological Equity. Revista Electrónica Interuniversitaria de Formación del Profesorado, 26(2), 1-16. El apoyo de María Isabel Seller para la búsqueda de información en bases de datos y repositorios ha sido esencial para alcanzar una revisión de la literatura actualizada sobre el tema de interés. 5. Desarrollo de las actividades Desarrollo de vídeos educativos en RS para EDUREV Los vídeos han sido desarrollados con el objetivo de complementar y enriquecer el contenido trabajado en EDUREV. A continuación, se menciona el proceso de creación, edición y publicación de los cinco vídeos que ilustran el funcionamiento holístico de la herramienta. Grabación del Contenido - Herramienta utilizada. La grabación del contenido se ha realizado utilizando Microsoft PowerPoint, aprovechando sus funciones de grabación de presentaciones. Esta herramienta permite grabar audio y vídeo mientras se navega por las diapositivas, ofreciendo una solución integral para la creación de contenido educativo. - Exportación de vídeos. Una vez completadas las grabaciones, se han exportado en formato MP4 directamente desde Microsoft PowerPoint. Este formato asegura una alta compatibilidad y calidad para la edición y publicación posteriores. - Responsables de la grabación. El contenido de los vídeos se ha realizado con la colaboración de todo el equipo de trabajo. La Dra. Patricia Mateos Gordo responsable de la grabación de los vídeos 1, 3 y 5 y el Dr. Virgilio García Aparicio responsable de la grabación de los vídeos 2 y 4. - Duración de los vídeos. La duración de cada vídeo varía entre 5 y 15 minutos, dependiendo de la profundidad requerida para cubrir los temas específicos de estudio. Edición del contenido - Herramienta utilizada. Los vídeos han sido editados utilizando Microsoft Clipchamp, una herramienta de edición de vídeo que ofrece una variedad de funciones para mejorar la calidad y el impacto visual del contenido. - Música de Fondo. Se ha añadido música de fondo para mejorar la experiencia de visualización. La música seleccionada es la canción "Lukrembo" del autor Marshmallow, que es de libre uso y proporciona un ambiente ameno y profesional a los vídeos. Publicación de los Vídeos - Plataforma de Publicación. Los vídeos han sido publicados en un canal de YouTube creado específicamente para este propósito, denominado EDUREV. - Configuración de Privacidad. Para controlar el acceso a los vídeos, se han subido en modo oculto. Esto significa que solo las personas que disponen de los enlaces directos pueden acceder a ellos, garantizando así una distribución controlada y selectiva del contenido. El proceso de generación de los vídeos para la herramienta EDUREV ha seguido un flujo de trabajo meticuloso y estructurado, desde la grabación inicial en Microsoft PowerPoint hasta la edición en Microsoft Clipchamp y la publicación en YouTube. Se ha asegurado que cada vídeo cumple con los estándares de calidad y contenido necesarios para proporcionar una comprensión holística de EDUREV. La inclusión de música de fondo y la configuración de privacidad en YouTube han sido elementos clave para mejorar la experiencia del usuario y controlar el acceso al contenido. Publicaciones y asistencia a congresos Fontana, M., Camilli, C., Martín, M. y Bueno-Álvarez, J. A. (2023). Evidencias sobre los beneficios y dificultades del uso e implementación del aprendizaje profundo en la universidad. En Martos et al. (Comps). Innovación docente e investigación en educación: nuevas tendencias para el cambio en la enseñanza superior (pp.689-700). ISBN: 97884-1170-864-7 Fontana, M., Camilli, C., Martín, M. y Bueno-Álvarez, J. A. (2023). Aprendizaje profundo en la enseñanza universitaria: una revisión rápida. V Congreso Internacional de Innovación Docente e Investigación en Educación Superior: Nuevas tendencias para el cambio en la enseñanza superior de las Áreas de Conocimiento. Sevilla, del 27 de noviembre al 2 de diciembre 2023. Estudiar en la universidad conlleva el empleo habilidades de pensamiento que no todos los estudiantes han alcanzado. Los procesos de enseñanza-aprendizaje que se dan en las diversas materias y disciplinas, no solo deberían comportar la transmisión del conocimiento y el desarrollo de la correspondiente competencia, sino también la formación intelectual del estudiante, lo que se denomina aprendizaje profundo. El término no es nuevo en el contexto psicoeducativo (“enseñar a pensar”), pero sí su uso que ha experimentado un importante incremento, debido al auge de investigaciones sobre el internet de las cosas, el machine learning y la inteligencia artificial. Nuestro punto de partida considera aprendizaje profundo aquel que permite el desarrollo de habilidades de pensamiento de orden superior. El objetivo que nos marcamos es conocer cuál es el estado de la cuestión acerca de la implementación de programas de esta índole en el contexto universitario. Siguiendo una metodología de revisión rápida (King et al., 2022), se consultaron las bases de datos Scopus y WoS, para identificar estudios publicados desde el año 2021 hasta la actualidad, en el marco de la investigación educativa, encontrando finalmente 38 registros. Los estudios identificados ponen de manifiesto la enorme variabilidad del término “aprendizaje profundo” en tanto en cuanto engloba enfoques tan diversos como la toma de conciencia del individuo de su forma de aprender, el significado y transcendencia del conocimiento que está adquiriendo, el desarrollo de plataformas de aprendizaje en línea o el manejo de ingentes cantidades de datos (big data) para adaptar el aprendizaje al ritmo del individuo o indicarle al docente cuáles son las mejores metodologías, pasando por el desarrollo de habilidades superiores de pensamiento. Se desprende del estudio la necesidad abordar con profundidad el alcance, sentido y significado del término “aprendizaje profundo”. Martín, M., Bueno-Álvarez, J. A., Mateos, P., García, V., & Camilli, C. (2023). Buenas prácticas en la enseñanza de revisiones sistemáticas. VI Congreso Internacional de Innovación Docente e Investigación en Educación Superior: Nuevas tendencias para el cambio en la enseñanza superior de las Áreas de Conocimiento. Sevilla, del 5 al 9 de noviembre 2024. Las revisiones sistemáticas suponen una herramienta fundamental para conocer el cuerpo teórico actualizado en relación con un campo de estudio concreto. Enseñar cómo realizarlas desde la universidad puede contribuir a que los futuros profesionales investiguen sobre los hallazgos y avances en sus en sus áreas de trabajo, traduciéndose esto en innovaciones y mejoras en la calidad en su posterior desempeño. El objetivo de la presente investigación ha sido analizar las publicaciones sobre buenas prácticas en relación con la enseñanza de revisiones sistemáticas dirigidas al alumnado universitario, aún en formación. Para ello, se realizó una revisión de la literatura en diversas bases de datos internacionales, con el criterio de búsqueda “systematic review library” en español y en inglés. Se hallaron diversas tipologías de recursos, como videotutoriales, páginas web, libros y artículos. Sin embargo, los resultados arrojados ponen de manifiesto la escasa producción existente orientada a la formación de los futuros profesionales en esta metodología, concentrándose fundamentalmente en universidades británicas y americanas de reconocido prestigio. Ante este vacío en nuestro país, se propone fomentar la formación en metodología basada en la evidencia entre el alumnado actual mediante la creación de recursos didácticos, claros y sencillos, que