El alumnado universitario como evaluador de materiales educativos en formato t-MOOC para el desarrollo de la Competencia Digital Docente según DigCompEdu. Comparación con juicio de expertos

e-ISSN 1135-9250 EDUTEC. Revista Electrónica de Tecnología Educativa. Número 81 - Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 1 Esta obra está bajo licencia internacional Creative Commons Reconocimiento 4.0. Recibido: 07-03-2022 Aceptado: 10-09-2022 El alumnado universitario como evaluador de materiales educativos en formato t-MOOC para el desarrollo de la Competencia Digital Docente según DigCompEdu. Comparación con juicio de expertos University students as evaluators of educational materials in t-MOOC format for the development of Digital Teaching Competence according to DigCompEdu. Comparison with expert judgment Julio Cabero Almenara; [email protected] Manuel Serrano Hidalgo; ma[email protected] Antonio Palacios Rodríguez; [email protected] Carmen Llorente Cejudo; [email protected] Universidad de Sevilla (España) Resumen En los últimos tiempos, los MOOC se han configurado como una tecnología que viene ganando terreno en el campo educativo suponiendo un nuevo enfoque en la educación a distancia. Del mismo modo, se ha incrementado su presencia en las instituciones educativas y el nivel de investigaciones y publicaciones que giran alrededor de estos desarrollos tecnológicos. En concreto, esta investigación se centra en la evaluación de un t-MOOC (basado en la entrega de tareas), diseñado y producido para el desarrollo de competencias digitales según el Marco DigCompEdu a través del juicio de expertos. En su evaluación participan 76 estudiantes del Grado de Pedagogía y 292 expertos que obtienen un índice de competencia experta igual o superior a 0,9. Las puntuaciones alcanzadas permiten señalar que el t- MOOC se valora de manera muy positiva. Igualmente, el estudio pone de manifiesto la significación del alumnado universitario como evaluador de materiales educativos. Por este motivo, se reflexiona sobre las posibilidades didácticas que este tipo de metodología añade a los nuevos escenarios educativos. Palabras clave: competencia digital, DigCompEdu, t- MOOC, diseño de medios y materiales, pedagogía. Abstract In recent times, MOOCs have been configured as a technology that has been gaining ground in the educational field, assuming a new approach to distance education. Similarly, its presence in educational institutions and the level of research and publications that revolve around these technological developments have increased. Specifically, this research focuses on the evaluation of a t-MOOC (based on the delivery of tasks) designed and produced for the development of digital competences according to the DigCompEdu Framework through expert judgment. 76 students of the Degree in Pedagogy and 292 experts who obtain an index of expert competence equal to or greater than 0.9 participate in its evaluation. The scores achieved allow us to point out that the t- MOOC is valued very positively. Similarly, the study highlights the significance of university students as evaluators of educational materials. For this reason, we reflect on the didactic possibilities that this type of methodology adds to the new educational scenarios. Keywords: Digital competence, DigCompEdu, t- MOOC, media and material design, pedagogy. EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 2 1. LOS MOOC COMO TECNOLOGÍA FORMATIVA Una de las tecnologías que ha incrementado su presencia e investigación en la educación son los MOOC (Meet y Kala, 2021; Ruiz-Palmero et al., 2021). Señalando diferentes estudios que los presentan con un gran potencial como herramienta para la formación y el aprendizaje, siendo de gran utilidad para la formación permanente (Benet et al., 2018; Palacios et al., 2020). Estas investigaciones se han dirigido básicamente en cuatro direcciones: (a) el potencial y los desafíos de los MOOC para las universidades; (b) las plataformas MOOC; (c) los estudiantes y contenido en MOOC; y, (d) la calidad de los MOOC y los problemas de diseño instruccional (Zawacki-Richer et al., 2018). De acuerdo con Fernández-Ferrer (2019), su utilización puede aportar una serie de ventajas e inconvenientes para ser utilizados en las instituciones educativas. Ventajas e inconvenientes que, de acuerdo con el autor anteriormente citado, se centran tanto en el estudiante, como en los docentes o en las instituciones de educación superior. Entre las ventajas para los estudiantes, se puede señalar su flexibilidad, su acceso gratuito y su adecuación a las necesidades formativas del momento. Para los docentes, el potenciar su visibilidad y presencialidad. Y para las instituciones, el aumento de los estudiantes y su internalización. Por el contrario, respecto a los inconvenientes surgen para los estudiantes la poca atención a la individualización y el gran número de abandono. Y para los docentes la dificultad de la evaluación y la elevada carga de trabajo. Finalmente, para las instituciones su coste y los problemas técnicos. De todas formas, no se debe olvidar que la propuesta realizada es generalizante y como después se indicará hay diferentes tipologías de MOOC. Inicialmente, su incorporación a la formación vino marcada porque se desarrollan de forma on-line, ser abiertos, ser gratuitos para su realización no para su certificación, movilizan un gran número de alumnos, no requerir condiciones de admisión y permitir una participación interactiva de un gran número de estudiantes (Castaño-Muñoz et al., 2018). Es importante considerar que su carácter masivo debe considerarse con cierta precaución en los momentos actuales (Escudero- Nahón y Núñez-Urbina, 2020). Una de las principales críticas realizadas a los MOOC es la tasa de abandono de las acciones formativas por el alumnado. Aunque diferentes investigaciones han señalado que esta situación decrece cuando los estudiantes han tenido una experiencia previa con estas acciones formativas y tienen un alto auto compromiso para realizarlo (Albelbisi, et al., 2018; Deng et al., 2020) o presentan una actitud positiva hacia los mismos (Zhou, 2016). Al mismo tiempo, distintos estudios señalan que la edad de los estudiantes y su nivel educativo, repercuten en obtener mejores niveles de logro y mayores niveles de participación (Fernández-Prados y Lozano-Díaz, 2021; Reyes-Ruiz, 2022). Ya se ha señalado que en su evolución han ido apareciendo una diversidad de tipologías que han superado las propuestas iniciales de los xMOOC y cMOOC. Los primeros, preocupados en la adquisición de contenidos, y en los segundos, centrados en las conexiones e interacciones que establecían los estudiantes que participan en el entorno formativo y como a partir de las mismas construían el conocimiento. Frente a las propuestas iniciales surgen nuevos modelos como los hMOOC, que son modelos híbridos entre los xMOOC y los CMOOC (García-Peñalvo et al., 2018); los bMOOC, que persigue combinar las ventajas del aprendizaje en línea y la interacción cara a cara (Zhao y Song, 2020); los SPOOC, que se caracterizan por las restricciones tanto de acceso, como de número de participantes, fomentando de esta manera un aprendizaje más personalizado y práctico (Aguayo y Bravo, 2017). EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 3 Una de las propuestas de clasificación más interesantes es la realizada por Pilli y Admiraal (2016) que los clasifican en función de dos dimensiones: masividad y apertura, estableciendo a partir de ellas una matriz bidimensional con cuatro categorías: (i) pequeña escala y menos abierta, (ii) pequeña escala y más abierta, (iii) gran escala y menos abierta, (iv) gran escala y más abierta (Figura 1). Figura 1 Propuesta de clasificación de los MOOC. Fuente: Elaboración propia a partir de Pilli y Admiraal (2016) Entre los distintos modelos aparecen los t-MOOC, que es el formato utilizado en el trabajo actual. A diferencias de otras propuestas, los t-MOOC se apoyan en la realización por los estudiantes de diferentes tareas de distinta tipología. Debiendo realizar el estudiante un mínimo número de ellas para ir avanzando en el curso, y demostrar de esta forma que han adquirido las competencias previstas en el curso (Osuna-Acedo et al., 2018). De esta forma, surge una evaluación constante por parte de los estudiantes (Albelbisi et al., 2018; Baeza- González et al., 2022). Este tipo de MOOC requiere que alumno tenga una participación en el proceso educativo. Por otra parte, como señalan distintos autores, los t-MOOC son una excelente estrategia para la formación de los docentes en competencias digitales (Fernández et al., 2019; Gordillo et al., 2019; Cabero-Almenara et al., 2022). 1.1. El Marco de Competencia Digital Docente DigCompEdu. Diferentes han sido los marcos competenciales que se han elaborado respecto a las Competencias Digitales que deben desarrollar los docentes: “International Society for Technology in Education” (ISTE), Unesco competencial TIC para docentes, el del Ministerio de Educación de Colombia y de Chile… En la Unión Europea va ganando terreno el denominado EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 4 “Marco Europeo de Competencia Digital del profesorado” o DigCompEdu (Comisión Europea, 2017; Cabero-Almenara y Palacios-Rodríguez, 2020; Cabero-Almenara et al., 2020). DigCompEdu es un marco de referencia científicamente sólido que ayuda a orientar las políticas y puede adaptarse directamente para implementar herramientas y programas de capacitación regionales y nacionales. Además, proporciona un lenguaje y un enfoque comunes que ayudarán al diálogo y al intercambio de mejores prácticas entre instituciones y/o países. El Marco DigCompEdu está dirigido a educadores en todos los niveles educativos, desde Educación Infantil hasta la Educación Superior y de adultos, incluida la Formación Profesional, enseñanza de idiomas, la educación especial y los contextos de aprendizaje no formal. Su objetivo es proporcionar un marco de referencia general para los desarrolladores de modelos de Competencia Digital, es decir, los Estados Miembros de la Unión Europea y otros países interesados, los gobiernos regionales, las agencias nacionales y regionales relevantes, las propias organizaciones educativas y los proveedores de formación profesional públicos o privados. En la Figura 2 se puede observar su estructura general. Figura 2 Estructura de DigCompEdu. Fuente: Comisión Europea (2017) Este marco se articula alrededor de seis áreas competenciales: compromiso profesional, recursos digitales, pedagogía digital, evaluación y retroalimentación, empoderar a los estudiantes, y facilitar la competencia digital a los estudiantes. También presenta seis niveles competenciales progresivos: novato, explorador, integrador, experto, líder y pionero; que sugieren diferentes niveles de manejo e integración educativa de las tecnologías en la práctica educativa. Finalmente, hay que señalar que para la formación del profesorado y del alumnado para la adquisición de competencias digitales, una de las tecnologías más utilizadas han sido los MOOC (Prince et al., 2016; Fernández et al., 2019; Gordillo et al., 2019). EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 5 2. METODOLOGÍA 2.1. Objetivos Los objetivos que persigue el proyecto actual son dos: a. Evaluar un t-MOOC realizado para la formación del profesorado en formación en el desarrollo de competencias digitales docentes de acuerdo con el modelo DigCompEdu desde dos perspectivas: alumnado y expertos. b. Comparar las evaluaciones realizadas por los estudiantes con las efectuadas en su momento por una serie de expertos. 2.2. Características del T-MOOC producido Como se ha comentado con anterioridad, el t-MOOC producido se basa en el Marco DigCompEdu de la Unión Europea. En este caso, se ha elegido la plataforma Moodle para alojarlo. Su funcionamiento es como sigue. Primero, se da de alta al alumnado para que pueda contar con usuario y credenciales específicas. Tras autentificarse, el alumnado entra en la denominada “página principal”, donde se encuentra un vídeo tutorial de ayuda en el entorno virtual y una animación genérica sobre el Marco DigCompEdu (Figura 3). Figura 3 Animación sobre el Marco DigCompEdu. Fuente: Elaboración propia. Tras haber visualizado los dos videos mencionados con anterioridad, se encuentran las áreas competenciales a trabajar (Figura 4). Cada área competencial cuenta con una serie de competencias relacionadas (Figura 2). Por cada competencia, también se dispone de una animación explicativa de la misma. EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 6 Figura 4 Presentación del Área 1. Fuente: Elaboración propia. En cada área, el alumnado debe realiza una evaluación diagnóstica (Figura 5) que determina el nivel de competencia digital que posee: básico, intermedio o avanzado. Dependiendo del nivel, el alumnado es derivado a un itinerario específico de aprendizaje para poder mejorarlo. Figura 5 Ejemplo de ítem disponible en la evaluación diagnóstica. Fuente: Elaboración propia. En definitiva, cada competencia a trabajar dentro de cada área dispone de tres itinerarios diferentes (módulos de aprendizaje). Cada módulo de aprendizaje tiene un módulo de contenido y módulo de tarea asociado. Los bloques de contenido disponen de textos explicativos, infografías, polimedias, animaciones, hiperenlaces… En el caso de los bloques de tarea, el alumnado puede elegir entre diferentes tipos de actividades para poder superarlo. La presentación de las actividades se efectúa mediante una guía donde se incorporan diferentes aspectos, tales como: su identificación, recomendaciones para su realización, lista de chequeo para que el docente compruebe la calidad de la entrega y una rúbrica de evaluación que es usada por los tutores del t-MOOC. La tipología de actividades es diversa: realización de mapas conceptuales, participación en foros, construcción de blog, creación de PLE con determinadas herramientas, organización de actividades para el alumnado… EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 7 Así pues, el t-MOOC posee los siguientes recursos: • 66 módulos de aprendizaje (3 por cada competencia DigCompEdu: inicial, intermedio y avanzado). • 230 tareas repartidas en los módulos de aprendizaje. • 1 foro general. • 1 foro de bienvenida. • 6 foros específicos de áreas. • 15 foros específicos de tareas. • 6 tests de autodiagnóstico del nivel competencial (inicial, intermedio y avanzado). • 1 animación con las instrucciones de navegación y uso del t-MOOC. • 1 animación general (DigCompEdu). • 6 animaciones específicas de cada área competencial DigCompEdu. • 22 animaciones específicas de cada competencia DigCompEdu. • 16 animaciones integradas en los distintos módulos de aprendizaje. • 24 infografías integradas en los distintos módulos de aprendizaje. • 11 polimedias integrados en los distintos módulos de aprendizaje. El tipo de tareas utilizadas ha sido de diferente tipología: participación en un foro; explicar los pasos para la elaboración de un producto, recurso o comunidad virtual; realizar una actividad con el programa padlet; identificación de los errores cometidos en una secuencia para la realización de algún tipo de actividad; realización de un mapa conceptual; realización de una presentación de diapositivas; grabación de una simulación de una presentación de una conferencia; describir diferentes herramientas de comunicación sincrónica y asincrónica… Para la producción del t-MOOC se ha utilizado una gran variedad de programas: • ExeLearning (módulos de aprendizaje) • VYOND (animaciones didácticas) • Genially (infografías) • Photoshop (diseño gráfico y estética del TMOOC) • Adobe Premiere (edición de vídeo) • Audacity (ecualización de los audios) 2.3. La muestra de la investigación La muestra de la presente investigación estuvo formada por 76 estudiantes del Grado de Pedagogía que cursaban la asignatura de “Tecnología Educativa”. Por otra parte, el número de expertos que lo evaluaron en su momento fue de 292. El trabajo que realizaron con el t-MOOC anteriormente señalado fue diferente para los expertos y los estudiantes. A los expertos se les facilitó una clave para que durante un tiempo pudieran acceder al t-MOOC y valorarlo; en el caso de los estudiantes, lo cursaron aquellos que voluntariamente quisieron realizarlo, y su período de formación fue cercano a tres meses, recibiendo aquellos que lo finalizaron un certificado por su participación y una mejora en la calificación final de la asignatura. La actividad del t-MOOC fue tutorizada por personal de la investigación, quién clarificó las dudas de los estudiantes y corrigió las actividades realizadas. EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 8 Por lo que se refiere al alumnado, señalar que diferentes trabajos han aportado la significación de las evaluaciones realizadas por los estudiantes respecto a diferentes recursos tecnológicos (Barroso-Osuna y Cabero-Almenara, 2016; Cabero-Almenara et al., 2017). En el caso del alumnado, 66 (86,84%) eran mujeres y 10 (13,16%) hombres, con una media de edad de 21 años. Y en el de los expertos, 151 (51,71%) eran mujeres, y 141 (48,29%) hombres. Hay que indicar que los expertos que evaluaron el t-MOOC. La selección de los expertos se llevó a cabo mediante el coeficiente de competencia experta (Cabero y Barroso, 2013; Cabero e infante, 2014; Martínez et al., 2018). Esta estrategia cada vez es más utilizada para la selección de los expertos en las investigaciones (Cruz y Martínez, 2020). 2.4. El instrumento de recogida de información El instrumento de recogida de información fue una adaptación del construido por Cabero y Llorente (2015), que fue creado y validado para la evaluación del diseño de otras tecnologías. El cuestionario estaba formado por 18 ítems, con construcción tipo Likert con 6 opciones de respuestas: 1. MN= Muy negativo/Muy en desacuerdo/Muy difícil; 2. N= Negativo/En desacuerdo/Difícil; 3. R-= Regular negativo/Moderadamente en desacuerdo/Moderadamente difícil; 4. R+= Regular positivo/Moderadamente de acuerdo/Moderadamente fácil; 5. P= Positivo/De acuerdo/Fácil; y, 6. MP= Muy positivo/Muy de acuerdo/Muy fácil. Los 18 ítems medían diferentes dimensiones: aspectos técnicos (cuatro ítems), facilidad de uso (seis ítems), diversidad de recursos (cinco ítems) y, actividades y calidad del contenido (tres ítems). El cuestionario se administró vía Google Forms y se obtuvieron los siguientes índices de fiablidad por Alfa de Crombach (Tabla 1). Tabla 1 Índice de fiabilidad del instrumento aplicado a los expertos y estudiantes Dimensiones Alfa expertos Alfa estudiantes D1. Aspectos técnicos y estéticos .957 .967 D2. Facilidad de utilización .855 .898 D3. Diversidad de recursos y actividades .994 .979 D4. La calidad de los contenidos .885 .887 General .925 .932 Los resultados obtenidos, tanto con los expertos como con los estudiantes en la globalidad del instrumento y diferentes dimensiones que lo conforman, permiten indicar de acuerdo con Mateo (2004), que el instrumento presenta unos elevados índices de fiabilidad. EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 9 3. RESULTADOS Inicialmente, se presentan los valores medios y las desviaciones típicas alcanzadas por los estudiantes en los diferentes ítems que configuraban el instrumento (Tabla 2). Tabla 2 Media y desviaciones típicas obtenidas por los estudiantes ítems en los diferentes ítems que conformaban el instrumento. Ítems Estudiantes Expertos M DT M DT 1.1. El funcionamiento del t-MOOC que te hemos presentado es: 5,33 0,717 5,37 0,715 1.2 En general, la estética del t-MOOC producido la consideras: 4,98 1,004 5,03 0,978 1.3 En general, el funcionamiento técnico del t-MOOC producido lo calificarías de: 5,30 0,811 5,39 0,746 1.4. En general, ¿Cómo valorarías la presentación de la información en la pantalla? 5,05 0,909 5,13 0,873 2.1. ¿Cómo calificaría la facilidad de uso y manejo del t-MOOC que te hemos presentado? 5,28 0,864 5,34 0,799 2.2. ¿Cómo calificarías la facilidad de comprensión del funcionamiento técnico del t-MOOC que te hemos presentado? 5,16 0,997 5,32 0,822 2.3. Desde tu punto de vista, ¿Cómo valorarías el diseño general del t-MOOC que hemos elaborado? 5,08 0,907 5,14 0,868 2.4. Desde tu punto de vista, ¿Cómo valorarías la accesibilidad/usabilidad del t-MOOC que te hemos presentado? 5,24 0,835 5,27 0,841 2.5. Desde tu punto de vista, ¿Cómo valorarías la flexibilidad de utilización del t-MOOC que te hemos presentado? 5,22 0,865 5,26 0,823 2.6. El utilizar el t-MOOC producido te fue divertido. 4,63 1,179 4,70 1,165 3.1. La diversidad de recursos utilizados en el t-MOOC facilita la comprensión de los contenidos. 5,08 0,976 5,17 0,927 3.2. Los materiales, lecturas, animaciones, vídeos… ofrecidos en el t-MOOC son claros y adecuados. 5,20 0,984 5,29 0,917 3.3. La estructura y los materiales del t-MOOC son motivantes para el estudio. 4,95 1,035 5,09 0,946 3.4. Las actividades ofrecidas en el t-MOOC resultan atractivas e innovadoras. 5,04 0,981 5,17 0,920 3.5. Existen diferentes modalidades y tipos de actividades: de refuerzo, de apoyo, de ampliación… presentadas en el t-MOOC. 5,17 0,856 5,25 0,775 4.1. Los contenidos del t-MOOC así como su estructura son claros y adecuados. 5,19 0,986 5,40 0,810 4.2. Los contenidos presentados en el t-MOOC se adecuan a las competencias que se desean desarrollar. 5,36 0,783 5,44 0,752 4.3. Los contenidos del t-MOOC son fáciles de comprender. 5,21 0,894 5,40 0,700 EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 16 García-Peñalvo, F., Fidalgo-Blanco, A., y Sein-Echaluce, M. (2018). An adaptive hybrid MOOC model: Disrupting the MOO concept in higher education. Telematics and Informatics, 35(4), 1018-1030. https://doi.org/10.1016/j.tele.2017.09.012 Gordillo, A., López-Pernas, S., y Barra, E. (2019). Effectiveness of MOOCs for teachers in safe ICT use training. Comunicar, 61, 103-112. https://doi.org/10.3916/C61-2019-09 Kelley, K. y Preacher, K. (2012). On Effect Size. Psychological Methods, 17(2), 137-152. Ljbojevic, M., Vaskovic, V., Stankovic, S. y Vaskovic, J. (2015). El uso del vídeo complementario en la enseñanza multimedia como herramienta didáctica para incrementar la eficiencia del aprendizaje y la calidad de experiencia. Revista Mexicana de Bachillerato a Distancia, 13, 134-153. Martínez, E., Nadina, C., Sagaró, N, Urbina, O. y Martínez, I. (2018). Identificación de las competencias específicas de los profesionales de enfermería en la atención al neonato en estado grave. Medisan, 22(2), 184. Mateo, J. (2004). La investigación expost-facto. La Muralla. Meet, R. y Kala, D. (2021). Trends and Future Prospects in MOOC Researches: A Systematic Literature Review 2013–2020. Contemporary Educational Technology, 13(3), ep312, https://doi.org/10.30935/cedtech/10986 Osuna-Acedo, S., Marta-Lazo, C., y Frau-Meig, D. (2018). De sMOOC a tMOOC, el aprendizaje hacia la transferencia profesional: El proyecto europeo ECO. Comunicar, 55, 105-114. https://doi.org/10.3916/C55-2018-10 Palacios, F., Huertas, C. y Gómez, M.E. (2020). MOOCs: Origins, Concept and Didactic Applications: A Systematic Review of the Literature (2012–2019). Technology, Knowledge and Learning. https://doi.org/10.1007/s10758-019-09433-6 Pilli, O., y Admiraal, W. (2016). A taxonomy of massive open online courses. Contemporary Educational Technology, 7(3), 223-240. Prince, M., Figueroa, M., Martínez, J. y Izquierdo, J.M. (2016). Curso MOOC para fomentar el desarrollo de competencias digitales en estudiantes universitarios y autodidactas. Revista Iberoamericana de Educación en Tecnología y Tecnología en Educación, 17, 16- 29. Reyes Ruiz, G. (2022). La realidad aumentada como una tecnología innovadora y eficiente para el aprendizaje de idiomas en un modelo pedagógico Flipped Learning. Pixel-Bit. Revista De Medios Y Educación, (65), 7–38. https://doi.org/10.12795/pixelbit.93478 Ríos, A. R., y Peña, A. M. P. (2020). Estadística inferencial. Elección de una prueba estadística no paramétrica en investigación científica. Horizonte de la Ciencia, 10(19), 191-208. EDUTEC. Revista Electrónica de Tecnología Educativa. e-ISSN 1135-9250 Cabero, J., Serrano, M., Palacios, A. y Llorente, C. Núm. 81 – Septiembre 2022 DOI: https://doi.org/10.21556/edutec.2022.81.2503 Página 17 Ruiz-Palmero, J., López-Álvarez, D. y Sánchez-Rivas, E. (2021). Revisión de la producción científica sobre MOOC entre 2016 y 2019 a través de SCOPUS. Píxel-Bit. Revista de Medios y Educación, 60, 95-107. https://doi.org/10.12795/pixelbit.77716. Sahasrabudhe, V. y Kanungo, S. (2014). Apropriate media choice for e-learning effectiveness: Role of learning domain and learning style. Computers & Education 76, 237–249. http://dx.doi.org/10.1016/j.compedu.2014.04.006. Salim, P. y Luo, T. (2019). Factors contributing to student retention in online learningand recommended strategies for improvement: a systematic literature review. Journal of Information Technology Education Research, 18, 19-57. https://doi.org/10.28945/4182. Siegel, S. (1976). Estadística no paramétrica aplicada a las ciencias de la conducta. Trillas. Silva, J. (2017). Un modelo pedagógico virtual centrado en las E-actividades. RED. Revista de Educación a Distancia, 53,10, 1-20. Zawacki-Richer, O., Bozkurt, A., Alturki, U., y Aldraiweesh, A. (2018). What Research Says About MOOCs – An Explorative Content Analysis. International Review of Research in Open and Distributed Learning, 19(1), 242-259. Zhao, S. y Song, J. (2020). Students’ Perceptions of a Learning Support Initiative for b- MOOCs. iJET, 15(21), 179-194. Zhou, M. (2016). Chinese university students' acceptance of MOOCs: A self-determination perspective. Computers & Education, (92-93), 194-203. https://doi.org/10.1016/j.compedu.2015.10.012 Para citar este artículo: Cabero Almenara, J., Serrano Hidalgo, M., Palacios Rodríguez, A. y Llorente Cejudo, C. (2022). El alumnado universitario como evaluador de materiales educativos en formato t-MOOC para el desarrollo de la Competencia Digital Docente según DigCompEdu. Comparación con juicio de expertos . Edutec. Revista Electrónica de Tecnología Educativa, (81), 1-17. https://doi.org/10.21556/edutec.2022.81.2503