Evaluación de una formación online basada en Flipped classroom

Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 65 Evaluación de una formación online basada en Flipped classroom Evaluation of an online training based on Flipped classroom DOI: 10.4438/1988-592X-RE-2021-391-471 Carmen Romero-García Patricia de Paz-Lugo Universidad Internacional de la Rioja Olga Buzón-García Universidad de Sevilla Enrique Navarro-Asencio Universidad Complutense de Madrid Resumen En esta investigación se analizan los efectos del modelo pedagógico Flipped classroom en el rendimiento y la satisfacción de futuros docentes, estudiantes del Máster de formación de Profesorado, en un entorno íntegramente online. Se sigue una metodología cuantitativa con un diseño cuasiexperimental con grupo control no equivalente. El grupo control está constituido por 103 estudiantes y el experimental por 119. Se compara el rendimiento académico de ambos grupos, antes y después de la intervención, con un cuestionario de conocimientos y valorando los resultados de su aprendizaje a lo largo del semestre. Además, se ha estudiado su opinión sobre la experiencia realizada mediante un cuestionario de satisfacción al finalizar la asignatura. Los grupos parten de un nivel de conocimientos equivalente en el pretest y se han encontrado diferencias al finalizar la intervención, donde el grupo experimental obtiene unos niveles mayores, siendo el tamaño del efecto medio (r=0,66). Las actividades utilizadas para valorar los resultados de aprendizaje muestran la existencia de diferencias estadísticamente significativas, siendo los rangos promedio mayores en el grupo experimental en todas las actividades, con un tamaño de efecto muy grande en tres de ellas (r=0,89, r=0,90 y r=0,96) y grande en otra (r=0,68). En relación Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 66 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom con el grado de satisfacción del alumnado con la experiencia desarrollada, todas las dimensiones analizadas obtienen puntuaciones superiores a 3,56 (en una escala de 1 a 4). Tras la implementación del modelo Flipped classroom se ha determinado un efecto altamente positivo en la mejora del aprendizaje del alumnado, tanto en el rendimiento, como en la motivación, el compromiso y la interacción entre estudiantes y docente. Se concluye la necesidad de incorporar el modelo Flipped classroom en la formación inicial del profesorado. Palabras clave: Flipped classroom, aprendizaje colaborativo, rendimiento académico, educación superior, aula virtual. Abstract This research analyses the effectiveness of the Flipped classroom pedagogical model in the performance and satisfaction of future teachers, students of the Master’s Degree in Teacher Training in a completely online environment. A quantitative methodology is followed with a quasi-experimental design with a non-equivalent control group. The control group is made up of 103 students and the experimental group is made up of 119. The academic performance of both groups is compared, before and after the intervention, with a knowledge questionnaire and evaluating the results of their learning throughout the semester. In addition, their opinion on the experience was studied by means of a satisfaction questionnaire at the end of the course. Both groups show an equivalent level of knowledge at the pretest stage, and differences have been found upon completion of the intervention, where the experimental group reaches higher levels, being the medium effect size (r=0.66). The activities utilized to evaluate the results of the learning show the existence of statistically significant differences, being the average ranges higher in the experimental group in all activities, with a very large effect size in three of them (r=0.89, r=0.90 and r=0.96) and large in another (r=0.68). In relation to the degree of satisfaction of the students with the experience developed, all the dimensions analyzed obtain scores above 3.56 (on a scale of 1 to 4). After the implementation of the Flipped classroom model, a highly positive effect has been determined in the improvement of student learning, both in performance and in motivation, commitment and interaction between students and teacher. The need to incorporate the Flipped classroom model in the initial training of the teaching staff is concluded. Key words: Flipped classroom, collaborative learning, performance factors, higher education, virtual classroom. Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 67 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom Introducción Uno de los pilares fundamentales de la calidad del sistema educativo de un país es la formación inicial de sus futuros profesores (Murray, Durkin, Chao, Star y Vig, 2018). Para que dicha formación sea eficaz debe integrar tanto conocimientos teóricos, como pedagógicos y prácticos (Consejo de la Unión Europea, 2014). En nuestro país, los futuros profesores de Educación Secundaria, Bachillerato, Formación Profesional y Enseñanza de Idiomas tienen que realizar, tras sus estudios de Grado, un Máster de un año de duración (60 créditos ECTS) que, según revelan los resultados del informe TALIS (Teaching and Learning International Survey), no asegura la suficiente preparación pedagógica y práctica necesaria para el ejercicio docente (Ministerio de Educación, Cultura y Deporte, 2014). La necesidad de otorgarle protagonismo al alumnado y que este se implique de forma activa en su aprendizaje se ha afianzado como la principal premisa del aprendizaje del siglo XXI, a la que podemos añadir la utilización de las Tecnologías de la Información y la Comunicación (TIC). Es fundamental, por tanto, que los futuros docentes experimenten durante su formación inicial las ventajas del aprendizaje activo, convirtiéndose en los verdaderos protagonistas de su aprendizaje, el cual será guiado y apuntalado por el docente (Martín y Santiago, 2016; Romero-García, Buzón-García y Tourón, 2019). En este sentido, el modelo Flipped classroom o Aula Invertida adquiere un especial interés, ya que aúna las principales tendencias educativas: el aprendizaje activo y el uso de la tecnología digital. El Flipped classroom es, en general, un modelo pedagógico opuesto al modelo tradicional de enseñanza o de transmisión-recepción, tanto en espacios como en tiempos, ya que traslada la instrucción directa fuera de la clase –lo que se denomina “espacio individual”–, mientras que el tiempo de clase –también denominado “espacio grupal”– se dedica a la resolución de problemas y la aplicación del contenido de aprendizaje (Flipped Learning Network, 2014). La sistematización del modelo Flipped classroom se debe a los estadounidenses Jonathan Bergmann y Aaron Sams, quienes en el año 2006 comenzaron a grabar sus sesiones de clase en el Woodland Park High School (Colorado) y publicarlas en la red para estudiantes que, por distintas razones, no habían podido asistir a clase (Bergmann y Sams, Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 68 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom 2012). Nace así el Aula Invertida: la presentación del contenido se realiza antes de la clase presencial, en un espacio de aprendizaje autónomo, por medio de videos breves, audios o lecturas, entre otras producciones, que los estudiantes revisan como trabajo previo a la sesión, mientras que la clase presencial está centrada en la realización de actividades dinámicas e interactivas, en su mayoría cooperativas, donde se utiliza el contenido, abordado previamente por los estudiantes, y los docentes resuelven las dudas y guían a los estudiantes durante el proceso de aprendizaje. De esta forma, el docente puede personalizar la enseñanza y atender de forma individualizada los obstáculos que dificulten el aprendizaje de sus alumnos. En el año 2014, el Flipped Learning Network (FLN) definió el Aprendizaje Invertido como un enfoque pedagógico en el que se traslada la instrucción directa del espacio del aprendizaje grupal al espacio del aprendizaje individual, convirtiéndose el aula en un espacio de aprendizaje dinámico e interactivo, en el que el docente guía a los estudiantes sobre cómo aplicar los conceptos que aprenden implicándolos creativamente en la materia de aprendizaje. El fundamento de este enfoque metodológico se basa en ampliar el tiempo que el alumnado pasa en el aula física para resolver problemas, interactuar con sus compañeros de clase y el docente y profundizar en los contenidos (Bergmann y Sams, 2012), siempre en función de sus conocimientos previos (Zainuddin y Halili, 2016). Los fundamentos del Flipped classroom se centran en la utilización de plataformas y materiales digitales, creados o seleccionados por el docente (Long, Cummins y Waugh, 2017; López Belmonte, Pozo Sánchez y Del Pino Espejo, 2019) y utilizados por el alumnado antes de asistir a clase (Abeysekera y Dawson, 2015; Long et al., 2017). Por tanto, en el modelo Flipped classroom se produce una inversión en los momentos de aprendizaje con respecto a la metodología tradicional, pues los contenidos pueden ser visualizados y enseñados fuera de la clase convencional, de manera que el tiempo de la clase puede ser utilizado para aumentar las interacciones entre el docente, los estudiantes y el contenido (López Belmonte et al., 2019, Mengual Andrés, López Belmonte, Fuentes Cabrera y Pozo Sánchez, 2020). Se trata de un enfoque integral de aprendizaje que combina la instrucción directa con métodos constructivistas, actuaciones de compromiso e implicación de los estudiantes con el contenido del curso Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 69 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom y la mejora de su comprensión conceptual (Tourón y Santiago, 2015), y que cuando se aplica con éxito, apoya todas las fases de un ciclo de aprendizaje como el que sugiere la propia taxonomía de Bloom (Anderson y Krathwhol, 2001). En casa, de forma previa a la clase, se trabajan las habilidades cognitivas de orden inferior en la taxonomía de Bloom, y el tiempo de clase se aprovecha para realizar actividades colaborativas trabajando habilidades cognitivas de orden superior en la taxonomía de Bloom. Para llevar a cabo el Aprendizaje Invertido, los docentes deben incorporar los siguientes cuatro pilares a su práctica docente (FLN, 2014): 1) Ambiente flexible, reconfigurando el espacio físico de aprendizaje, fomentando el trabajo colaborativo o individual y flexibilizando las expectativas de la secuencia de aprendizaje de cada estudiante y de la evaluación del aprendizaje; 2) Cultura de aprendizaje, se traslada la responsabilidad de la instrucción hacia un enfoque centrado en el estudiante, aprovechando el tiempo en el aula para crear experiencias de aprendizaje de mayor riqueza y consiguiendo que los estudiantes se involucren activamente en la construcción del conocimiento mientras evalúan y participan en su propio aprendizaje; 3) Contenido dirigido, los docentes crean o seleccionan contenidos accesibles y relevantes para todos los estudiantes; 4) Facilitador profesional, durante el tiempo de clase, el docente da seguimiento continuo y cercano a los estudiantes aportando retroalimentación relevante inmediatamente y evaluando su trabajo. Varios estudios han reportado la efectividad del Aprendizaje Invertido en comparación con el uso de métodos de enseñanza tradicionales. De hecho, se ha demostrado que la inversión en los esquemas y momentos tradicionales de enseñanza y aprendizaje involucrados en la práctica del Aprendizaje Invertido provoca un aumento en la motivación del alumnado (Fuentes, Parra-González, López y Segura-Robles, 2020; Tse, Choi y Tang, 2019); una mejora de la actitud hacia el aprendizaje (Lee, Park y Davis, 2018); posibilita trabajar las inteligencias múltiples, tanto en el espacio individual como en el grupal (Santiago, 2019); promueve la interacción, la participación y la socialización entre los agentes involucrados (Aguilera, Manzano, Martínez, Lozano y Casiano, 2017; Castellanos, Sánchez y Calderero, 2017; Chen, Wu y Marek, 2017; Jong, Chen, Tam y Chai, 2019; Kwon y Woo, 2018; Matzumura, Gutiérrez, Zamudio y Zavala, 2018; van Alten, Phielix, Janssen y Kester, 2019); al tiempo que permite atender Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 70 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom las diferencias individuales y favorece la autorregulación del aprendizaje (Tse et al., 2019; Tourón y Santiago, 2015). Todo ello influye positivamente en el rendimiento y los resultados obtenidos por los estudiantes de diversos niveles educativos –desde la Enseñanza Primaria hasta la Universidad– (Arráez, Lorenzo, Gómez y Lorenzo, 2018; Awidi y Paynter, 2019; Cheng, Ritzhautp y Antonenko, 2018; Dehghanzadeh y Jafaraghaee, 2018; Espada, Rocu, Navia y Gómez- López, 2020; Galindo, 2018; Gillette et al., 2018; Hew y Lo, 2018; Hinojo, Mingorance, Trujillo, Aznar y Cáceres, 2018; Hu et al., 2018; Matzumura et al., 2018; Sola, Aznar, Romero y Rodríguez-García, 2019). Esta gran cantidad de ventajas ha provocado que la implementación del modelo Flipped classroom no haya hecho más que aumentar en todos los niveles educativos en los últimos años (Lo, Lie y Hew, 2018; Pérez, Collado, García, Herrero y San Martín, 2019; Sola et al., 2019). De hecho, la tendencia en su implementación en la etapa de Educación Superior va en aumento y cada vez es más habitual que los docentes realicen experiencias en torno a su aplicación en el aula. No solo por los ya constatados beneficios, sino porque este modelo está en consonancia con los principios que promulga el Espacio Europeo de Educación Superior (EEES) (Reyes, 2015), que exige no solo conseguir las competencias prácticas adecuadas a la materia, sino adquirir conocimientos teóricos a través de actividades prácticas. Si bien se ha demostrado que el enfoque invertido mejora el aprendizaje de los estudiantes en las clases presenciales, no hay muchas evidencias sobre la utilización de este enfoque de instrucción invertida para cursos completamente online (Sacristán, Martín, Navarro y Tourón, 2017). El objetivo de este estudio ha sido evaluar los efectos del enfoque Flipped classroom en el rendimiento y la satisfacción de futuros docentes, alumnado de la asignatura de “Diseño Curricular” del Máster en Formación de Profesorado de Educación Secundaria, Bachillerato, Formación Profesional y Enseñanza de Idiomas de la Universidad Internacional de La Rioja (UNIR), en un entorno íntegramente online. Método En esta investigación se utilizó una metodología cuantitativa con un diseño cuasiexperimental con grupo control no equivalente. Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 71 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom Muestra El muestreo fue no probabilístico por conveniencia, dado que la experiencia se desarrolló en los grupos en los que los investigadores imparten docencia. La muestra estuvo formada por estudiantes que cursaban la asignatura de Diseño Curricular en las especialidades de Biología y Geología y Matemáticas del Máster de Formación del profesorado de Secundaria y Bachillerato, de la Facultad de Educación de una universidad online durante el curso 2018/19. El total de participantes que formaron la muestra utilizada fue de 222 participantes sobre una población de 393, los cuales fueron informados sobre la investigación en la que iban a participar y en la que se les garantizó el anonimato. Todos mostraron su conformidad. Los participantes formaban parte de dos grupos diferentes, el grupo experimental, en el que se implementó el modelo Flipped classroom y el grupo control en el que utilizó un modelo tradicional o de transmisiónrecepción. El grupo control estuvo formado 103 por estudiantes, 47,6 % mujeres y 52,4 % hombres, con una edad media de entre 25 y 35 años y el grupo experimental por 119 estudiantes, 61,7 % mujeres y 38,3 % hombres con una edad media de entre 25 y 35 años. Respecto a su experiencia docente previa, el 62,4 % no tiene, el 16,8 % tiene menos de 1 año, el 16 % entre 1 y 3 años y un 4,8 % tiene más de 5 años de experiencia. La variable objeto de estudio tras la intervención realizada fue el rendimiento académico del alumnado, medido mediante la realización de una prueba de conocimientos y las calificaciones de cuatro actividades seleccionadas como producto de aprendizaje y evaluadas mediante una rúbrica. Así mismo, se analizó la satisfacción del alumnado con el modelo Flipped classroom. Instrumentos Se diseñó una prueba de conocimientos de la materia que se aplicó antes y después de la intervención, con la intención de medir la repercusión del modelo Flipped classroom en el rendimiento académico y para determinar si el grupo control y experimental eran homogéneos, es decir, si partían del mismo nivel de conocimientos sobre el contenido. Así mismo, dicha Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 72 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom prueba sirvió para comprobar si existían diferencias en conocimientos al final de la experiencia entre el grupo control y experimental. La prueba de conocimientos constó de 30 preguntas con cuatro opciones de respuesta que se calificaron sobre un total de 30 puntos. Tras el análisis de fiabilidad del instrumento, obtuvimos un Alpha de Cronbach de 0,835, por lo que consideramos que el instrumento presentaba una adecuada fiabilidad (Nunnally, 1978). Además, se analizaron las calificaciones de cuatro actividades de aprendizaje. Estas actividades fueron realizadas por el alumnado fuera del aula, de forma individual o grupal. La actividad 1 se realizó de forma individual y consistió en seleccionar una competencia y proponer una serie de actividades para trabajarla. En la actividad 2 los estudiantes, en grupos de 4-6 alumnos, debían simular una reunión de departamento para tomar acuerdos previos a la realización de una programación didáctica. Las actividades 3 y 4 eran individuales y consistieron en la realización de una programación didáctica y en el desarrollo de una de las unidades didácticas propuestas en la programación. La evaluación de las actividades se realizó mediante rúbricas diseñadas ad-hoc. En primer lugar, se efectuó un proceso de validación del contenido de las rúbricas mediante un juicio de expertos, que realizaron una valoración tanto cuantitativa como cualitativa. La validación mediante experto ha mostrado su eficacia en el diseño de instrumentos de distintas áreas, incluida las ciencias sociales (Adams y Wieman, 2010; Adams et al., 2006). En cada indicador se valoró la claridad en la redacción, la relevancia y si los niveles de logro y la puntuación asignada a cada uno de ellos era adecuada. La valoración se realizó según una escala tipo Likert (1 Muy en desacuerdo, 2 En desacuerdo, 3 De acuerdo, 4 Muy de acuerdo). Además, se incluyó un apartado de observaciones para cada indicador. En todos los indicadores, y en cada categoría evaluada, existió un 100 % de acuerdo en las valoraciones emitidas por los tres jueces. Posteriormente, se determinó el grado de acuerdo entre las valoraciones que hicieron dos docentes que evaluaron las actividades al mismo grupo de estudiantes (Weir, 2005). El índice utilizado para medir el grado de acuerdo fue el coeficiente de correlación intraclase (CCI), que oscila entre 0 y 1. Valores cercanos a 1 indican un alto grado de acuerdo y, por tanto, que los docentes evaluaron con notas muy similares a todos los estudiantes. El CCI para la actividad 1, 2 y 4 fue muy elevado e indicó un acuerdo casi perfecto. En la actividad 3 fue algo inferior, pero Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 79 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom TABLA VI. Rangos promedio para las cuatro actividades desarrolladas GRUPO N Rango promedio Suma de rangos Z Sig. asintótica (bilateral) Tamaño del Efecto Actividad 1 CONTROL 91 59,16 5384,00 -9,480 0,000 0,89 EXPERIMENTAL 113 137,40 15526,00 Actividad 2 CONTROL 86 55,47 4770,00 -9,353 0,000 0,90 EXPERIMENTAL 107 130,38 13951,00 Actividad 3 CONTROL 78 46,60 3635,00 -10,356 0,000 0,96 EXPERIMENTAL 115 131,18 15086,00 Actividad 4 CONTROL 70 54,10 3787,00 -6,528 0,000 0,68 EXPERIMENTAL 92 102,35 9416,00 Fuente: Elaboración propia Estos resultados mostraron la existencia de diferencias estadísticamente significativas en las cuatro actividades, siendo los rangos promedios mayores en el grupo experimental en todas las actividades (gráfico I), con un tamaño del efecto muy grande en las actividades 1 (r= 0,89) actividad 2 (r= 0,90) y actividad 3 (r= 0,96) y un efecto grande en la actividad 4 (r=0,68). GRÁFICO I. Rangos promedio de las actividades realizadas en el grupo control y experimental Fuente: Elaboración propia 59,16 137,4 55,47 130,38 46,6 131,18 54,1 102,35 020 40 60 80 100 120 140 160 CONTROL EXPERIMENTAL CONTROL EXPERIMENTAL CONTROL EXPERIMENTAL CONTROL EXPERIMENTAL Actividad 1 Actividad 2 Actividad 3 Actividad 4 Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 80 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom En relación con el grado de satisfacción del grupo experimental con la experiencia desarrollada, se analizaron seis dimensiones: la presentación de contenidos, la planificación docente, el aprendizaje, la evaluación, la interacción con el grupo y la formación recibida. Como podemos observar en el gráfico II, todas las dimensiones obtuvieron puntuaciones superiores a 3,56 (en una escala de 1 a 4). Las dimensiones mejor valoradas por los estudiantes fueron las que hacían referencia a la formación recibida (3,86) y la presentación de contenidos (3,78). GRÁFICO II. Medias de todas las dimensiones analizadas Fuente: Elaboración propia En cuanto a la primera dimensión presentación de contenidos y tal como se aprecia en el gráfico III, todos los ítems que conforman dicha dimensión superaron el valor de 3,5 (en una escala de 1 a 4) siendo los ítems mejor valorados los que hacían referencia a que el docente comunica a los estudiantes los objetivos de los temas que se van a impartir (3,87), el docente presenta unas preguntas clave relacionadas con los objetivos del tema para captar la atención del alumnado (3,8) y el docente relaciona los conocimientos teóricos con las actividades (3,84). 3,78 3,74 3,57 3,57 3,56 3,86 1 2 3 4 Presentación de Contenidos Planificación Aprendizaje Evaluación Interaccion con el grupo Formacion recibida Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 81 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom GRÁFICO III. Medias de los ítems de la dimensión presentación de contenidos Fuente: Elaboración propia Respecto a la segunda dimensión planificación docente (gráfico IV), todos los ítems superaron el valor de 3,5 siendo los ítems mejor valorados los que hacían referencia a que el profesor ha dejado claro los objetivos de las actividades (3,83), las actividades permiten ver la aplicación de los conceptos a situaciones reales (3,81) y las actividades han sido retadoras (3,81). 3,9 3,8 3,5 3,8 3,7 3,8 3,8 1 2 3 4 El docente comunica a los estudiantes los objetivos de los temas que se van a impartir El docente presenta preguntas clave relacionadas con los objetivos del tema para captar la atención del alumnado El docente tiene en cuenta las ideas previas de los estudiante para organizar la enseñanza Durante las explicaciones el docente formula preguntas a los estudiantes para ayudarles a reflexionar sobre los contenidos Las explicaciones del docente han sido claras y concretas El docente relaciona los conocimientos teóricos con las actividades Satisfacción global con los contenidos impartidos Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 82 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom GRÁFICO IV. Medias de los ítems de la dimensión planificación Fuente: Elaboración propia L a tercera dimensión hacía referencia a si el diseño de las actividades les había servido a los estudiantes para su aprendizaje. En este sentido, tal como se observa en el gráfico V, en esta dimensión los ítems con mayores puntuaciones fueron los relacionados con que las actividades me han permitido utilizar herramientas digitales útiles para el aprendizaje y el desempeño de la labor docente (3,86) y las actividades han mejorado mi comprensión de la asignatura (3,83). 3,78 3,67 3,83 3,81 3,81 3,73 3,54 3,76 1 2 3 4 El docente ha facilitado un documento explicativo de la actividad claro y bien diseñado Las actividades han estado bien planificadas El docente ha dejado claros los objetivos de las actividades Las actividades permiten ver la aplicación de los conceptos a situaciones reales Las actividades realizadas han sido retadoras El docente te ha guiado durante el desarrollo de las actividades El tiempo dedicado a las actividades ha sido adecuado Tras la realización de las actividades se han alcanzado los objetivos propuestos Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 83 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom GRÁFICO V. Medias de los ítems de la dimensión actividades Fuente: Elaboración propia Otra dimensión analizada fue la relacionada con la evaluación (gráfico VI). Los resultados obtenidos mostraron que los ítems con mayores puntuaciones son los que hacían referencia a que el docente ha proporcionado rúbricas para orientar las actividades (3,94), el docente ha proporcionado feedback durante la realización de las actividades (3,84) y el docente ha evaluado el grado de consecución de los objetivos de las actividades (3,84). 3,73 3,83 3,78 3,71 3,40 3,49 3,41 3,68 2,44 3,60 3,62 3,86 3,81 3,68 1 2 3 4 Han aumentado mi motivación por la asignatura Han mejorado mi comprensión de la asignatura Han incrementado mis resultados de aprendizaje Han aumentado mi interés por la asignatura Han permitido que me divierta aprendiendo Han aumentado mis interacciones con los compañeros/as Han aumentado mis interacciones con el docente Han aumentado mi autonomía para el aprendizaje Han permitido trabajar mi expresión oral Han permitido trabajar mi expresión escrita Han incrementado mi creatividad Han permitido utilizar herramientas digitales útiles para el aprendizaje y el desempeño de la labor docente Han sido útiles para enfocar las actividades de evaluación continua Me han dado más posibilidades de participar en resolución de problemas Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 84 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom GRÁFICO VI. Medias de los ítems de la dimensión evaluación Fuente: Elaboración propia En la quinta dimensión interacción con el grupo, todos los ítems superaron la media de 3,32 (gráfico VII). Aquellos ítems con más puntuación alcanzada fueron los relacionados con que todos los miembros del grupo han participado (3,83) y el trabajo de grupo me ha permitido generar productos finales de mayor calidad (3,56). 3,94 3,84 3,84 3,44 2,78 1 2 3 4 El docente ha proporcionado rúbricas para orientar las actividades El docente ha proporcionada feedback durante la realización de las actividades El docente ha evaluado el grado de consecución de los objetivos de las actividades He podido autoevaluar mi proceso de aprendizaje He podido evaluar a mis compañeros/as Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 85 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom GRÁFICO VII. Medias de los ítems de la dimensión interacción con el grupo Fuente: Elaboración propia Finalmente, la sexta dimensión analizada guardó relación con la formación recibida (gráfico VIII). En este sentido, hay que indicar que los estudiantes valoraron que la formación es útil para el desempeño de la labor docente (3,94) y que la formación recibida ha cubierto sus expectativas (3,78). GRÁFICO VIII. Medias de los ítems de la dimensión formación recibida Fuente: Elaboración propia 3,32 3,83 3,52 3,56 1 2 3 4 El tamaño de los grupos ha sido adecuado Todos los miembros del grupo han participado El producto final de la actividad se ha planteado sobre la base de la información discutida en el grupo El trabajo de grupo me ha permitido generar productos finales de mayor calidad 3,78 3,94 1 2 3 4 La formación recibida ha cubierto mis expectativas La formación recibida es útil para el desempeño de la labor docente Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 86 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom Conclusiones En este trabajo se han presentado los resultados obtenidos tras una intervención en la que se ha implementado el modelo pedagógico Flipped classroom en un aula virtual para la formación de futuros docentes. En la instrucción realizada se han incorporado los cuatro pilares propuestos por FLN (2014), flexibilizando el espacio del aula e invirtiendo las fases del aprendizaje. Tras la implementación del modelo se ha determinado un efecto muy positivo en cuanto a la mejora del aprendizaje de los estudiantes, que han obtenido mejores calificaciones que los que aprenden con un modelo tradicional. Resultados similares aparecen en otros trabajos en los que se pone de manifiesto la efectividad del modelo Flipped classroom en estudios superiores (Espada et al., 2020; Matzumura et al., 2018). En el metaanálisis realizado por Sola et al., (2019) sobre la implementación del modelo en diferentes materias y niveles educativos, con diseños cuasiexperimentales similares al utilizado en este trabajo, se concluye que el modelo Flipped mejora el rendimiento académico de los estudiantes que fueron asignados al grupo experimental. Centrándonos en educación superior, el metaanálisis realizado por Zheng et al., (2020) incluye 78 estudios en los que se evidencia el efecto positivo del modelo sobre el rendimiento académico. A este respecto, Mengual-Andrés et al. (2020) manifiestan que las actividades son un pilar básico para la posible mejora que el modelo Flipped classroom ejerce sobre el aprendizaje. Los estudios realizados por Fuentes et al. (2020) y Wai et al. (2019) también adjudican a la inversión de las fases del aprendizaje un aumento de la motivación que puede estar influyendo positivamente en los resultados obtenidos por los estudiantes (Arráez, Lorenzo, Gómez y Lorenzo, 2018; Mengual-Andrés, 2020). Por otro lado, los resultados presentados ponen de manifiesto la eficiencia de un enfoque integral de aprendizaje que implica directamente a los estudiantes en los contenidos del curso y que, aplicado con éxito, genera una mejora de su comprensión conceptual, tal y como manifiestan Martín y Santiago (2016) y Tourón y Santiago (2015). Sin embargo, conviene destacar, que existen estudios en los que no se han encontrado diferencias en las calificaciones del alumnado que ha estudiado con el modelo de aula invertida (Gillette et al., 2018). Centrándonos en la satisfacción del alumnado, se evidencia una valoración muy positiva de aquellos aspectos considerados clave Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 87 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom en el diseño de instrucción para obtener buenos resultados en el aprendizaje del alumno, como son la presentación de contenidos, el diseño de actividades, la motivación y la participación en el proceso de aprendizaje y la evaluación. Son numerosos los trabajos que inciden en que la instrucción inversa promueve la interacción, la participación y la socialización entre los agentes involucrados (Aguilera et al., 2017; Jong, Chen, Tam y Chai, 2019; Van Alten, Phielix, Janssen y Kester, 2019), permitiendo al mismo tiempo atender las necesidades individuales de aprendizaje. En este sentido, se ha valorado muy positivamente, el feedback proporcionado por el docente durante las actividades para atender a las necesidades particulares de cada estudiante, favoreciendo la autorregulación del aprendizaje y en definitiva un aprendizaje significativo, tal y como manifiestan Tourón y Santiago (2015) y Tse et al. (2019). Por otro lado, un diseño apropiado de las actividades de aprendizaje y del trabajo previo para enfrentarse a ellas en la clase se presenta como un factor clave que incide en el fomento de la motivación y determina la eficacia y satisfacción percibida por el alumnado con el modelo Flipped (Pérez et al., 2019; Prieto y Giménez, 2020). Aunque son numerosos los trabajos que aportan las ventajas de este modelo en cuanto a motivación, actitud y mejora del rendimiento de los estudiantes, no hay tantas evidencias de su efectividad en modelos de enseñanza completamente online, y en los estudios en los que se implementa el modelo en la enseñanza online no se aplica en las sesiones virtuales síncronas, con la excepción del trabajo realizado por Sacristán, Martín, Navarro y Tourón (2017) en el que también se concluye con un aumento del rendimiento académico y de la satisfacción del alumnado. Según el informe TALIS, se hace necesaria la utilización de modelos en los que los aspirantes a docentes se impliquen de forma activa y se responsabilicen de su proceso de aprendizaje como vía para conseguir una adecuada formación pedagógica que asegure su ejercicio docente. Es importante disponer de profesorado formado en modelos constructivistas como el modelo Flipped classroom, pero ¿es posible comprender un modelo sin que el futuro docente lo experimente? Del estudio realizado por López Belmonte, Pozo Sánchez y Del Pino Espejo (2019) sobre la implementación de este modelo en diferentes centros educativos, se deduce que los docentes, aun conociendo el modelo, presentan ciertas deficiencias de cara a implementarlo en el aula, relacionadas con la capacitación digital, y cierta aprensión a las prácticas innovadoras. Los Revista de Educación, 391. Enero-Marzo 2021, pp. 65-93 Recibido: 02-06-2020 Aceptado: 18-10-2020 88 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluación dE una formación onlinE basada En flippEd classroom resultados presentados en este trabajo nos permiten apoyar las ideas de otros estudios en los que se determina que experimentar las ventajas de aprender bajo este modelo, en el que el alumnado se convierte en el verdadero protagonista del proceso de aprendizaje bajo la guía y orientación del docente, posiblemente lleva a la utilización de este modelo en el aula (Martín y Santiago, 2016). Como conclusión, el modelo Flipped classroom aplicado en un aula virtual tiene efectos positivos, ha permitido una mejora del rendimiento del alumnado y de la percepción que este tiene de su aprendizaje. Ha incrementado la motivación y el compromiso, favoreciendo las interacciones entre compañeros y la percepción del papel del docente en el aula como guía del aprendizaje. Resultados similares aportan el estudio de Zainuddin y Halili (2016) tras analizar veinte trabajos sobre experiencias de la implementación del modelo Flipped en diferentes materias y niveles educativos. Algunas de las limitaciones encontradas guardan relación con el tamaño de la muestra utilizado en este estudio, por lo que sería interesante repetir esta experiencia y aplicar el modelo en otras asignaturas del máster para corroborar los resultados aportados por esta investigación. En definitiva, teniendo en cuenta la tendencia educativa del siglo XXI, hacia modelos educativos centrados en el aprendizaje del alumnado, y a la vista de los resultados presentados, se hace necesario incorporar el modelo Flipped classroom en la formación inicial del profesorado y continuar profundizando sobre sus efectos en las competencias docentes. Referencias bibliográficas Abeysekera, L. y Dawson, P. (2015). Motivation and cognitive load in the Flipped Classroom: Definition, rationale and a call for research. Higher Education Research and Development, 34, 1–14. https://doi.or g/10.1080/07294360.2014.934336 Adams, W. y Wieman, C. (2010). Development and Validation of Instruments to Measure Learning of ExpertLike Thinking. International Journal of Science Education, 33(9), 1289-1312. doi:10.1080/09500693.2010.51 2369. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 61 Evaluation of online training based on the Flipped classroombased model Evaluación de una formación online basada en Flipped classroom DOI: 10.4438/1988-592X-RE-2021-391-471 Carmen Romero-García Patricia de Paz-Lugo Universidad Internacional de la Rioja Olga Buzón-García Universidad de Sevilla Enrique Navarro-Asencio Universidad Complutense de Madrid Abstract This research analyses the effectiveness of the flipped classroom pedagogical model on the performance and satisfaction of future teachers studying towards a master’s degree in teacher training in a completely online environment. It uses a quantitative methodology with a quasi-experimental design and a non-equivalent control group. The control group comprises 103 students and the experimental group 119. The academic performance of both groups before and after the intervention is compared through a knowledge questionnaire and evaluation of the results of their learning throughout the semester. In addition, it considers their opinions on the experience through a satisfaction questionnaire at the end of the course. Although both groups display equivalent levels of knowledge at the pretest stage, we found differences upon completion of the intervention, where the experimental group achieved higher levels, with a medium effect size (r = 0.66). The activities used to evaluate the results of the learning show the existence of statistically significant differences, with higher mid-ranges in the experimental group in all activities, with a very large effect size in three of Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 62 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl them (r = 0.89, r = 0.90, and r = 0.96) and large in another (r = 0.68). In relation to the students’ degree of satisfaction with the process that was implemented, all of the dimensions analysed have scores above 3.56 (on a scale of 1 to 4). We observed a highly positive effect after implementing the flipped classroom model with improved student learning, both in performance and in motivation, commitment, and interaction between students and teacher. We conclude that there is a need to incorporate the flipped classroom model in the initial training of teaching staff. Key words: Flipped classroom, collaborative learning, performance factors, higher education, virtual classroom. Resumen En esta investigación se analizan los efectos del modelo pedagógico Flipped classroom en el rendimiento y la satisfacción de futuros docentes, estudiantes del Máster de formación de Profesorado, en un entorno íntegramente online. Se sigue una metodología cuantitativa con un diseño cuasiexperimental con grupo control no equivalente. El grupo control está constituido por 103 estudiantes y el experimental por 119. Se compara el rendimiento académico de ambos grupos, antes y después de la intervención, con un cuestionario de conocimientos y valorando los resultados de su aprendizaje a lo largo del semestre. Además, se ha estudiado su opinión sobre la experiencia realizada mediante un cuestionario de satisfacción al finalizar la asignatura. Los grupos parten de un nivel de conocimientos equivalente en el pretest y se han encontrado diferencias al finalizar la intervención, donde el grupo experimental obtiene unos niveles mayores, siendo el tamaño del efecto medio (r=0,66). Las actividades utilizadas para valorar los resultados de aprendizaje muestran la existencia de diferencias estadísticamente significativas, siendo los rangos promedio mayores en el grupo experimental en todas las actividades, con un tamaño de efecto muy grande en tres de ellas (r=0,89, r=0,90 y r=0,96) y grande en otra (r=0,68). En relación con el grado de satisfacción del alumnado con la experiencia desarrollada, todas las dimensiones analizadas obtienen puntuaciones superiores a 3,56 (en una escala de 1 a 4). Tras la implementación del modelo Flipped classroom se ha determinado un efecto altamente positivo en la mejora del aprendizaje del alumnado, tanto en el rendimiento, como en la motivación, el compromiso y la interacción entre estudiantes y docente. Se concluye la necesidad de incorporar el modelo Flipped classroom en la formación inicial del profesorado. Palabras clave: Flipped classroom, aprendizaje colaborativo, rendimiento académico, educación superior, aula virtual. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 63 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl Introduction One of the fundamental pillars of the quality of a country’s educational system is the initial training of future teachers (Murray, Durkin, Chao, Star, & Vig, 2018). For this training to be effective it must integrate theoretical, pedagogical, and practical knowledge (Council of the European Union, 2014). In Spain, future secondary, baccalaureate, professional training, and language teachers have to complete a one-year master’s degree (60 ECTS credits) after their bachelor’s studies, which, as shown by the results of the TALIS report (Teaching and Learning International Survey), does not provide the necessary level of pedagogical and practical training for working as a teacher (Ministerio de Educación, Cultura y Deporte, 2014). The need to give students a leading role and for them to be actively involved in their learning has become established as the main assumption of learning in the 21st century, to which we can add the use of information and communication technology (ICT). It is, therefore, vital that future teachers experience the advantages of active learning in their initial training, becoming the central figures in their learning, which is guided and supported by the teacher (Martín & Santiago, 2016; Romero-García, Buzón-García, & Tourón, 2019). Consequently, the flipped classroom model is especially interesting as it combines the main trends in education: active learning and the use of digital technology. The flipped classroom is, on the whole, a pedagogical model that is opposed to the traditional transmission-reception teaching model, in both space and time as it moves direct instruction out of the classroom, into what it refers to as “individual space”, while it uses class time, also called “group space”, for solving problems and applying the learning content (Flipped Learning Network, 2014). The systematisation of the flipped classroom model is due to the Americans Jonathan Bergmann and Aaron Sams who, in 2006, started recording their classes at Woodland Park High School (Colorado) and publishing them online for students who for various reasons had been unable to attend class (Bergmann & Sams, 2012). This is how the flipped classroom was born: content is presented ahead of the face-to-face class in an autonomous learning space, through short videos, audio recordings, readings, and other media, which students review as preparatory work Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 64 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl for the class. The face-to-face class then focusses on dynamic and interactive activities, which are mainly cooperative and which use the content the students have previously covered, and the teachers resolve doubts and guide the students in their learning process. In this way, teachers can personalise teaching and respond in an individualised way to the obstacles that hinder the students’ learning. In 2014, the Flipped Learning Network (FLN) defined flipped learning as a pedagogical focus in which direct instruction moves from the group learning space to the individual learning space, making the classroom a space for dynamic and interactive learning where the teacher guides students on how to apply the concepts they learn engaging themselves creatively in the subject matter. The foundation of this methodological focus is based on enhancing the time students spend in the physical classroom to resolve problems, interact with their classmates and the teacher, and consider content in greater depth (Bergmann & Sams, 2012), always on the basis of their prior knowledge (Zainuddin & Halili, 2016). The foundations of the flipped classroom focus on use of digital platforms and materials, created or selected by the teacher (Long, Cummins, & Waugh, 2017; López Belmonte, Pozo Sánchez, & Del Pino Espejo, 2019) and used by students before coming to class (Abeysekera & Dawson, 2015; Long et al., 2017). Therefore, the flipped classroom model features an inversion of learning moments compared with the traditional methodology, as content can be viewed and taught outside of the conventional class and so class time can be used to increase interactions between the teacher, the students, and the content (López Belmonte et al., 2019, Mengual Andrés, López Belmonte, Fuentes Cabrera, & Pozo Sánchez, 2020). This is an integrated learning focus that combines direct instruction with constructivist methods and activities to involve students and engage them with the course content and improve their conceptual comprehension (Tourón & Santiago, 2015). When applied successfully, it supports all of the phases in a learning cycle like that suggested by Bloom’ taxonomy (Anderson & Krathwhol, 2001). Students work on the lower-order thinking skills from Bloom’s taxonomy at home ahead of class, and class time is then used for doing collaborative activities working on the higher-order thinking skills from Bloom’s taxonomy. To implement flipped learning, teachers must incorporate the following four pillars in their teaching practice (FLN, 2014): 1) a flexible Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 65 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl environment, reconfiguring the physical learning space, encouraging collaborative or individual work, and ensuring each student has flexible expectations of the learning sequence and the evaluation of the learning; 2) learning culture, responsibility for instruction moves towards a studentcentred focus, using time in class to create richer learning experiences and ensure students are actively involved in the construction of knowledge while they evaluate and participate in their own learning; 3) intentional content, teachers create or select accessible and relevant content for all of the students; 4) a professional educator, during class time, the teacher gives students ongoing and close monitoring, immediately providing relevant feedback and evaluating their work. Various studies have reported the effectiveness of flipped learning compared with using traditional teaching methods. Indeed, it has been shown that the inversion of the traditional teaching and learning schemes and moments in flipped learning leads to an increase in students’ motivation (Fuentes, Parra-González, López, & Segura-Robles, 2020; Tse, Choi, & Tang, 2019); improved attitude to learning (Lee, Park, & Davis, 2018); makes it possible to work on multiple intelligences, in both the individual and the group space (Santiago, 2019); promotes interaction, participation, and socialisation between the actors involved (Aguilera, Manzano, Martínez, Lozano, & Casiano, 2017; Castellanos, Sánchez, & Calderero, 2017; Chen, Wu, & Marek, 2017; Jong, Chen, Tam, & Chai, 2019; Kwon & Woo, 2018; Matzumura, Gutiérrez, Zamudio, & Zavala, 2018; van Alten, Phielix, Janssen, & Kester, 2019); at the same time as making it possible to cater for individual differences and encourage selfregulation of learning (Tse et al., 2019; Tourón & Santiago, 2015). All of this has a positive influence on students’ performance and the results obtained by students at various educational levels – from primary school to university (Arráez, Lorenzo, Gómez, & Lorenzo, 2018; Awidi & Paynter, 2019; Cheng, Ritzhautp, & Antonenko, 2018; Dehghanzadeh & Jafaraghaee, 2018; Espada, Rocu, Navia, & Gómez-López, 2020; Galindo, 2018; Gillette et al., 2018; Hew & Lo, 2018; Hinojo, Mingorance, Trujillo, Aznar, & Cáceres, 2018; Hu et al., 2018; Matzumura et al., 2018; Sola, Aznar, Romero, & Rodríguez-García, 2019). This wide range of advantages means that implementation of the flipped classroom model has increased at all educational levels in recent years (Lo, Lie, & Hew, 2018; Pérez, Collado, García, Herrero, & San Martín, 2019; Sola et al., 2019). In fact, its implementation in higher education is Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 66 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl growing and teachers increasingly experiment with using it in class. This is not just because of its already proven benefits, but because the model is aligned with the principles that the European Higher Education Area (EHEA) promotes (Reyes, 2015), which not only require attaining the appropriate practical skills for the subject, but also acquiring theoretical knowledge through practical activities. While it has been shown that flipped learning improves students’ learning in face-to-face classes, there is little evidence regarding the use of this flipped teaching focus in fully online courses (Sacristán, Martín, Navarro, & Tourón, 2017). The aim of this study is to evaluate the effects of the flipped classroom focus on the performance and satisfaction of future teachers, students on the “Curriculum Design” module on the Master’s in Secondary Education, Baccalaureate, Professional Training, and Language Teacher Training at the Universidad Internacional de La Rioja (UNIR) in a fully online setting. Method In this research we used a quantitative methodology with a quasiexperimental design and a non-equivalent control group. Sample We used non-probability convenience sampling as we carried out the experiment in the groups the researchers taught. The sample comprised students from the Curriculum Design module in the Biology and Geology and Mathematics specialisms of the Master’s in Secondary and Baccalaureate Teacher Training in the Faculty of Education of an online university during the 2018-2019 academic year. The total number of participants in the sample was 222 from a population of 393, who were informed of the research in which they were going to participate and in which their anonymity was guaranteed. All of them agreed to take part. The participants formed two different groups: the experimental group, in which the flipped classroom model was implemented and the control with which a traditional or transmission-reception model was used. The control group comprised 103 students, 47.6 % female and 52.4 % male, Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 67 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl with a mean age of 25 to 35 years and the experimental group comprised 119 students, 61.7 % female and 38.3 % male with a mean age of 25 to 35 years. Regarding previous teaching experience, 62.4 % of the students had none, 16.8 % had less than 1 year, 16 % had between 1 and 3 years, and 4.8 % had over 5 years’ experience. The variable being studied after the intervention was students’ academic performance, measured by carrying out a knowledge test and by the scores from four activities selected as a learning outcome and evaluated using a rubric. We also analysed the students’ satisfaction with the flipped classroom model. Instruments We designed a test of knowledge of the subject which we applied before and after the intervention with the intention of measuring the impact of the flipped classroom model on academic performance and determining the homogeneity of the control group and experimental group, in other words, whether they started from the same level of knowledge of the content. In addition, this test established whether there were differences in knowledge between the control group and the experimental group at the end of the experiment. The knowledge test consisted of 30 questions with four answer options and was marked out of a total of 30 points. Analysis of the reliability of the instrument gave a Cronbach’s alpha value of 0.835, and so we considered that the instrument displayed adequate reliability (Nunnally, 1978). We also analysed the scores in four learning activities. The students did these activities outside of class, either individually or in groups. Activity 1 was done individually and involved selecting a competence and suggesting a series of activities for working on it. In activity 2, the students in groups of 4-6, had to simulate a departmental meeting to reach agreements prior to drawing up a unit plan. Activities 3 and 4 were individual and involved drawing up a unit plan and developing one of the teaching units proposed in the plan. We evaluated the activities using rubrics with an ad hoc design. Firstly, expert reviewers provided a validation process of the content of the rubrics including quantitative and qualitative evaluation. Validation by experts has shown its efficacy in the design of instruments from various Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 68 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl areas, including the social sciences (Adams & Wieman, 2010; Adams et al., 2006). For each indicator, the experts evaluated the clarity of the wording, its relevance, and whether the levels of achievement and points assigned to each of them was appropriate. The evaluation used a Likerttype scale (1 Strongly disagree, 2 Disagree, 3 Agree, 4 Strongly agree). Each indicator had a section for comments. For all of the indicators, and in each category evaluated, there was 100 % agreement in the valuations the three experts issued. Subsequently, we determined the degree of agreement between the evaluations by two teachers who evaluated the activities of the same group of students (Weir, 2005). The index we used for measuring the degree of agreement was the intraclass correlation coefficient (ICC), which gives a figure ranging from 0 to 1. Values close to 1 indicate a high level of agreement and, therefore, shows that the teachers evaluated all of the students with very similar marks. The ICC for activities 1, 2, and 4 was very high and indicated almost perfect agreement. For activity 3 it was slightly lower but can be regarded as a very good value. In all cases the values were significant (Table I). The rubrics designed were considered to be a reliable evaluation instrument. TABLE I. Reliability study of activity evaluation instruments Activity 1 Activity 2 Activity 3 Activity 4 ICC 0.956 0.985 0.886 0.951 p0.000 0.000 0.000 0.000 N10 10 10 10 Source: Own elaboration To determine students’ satisfaction with their experience in the virtual classroom, we designed an ad-hoc questionnaire. This instrument comprised seven different dimensions. The first consisted of questions intended to establish the sample’s sociodemographic data. The other six comprised a varying number of items referring to content presentation, planning, learning, evaluation, interaction with the group, and the training received. Each item was evaluated using a Likert-type scale (1 Totally disagree, 2 Disagree, 3 Agree, 4 Totally agree). We analysed the Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 69 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl instrument’s reliability, obtaining a Cronbach’s alpha figure of 0.862 for content presentation, 0.839 for planning, 0.894 for learning, 0.769 for evaluation, 0.769 for interaction with the group, and 0.701 for training received. At a global level, the instrument obtained a Cronbach’s alpha of 0.980, and so we can consider that the instrument has adequate reliability. We prepared the questionnaires using Google Forms and shared them with the students through the teacher-student communication forum in the learning platform normally used. We also used this platform to share the rubrics with the students. Procedure At the start of the module, we measured the level of knowledge of the students in the control group and experimental group (pretest). After collecting the data, we implemented the intervention with the aim of improving learning and then performed another evaluation (posttest). After implementing the intervention, we distributed the satisfaction questionnaire to discover the students’ opinion of their experience during the semester and, at different moments, we evaluated the activities used as learning outcomes in both groups. The experience was implemented in the Curriculum Design module in the Biology and Geology and Mathematics specialisms of the Master’s in Secondary and Baccalaureate Teacher Training at an online university. The syllabus for both modules comprises 14 topics and was delivered in 15 live virtual sessions of 120 minutes duration each, which took place once a week, and 5 sessions of 60 minutes that were spread throughout the semester. The sessions were delivered synchronously in a virtual classroom using the Adobe Connect software, which enables the teacher to play video and audio, share the blackboard and material, exchange comments with students through an interactive chat function, and divide the class into independent breakout rooms that simulate the distribution into groups in a face-to-face class where each group works independently. To implement the flipped learning model, we designed 20 sessions for working with the students in which the following teaching design was followed: Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 70 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl ■ We presented content and detected students’ preconceptions using videos recorded by the lecturer and enriched with questions on the Edpuzzle platform or documents shared with the students using the Perusall app. ■ All of the sessions included synchronous online collaborative activities supported by different digital tools to put the theoretical content into practice. The purpose of the activities designed was to enable the students to learn how to draw up a unit plan applying current educational legislation. ■ At the end of the session, each group’s work was shared in a plenary session with commentary on corrections to each piece of work so that all of the students could see their classmates’ work and consider possible improvements. In the control group, the time in the live virtual sessions was used to explain the content of each of the topics in the module. No activities were done in the virtual classroom. The students had to submit as learning outcomes the same activities as the students who were in the experimental group. Firstly, to check whether the data on academic performance obtained followed a normal distribution, we used the Kolmogorov-Smirnov and Shapiro-Wilk tests. Secondly, and following on from the previous test, we used non-parametric tests to analyse the data relating to academic performance. Specifically, we used the Mann-Whitney U test to determine whether there were differences in the level of knowledge, both in the pretest and in the posttest and in the grades for the activities between the control group and the experimental group at the end of the intervention. This test compares the ranges of the groups and this range is a transformation of the original scale of the variables of results (test of knowledge and marks for activities). The values are ordered from highest to lowest to provide an ordinal distribution. For example, the student with the lowest score is assigned value 1, the next student 2, and so on. and once they have been put in order, the mid-ranges for each group are compared. Therefore, a higher mid-range, is equivalent to a higher score by the group. We organised, codified, and analysed the data using the SPSS 24.0 statistics package. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 77 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl FIGURE IV. Means of items from the planning dimension Source: Own elaboration The third dimension relates to whether the design of the activities helped the students in their learning. As Figure V shows, in this dimension the items with the highest scores were: the activities made it possible to use useful digital tools for learning and for carrying out teaching work (3.86), and the activities improved my understanding of the module (3.83). 3,78 3,67 3,83 3,81 3,81 3,73 3,54 3,76 1 2 3 4 The teacher provided a clear and well-designed document setting out the activity. The activities were well planned. The teacher made the objectives of the activities clear. The activities make it possible to see the application of the concepts in real situations. The activities done were challenging. The teacher guided you while doing the activities. The time spent on the activities was appropriate. After doing the activities, the proposed objectives were achieved. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 78 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl FIGURE V. Means of items from the activities dimension Source: Own elaboration Another dimension analysed was evaluation (Figure VI). The results obtained showed that the items with the highest scores are those relating to: the teacher provided rubrics to guide the activities (3.94), the teacher provided feedback while we were doing the activities (3.84), and the teacher evaluated the degree to which the objectives of the activities were achieved (3.84). 3,73 3,83 3,78 3,71 3,40 3,49 3,41 3,68 2,44 3,60 3,62 3,86 3,81 3,68 1 2 3 4 They increased my motivation for the subject. They improved my understanding of the subject. The activities improved my learning outcomes They increased my interest in the subject. They enabled me to have fun while learning. They increased my interactions with classmates. They increased my interactions with the teacher. They increased my learning autonomy. They enabled me to work on my oral expression. They enabled me to work on my written expression. They increased my creativity. They made it possible to use useful digital tools for learning and for carrying out teaching… They were useful for focussing the continuous evaluation activities. They gave me more opportunities to participate in problem solving. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 79 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl FIGURE VI. Means of items from the evaluation dimension Source: Own elaboration In the fifth dimension, interaction with the group, all of the items exceeded the mean of 3.32 (Figure VII). The items that achieved the highest scores were those relating to all members of the group participated (3.83) and the group work enabled me to create better quality end products (3.56). 3,94 3,84 3,84 3,44 2,78 1 2 3 4 The teacher provided rubrics to guide the activities. The teacher provided feedback while we were doing the activities The teacher evaluated the degree to which the objectives of the activities were achieved. I was able to evaluate my own learning process. I was able to evaluate my classmates. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 80 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl FIGURE VII. Means of items from the interaction with the group dimension Source: Own elaboration Finally, the sixth dimension analysed related to training received (Figure VIII). In this sense, we should note that the students felt that the training received is useful for doing teaching work (3.94) and that the training received met their expectations (3.78). FIGURE VIII. Means of items from the training received dimension Source: Own elaboration 3,32 3,83 3,52 3,56 1 2 3 4 The size of the groups was appropriate. All members of the group participated. The end product of the activity was proposed on the basis of the information discussed in the group. The group work enabled me to create better quality end products. 3,78 3,94 1 2 3 4 The training received met my expectations. The training received is useful for doing teaching work. Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 81 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl Conclusions In this work we present the results of an intervention in which we implemented the flipped classroom pedagogical model in a virtual class for training future teachers. The instruction provided incorporated the four pillars proposed by the FLN (2014), making the classroom space flexible and inverting the learning stages. After implementing the model, we observed a very positive effect with regards to improvements in students’ learning, as they obtained better grades than those who learnt in a traditional model. Similar results are found in other works that show the effectiveness of the flipped classroom model in higher education (Espada et al., 2020; Matzumura et al., 2018). The meta-analysis by Sola et al. (2019) on the implementation of the model in different subjects and educational levels, with quasiexperimental designs similar to those used in this work, concludes that the flipped model improves the academic performance of students assigned to the experimental group. Focussing on higher education, the meta-analysis by Zheng et al. (2020) includes 78 studies in which the model’s positive effect on academic performance is apparent. In this regard, Mengual-Andrés et al. (2020) state that the activities are a basic pillar for the potential improvement in learning resulting from the flipped classroom model. The studies by Fuentes et al. (2020) and Wai et al. (2019) also attribute to the inversion of the learning phases an increase in motivation that might have a positive influence on the results obtained by the students (Arráez, Lorenzo, Gómez & Lorenzo, 2018; Mengual-Andrés, 2020). Furthermore, the results presented highlight the efficiency of an integral learning focus that directly involves students in the course content and which, when applied successfully, results in an improvement in their conceptual understanding, as Martín and Santiago (2016) and Tourón and Santiago (2015) note. Nonetheless, it is worth noting that some studies do not find differences in the grades of students who studied with the flipped classroom model (Gillette et al., 2018). Focussing on student satisfaction, a very positive evaluation is apparent of those aspects regarded as key in the design of instruction to obtain good results in students’ learning, such as content presentation, design of activities, motivation, and participation in the learning and evaluation process. Numerous works agree that flipped instruction promotes interaction, participation, and socialisation between the agents Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 82 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl involved (Aguilera et al., 2017; Jong, Chen, Tam & Chai, 2019; Van Alten, Phielix, Janssen, & Kester, 2019) while at the same time making it possible to react to individual learning needs. In this line, the students valued very positively the feedback provided by the teacher during the activities to meet the specific needs of each student, favouring selfregulation of learning and ultimately a meaningful learning, as Tourón and Santiago (2015) and Tse et al. (2019). In contrast, appropriate design of the learning activities and preliminary work in order to cover them in class is presented as a key factor that affects the encouragement of motivation and determines the students’ perception of the efficacy of the flipped model and their satisfaction with it (Pérez et al., 2019; Prieto & Giménez, 2020). Although numerous works report advantages of this model with regards to students’ motivation and attitude and improvements in their performance, there is less evidence for its effectiveness in completely online teaching models, and in studies where the model is implemented in online teaching, it is not applied in synchronous virtual sessions, with the exception of the work by Sacristán et al. (2017) in which they conclude that there is also an increase in students’ academic performance and satisfaction. According to the TALIS report, the use of models in which aspiring teachers are actively engaged in students’ learning process and take responsibility for it is necessary as a way to achieve appropriate pedagogical training to underpin their teaching practice. It is important to have teachers who are trained in constructivist models like the flipped classroom, but can future teachers to understand a model they have not experienced? The study by López Belmonte et al. (2019) on the implementation of this model in different educational centres shows that teachers, even when they are familiar with the model, display shortcomings relating to digital skills when implementing it in the classroom as well as misgivings regarding innovative practices. The results of the present work enable us to support ideas from other studies, which find that experiencing the advantages of learning under this model, in which students are the true protagonists of the learning process under the guidance and direction of the teacher, might lead to the use of this model in class (Martín & Santiago, 2016). In conclusion, the flipped classroom model applied in a virtual classroom has positive effects. It has permitted better performance by Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 83 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl students and an improvement in their perception of their learning. It increased motivation and engagement, encouraging interactions between classmates and the perception of the teacher’s role as a learning guide in the classroom. The study by Zainuddin and Halili (2016) displays similar results after analysing twenty works on experiences of the implementation of the flipped model in different subjects and at different educational levels. Some of the limitations encountered relate to the size of the sample used in this study, and so it would be interesting to repeat this experiment and apply the model in other modules on the master’s to corroborate the results provided by this result. Ultimately, taking into account the 21st century trend towards educational models that focus on students’ learning and in view of the results presented, the flipped classroom model should be incorporated in initial teacher training and it is important to continue to examine in greater depth its effects on teaching skills. References Abeysekera, L. & Dawson, P. (2015). Motivation and cognitive load in the Flipped Classroom: Definition, rationale and a call for research. Higher Education Research and Development, 34, 1–14. https://doi.or g/10.1080/07294360.2014.934336 Adams, W. & Wieman, C. (2010). Development and Validation of Instruments to Measure Learning of ExpertLike Thinking. International Journal of Science Education, 33(9), 1289-1312. doi:10.1080/09500693.2010.51 2369. Adams, W., Perkins, K., Podolefsky, N., Dubson, M., Finkelstein, N. & Wieman, C. (2006). New instrument for measuring student beliefs about physics and learning physics: The Colorado Learning Attitudes about Science Survey. Physical Review Special Topics - Physics Education Research, 2(1), 1-14. doi:10.1103/physrevstper.2.010101. Aguilera, C., Manzano, A., Martínez, I., Lozano, M. C. & Casiano, C. (2017). El modelo Flipped Classroom. International Journal of Developmental Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 84 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl and Educational Psychology, 4(1), 261–266. https://doi.org/10.17060/ ijodaep.2017.n1.v4.1055 Anderson, L. W. & Krathwohl, D. R. (Eds.) (2001). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives. Allyn & Bacon. Boston, MA. Arráez, G., Lorenzo, A., Gómez, M. & Lorenzo, G. (2018). La clase invertida en la educación superior: percepciones del alumnado. International Journal of Developmental and Educational Psychology. INFAD Revista de Psicología, 1(Monogr. 1), 155–162. https://doi.org/10.17060/ ijodaep.2018.n1.v2.1197 Awidi, I. T. & Paynter, M. (2019). The impact of a Flipped Classroom approach on student learning experience. Computers and Education, 128, 269–283. https://doi.org/10.1016/j.compedu.2018.09.013 Bergmann, J. & Sams, A. (2012). Flip your classroom: Reach every student in every class every day. Eugene, OR: International Society for Technology in Education. Castellanos Sánchez, A., Sánchez Romero, C. & Calderero Hernández, J. F. (2017). Nuevos modelos tecnopedagógicos. Competencia digital de los alumnos universitarios. Revista Electrónica de Investigación Educativa, 19, 53–60. https://doi.org/10.24320/redie.2017.19.1.1148 Chen, J. S., Wu, W.-C. V. & Marek, M. W. (2017). Using the Flipped Classroom to enhance EFL learning. Computer Assisted Language Learning. Computer Assisted Language Learning, 30, 1–21. https:// doi.org/10.1080/09588221.2015.1111910 Cheng, L., Ritzhaupt, A. D. & Antonenko, P. (2018). Effects of the Flipped Classroom instructional strategy on students’ learning outcomes: A meta-analysis. Educational Technology Research and Development, 66(6), 1–32. https://doi.org/10.1007/s11423-018-9633-7 Consejo de la Unión Europea. (2014). Conclusiones del Consejo, de 20 de mayo de 2014, sobre la formación eficaz de los docentes. Diario Oficial de la Unión Europea, serie C, núm. 183/05, de 14 de junio de 2014. Retrieved from https://eur-lex.europa.eu/legal-content/ES/TXT/ PDF/?uri=CELEX:52014XG0614%2805%29&qid=1413806898567&fro m=ES Dehghanzadeh, S. & Jafaraghaee, F. (2018). Comparing the effects of traditional lecture and Flipped Classroom on nursing students’ critical thinking disposition: A quasi-experimental study. Nurse Education Today, 71, 151–156. https://doi.org/10.1016/j.nedt.2018.09.027 Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 85 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl Espada, M., Rocu, P., Navia, J. A. & Gómez-López, M. (2020). Rendimiento académico y satisfacción de los estudiantes universitarios hacia el método Flipped Classroom. Profesorado. Revista de Currículum y Formación del Profesorado, 24(1), 116–135. 10.30827/profesorado. v24i1.8710 Flipped Learning Network (FLN). (2014). The Four Pillars of F-L-I-P™. Retrieved from https://flippedlearning.org/definition-of-flipped- learning/ Fuentes, A., Parra-González, M. E., López, J. & Segura-Robles, A. (2020). Educational Potentials of Flipped Learning in Intercultural Education as a Transversal Resource in Adolescents. Religions, 11, 53. https:// doi.org/10.3390/rel11010053 Galindo, H. (2018). Un meta-análisis de la metodología Flipped Classroom en el aula de educación primaria. EDUTEC. Revista Electrónica de Tecnología Educativa, 63, 73–85. https://doi.org/10.21556/ edutec.2018.63.983 Gillette, C., Rudolph, M., Kimble, C., Rockich-Winston, N., Smith, L. & Broedel-Zaugg, K. (2018). A meta-analysis of outcomes comparing Flipped Classroom and lecture. American Journal of Pharmaceutical Education, 82(5), 433–440. https://doi.org/10.5688/ajpe6898 Hew, K. F. & Lo, C. K. (2018). Flipped Classroom improves student learning in health professions education: A meta-analysis. BMC Medical Education, 18(38), 1–12. https://doi.org/10.1186/s12909-018- 1144-z Hinojo, F. J., Mingorance, A. C., Trujillo, J. M., Aznar, I. & Cáceres, M. P. (2018). Incidence of the Flipped Classroom in the physical education students’ academic performance in university contexts. Sustainability, 10(5), 1334. https://doi.org/10.3390/su10051334 Hu, R., Gao, H., Ye, Y., Ni, Z., Jiang, N. & Jiang, X. (2018). Effectiveness of flipped classrooms in Chinese baccalaureate nursing education: A meta-analysis of randomized controlled trials. International Journal of Nursing Studies, 79, 94–103. https://doi.org/10.1016/j. ijnurstu.2017.11.012 Jong, M. S. Y., Chen, G., Tam, V. & Cahi, C. S. (2019). Adoption of flipped learning in social humanities education: the FIEBER experience in secondary schools. Interactive Learning Environments, 27, 1222– 1238. https://doi.org/10.1080/10494820.2018.1561473 Revista de Educación, 391. January-March 2021, pp. 61-88 Received: 02-06-2020 Accepted: 18-10-2020 86 Romero-García, C., de Paz-Lugo, P., Buzón-García, O., Navarro-Asencio, E. Evaluation of onlinE training basEd on thE flippEd classroom-basEd modEl Kwon, J. E. & Woo, H. R. (2018). The Impact of Flipped Learning on Cooperative and Competitive Mindsets. Sustainability, 10(1), 79. https://doi.org/10.3390/su10010079 Lee, J., Park, T. & Davis, R. O. (2018). What affects learner engagement in flipped learning and what predicts its outcomes? FL engagement and outcomes. British Journal of Educational Technology, 0, 1–18. https:// doi.org/10.1111/bjet.12717 Lo, C. K., Lie, C. W. & Hew, K. F. (2018). Applying “First principles of instruction” as a design theory of the flipped classroom: Findings from a collective study of four secondary school subjects. Computers and Education, 118, 150–165. https://doi.org/10.1016/j. compedu.2017.12.003 Long, T., Cummins, J. & Waugh, M. (2017). Use of the flipped classroom instructional model in higher education: instructors’ perspectives. Journal of Computing in Higher Education, 29, 179–200. https://doi. org/10.1007/s12528-016-9119-8 López Belmonte, J., Pozo Sánchez, S. & Del Pino Espejo, M. J. (2019). Projection of the Flipped Learning Methodology in the Teaching Staff of Cross-Border Contexts. Journal of New Approaches in Educational Research, 8, 184–200. https://doi.org/10.7821/naer.2019.7.431 Martín, D. & Santiago, R. (2016). “Flipped Learning” en la formación del profesorado de secundaria y bachillerato. Formación para el cambio. Contextos Educativos, 1, 117–134. https://doi.org/10.18172/con.2854 Matzumura, J. P., Gutiérrez, H., Zamudio, L. A. & Zavala, J. C. (2018). Aprendizaje invertido para la mejora y logro de metas de aprendizaje en el curso de metodología de la investigación en estudiantes de universidad. Revista Electrónica Educare, 22(3), 1–21. https://doi. org/10.15359/ree.22-3.9 Mengual-Andrés, S., López Belmonte, J., Fuentes Cabrera, A. & Pozo Sánchez, S. (2020). Modelo estructural de factores extrínsecos influyentes en el Flipped Learning. Educación XX1, 23, 75–101. https://doi.org/10.5944/educxx1.23840 Ministerio de Educación, Cultura y Deporte. (2014). TALIS 2013. Informe español. Madrid: Secretaría General Técnica. Retrieved from https:// www.oecd.org/education/school/Spain-talis-publicaciones-sep2014_ es.pdf Murray, E., Durkin, K., Chao, T., Star, J. R. & Vig, R. (2018). Exploring Connections between Content Knowledge, Pedagogical Content