Percepciones del alumnado universitario sobre gamificación, diseño y validación de un instrumento

Resumen: La gamificación es una metodología vinculada con las enseñanzas activas. Debido a su impacto en los últimos años en la educación superior creemos necesario analizar la percepción de los estudiantes universitarios frente a estas metodologías. El objetivo de este trabajo es el diseño y validación de un instrumento que cubra esta necesidad. Se ha construido un cuestionario de escala Likert en el que se abordan diferentes categorías relacionadas con el proceso de enseñanza y aprendizaje. El proceso de diseño y validación ha sido el siguiente: primera fase de validación de expertos de diferentes áreas y universidades, segunda fase de prueba piloto con 160 alumnos a la que se le realizó un análisis factorial exploratorio cuyos resultados generaron un proceso de adaptación y mejora del constructo con una tercera versión tras el análisis; tercera fase con un nuevo análisis factorial exploratorio en una muestra de 416 alumnos. Los resultados han permitido validar el constructo del cuestionario en cuanto a consistencia interna e interrelación de sus PERCEPCIONES DEL ALUMNADO UNIVERSITARIO SOBRE GAMIFICACIÓN. DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO Perceptions of university students regarding gamification. design and validation of an instrument VOL., 27 Nº1 (Marzo, 2023) ISSN 1138-414X, ISSNe 1989-6395 DOI:10.30827/profesorado.v27i1.21198 Fecha de recepción 16/05/2021 Fecha de aceptación 26/09/2022 Víctor Sánchez-Dominguez Nicolás De-Alba-Fernández Elisa Navarro-Medina Universidad de Sevilla E-mail: vs[email protected]; [email protected]; enavarr[email protected] ORCID ID: https://orcid.org/0000-0003-1628-2914; https://orcid.org/0000-0001-9748-1143; https://orcid.org/0000-0001-5523-7097 Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 322 elementos y la detección de factores que miden principalmente el grado de aceptación de la inserción de metodologías lúdicas y las opiniones del alumnado frente a elementos del modelo tradicional de enseñanza. La cuarta fase ha sido la aplicación de un Análisis Factorial Confirmatorio (AFC) a las categorías de mayor relevancia generando un instrumento que se adapta a un modelo teórico. Las conclusiones señalan que existe una inclinación de los estudiantes por la introducción de estrategias lúdicas complementando elementos más tradicionales en la docencia. Palabras clave: Cuestionarios; enseñanza superior; gamificación; método de enseñanza; validación de constructo Abstract: Gamification is a methodology linked to active learning. Due to its impact in recent years in higher education, we believe it is necessary to analyse university students' perception of these methodologies. The aim of this work is the design and validation of an instrument that meets this need. A Likert scale questionnaire has been constructed in which different categories related to the teaching and learning process are addressed. The design and validation process has been as follows: first phase of validation by experts from different areas and universities; second phase of pilot test with 160 students to which an exploratory factor analysis was carried out, the results of which generated a process of adaptation and improvement of the construct with a third version after the analysis; third phase with a new exploratory factor analysis in a sample of 416 students. The results have made it possible to validate the questionnaire construct in terms of internal consistency and interrelation of its items and the detection of factors that mainly measure the degree of acceptance of the insertion of playful methodologies and the opinions of the students as opposed to elements of the traditional teaching model. The fourth phase was the application of a Confirmatory Factor Analysis (CFA) to the most relevant categories, generating an instrument that is adapted to a theoretical model. The conclusions indicate that there is an inclination on the part of students to introduce playful strategies to complement more traditional elements in teaching. Key Words: Questionnaires; higher education; gamification,; teaching method; construct validity. 1. Introducción La educación superior se encuentra en un momento decisivo. El cambio en las enseñanzas superiores se ha presentado como una necesidad que no solo ha demandado la sociedad sino también las propias instituciones educativas. Las modificaciones en los programas derivadas de la declaración de Bolonia (1999) y las reformas de los títulos universitarios son un ejemplo de cómo una institución centenaria se ha visto obligada a cambiar desde fuera (Alfaro Rocher, 2005; De Miguel, 2006; Benito y Cruz 2012; Vázquez García, 2015). Como nos recuerdan Benito y Cruz (2012) el proceso de construcción del Espacio Europeo de Educación Superior (EEES) tuvo como objetivo preparar al sistema educativo europeo para competir con otros, asegurando dicha competitividad por medio de sistemas de homologación, garantía de la calidad, evaluación, gestión, etc. Estas modificaciones no solo afectan a la universidad a nivel formal y administrativo, si no que han marcado como objetivo un cambio en la formación de los futuros egresados y titulados superiores. Ya la propia LOU apuesta por seguir las directrices de “Bolonia” (Ley Orgánica 6/2001, de Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 323 21 de diciembre, de Universidades, título XIII. Art. 87 y 88) y diferentes autores han buscado dar con las claves para aplicar los nuevos sistemas que el EEES postulaba. Benito y Cruz (2012), De Miguel (2005) o Prieto (2008) plantean cómo adaptarse al nuevo sistema tanto por parte del profesor como del alumno. Es necesario incorporar las nuevas metodologías demandadas desde Europa centradas en el aprendizaje colaborativo, la resolución de problemas y los métodos de caso, dejando de lado o modificando el método centrado en la clase magistral. Dentro de estas metodologías demandadas cobran para nosotros especial relevancia las metodologías activas. Recientemente Jiménez et al. (2020) recogían la importancia de estas metodologías y junto a autores como Calvo y Mingorance (2009) o Palomares (2011) abogaban por su uso para un mejor desarrollo de las competencias. Es más, Jiménez et al. (2020) rescataban el análisis de De Miguel (2005) sobre los métodos de enseñanza en la educación superior y su organización en la que señalaba el grado de participación del alumnado incorporando ya el concepto de enseñanza activa a la docencia universitaria. El uso de estas metodologías ha cobrado relevancia en este siglo XXI. Esta tendencia se enmarca en la corriente internacional que aboga por dar protagonismo a los estudiantes y a la metodología frente al profesor y los contenidos en la educación superior (De Alba-Fernández y Porlán, 2017; De Alba-Fernández et al., 2020; Postareff & Lindblom-Ylänne, 2008; Uiboleht et al., 2018). Es en este marco de auge de las metodologías activas en el que surge nuestra línea de investigación centrada en analizar la gamificación como metodología docente activa y su potencial para la enseñanza en educación superior. 1.1. El concepto de gamificación en el entorno educativo El uso del juego en la didáctica no es novedoso, autores como Vigotsky (1982), Dewey (1997) o Huizinga (2000) trabajaron sobre el papel pedagógico del juego. Deterding et al. (2011) definen la gamificación como la aplicación de elementos del juego en entornos no lúdicos, un enunciado que han adoptado autores como Werbach & Hunter (2012) o Zichermann & Cunningham (2011). Este nuevo concepto obtuvo rápidamente una aplicación didáctica. Autores como Lee & Hamer (2011) plantearon extrapolar el éxito que la gamificación tenía en otros ámbitos como el marketing para solucionar los problemas de motivación que los alumnos estadounidenses presentaban. Desde ese momento la gamificación ha supuesto un cambio en la última década alterando en nuestro caso la percepción del aprendizaje e introduciendo nuevos recursos y estrategias. Así, han surgido propuestas de implementar los elementos propios del diseño de juegos a los entornos educativos. Werbach & Hunter (2012) añadieron el elemento de la manipulación por medio de la diversión (proceso de manipulación de la diversión para servir objetivos del mundo real) y Kapp (2012) vinculó el término de gamificación con el proceso de aprendizaje entendiéndolo como la utilización de mecánicas basadas en juegos, estética y pensamiento lúdicos para fidelizar a las personas, motivar acciones, promover el aprendizaje y resolver problemas. Ferrán Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 324 Teixes (2014, p. 23), nos habla además de “modificar comportamientos […] mediante acciones sobre su motivación”. Esta metodología centrada en dinámicas de entornos lúdicos se ha beneficiado por otro lado de los trabajos de diseñadores como Crawford (1984) sobre el diseño de videojuegos, y el de Hunicke et al. (2004) sobre el diseño de elementos en el juego del cual en parte se deriva el sistema de MDA (mecánicas, dinámicas y estéticas) que describen Werbach & Hunter (2012, 2015), Teixes (2014) o Marczewski (2015). Otro trabajo de gran importancia fue el Craig y Eladhari (2005), sobre estructuras narrativas y literacidad dentro de los videojuegos. Este elemento es de gran importancia pues se convierte en el hilo conductor del producto lúdico, así como del no lúdico, en nuestro caso la unidad didáctica o la programación. Además de los estudios de cómo gamificar y qué elementos utilizar, han cobrado gran importancia aquellos que se han centrado en valorar el impacto de esta metodología. Los precedentes como el de Levis (1997) analizando cómo se convirtieron los videojuegos en un fenómeno de masas en la década de los noventa o el de Gee (2004) sobre su funcionalidad didáctica han ayudado a otros, como a Díaz y Troyano (2013), a identificar el concepto de gamificación con una metodología de modificación de hábitos y conductas que pueden alterar elementos tan importantes para los docentes como la curva de aprendizaje, el índice de atención o el grado de participación en clase. Como plantearon Dicheva & Dichev (2015), la irrupción de la gamificación en los entornos educativos parece seguir ascendiendo a lo más alto. Si analizamos las revisiones bibliográficas de Hamari et al., (2014), De Sousa Borges et al., (2014) Dicheva & Dichev (2015), Silva et al. (2018), Subhash & Cudney (2018) o Zainuddin et al. (2020), la gamificación está teniendo un gran impacto en la docencia universitaria. Parra y Segura (2019) entienden que actualmente la gamificación ha encontrado su lugar como metodología activa emergente “cuyo uso va en aumento en los procesos de enseñanza-aprendizaje para así fomentar la motivación entre los estudiantes” (p. 2). Ardila-Muñoz (2019) por su parte concluye en su revisión que la gamificación “en la educación superior promueve el desarrollo de actividades que hagan disfrutable la apropiación de conocimiento; el conocimiento se presenta como algo divertido con la finalidad de poder atrapar a los estudiantes con su proceso formativo” (p. 80). Sin embargo, como también nos recuerda Ardila-Muñoz (2019) implementar la gamificación en la educación superior supone dos retos: “crear un ambiente educativo en el que los estudiantes se interesen por interactuar voluntariamente con las actividades gamificadas y contar con una infraestructura tecnológica y un equipo de trabajo que permitan la implementación de las actividades gamificadas” (p. 80). Tenemos ejemplos de dinámicas gamificadas cuyos resultados no fueron los esperados, como la presentada por De Marcos et al. (2014), en la que ante la implementación de diferentes metodologías en distintos grupos de la misma asignatura la gamificación no obtuvo resultados resaltables, o “Taller de creación de JOCS” diseñada por Contreras y Eguias en la Universidad de Barcelona (Corchuelo Rodríguez, 2018) donde el rendimiento llega incluso a decaer. Estos ejemplos nos Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 325 hacen pensar que es necesario profundizar en el estudio de la gamificación, ya que su carácter motivante está, como señalaba Ardila-Muñoz (2019), muy vinculado con los alumnos y su percepción sobre el uso de estrategias lúdicas en su proceso de enseñanza y aprendizaje. Así, no todos los alumnos están dispuestos a jugar, y como constató Buckley et al. (2017) en su experiencia, existen estudiantes que se sienten frustrados por la actividad gamificada pues, en el caso descrito, consideraban que lo que estaba en juego era demasiado para participar de estas dinámicas, especialmente en el contexto de una gran carga de trabajo. Por esto, pensamos que es necesario identificar las percepciones del alumnado frente a la introducción de metodologías lúdicas en cada caso, teniendo para ello un instrumento que nos permita conocer de manera anticipada sus concepciones sobre el aprendizaje vinculadas al uso de esta metodología y qué grado de interés les genera. 2. Objetivos Los objetivos fundamentales de este trabajo son: • Diseñar y validar un instrumento que permita el análisis de las percepciones del alumnado frente a la gamificación en la educación superior. • Analizar la validez de contenido mediante un juicio de expertos y de constructo a través de la elaboración de pruebas piloto, análisis de fiabilidad y Análisis Factorial Exploratorio. • Realizar un Análisis Factorial Confirmatorio para identificar un modelo teórico valido para su aplicación. 3. Construcción y validación del instrumento La investigación se ha dividido en dos partes, una primera centrada en el diseño del instrumento “Percepción del Alumnado frente a Metodologías Lúdicas en Educación Superior” (PAMLES) y una segunda que buscaba su validación por medio de diferentes sistemas y la modificación de las versiones anteriores en base a los resultados obtenidos y que hemos dividido en cuatro fases. 3.1. Diseño del instrumento En relación con el instrumento debemos aclarar que buscamos una opción que nos permitiera, como exponen Fabregues et al. (2016), plantear de manera rápida y eficaz un conjunto de preguntas para recoger información estructurada sobre una muestra de personas y contrastar estadísticamente las relaciones entre la muestra y sus intereses. Por tanto, elegimos el diseño de un cuestionario que permitiera Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 326 analizar percepciones subjetivas de nuestro alumnado traduciéndolas a unos datos cuantitativos con los que poder trabajar para su tratamiento y análisis estadístico. Tras la realización del barrido bibliográfico comprobamos como desde los años setenta existen un alto número de cuestionarios que investigan sobre cómo perciben las estrategias de aprendizaje los alumnos. Trabajos como los de Kolb (1976, 1983) con su denominado inventario de estilos de aprendizaje (LSI), el cuestionario de estilos de aprendizaje (CHAEA) de Alonso et al. (1994), o la versión en castellano (ACRA) de este realizada por Gallego y Román (1994), son los instrumentos mayormente utilizados para la medición de estilos de aprendizaje y para la medición de las estrategias de aprendizaje. En esta búsqueda encontramos especialmente interesante el Cuestionario de Evaluación de las Estrategias de Aprendizaje de los Estudiantes Universitarios (CEVEAPEU) diseñado y validado por Gargallo et al. (2009). Si bien este cuestionario partía de los anteriormente citados, añadía además elementos extraídos del Motivated Strategies for Learning Questionnaire (MTSLQ) de Printicht (1991), el cual queríamos tener en cuenta debido a la importancia que tiene la motivación en las metodologías gamificadas. Sin embargo, aunque estos dos últimos cuestionarios se centraban especialmente en las sensaciones del alumnado durante el proceso de enseñanza y aprendizaje y recababan información de manera directa sobre una parte de nuestros objetivos, el número de ítems del CEVEAPEU y muy especialmente del MTSLQ excedían la extensión que queríamos asignar a una parte minoritaria del cuestionario como era la motivación. La revisión de la literatura pone de manifiesto que existen pocas escalas centradas en analizar las metodologías gamificadas. Como bien nos recuerdan Manzano-León et al. (2022) existen pocos instrumentos de medición cuantitativos para valorar los aprendizajes gamificados y estos se centran en aspectos principalmente motivacionales: La escala GAMEX de Eppmann, Bekk y Klein (2018) analiza seis dimensiones que abordan aspectos de motivación, diversión, efectos de la actividad y disfrute de la misma. Esta escala ha sido adaptada al entorno universitario español por Parra-González y Segura-Robles (2019), quienes además la han modificado creando recientemente la escala EGAMEDU en la que Parra-González et al. (2022) ya si añaden categorías de aprendizaje además de sociabilización. Otra de las escalas vigentes es la HEXA de Tondello et al. (2019) en la que analizan los perfiles de los usuarios de las experiencias gamificadas a fin de mejorar el disfrute de estos. La escala de Baydas y Cicek (2019) para el juego Kahoot se centra de nuevo en aspectos de motivación y disfrute de la actividad, como también hace la GAMEFULQUEST de Högberg, Hamari, y Wästlund (2019). Así pues, tras analizar las dimensiones e ítems del CEVEAPEU y del MTSLQ decidimos inspirarnos en ellos, identificamos aquellos que eran útiles y propusimos un borrador de cuestionario combinando elementos del CEVEAPEU con ítems de elaboración propia. La primera versión del instrumento se compuso de dos partes. La primera era relativa a características sociodemográficas: edad, género y grupo. La segunda recogía 57 ítems agrupados en cinco categorías: las tres primeras categorías recogían los diferentes elementos del proceso de enseñanza aprendizaje: contenidos (“aquello Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 327 que queremos que nuestros estudiantes aprendan” (García, Porlán y Navarro, 2017, p. 56), metodología (“la forma de proceder que tienen los profesores para desarrollar su actividad docente” (De Miguel, 2006, p. 22) y evaluación (proceso complejo en el que se observa, se valora y se toman unas decisiones al respecto (Rivero y Porlán, 2017). Las dos restantes se referían a la motivación con respecto a la experiencia gamificada y la asignatura. A su vez se generaron cinco subcategorías para delimitar diferentes aspectos dentro de las categorías y se diseñaron 2 ítems contrapuestos para cada subcategoría, uno vinculado a una metodología tradicional y otro a una metodología gamificada (ver tablas 1 y 2). Las respuestas a las declaraciones se midieron en una escala Likert de 1 a 5 en la que 1 correspondería a nada conforme con la declaración y 5 muy conforme. El orden de las preguntas fue aleatorio. Tabla1 Tabla de categorías y subcategorías I. CATEGORÍAS SUBCATEGORÍAS 1.- Contenidos 1. Tiempo 2. Problemas 3. Cantidad 4. Interrelación / organización 5. Jerarquía 2.- Metodología 1. Estrategias de E/A 2. Participación 3. Etapas 4. Tiempo 5. Trabajo en equipo 3.-Evaluación 1. Calificación 2. Momento de evaluación 3. Finalidad 4. Relevancia 5. Criterios 4. Motivación con respecto a la metodología 1. Percepción general 2. Utilidad en la vida 3. Como metodología docente 4. Relación 5. Exploración 6. Competitividad 7. Reconocimiento 4. Motivación con respecto a la materia 1. Percepción general 2. Dificultad 3. Utilidad para el alumno 4. Utilidad en la vida 5. Utilidad en la titulación Fuente: Elaboración propia. Tabla2 Tabla con ejemplo de relación entre categoría subcategoría, nivel de partida y declaración. Categoría Subcategoría Nivel Declaración Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 328 Contenidos 1.2. Problemas Nivel de Partida (identificado con un Modelo Didáctico Tradicional) Me gusta que el profesor explique con claridad cuáles son los contenidos que hay que aprender Nivel de Referencia (identificado con un Modelo Didáctico Gamificado) Prefiero que el profesor me plantee dilemas a través de actividades lúdicas en clase en vez de contenidos acabados Fuente: Elaboración propia. 3.2. Validación del instrumento Este instrumento original fue sometido a un proceso de validación compuesto de diferentes fases: 1) Juicio de expertos que permitió validar el contenido del instrumento diseñado y matizar algunos ítems. 2) Primera prueba piloto para validar el constructo del instrumento mediante un Análisis Factorial Exploratorio (AFE). 3) Reformulación/rediseño del instrumento y segunda prueba piloto para avanzar en la validación de constructo. 4) Selección de factores relevantes para diseño de modelo teórico y realización de Análisis Factorial Confirmatorio (AFC). 3.2.1. Validación de contenido Para poder valorar de manera objetiva estos elementos se optó por seis profesores universitarios con experiencia docente con los siguientes criterios de inclusión: ser personal docente e investigador de una institución universitaria y haber investigado en temas de gamificación y/o diseño de cuestionarios. A los especialistas seleccionados se les envió el diseño preliminar pidiendo que analizaran especialmente la coherencia de cada ítem en relación con criterios de claridad en su redacción, así como en la pertinencia del ítem con respecto a las categorías y subcategorías. Las valoraciones se realizaron por medio de una escala de Likert de 1-5 donde 1 mostraba la mínima pertinencia o claridad en la declaración, mientras que el 5 indica el valor máximo. Las respuestas de los expertos sobre claridad y pertinencia generaron una valoración media de cada ítem ( ) así como la desviación típica (Sx). En el apartado de pertinencia los expertos presentaron una valoración positiva ya que los ítems estaban entre 3 y 5 siendo minoritarios los valores por debajo de 4 (solo 4 ítems). En lo referente a la desviación típica esta se encuentra entre 0 y 2,13 siendo superior a 1 en 17 ítems. La media general de la valoración de pertinencia era de 4,48, con dos ítems con una media inferior a 3,16. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 329 En el apartado de claridad, los expertos señalan una valoración positiva con ítems puntuados entre 3 y 5 (con 8 ítems por debajo de 4). La desviación típica se encuentra entre 0 y 2,13 en 21 de los ítems, con dos ítems superiores a 2. La media de los ítems se encuentra en 3,16 y 5 siendo una minoría los que se encuentran por debajo de 4. Con el objetivo de analizar el grado de acuerdo ente los expertos y profundizar en el estudio de la validez del cuestionario aplicamos el W de Kendall, índice recomendado cuando la escala de calificación es ordinal (Escobar-Pérez & Cuervo-Martínez, 2008). Sin embargo, los índices en relación a la pertinencia (W= ,157) y la claridad (W= ,163) no presentaron un alto grado de concordancia entre los expertos, hecho que atribuimos a la variedad en las áreas de conocimiento. Por esta razón, y teniendo en cuenta las apreciaciones realizadas por los expertos, que apuntaban a que el instrumento despertó interés en ellos, se incorporaron modificaciones. Estas fueron recogidas previamente en un apartado del cuestionario en el que los expertos podían sugerir modificaciones. Atendiendo a sus comentarios se reformularon ocho ítems a fin de clarificar las declaraciones y se procedió a realizar la primera prueba piloto y sus correspondientes estudios de validación. 3.2.2. Fiabilidad y validez de constructo Con el fin de verificar la coherencia y consistencia interna de la primera versión del cuestionario validado por los expertos se planteó realizar un estudio piloto con una amplia muestra por medio de la aplicación Google forms, la cual permitía la realización del cuestionario de manera eficaz y una rápida recogida de los datos para su posterior volcado en el programa de análisis estadístico SPSS. Este piloto se realizó sobre una muestra de 160 estudiantes de los 244 matriculados, de 1º grado de titulaciones propias de Humanidades de la Universidad de Sevilla, el 60,6% de la muestra era de género femenino y el 39,4 % de género masculino, con una media de edad de 20 años (ver tabla 3). Tabla 3 Tabla de porcentajes de edad Rango de edad Porcentaje de la muestra 17-19 años 69% 20-22 años 14% 23-25 años 14% >25 años 3% Fuente: Elaboración propia. Para confirmar la fiabilidad, así como la correlación interna de los ítems aplicamos el coeficiente de alfa de Cronbach, el índice de correlación intraclase (ICC) y el coeficiente de Mcdonald siguiendo las recomendaciones de Oviedo y Arias (2005), así como otros autores en cuanto a la validez del índice de correlación (George & Mallery, 2003; Arias 2005; Ventura-León y Caycho-Rodríguez, 2017). Así, la Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 336 3.2.4. Análisis Factorial Confirmatorio (AFC) Una vez realizado el AFE percibimos que los factores 1 y 2 explicaban por sí mismos un 26,3 % de la varianza y varios de sus ítems presentaban una carga factorial adecuada para la realización del análisis factorial confirmatorio (superior a 0,6) teniendo al menos dos ítems que cumplan este requisito. Debido a ello seleccionamos estos factores así como los ítems con carga adecuada para elaborar el siguiente modelo teórico y realizar el AFC (figura 1). El modelo teórico presenta dos factores contrapuestos, el primero de elementos lúdicos (F1) y el segundo con ítems vinculados a una visión metodológica tradicional (F2). Del F1 seleccionamos los seis ítems con cargas superiores a 0,6, vinculados con metodología docente, uso de la misma para la resolución de problemas, sistemas y momento de evaluación, etapa y utilidad en la preparación para el futuro. Del F2 seleccionamos los tres ítems relacionados con la pérdida de tiempo producida por la introducción de elementos lúdicos a la hora de incorporar contenidos y gestionar la actividad en el aula y sistema de evaluación final. De esta manera entendemos que el modelo teórico propuesto mide las percepciones del alumnado frente a la introducción de estrategias lúdicas en la universidad en relación con criterios de idoneidad, eficacia en cuanto a la secuenciación temporal, utilidad de la metodología en el proceso de enseñanza y aprendizaje y sistema de evaluación. Estos elementos se vinculan a las características de la gamificación expuestas en nuestro marco teórico (Deterding et al. 2011; Lee & Hamer, 2011; Werbach & Hunter, 2012; Kapp, 2012; Ferrán Teixes, 2014 o Marczewski, 2015) así como en la tendencia a dar un papel más activo al alumno en el proceso de enseñanzaaprendizaje (De Alba Fernández y Porlán, 2017; De Alba Fernández et al., 2020; Postareff & Lindblom-Ylänne, 2008, Uiboleht et al., 2018), por lo que ante la relación con la literatura revisada procedimos con el análisis factorial confirmatorio para valorar la validez del constructo. Utilizamos la herramienta informática AMOS 18, aplicamos el método de máxima verosimilitud y determinamos la bondad de ajuste del modelo factorial propuesto siguiendo los criterios marcados por Byrne (2010), Kline (2010) y Pozuelos et al. (2021) (CMIN/DF entre 2 y 5, CFI e IFI > 0.9, RMSEA < 0.06 y HOELTER > 200). Los valores de bondad de ajuste obtenidos con ellos fueron los recogidos en la tabla 11. Figura 1: Estimaciones del modelo teórico propuesto. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 337 Fuente: Elaboración propia. Tabla 11 Tabla de índices de bondad de ajuste. Medida Nivel Recomendado Modelo CMIN DF 2-5 2,050 CFI >,9 ,972 IFI >,9 ,973 NFI >,9 ,948 RMSEA <,06 ,050 Hoelter > 200 311 Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 338 Fuente: Elaboración propia. El instrumento resultante nos permite identificar en nuestra muestra una percepción favorable al uso de estrategias lúdicas. Tenemos respuestas muy favorables a estas estrategias presentando porcentajes muy elevados en los ítems 6, 8, 9, 16,17, y 27 que las vinculan a los procesos de asimilación de los contenidos y su utilidad en los procesos de evaluación y calificación (entre el 80% y el 94%). Esta percepción se mantiene en los ítems que presentan una visión más tradicional contraria a la inserción de elementos lúdicos (22, 23 y 24) en relación a cuestiones como la pérdida de tiempo y su repercusión en la asimilación de contenidos y en cuanto a su valor metodológico (más de un 88,9%) así como una clara percepción contraria a un sistema de evaluación final en vez de procesual (ítem 23 con un 87% de estudiantes contrarios al sistema de evaluación final). 4. Discusión y conclusiones Con los resultados obtenidos y teniendo en cuenta los objetivos propuestos de diseñar y validar un instrumento que midiera las percepciones del alumnado frente a la introducción de elementos lúdicos en el aprendizaje, podemos afirmar la consecución de los mismos. De esta manera, tras un análisis de diferentes escalas existentes para medir percepciones del alumnado tanto en los procesos de aprendizaje como en gamificación hemos diseñado el instrumento que hemos denominado PAMLES que ha sido validado mediante técnicas habituales para este tipo de estudios. PAMLES, en su versión preliminar, ha sido validado a niveles de construcción, en cuanto a claridad y pertinencia de los ítems teniendo en cuenta la opinión favorable de seis expertos de diferentes áreas. Si bien el juicio de los expertos ha presentado cierta falta de concordancia interna derivada en parte a su origen variado, esta limitación ha sido solventada analizando los comentarios hechos por los mismos y reformulando varias de las declaraciones siguiendo sus recomendaciones. No obstante, el proceso de diseño continuó en paralelo al proceso de validación ya que los resultados expuestos en relación a los análisis y consistencia interna en cuanto a la interrelación de los ítems que lo componen permitieron detectar los factores e ítems más adecuados para medir las percepciones del alumnado frente a aprendizajes tradicionales y lúdicos, permitiéndonos pulir PAMLES generando una versión más reducida y depurada. Resultado de este proceso es un instrumento capaz de analizar las percepciones del alumnado frente a la incorporación de elementos lúdicos en el proceso de enseñanza y aprendizaje. Este nuevo instrumento ha sufrido un nuevo proceso de validación mejorando los resultados de consistencia interna e interrelación de los ítems que lo componen. Así, el PAMLES definitivo se ha encuadrado dentro de un modelo teórico adecuado según los parámetros del AFC, cumpliendo los objetivos propuestos. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 339 Si bien es cierto que podemos profundizar más en el estudio del instrumento, posibilidad que dejamos abierta, hemos de destacar que PAMLES, además de cumplir los objetivos propuestos, nos ha permitido cubrir un vacío existente en la investigación sobre gamificación, pues si lo vinculamos con los estudios previos expuestos en el marco teórico y analizamos las principales revisiones bibliográficas como las de Hamari et al., (2014), De Sousa Borges et al. (2014), Dicheva y Dichev (2015), Silva et al. (2018), Subhash y Cudney (2018), Zainuddin et al. (2020) o el artículo Manzano-León et al. ( 2021) que en su marco teórico plantea las características de las diferentes escalas usadas en gamificación, nuestros resultados presentan varias cuestiones a tener en cuenta. Primero, las publicaciones recogidas, que realizan un análisis cuantitativo de la gamificación como metodología docente son, en su mayoría, experiencias gamificadas evaluadas a posteriori o no se centran como hemos apuntado en aspectos de aprendizaje (salvo la reciente aportación de Parra-González et al., 2022). Esto provoca que los resultados solo informen de la evolución de la experiencia, dejando pendientes cuestiones como si el alumnado estaba o no dispuesto a realizarla, como planteaban Buckley et al. (2017), o sus percepciones previas sobre el uso de estrategias lúdicas en el aprendizaje, elemento fundamental que puede modificar los resultados como se observa en De Marcos et al. (2014). Segundo, muchas de estas evaluaciones se centran en el grado y evolución del aprendizaje por medio de sistemas de evaluación y una gran mayoría en las mejoras relacionadas con aspectos motivacionales como la escala GAMEFULQUEST de Högberg, Hamari, y Wästlund (2019) y de participación o grado de satisfacción con respecto a la experiencia por medio de cuestionarios post gamificación (un ejemplo evidente es la adaptación del cuestionario GAMEX por Parra-González y Segura- Robles, 2019 o la escala de Baydas y Cicek (2019) para el juego Kahoot). Esto genera categorías centradas solo en el alumno, obviando otros elementos del proceso de enseñanza-aprendizaje como son los contenidos, la metodología, los sistemas de evaluación y la utilidad de la metodología que deben ser tenidos en cuenta en los procesos de planificación docente, elementos que recoge la versión más depurada del PAMLES. Frente a todo lo expuesto, el cuestionario PAMLES permite un análisis de percepciones previas a una gamificación, pudiendo identificar entre el alumnado una predisposición o no frente a la inserción de dinámicas lúdicas, así como con otras estrategias utilizadas en educación superior. Además, no solamente es aplicable a la gamificación si no a otras metodologías lúdicas, es adaptable a un post test y se podría usar para establecer una comparación con la percepción sobre una metodología expositiva de enseñanza y aprendizaje aún muy presente en el panorama universitario (Postareff & Lindblom-Ylänne, 2008). De esta manera, si nos preguntamos por las implicaciones prácticas del instrumento, PAMLES permitirá a los profesores que quieran introducir nuevas metodologías de carácter lúdico en un aula universitaria conocer a priori si el alumnado estaría interesado en ese cambio o si, por el contrario, prefieren un Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 340 sistema expositivo más tradicional. Esto permitiría prever las dificultades que pueden aparecer a la hora de aplicar la innovación y diseñar una estrategia de enseñanza para superarlas. Referencias bibliográficas Alfaro Rocher, I. J. (2005). El Espacio Universitario Europeo: Entre la autonomía, la diversidad y la convergencia. Cuadernos de Integración Europea, 2, 3-15. Alonso, C., Gallego, D. y Honey, P. (1994). Los estilos de aprendizaje: procedimientos de diagnóstico y mejora. Mensajero. Bilbao Ardila-Muñoz, J. Y. (2019). Supuestos teóricos para la gamificación de la educación superior. Magis, Revista Internacional de Investigación en Educación, 12(24), 71-84. Baydas, O. y Cicek, M. (2019) The examination of the gamification process in undergraduate education: A scale development study. Technol. Pedagog. Educ. 28, 269–285. https://doi.org/10.1080/1475939X.2019.1580609 Benito, Á. y Cruz, A. (2012). Nuevas claves para la Docencia Universitaria en el Espacio Europeo de Educación Superior. Narcea. Madrid. Buckley, P., Doyle, E. y Doyle, S. (2017). Game on! Students’ perceptions of gamified learning. Journal of Educational Technology & Society, 20(3), 1-10. Byrne, B. (2010). Structural equation modelling with AMOS. (2nd ed.). Taylor and Francis Group. New York Calvo, A. y Mingorance, A.C. (2009). La estrategia de las universidades frente al Espacio Europeo de Educación Superior. Revista Complutense de Educación, 20(2), 319-34. https://dx.doi.org/10.5209/RCED Corchuelo Rodríguez, C. A. (2018). Gamificación en educación superior: experiencia innovadora para motivar estudiantes y dinamizar contenidos en el aula. Edutec. Revista Electrónica De Tecnología Educativa, (63), 29-41 (380). https://doi.org/10.21556/edutec.2018.63.927 Craig A., L. y Eladhari, M. (2005). Narrative structure in trans-reality role playing games: integrating story construction from live action, table top and computer-based role-playing games. Gotland University. DiGRA 2005, Cramergatan, Suecia. http://www.digra.org/digitallibrary/publications/narrative-structure-in-trans-reality-role-playing-games- integrating-story-construction-from-live-action-table-top-and-computer- based-role-playing-games/. Crawford, C. (1984). The art of computer game design. Osborne/McGraw-Hill. Washington. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 341 De-Alba-Fernández, N., Navarro-Medina, E., Porlán, R. y Rodríguez-Pérez, N. (2020). La progresión de los modelos docentes universitarios: resultados del primer estudio. En N. de-Alba-Fernández y R. Porlán (Coords.), Docentes universitarios. Una formación centrada en la práctica (191-230). Morata. Madrid. De-Alba-Fernández, N. y Porlán, R. (2017). La metodología de enseñanza. En R. Porlán (Coord.), Enseñanza universitaria. Cómo mejorarla (37-54). Morata. Madrid. De Miguel, M. (2005). Modalidades de enseñanza centradas en el desarrollo de competencias. Orientaciones para promover el cambio metodológico en el marco del EEES. Universidad de Oviedo. Oviedo. De Miguel, M. (2006) Metodologías de enseñanza y aprendizaje para el desarrollo de competencias. Orientaciones para el profesorado universitario ante el espacio europeo de educación superior. Alianza. Madrid. De Sousa Borges, S., Durelli, V. H., Reis, H. M. y Isotani, S. (2014, March). A systematic mapping on gamification applied to education. In Proceedings of the 29th annual ACM symposium on applied computing (216-222). ACM. Deterding, S., Dixon, D., Khaled, R. y Nacke, L. (2011). From Game Design Elements to Gamefulness: Defining “Gamification”. MindTrek '11: Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments. https://doi.org/10.1145/2181037.2181040 . Dewey, J. (1997). How we think. Dover Publications. New York. De-Marcos, L., Domínguez, A., Sáenz-de-Navarrete, J. y Pagés, C. (2014). An empirical study comparing gamification and social networking en e-learning. Computers & education, 75, 82-91. https://doi.org/10.1016/j.compedu.2014.01.012 Díaz Cruzado, J. y Troyano, Y. (2013). El potencial de la gamificación aplicado al ámbito educativo. En II jornadas de innovación docente de la Facultad de Ciencias de la Educación de la Universidad de Sevilla, 1-9. Facultad de Ciencias de la Educación. http://hdl.handle.net/11441/59067 Dicheva, D. y Dichev, C. (2015, October). Gamification in Education: Where Are We in 2015? In E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (1445-1454). Association for the Advancement of Computing in Education (AACE). https://www.researchgate.net/profile/Darina_Dicheva/publication/28164941 0_Gamification_in_Education_Where_Are_We_in_2015/links/55f2e61d08ae1d9 803922bca/Gamification-in-Education-Where-Are-We-in-2015.pdf Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 342 Escobar-Pérez, J. & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización [Content validity and expert judgement: an approach to their use]. Avances en Medicin, 6, 27–36. Eppmann, R., Bekk, M., & Klein, K. (2018). Gameful Experience in Gamification: Construction and Validation of a Gameful Experience Scale [GAMEX]. Journal of Interactive Marketing, 43, 98-115. http://doi.org/10.1016/j.intmar.2018.03.002 Fàbregues Feijóo, S., Meneses Naranjo, J., Rodríguez Gómez, D. y Paré, M. H. (2016). Técnicas de investigación social y educativa. Editorial UOC. Barcelona. Fleiss, JL. (1986) The design and analysis of clinical experiments. John Wiley & Sons. New York. Frías-Navarro, D. & Soler, M. P. (2013). Prácticas del análisis factorial exploratorio (AFE) en la investigación sobre conducta del consumidor y marketing. Suma Psicológica, 19(1), 47-58: http://dx.doi.org/10.14349/sumapsi2012.1141. García Díaz, E., Porlán, R. y Navarro, E. (2017). Los fines y los contenidos de enseñanza. En R. Porlán (Coord.), Enseñanza universitaria. Cómo mejorarla (55-72). Morata. Madrid. Gargallo, B., Suárez-Rodríguez, J.M. y Pérez-Pérez, C. (2009). El cuestionario CEVEAPEU. Un instrumento para la evaluación de las estrategias de aprendizaje de los estudiantes universitarios. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 15(2), 1-31 https://doi.org/10.7203/relieve.15.2.4156. Gee, J.P. (2004) Lo que nos enseñan los videojuegos sobre el aprendizaje y el alfabetismo. Ediciones Aljibe. Archidona. George, D. y Mallery, M. (2003). Using SPSS for Windows step by step: a simple guide and reference. Allyn & Bacon. Boston. Hair, J. F., Anderson, R. E., Tatham, R. L. y Black, W. C. (2005). Multivariate data analysis. Prentice All International. New Jersey. Hamari, J., Koivisto, J. y Sarsa, H. (2014). Does gamification work? A literature review of empirical studies on gamification. In 47th Hawaii international conference on system sciences (3025-3034). https://doi.org/10.1109/HICSS.2014.377 Högberg, J.; Hamari, J.; Wästlund, E. (2019) Gameful Experience Questionnaire (GAMEFULQUEST): An instrument for measuring the perceived gamefulness of system use. User Model. User Adapt. Interact. 29, 619–660. https://doi.org/10.1007/s11257-019-09223-w Huizinga, J. (2000). Homo ludens. Alianza. Madrid. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 343 Hunicke, R., Le Blanc, M. y Zubek, R. (2004). MDA: A formal approach to game design and game research. In Proceedings of the AAAI Workshop on Challenges in Game 4(1). https://www.aaai.org/Papers/Workshops/2004/WS-04-04/WS04- 04-001.pdf. Jiménez Hernández, D., González Ortiz, J.J. y Tornel Abellán, M. (2020). Metodologías activas en la universidad y su relación con los enfoques de enseñanza. Profesorado. Revista de Currículum y Formación de Profesorado, 24(1), 76-94. doi: 10.30827/profesorado.v24i1.8173. Kapp, K. (2012). The Gamification of Learning and Instruction: Game-Based Methods and Strategies for Training and Education. John Wiley & Sons. New York. Kline, R. (2010). Principles and practice of structural equation modelling (3rd ed.). The Guilford Press. New York. Kolb, D. (1984). Experiential Learning. Ed. Prentice Hall. New Jersey. Kolb, D.A. (1976). Learning Style Inventory. Technical manual. McBer. Boston. Silva, R. J. R. D., Rodrigues, R. G. y Leal, C. T. P. (2019). Gamification in management education: A systematic literature review. BAR-Brazilian Administration Review, 16(2). http://dx.doi.org/10.1590/1807- 7692bar2019180103 Lee, J. J. y Hammer, J. (2011). Gamification in education: What, how, why bother? Academic Exchange Quarterly, 15(2), 146–151. Levis, D. (1997). Los videojuegos, un fenómeno de masas. Qué impacto produce en la infancia y juventud la industria más prospera del sistema audiovisual. Paidos. Barcelona. Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología/Annals of Psychology, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361 Manzano-León, A., Camacho-Lazarraga, P,; Guerrero-Puerta, M.A., Guerrero-Puerta, L., Alias, A., Aguilar-Parra, J.M. y Trigueros, R. (2021) Development and Validation of a Questionnaire on Motivation for Cooperative Playful Learning Strategies. Int. J. Environ. Res. Public Health, 18, 960. https://doi.org/10.3390/ijerph18030960 Marczewski, A. (2015). Even Ninja Monkeys Like to Play: Gamification. Game Thinking & Motivational Design. CreateSpace Independent Publishing Platform. Scotts Valley. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 344 Oviedo, H. C. y Arias, A. C. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista colombiana de psiquiatría, 34(4), 572-580. https://www.redalyc.org/articulo.oa?id=80634409. Palomares, A. (2011). El modelo docente universitario y el uso de nuevas metodologías en la enseñanza, aprendizaje y evaluación. Revista de Educación, (355), 591-604. http://dx.doi.org/10.4438/1988-592X-RE-2011- 355-038. Parra-González, M.E. y Segura-Robles, A. (2019) Traducción y validación de la escala de evaluación de experiencias gamificadas (GAMEX). Bordón, Revista de Pedagogía, 71(4), 87–99. http://dx.doi.org/10.13042/Bordon.2019.70783. Parra-González, M.E., Segura-Robles, A., Moreno-Guerrero, A.J. & López-Belmonte, J. (2022). Elaboration and validation of the scale to measure the experience on gamification in education (EGAMEDU). Journal of Technology and Science Education, 12(1), 217-229. https://doi.org/10.3926/jotse.1505 Pérez, E. R. y Medrano, L. A. (2010). Análisis factorial exploratorio: bases conceptuales y metodológicas. Revista Argentina de Ciencias del Comportamiento (RACC), 2(1), 58-66. Pintrich, P. R. (1991). A manual for the use of the Motivated Strategies for Learning Questionnaire (MSLQ). Office of Educational Research and Improvement. Michigan. Porlán, R. (Coord.) (2017). Enseñanza universitaria: cómo mejorarla. Morata. Madrid. Postareff, L. y Lindblom-Ylänne, S. (2008). Variation in teachers' descriptions of teaching: Broadening the understanding of teaching in higher education. Learning and Instruction, 18(2), 109-120. http://dx.doi.org/10.1016/j.learninstruc.2007.01.008. Pozuelos Estrada, F.J., García Prieto, F.J. y Conde Vélez, S. (2021). Evaluar prácticas innovadoras en la enseñanza universitaria. Validación de instrumento. Educación XXI, 24(1), 69-91. http://doi.org/10.5944/educXX1.26300 Prieto Navarro, L. (2008) La enseñanza universitaria centrada en el aprendizaje. Estrategias para el profesorado. Octaedro. Barcelona. Rivero, A. y Porlán, R. (2017). La evaluación en la enseñanza universitaria. En R. Porlán (Coord.), Enseñanza universitaria. Cómo mejorarla (73-91). Morata. Madrid. Román, J.M. y Gallego, S. (1994). Escala de Estrategias de Aprendizaje, ACRA. TEA Ediciones. Madrid. Percepciones del alumnado universitario sobre gamificación. Diseño y validación de un instrumento 345 Subhash, S. y Cudney, E. A. (2018). Gamified learning in higher education: A systematic review of the literature. Computers in Human Behavior, 87, 192- 206. https://doi.org/10.1016/j.chb.2018.05.028. Tabachnick, B. G. y Fidell, L. S. (2001). Using multivariate statistics. Al-lyn and Bacon. Boston. Teixes, F. (2015). Gamificación: fundamentos y aplicaciones (Vol. 7). Editorial UOC. Barcelona. Tondello, G. F., Mora, A., Marczewski, A. & Nacke, L. E. Empirical validation of the gamification user types hexad scale in English and spanish. Int. J. Hum Comput Stud. 127, 95–111 (2019). https://doi.org/10.1016/j.ijhcs.2018.10.002 Uiboleht, K., Karm, M. y Postareff, L. (2018). The interplay between teachers’ approaches to teaching, students’ approaches to learning and learning outcomes: a qualitative multi-case study. Learning Environments Research, 21(3), 321-347. https://doi.org/10.1007/s10984-018-9257-1 Vázquez García, J. A. (2015). Nuevos escenarios y tendencias universitarias. Revista de Investigación Educativa, 33(1), 13-26. http://dx.doi.org/10.6018/rie.33.1.211501. Ventura-León, J.L. y Caycho-Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 15(1),625- 627.https://www.redalyc.org/articulo.oa?id=77349627039 Vigotsky, L.S. (1982). El juego y su función en el desarrollo psíquico del niño. Revista Cuadernos de Pedagogía, 85, 39-49. Werbach, K. y Hunter, D. (2012). For the win: how game thinking can revolutionize your business. Wharton Digital Press. Philadelphia. Werbach, K. y Hunter, D. (2015). The gamification toolkit: dynamics, mechanics, and components for the win. Wharton School Press. Philadelphia. Zainuddin, Z., Chu, S. K. W., Shujahat, M. y Perera, C. J. (2020). The impact of gamification on learning and instruction: A systematic review of empirical evidence. Educational Research Review, 100326. https://doi.org/10.1016/j.edurev.2020.100326. Zichermann, G. y Cunningham, C. (2011). Gamification by Design: Implementing Game Mechanics en Web and Mobile Apps. O’Reilly Media. Sebastopol.