Validación de una Herramienta de Evaluación Basada en el Modelo Rasch para Medir la Resolución Creativa de Problemas en Estudiantes Mediante el Uso de TIC

PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 71 - SEPTIEMBRE- 2024 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2024 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN SEPTIEMBRE 2 0 2 4 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Nº 71 Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España) EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España) Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) Dra. Carmen Llorente Cejudo, Universidad de Sevilla (España) CONSEJO METODOLÓGICO Dr. José González Such, Universidad de Valencia (España) Dr. Antonio Matas Terrón, Universidad de Málaga (España) Dra. Cynthia Martínez-Garrido, Universidad Autónoma de Madrid (España) Dr. Luis Carro Sancristóbal, Universidad de Valladolid (España) Dra. Nina Hidalgo Farran, Universidad Autónoma de Madrid (España) CONSEJO DE REDACCIÓN Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dr. Vito José de Jesús Carioca. Instituto Politécnico de Beja Ciencias da Educación (Portugal) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) Dra. Sonia Aguilar Gavira. Universidad de Cádiz (España) Dra. Eloisa Reche Urbano. Universidad de Córdoba (España) CONSEJO TÉCNICO Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dr. Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dr. Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Dña. Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Dra. Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) María Paz Prendes Espinosa, Universidad de Murcia (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluís Coiduras Rodríguez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramírez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberría, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo García, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, París (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martínez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Juan Jesús Gutiérrez Castillo, Universidad de Sevilla (España) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartín Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS Q1 Education: Posición 236 de 1406 (83% Percentil). CiteScore Tracker 2022: 5,6 - Journal Citation Indicator (JCI). Emerging Sources Citation Index (ESCI). Categoria: Education & Educational Research. Posición 257 de 739. Cuartil Q2 (Percentil: 65.29) - FECYT: Ciencias de la Educación. Cuartil 1. Posición 16. Puntuación: 35,68- DIALNET MÉTRICAS (Factor impacto 2021: 1.72. Q1 Educación. Posición 12 de 228) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405a de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, DOAJ, Iresie, ISOC (CSIC/CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: [email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2024 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de Píxel-Bit. Píxel-Bit. Revista de Medios y Educación. 2023 - ISSN: 1133-8482. e-ISSN: 2171-7966. Nº 70 PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Índice MONOGRÁFICO S E P T I E M B R E 2 0 2 4 1.- Percepciones de autoeficacia en docentes en formación en España: un estudio de caso de microenseñanza utilizando realidad virtual inmersiva // Self-efficacy beliefs in Spanish pre-service teachers: a microteaching case study using immersive virtual reality María Esther Rodríguez-Gil, Bianca Manuela Sandu, Beatriz Santana-Perera 2.- Explorando tendencias sociales en las discusiones sobre cohousing y coliving en X(Twitter) mediante el uso de técnicas de PNL y de análisis de texto // Exploring social trends in cohousing and coliving discussions on X(Twitter) using NLP and Text Analysis Techniques Rafael Sosa-Ramírez, Esteban Vázquez-Cano, Norberto Díaz-Díaz, Eloy López-Meneses 3.- Enmarcando las aplicaciones de IA generativa como herramientas para la cognición en educación // Framing Generative AI applications as tools for cognition in education Marc Fuertes-Alpiste 4.- An Assessment of Technological Pedagogical Content Knowledge (TPACK) among Pre-service Teachers: A Rasch Model Measurement // Evaluación del conocimiento tecnológico pedagógico del contenido (TPACK) entre los profesores en formación: modelo de medición Rasch Komarudin Komarudin, Suherman Suherman 5.- Rasch Measurement Validation of an Assessment Tool for Measuring Students’ Creative Problem- Solving through the Use of ICT // Validación de una Herramienta de Evaluación Basada en el Modelo Rasch para Medir la Resolución Creativa de Problemas en Estudiantes Mediante el Uso de TIC Farida Farida, Yosep Aspat Alamsyah, Bambang Sri Anggoro, Tri Andari, Restu Lusiana 6.- Influencia de la Realidad Virtual en el rendimiento académico en Educación Secundaria a través de un meta-análisis // Influence of Virtual Reality on Academic Performance in Secondary Education Through a Meta-Analysis Juan José Victoria-Maldonado, Arturo Fuentes-Cabrera, José Fernández-Cerero, Fernando José Sadio-Ramos 7.- Tecnologías abiertas e inclusivas en la complejidad del futuro de la educación: diseño de modelo basado en investigación // Open and Inclusive Technologies in the Complexity of the Future of Education: Designing a Research-Based Model María Soledad Ramírez-Montoya, Inés Álvarez-Icaza, Joanne Weber, Fidel Antonio Guadalupe Casillas- Muñoz 8.- El uso de ChatGPT en la escritura académica: Un estudio de caso en educación // The use of ChatGPT in academic writing: A case study in Education Kevin Baldrich, Juana Celia Domínguez-Oller 9.- Inteligencia artificial: revolución educativa innovadora en la Educación Superior // Artificial Intelligence: innovative educational revolution in Higher Education Virginia Villegas-José, Manuel Delgado-García 10.- Análisis de la competencia digital en profesores de educación primaria en relación con los factores de género, edad y experiencia // Analysis of Digital Competence in Elementary School teachers according to their socio-demographic factors and experience Issac González-Medina, Eufrasio Pérez-Navío, Óscar Gavín Chocano 7 25 42 59 83 107 123 143 159 171 Píxel-Bit. Revista de Medios y Educación. 2024 - ISSN: 1133-8482. e-ISSN: 2171-7966. Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 Validación de una Herramienta de Evaluación Basada en el Modelo Rasch para Medir la Resolución Creativa de Problemas en Estudiantes Mediante el Uso de TIC Rasch Measurement Validation of an Assessment Tool for Measuring Students’ Creative Problem-Solving through the Use of ICT Farida Farida Universitas Islam Negeri Raden Intan Lampung. Indonesia Yosep Aspat Alamsyah Universitas Islam Negeri Raden Intan Lampung. Indonesia Bambang Sri Anggoro Universitas Islam Negeri Raden Intan Lampung. Indonesia Tri Andari Universitas PGRI Madiun. Indonesia Restu Lusiana Universitas PGRI Madiun. Indonesia Recibido: 2024/04/03; Revisado: 2024/05/14; Aceptado: 2024/07/10; Online First: 2024/07/19; Publicado: 2024/09/01 RESUMEN A pesar del creciente reconocimiento de la importancia de la resolución creativa de problemas (CPS) a través del uso de las TIC en la educación con un currículo independiente, existe una falta de validación psicométrica integral para los instrumentos de evaluación de CPS. Este estudio tuvo como objetivo desarrollar y evaluar un instrumento de evaluación para medir la CPS a través del uso de las TIC en estudiantes, utilizando el modelo Rasch. Participaron un total de 137 estudiantes de educación superior como encuestados. Para este propósito, se crearon 20 ítems que cubrían diferentes aspectos de la CPS. El análisis de datos se realizó utilizando el software Winstep y SPSS. Se empleó el modelo Rasch para confirmar la validez y fiabilidad del instrumento de medición recién desarrollado. Los hallazgos del análisis del modelo Rasch indicaron un buen ajuste entre los ítems de evaluación y los estudiantes individuales. Los ítems demostraron un ajuste adecuado con el modelo Rasch, lo que permitió diferenciar los niveles de dificultad entre diferentes ítems y mostró un nivel satisfactorio de fiabilidad. El análisis del mapa de Wright reveló patrones de interacción entre los ítems y los individuos, discriminando efectivamente entre los diversos niveles de habilidades de los estudiantes. En particular, un ítem mostró DIF basado en el género, lo que favorece a los estudiantes varones en términos de sus habilidades de respuesta. Además, el estudio identificó que las estudiantes en el cuarto semestre exhibieron habilidades de respuesta promedio más altas en comparación con las estudiantes en el sexto y octavo semestre. Además, se observaron diferencias significativas en las habilidades de respuesta entre estudiantes varones y mujeres, así como entre estudiantes que residen en áreas urbanas y rurales. Estos hallazgos son cruciales para los educadores, enfatizando la necesidad de implementar estrategias de diferenciación efectivas. ABSTRACT Despite increasing recognition of the importance of creative problem solving (CPS) through the use of ICT in independent curriculum education, there is a lack of comprehensive psychometric validation for CPS assessment instruments. This study aimed to develop and evaluate an assessment instrument to measure CPS through the use of ICT students using the Rasch model. A total of 137 higher education students participated as respondents. For this purpose, 20 items were created, covering different aspects of CPS. Data analysis was performed using Winstep and SPSS software. The Rasch model was employed to confirm the validity and reliability of the newly developed measurement instrument. The findings of the analysis of the Rasch model indicated a good fit between the assessment items and individual students. The items demonstrated adequate fit with the Rasch model, allowing for differentiation of difficulty levels among different items and exhibiting a satisfactory level of reliability. The Wright map analysis revealed patterns of interaction between the items and individuals, effectively discriminating between varying levels of student abilities. In particular, an item showed DIF based on gender, which favours male students in terms of their response abilities. Furthermore, the study identified that female students in the fourth semester exhibited higher average response abilities compared to female students in the sixth and eighth semesters. Furthermore, significant differences in response abilities were observed between male and female students, as well as between students who resides in urban and rural areas. These findings are crucial for educators, emphasising the need to implement effective differentiation strategies. PALABRAS CLAVES · KEYWORDS Resolución creativa de problemas, TIC, educación, género, psicometría, medición Rasch Creative problem solving, ICT, education, gender, psychometric, Rasch measurement Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 84 1. Introducción En los últimos años, ha habido un creciente interés en evaluar las habilidades de resolución creativa de problemas (CPS) entre los estudiantes utilizando tecnologías de la información y la comunicación (TIC), ya que se reconoce como una habilidad crucial en el siglo XXI (Care & Kim, 2018; Hao et al., 2017). La capacidad de pensar creativamente y encontrar soluciones innovadoras a problemas complejos es crucial en un mundo en constante cambio que exige adaptabilidad y pensamiento creativo (Suherman & Vidákovich, 2022). Además, las TIC desempeñan un papel central en el marco DigCompEdu, donde las tecnologías se integran en las prácticas de enseñanza de manera pedagógicamente significativa (Caena & Redecker, 2019). Comprender y promover las habilidades de CPS entre los estudiantes es crucial por varias razones. En primer lugar, fomentar la creatividad capacita a las personas para generar soluciones innovadoras (Lorusso et al., 2021), fomentar el espíritu empresarial (Val et al., 2019), e impulsar el crecimiento económico (Florida, 2014). Además, la resolución creativa de problemas (CPS) es vital para abordar desafíos sociales complejos, como la sostenibilidad y la desigualdad social (Mitchell & Walinga, 2017). Como implicación de la era del siglo XXI, numerosos países han reconocido la necesidad de incorporar habilidades como la resolución creativa de problemas (D. Lee & Lee, 2024), pensamiento computacional (Küçükaydın et al., 2024), Tecnologías de la Información y la Comunicación (TIC) (Rahimi & Oh, 2024), y creatividad (Suherman & Vidákovich, 2024), que son identificadas como habilidades esenciales para el siglo XXI. Estas competencias están siendo cada vez más integradas en los currículos educativos para preparar a los estudiantes para las demandas de la sociedad moderna y el mercado laboral en evolución (Abina et al., 2024). Por lo tanto, el énfasis en desarrollar estas habilidades refleja un reconocimiento global de su importancia para el éxito futuro (Yu & Duchin, 2024). El impacto de la era del siglo XXI se extiende más allá de la educación hacia la fuerza laboral y la vida diaria. La investigación de Arredondo-Trapero et al. (2024) enfatiza que la resolución de problemas, el pensamiento crítico y las TIC son cruciales para la innovación y la competitividad en el ámbito global de la educación. En consecuencia, los sistemas educativos y los currículos están bajo presión para reformarse y equipar a los estudiantes con estas habilidades, asegurando así que estén preparados para los desafíos futuros. La resolución creativa de problemas (CPS) en un currículo independiente también fomenta la colaboración y el trabajo en equipo. Al incorporar CPS en el currículo, los estudiantes tienen la capacidad de abordar problemas con una mente abierta y explorar múltiples perspectivas (Burns & Norris, 2009). Se les anima a cuestionar suposiciones, desafiar el saber convencional y buscar soluciones alternativas. Este proceso no solo desarrolla habilidades analíticas, sino que también fomenta la creatividad y habilidades de pensamiento divergente (Suherman & Vidákovich, 2022). Un currículo independiente proporciona a los estudiantes la libertad de explorar temas de interés y participar en el aprendizaje autodirigido (Lestari et al., 2023), colaborativo y en equipo (Zheng et al., 2024). Este enfoque se alinea con las necesidades del estudiante del siglo XXI al enfatizar caminos educativos personalizados que responden a las fortalezas y preferencias individuales (Zhang et al., 2024). Se anima a los estudiantes a trabajar juntos, aprovechando sus diversas perspectivas y habilidades para abordar desafíos complejos (Utami & Suswanto, 2022). Este entorno colaborativo fortalece las habilidades interpersonales y de comunicación, preparándolos para futuras colaboraciones empresariales. Además, Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 85 incorporar CPS en el currículo prepara a los estudiantes para las demandas de la fuerza laboral rápidamente cambiante del siglo XXI (Stankovic et al., 2017). A medida que el mundo se vuelve cada vez más complejo e interconectado (Brunner et al., 2024), los empleadores buscan individuos que puedan pensar críticamente (Carnevale & Smith, 2013), adaptarse al cambio y generar soluciones innovadoras (Wolcott et al., 2021). La resolución creativa de problemas (CPS) ha ganado reconocimiento como un conjunto de habilidades valioso en contextos educativos, incluyendo el currículo independiente. Sin embargo, su implementación puede enfrentar varios desafíos que deben abordarse para asegurar su efectividad y éxito. Investigaciones previas han resaltado la importancia de las habilidades de CPS en diversos contextos educativos (Greiff et al., 2013; Wang et al., 2023; Wolcott et al., 2021). Uno de los desafíos es la falta de capacitación docente y familiaridad con las técnicas de CPS. Estudios han demostrado que los educadores pueden tener dificultades para integrar CPS en sus prácticas pedagógicas debido a conocimientos limitados y poca experiencia en facilitar actividades de CPS (van Hooijdonk et al., 2020). Esto puede obstaculizar la implementación efectiva de CPS y limitar su impacto en el aprendizaje de los estudiantes. Además, la investigación ha explorado factores que contribuyen al desarrollo de las habilidades de CPS, incluyendo la influencia de la cultura (Cho & Lin, 2010), enfoques instructivos y características individuales (Samson, 2015). Sin embargo, se entienden de manera limitada los factores específicos que desarrollan las habilidades de CPS en los estudiantes. En cuanto a la evaluación, estudios previos han explorado enfoques alternativos para evaluar las habilidades de CPS. Se han propuesto métodos de evaluación basados en el desempeño, portafolios y rúbricas que evalúan la creatividad, el pensamiento crítico, el pensamiento metafórico, la motivación tecnológica relacionada con la resolución de problemas y las habilidades para resolver problemas como métodos más completos y auténticos (Abosalem, 2016; Farida et al., 2022; Liu et al., 2024; Montgomery, 2002; Suastra et al., 2019). Estos enfoques proporcionan una visión más holística de las habilidades de CPS de los estudiantes y fomentan el desarrollo de habilidades de pensamiento de orden superior. Sin embargo, la investigación también ofrece soluciones potenciales, como el desarrollo profesional de los docentes, la integración en el currículo y métodos de evaluación alternativos. Al revisar la literatura relevante, nuestro objetivo es construir sobre el conocimiento existente e identificar las lagunas en la comprensión, proporcionando una base para la contribución de este estudio al campo. A pesar del creciente reconocimiento de la importancia de la resolución creativa de problemas (CPS) en la educación con currículo independiente, existe una falta de validación psicométrica integral de instrumentos de evaluación de CPS. Validar el instrumento de medición es crucial, ya que CPS sigue siendo un constructo psicológico poco definido desde una perspectiva psicométrica (Tang et al., 2020). En ausencia de evaluaciones válidas y confiables, los instructores enfrentan desafíos para medir de manera confiable el aprendizaje de CPS de los estudiantes en el aula. Por lo tanto, este estudio tiene como objetivo validar CPS utilizando el modelo de Rasch, investigando si los datos se alinean con la medición del modelo de Rasch. Las preguntas de investigación son las siguientes: 1. ¿El instrumento desarrollado demuestra fiabilidad y validez basadas en la medición de Rasch? 2. ¿Cuáles son los patrones de interacción entre ítems y personas en el instrumento desarrollado según el mapa de Wright? Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 92 Figura 1 Mapa de Wright Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 93 Figura 2 Un ítem pertenece a los ítems difíciles y fáciles Figura 3 La distribución de los ítems se basa en el Mapa de Burbujas Para determinar el ajuste de los ítems desarrollados basados en el modelo Rasch, se consideraron tres criterios: Outfit MNSQ, Outfit ZSTD y Pt-Measure Corr. Un rango entre 0.5 y 1.5 para los valores de Outfit MNSQ tanto para ítems como para individuos indica un buen ajuste entre los datos y el modelo. Los valores de Outfit ZSTD entre -1.9 y 1.9 implican que los ítems pueden predecirse. Además, Pt-Measure Corr se utiliza para determinar si los ítems miden el constructo deseado. Si el valor es positivo (+), indica que el ítem mide el constructo deseado. Por el contrario, si el valor es negativo (-), el ítem no mide el constructo deseado. -3 -2 -1 0 1 2 3 0,1 1 10 Less Measures More Overfit Outfit Mean-square (log-scaled) Underfit ITEM Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 94 Tabla 3 Distribución de Ítems Basada en 3 Criterios de Ajuste de Ítem Ítems Medida Infit MNSQ Outfit MNSQ Outfit SZTD Correlación Pt- Measure 8 -0.08 1.60 1.95 8.51 -0.27 13 1.95 1.05 1.41 1.47 0.22 5 0.74 1.11 1.33 2.52 0.22 4 -1.43 1.15 1.28 1.47 0.16 9 0.86 1.09 1.16 1.17 0.27 16 0.90 1.16 1.08 0.63 0.24 17 0.33 1.04 1.06 0.67 0.34 19 -0.12 1.05 1.01 0.19 0.35 20 -0.19 1.02 0.96 -0.41 0.38 18 -0.12 1.00 0.96 -0.43 0.40 6 0.37 0.95 0.88 -1.26 0.45 14 -0.08 0.94 0.91 -1.05 0.45 1 0.19 0.91 0.91 -1.00 0.48 3 -0.64 0.91 0.86 -1.30 0.47 2 -0.53 0.89 0.90 -0.98 0.47 11 1.03 0.89 0.81 -1.35 0.49 10 -0.94 0.86 0.81 -1.48 0.50 15 -1.01 0.82 0.75 -1.90 0.54 12 -1.47 0.80 0.64 -2.13 0.54 7 0.23 0.69 0.63 -4.57 0.70 Basado en los tres criterios mencionados, es evidente que el ítem 8 (Q8) no cumple con los criterios mencionados anteriormente, lo que indica que el ítem no se ajusta bien. Por lo tanto, se recomienda eliminar o revisar el ítem 8. Como se muestra en la Figura 5, Q8 parece acercarse a un ajuste insuficiente, lo que indica que no se alinea bien con el modelo Rasch. 3.3. Pregunta de investigación 3: ¿Existen sesgos en el instrumento basados en el género según el análisis de Funcionamiento Diferencial del Ítem (DIF)? Se realizó un análisis de DIF para determinar si había ítems que favorecían a un género (en el contexto de este estudio). Un ítem se considera que tiene DIF si el valor t es menor que -2.0 o mayor que 2.0, el valor de contraste de DIF es menor que -0.5 o mayor que 0.5, y el valor de p es menor que 0.05 o mayor que -0.05 (Bond & Fox, 2015; Boone et al., 2014). Aquí están los resultados del análisis utilizando el modelo Rasch. Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 95 Tabla 4 DIF Potencial Debido al Género Ítem DIF Contraste DIF t-value Prob. Feminino Masculino Q12 -1.97 -1.06 -0.91 -2.04 0.0432 El análisis revela que el ítem Q12 es un ítem difícil, lo que indica que puede diferenciar las habilidades entre hombres y mujeres. Esto es apoyado por el análisis de DIF, que examina el rendimiento del ítem en los grupos de género. El gráfico de DIF (Fig. 4) proporciona una representación visual de los valores de DIF para cada ítem. En el gráfico, los valores de DIF para el ítem Q12 son notablemente más altos en comparación con los otros ítems. Esto sugiere que hay una diferencia significativa en el rendimiento de hombres y mujeres en este ítem en particular. El análisis de DIF indica que el ítem Q12 puede favorecer a un género sobre el otro en términos de dificultad o discriminación. Estos hallazgos son importantes porque destacan posibles sesgos relacionados con el género en la medición de habilidades colaborativas para resolver problemas. Puede ser necesario realizar una investigación adicional y una revisión potencial del ítem para garantizar una evaluación justa e imparcial de todas las personas, independientemente de su género. Figura 4 Potencial DIF Debido al Género 3.4. Pregunta de investigación 4: ¿Cómo se desarrolla la resolución colaborativa de problemas (CPS) en los estudiantes en términos de calificaciones del curso? La descripción estadística de las respuestas de los estudiantes a los ítems dados se presenta en la Tabla 9. En la Figura 5 (a), se puede observar que entre las estudiantes mujeres, aquellas en el cuarto semestre tienen una habilidad de respuesta promedio (M) de M = 10.19, SD = 3.73, seguidas por las del sexto semestre con M = 10.00, SD = 3.32, y las Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 96 del octavo semestre con M = 9.50, SD = 3.37. Por otro lado, entre los estudiantes hombres, aquellos en el 4º semestre tienen una habilidad de respuesta promedio de M = 9.67, SD = 3.11, seguidos por los del 6º semestre con M = 5.67, SD = 1.51, y los del 8º semestre con M = 9.86, SD = 4.02. Sin embargo, al comparar las habilidades de los estudiantes según su lugar de residencia (urbano versus rural), existen diferencias como se muestra en la Figura 5 (b). Las estudiantes mujeres que residen en áreas urbanas tienen una habilidad de respuesta promedio de M = 9.52, SD = 3.11, mientras que las de áreas rurales tienen M = 10.10, SD = 3.59. De manera similar, los estudiantes hombres que residen en áreas urbanas tienen una habilidad de respuesta promedio de M = 9.68, SD = 3.81, mientras que los de áreas rurales tienen M = 9.00, SD = 3.58. Estos hallazgos indican que la ubicación de residencia puede influir en cierta medida en las habilidades colaborativas para resolver problemas de los estudiantes. Figura 5 La capacidad de los estudiantes para responder según el grado y el género (a), y el grado y el lugar de residencia (b) 4. Discusión En general, este análisis proporciona una comprensión de las características de medición de los ítems e individuos en este estudio. Los hallazgos indican que la medición utilizada se ajusta razonablemente bien al modelo de medición Rasch, con la capacidad de diferenciar niveles de dificultad entre los ítems y un nivel de confiabilidad suficientemente alto. El respaldo de investigaciones relevantes en este campo también confirma estos hallazgos y proporciona una base sólida para entender las características de medición de este estudio. Estudios previos, como el realizado por Soeharto (2021), también encontraron resultados similares en términos de ajuste, separación y confiabilidad de la medición. Los resultados del análisis que indican un buen ajuste entre los ítems e individuos con el modelo de medición Rasch sirven como indicador de que la medición representa con precisión las características medidas. La exitosa separación de niveles de dificultad entre los ítems también proporciona una ventaja al proporcionar información más detallada y precisa sobre las habilidades individuales medidas. Esto es consistente con investigaciones (a) (b) Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 97 previas que afirman que una separación adecuada es crucial para garantizar una medición confiable y válida (Soeharto & Csapó, 2022). Además, la confiabilidad razonablemente buena tanto para ítems como para individuos proporciona la seguridad de que los resultados de la medición obtenidos son confiables y consistentes. En el contexto de este estudio, una confiabilidad de 0.66 para ítems y 0.94 para personas indica un nivel satisfactorio de confiabilidad. Otros estudios relevantes también pueden proporcionar apoyo para el análisis de las características de medición realizadas en este estudio. Por ejemplo, un estudio realizado por Chan et al. (2021) encontró resultados similares en términos de ajuste y confiabilidad de la medición. Además, la investigación de Avinç & Doğan (2024) encontró que la validez y confiabilidad fueron confirmadas por el modelo Rasch. Sin embargo, señalaron que sería ventajoso probar su validez y confiabilidad en diversas clases, grupos de edad y niveles educativos. Asimismo, este estudio, al igual que el de Welter et al. (2024) muestra que las propiedades psicométricas son válidas y confiables utilizando la medición Rasch. En general, este análisis proporciona una comprensión profunda de las características de medición de los ítems e individuos en este estudio. El respaldo de investigaciones relevantes y los resultados del análisis que muestran buen ajuste, separación y confiabilidad brindan confianza en que la medición realizada en este estudio es confiable y proporciona información válida sobre las características medidas. Basándose en el patrón de interacción observado en la Figura 3, se pueden sacar conclusiones sobre el nivel de dificultad de los ítems. Por ejemplo, se observa que el ítem 13 (Q13) está posicionado más bajo en la línea vertical, indicando que pertenece a la categoría de ítems fáciles. Por el contrario, el ítem 12 (Q12) está posicionado más alto, indicando que pertenece a la categoría de ítems difíciles. Este análisis proporciona información importante sobre el nivel de dificultad de cada elemento en el instrumento desarrollado. Cuando se conoce el nivel de dificultad de los ítems, pueden hacerse ajustes y desarrollos adicionales para asegurar que los ítems utilizados cubran niveles de dificultad apropiados alineados con los objetivos de investigación. Sin embargo, es importante destacar que la evaluación del nivel de dificultad de los ítems no se basa únicamente en la posición de los ítems en la línea vertical de la Figura 3, sino que también tiene en cuenta otros factores como las características de los encuestados y el contexto más profundo de la medición. Los ítems fueron efectivos para evaluar las habilidades CPS de los estudiantes utilizando TIC en el aula (Wheeler et al., 2002) y su impacto en las competencias digitales de los estudiantes (Guillén-Gámez et al., 2024) lo que sugiere que el nivel de dificultad de los ítems fue adecuado para el propósito previsto del instrumento (Hobani & Alharbi, 2024). La información sobre la dificultad de los ítems puede guiar la refinación y el desarrollo del instrumento, permitiendo a los investigadores identificar áreas donde el nivel de dificultad puede necesitar ajustes, ya sea modificando los ítems existentes o agregando nuevos ítems para cubrir diferentes niveles de dificultad. Pasando al análisis de Funcionamiento Diferencial del Ítem (DIF), el DIF se refiere a las diferencias en las características de respuesta a un ítem entre dos o más grupos de encuestados que deberían tener el mismo nivel de habilidad. En este contexto, se exploran las diferencias de habilidad entre hombres y mujeres utilizando el concepto de DIF. En este estudio, se encontró que Q12 tiene el potencial para diferenciar la habilidad entre hombres y mujeres, con una categoría de DIF. Esto indica que hombres y mujeres tienen Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 98 probabilidades diferentes de responder Q12 a pesar de tener el mismo nivel de habilidad. En este contexto, hay indicios de que Q12 puede ser más difícil para un grupo de género. Sin embargo, es importante destacar que el análisis de DIF solo proporciona indicaciones preliminares de posibles diferencias en las características de respuesta entre grupos de encuestados. Es crucial ver estos hallazgos de DIF como información que puede ayudar en el desarrollo del instrumento y obtener una mejor comprensión de cómo los ítems de comportamiento en el instrumento se desempeñan en grupos específicos. En otras palabras, "DIF no es sinónimo de sesgo", como señaló Zieky (2012). Los ítems identificados como DIF no implican necesariamente sesgo. Según Mollazehi & Abdel-Salam (2024), el sesgo se refiere al rendimiento diferencial entre individuos de igual habilidad de diferentes subgrupos debido a factores irrelevantes. El DIF, introducido para distinguir el significado estadístico del sesgo de sus implicaciones sociales, se centra en las propiedades estadísticas diferentes que los ítems exhiben entre los subgrupos después de igualar las habilidades individuales (Angoff, 2012). Dado que la interpretación del DIF se limita a las diferencias en propiedades estadísticas, como la dificultad y la discriminación del ítem, son necesarias revisiones por un panel de expertos para determinar si los ítems con DIF son sesgados (H. Lee & Geisinger, 2014). Por lo tanto, los ítems que muestran DIF pueden incluirse en una prueba si no se encuentra evidencia adecuada de sesgo a través de la revisión del panel (De Ayala et al., 2002). En futuras investigaciones, se pueden tomar medidas para evaluar las causas del DIF y asegurar que el instrumento mida con precisión sin sesgo de género. El análisis estadístico presentado en la Figura 5 proporciona información sobre la capacidad de los estudiantes para responder a los ítems dados según las categorías de género, semestre y ubicación residencial. Los datos ofrecen una visión general de la variación en las habilidades de respuesta entre diferentes grupos según el género, semestre y ubicación residencial. Las diferencias en medias y desviaciones estándar indican variaciones en la comprensión del material o enfoques de aprendizaje entre estos grupos. El rendimiento de las estudiantes en el cuarto semestre, que exhiben un puntaje de habilidad promedio más alto en la resolución creativa de problemas mediante el uso de TIC, parece superar al de los estudiantes masculinos en diferentes semestres. Esta observación se alinea con investigaciones previas que indican que las estudiantes a menudo demuestran niveles más altos de competencia en tareas de resolución de problemas que requieren habilidades colaborativas y relacionadas con las TIC (Andrews-Todd et al., 2023; S. W.-Y. Lee et al., 2023). Los estudios han mostrado consistentemente que las mujeres tienden a destacarse en entornos de aprendizaje colaborativo, utilizando eficazmente las herramientas TIC para mejorar sus habilidades de resolución de problemas (Ma et al., 2023). Esta tendencia se atribuye a varios factores, incluyendo una mayor atención al detalle, habilidades mejoradas de comunicación y una preferencia por el trabajo en equipo, que son críticos en tareas de resolución creativa de problemas (Thornhill-Miller et al., 2023). Sin embargo, al comparar a los estudiantes que viven en áreas urbanas y rurales, se pueden observar diferencias en los resultados. Las estudiantes que viven en áreas rurales muestran el mejor rendimiento en la resolución creativa de problemas mediante el uso de TIC. Las áreas rurales a menudo enfrentan desafíos únicos como el acceso limitado a recursos, incluida la infraestructura educativa y la tecnología (Alabdali et al., 2023). A pesar de estos desafíos, las estudiantes en áreas rurales pueden exhibir habilidades más altas para resolver problemas debido a su adaptabilidad y resiliencia para navegar estas limitaciones. La investigación sugiere que las mujeres a menudo muestran mayores niveles Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 99 de persistencia y adaptabilidad en entornos de aprendizaje (Dabas et al., 2023), lo que podría contribuir a su mejor desempeño en tareas de resolución creativa de problemas que involucran TIC. Además, los factores culturales y sociales pueden influir en los resultados educativos (Min, 2023). En algunas culturas, puede haber un énfasis más fuerte en la educación para las mujeres, especialmente en entornos rurales donde el acceso a oportunidades educativas puede considerarse transformador para individuos y familias (Robinson-Pant, 2023). Este énfasis podría motivar a las estudiantes a destacarse académicamente y en tareas de resolución de problemas, incluyendo aquellas que involucran TIC. Estos hallazgos destacan la influencia potencial del género, semestre y ubicación residencial en las habilidades de respuesta de los estudiantes. Las variaciones en las medias y desviaciones estándar sugieren diferencias en las experiencias de aprendizaje, la exposición a recursos educativos u otros factores contextuales que pueden contribuir a las variaciones en las habilidades de respuesta. En general, estos análisis proporcionan información valiosa sobre las características de la medición, el funcionamiento de los elementos diferenciales y la relación entre las habilidades de respuesta y diversos factores como el género, semestre y ubicación residencial. Contribuyen a una mejor comprensión de los datos y ofrecen implicaciones para futuras investigaciones y el desarrollo de instrumentos en este campo. 5. Limitaciones y Futuras Investigaciones Este estudio proporciona contribuciones importantes al desarrollo de instrumentos de evaluación para evaluar a estudiantes en CPS. Sin embargo, existen algunas limitaciones que deben abordarse. En primer lugar, la fiabilidad de la medición para los ítems obtuvo un valor de 0.66, lo que indica un nivel moderado de fiabilidad. Aunque esta fiabilidad puede ser aceptable en algunos contextos de investigación, es deseable mejorarla para el desarrollo de instrumentos de evaluación más robustos en el futuro. Así mismo, existe un ítem, el ítem 8 (Q8), que no cumple con los criterios en el análisis de ajuste del ítem con el modelo Rasch. Este ítem podría ser eliminado o revisado para asegurar un mejor ajuste y validez del instrumento de evaluación. La revisión y refinamiento de los ítems que no cumplen con los criterios es necesaria para asegurar que el instrumento de evaluación produzca resultados más precisos y confiables. Además, se observa un potencial funcionamiento diferencial del ítem (DIF) basado en género en el ítem Q12. Esto indica un sesgo del instrumento hacia el género en términos de responder preguntas difíciles. En el desarrollo de futuros instrumentos de evaluación, es importante abordar este sesgo para asegurar un instrumento más neutral y justo para todos los participantes. El estudio también proporciona información sobre los patrones de interacción entre los ítems y los individuos en el instrumento desarrollado basado en el mapa de Wright. Al examinar estos patrones, se puede entender el nivel de dificultad de cada ítem y la distribución de las habilidades de los encuestados. Sin embargo, no se proporciona una explicación adicional de las implicaciones de estos patrones de interacción en el desarrollo de instrumentos de evaluación. Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 100 A pesar de estas limitaciones, este estudio sienta una sólida base para futuras investigaciones en el desarrollo de instrumentos de evaluación basados en habilidades de pensamiento de orden superior (HOTS). Las investigaciones futuras pueden centrarse en mejorar la fiabilidad del instrumento, eliminar el sesgo del instrumento basado en género y explorar más a fondo los patrones de interacción entre los ítems y los individuos. En estudios futuros, es importante involucrar una muestra más representativa y ampliar el alcance del análisis para obtener resultados más generalizables. Además, la validación del instrumento también puede realizarse utilizando otros métodos que proporcionen información adicional sobre el ajuste del instrumento, su validez y fiabilidad. En resumen, este estudio contribuye al desarrollo de instrumentos de evaluación basados en HOTS utilizando el modelo Rasch. A pesar de algunas limitaciones que deben abordarse, este estudio sirve como una base importante para futuras investigaciones en el desarrollo de instrumentos de evaluación más efectivos y robustos. 6. Conclusiones Basándose en el análisis realizado, se pueden extraer las siguientes conclusiones: La medición utilizando el modelo Rasch muestra un buen ajuste entre los ítems y los individuos en el instrumento de evaluación. Los ítems muestran un buen ajuste con el modelo Rasch, permitiendo diferenciar niveles de dificultad entre diferentes ítems, y también tienen un nivel de fiabilidad razonablemente bueno. Existe un patrón de interacción entre los ítems y los individuos en el instrumento de evaluación basado en el mapa de Wright. Los ítems en el instrumento pueden diferenciar efectivamente las habilidades de los individuos, siendo algunos ítems relativamente fáciles y otros más desafiantes. Hay ítems que no cumplen con los criterios de Funcionamiento Diferencial del Ítem (DIF) basados en género. El ítem Q12 en el instrumento de evaluación tiende a favorecer a los hombres sobre las mujeres en términos de habilidad para responder. Las estudiantes mujeres en el cuarto semestre tienen habilidades promedio de respuesta más altas en comparación con las estudiantes mujeres en el sexto y octavo semestre. Sin embargo, existen diferencias en las habilidades de respuesta entre estudiantes hombres y mujeres, así como entre estudiantes que viven en áreas urbanas y rurales. Estas conclusiones indican que el desarrollo de instrumentos de evaluación para CPS puede arrojar resultados de medición válidos y confiables. No obstante, se debe tener en cuenta que hay algunos ítems que deben mejorarse para lograr una mayor precisión. Además, existe una indicación de sesgo del instrumento basado en género en términos de habilidades de respuesta. Esto debe considerarse al desarrollar instrumentos que sean más neutrales en cuanto al género y justos en la medición de las habilidades de los participantes. En el desarrollo de instrumentos de evaluación para CPS y el uso del modelo Rasch, hay impactos positivos en el desarrollo del currículo y la instrucción. Es importante que los educadores adopten enfoques efectivos de diferenciación, aseguren instrumentos de evaluación neutrales en cuanto al género y consideren factores contextuales en el diseño de una instrucción inclusiva y centrada en el aprendiz que se alinee con el potencial de los estudiantes. De este modo, la educación puede volverse más relevante, receptiva y capacitar a los estudiantes para enfrentar los desafíos de un mundo complejo. Pixel-Bit. Revista de Medios y Educación, 71, 83-106 | 2024 | https://doi.org/10.12795/pixelbit.107973 PÁGINA | 101 Authors’ Contribution Farida Farida: Conceptualization, Writing - Original Draft, Formal analysis; Yosep Aspat Alamsyah: Methodology, Editing, and Visualization; Bambang Sri Anggoro: Supervision, Funding acquisition, Writing – review & editing; Tri Andari: Formal analysis and Visualization; Restu Lusiana: Editing and Formal analysis. Financiación El Departamento de Investigación y Servicio Comunitario (LP2M) financió el estudio reportado en la Universitas Islam Negeri Raden Intan Lampung, Indonesia (Número de concesión 99/2023). Referencias Abdulla Alabbasi, A. M., Hafsyan, A. S., Runco, M. A., & AlSaleh, A. (2021). Problem finding, divergent thinking, and evaluative thinking among gifted and nongifted students. Journal for the Education of the Gifted, 44(4), 398–413. https://doi.org/10.1515/ctra-2018-0019 Abina, A., Temeljotov Salaj, A., Cestnik, B., Karalič, A., Ogrinc, M., Kovačič Lukman, R., & Zidanšek, A. (2024). Challenging 21st-Century Competencies for STEM Students: Companies’ Vision in Slovenia and Norway in the Light of Global Initiatives for Competencies Development. Sustainability, 16(3), 1295. https://doi.org/10.3390/su16031295 Abosalem, Y. (2016). Assessment techniques and students’ higher-order thinking skills. International Journal of Secondary Education, 4(1), 1–11. https://doi.org/10.11648/j.ijsedu.20160401.11 Alabdali, S. A., Pileggi, S. F., & Cetindamar, D. (2023). Influential factors, enablers, and barriers to adopting smart technology in rural regions: A literature review. Sustainability, 15(10), 7908. https://doi.org/10.3390/su15107908 Andrews-Todd, J., Jiang, Y., Steinberg, J., Pugh, S. L., & D’Mello, S. K. (2023). Investigating collaborative problem solving skills and outcomes across computer-based tasks. Computers & Education, 207, 104928. https://doi.org/10.1016/j.compedu.2023.104928 Angoff, W. H. (2012). Perspectives on differential item functioning methodology. In Differential item functioning (pp. 3–23). Routledge. https://www.taylorfrancis.com/chapters/edit/10.4324/9780203357811-2/perspectivesdifferential-item-functioning-methodology-william-angoff Arredondo-Trapero, F. G., Guerra-Leal, E. M., Kim, J., & Vázquez-Parra, J. C. (2024). Competitiveness, quality education and universities: The shift to the post-pandemic world. Journal of Applied Research in Higher Education. https://doi.org/10.1108/JARHE-08-2023-0376 Avinç, E., & Doğan, F. (2024). Digital literacy scale: Validity and reliability study with the rasch model. Education and Information Technologies. https://doi.org/10.1007/s10639-024-12662-7 Bond, T., & Fox, C. M. (2015). Applying the Rasch Model: Fundamental Measurement in the Human Sciences, Third Edition (3rd ed.). Routledge. https://doi.org/10.4324/9781315814698 Boone, W. J., Staver, J. R., & Yale, M. S. (2014). Rasch analysis in the human sciences. Springer. https://doi.org/10.1007/978-94-007-6857-4