Evaluating Eye Tracking Technology for Assessment of Students with Profound and Multiple Learning Difficulties

Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 - SEPTIEMBRE - 2021 https://revistapixelbit.com Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 EQUIPO EDITORIAL (EDITORIAL BOARD) EDITOR JEFE (EDITOR IN CHIEF) Dr. Julio Cabero Almenara, Departamento de Didáctica y Organización Educativa, Facultad de CC de la Educación, Director del Grupo de Investigación Didáctica. Universidad de Sevilla (España). EDITOR ADJUNTO (ASSISTANT EDITOR) Dr. Juan Jesús Gutiérrez Castillo, Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla (España). Dr. Óscar M. Gallego Pérez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) CONSEJO DE REDACCIÓN EDITOR Dr. Julio Cabero Almenara. Grupo de Investigación Didáctica, Universidad de Sevilla (España) EDITOR ASISTENTE Dr. Juan Jesús Gutiérrez Catillo. Departamento de Didáctica y Organización Educativa. Facultad de CC de la Educación, Universidad de Sevilla. (España) Dr. Óscar M. Gallego Pérez. Grupo de Investigación Didáctica Universidad de Sevilla (España) EDITORES ASOCIADOS Dra. Urtza Garay Ruiz, Universidad del País Vasco. (España) Dra. Ivanovnna Milqueya Cruz Pichardo, Pontificia Universidad Católica Madre y Maestra. (República Dominicana) VOCALES Dra. María Puig Gutiérrez, Universidad de Sevilla. (España) Dra. Sandra Martínez Pérez, Universidad de Barcelona (España) Dr. Selín Carrasco, Universidad de La Punta (Argentina) Dr. Jackson Collares, Universidades Federal do Amazonas (Brasil) Dra. Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) Dra. Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Dr. Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa (Italia) CONSEJO TÉCNICO Edición, maquetación: Manuel Serrano Hidalgo, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Dra. Raquel Barragán Sánchez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Antonio Palacios Rodríguez, Grupo de Investigación Didáctica, Universidad de Sevilla (España) Diseño de portada: Lucía Terrones García, Universidad de Sevilla (España) Revisor/corrector de textos en inglés: Rubicelia Valencia Ortiz, MacMillan Education (México) Revisores metodológicos: evaluadores asignados a cada artículo Responsable de redes sociales: Manuel Serrano Hidalgo, Grupo de Investigación Didáctic, Universidad de Sevilla (España) CONSEJO CIENTÍFICO Jordi Adell Segura, Universidad Jaume I Castellón (España) Ignacio Aguaded Gómez, Universidad de Huelva (España) María Victoria Aguiar Perera, Universidad de Las Palmas de Gran Canaria (España) Olga María Alegre de la Rosa, Universidad de la Laguna Tenerife (España) Manuel Área Moreira, Universidad de la Laguna Tenerife (España) Patricia Ávila Muñoz, Instituto Latinoamericano de Comunicación Educativa (México) Antonio Bartolomé Pina, Universidad de Barcelona (España) Angel Manuel Bautista Valencia, Universidad Central de Panamá (Panamá) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. Jos Beishuizen, Vrije Universiteit Amsterdam (Holanda) Florentino Blázquez Entonado, Universidad de Extremadura (España) Silvana Calaprice, Università degli studi di Bari (Italia) Selín Carrasco, Universidad de La Punta (Argentina) Raimundo Carrasco Soto, Universidad de Durango (México) Rafael Castañeda Barrena, Universidad de Sevilla (España) Zulma Cataldi, Universidad de Buenos Aires (Argentina) Manuel Cebrián de la Serna, Universidad de Málaga (España) Luciano Cecconi, Università degli Studi di Modena (Italia) Jean-François Cerisier, Université de Poitiers, Francia Jordi Lluí s Coiduras Rodrí guez, Universidad de Lleida (España) Jackson Collares, Universidades Federal do Amazonas (Brasil) Enricomaria Corbi, Università degli Studi Suor Orsola Benincasa (Italia) Marialaura Cunzio, Università degli Studi Suor Orsola Benincasa (Italia) Brigitte Denis, Université de Liège (Bélgica) Floriana Falcinelli, Università degli Studi di Perugia (Italia) Maria Cecilia Fonseca Sardi, Universidad Metropolitana de Venezuela (Venezuela) Maribel Santos Miranda Pinto, Universidade do Minho (Portugal) Kitty Gaona, Universidad Autónoma de Asunción (Paraguay) María-Jesús Gallego-Arrufat, Universidad de Granada (España) Lorenzo García Aretio, UNED (España) Ana García-Valcarcel Muñoz-Repiso, Universidad de Salamanca (España) Antonio Bautista García-Vera, Universidad Complutense de Madrid (España) José Manuel Gómez y Méndez, Universidad de Sevilla (España) Mercedes González Sanmamed, Universidad de La Coruña (España) Manuel González-Sicilia Llamas, Universidad Católica San Antonio-Murcia (España) António José Meneses Osório, Universidade do Minho (Portugal) Carol Halal Orfali, Universidad Tecnológica de Chile INACAP (Chile) Mauricio Hernández Ramí rez, Universidad Autónoma de Tamaulipas (México) Ana Landeta Etxeberrí a, Universidad a Distancia de Madrid (UDIMA) Linda Lavelle, Plymouth Institute of Education (Inglaterra) Fernando Leal Ríos, Universidad Autónoma de Tamaulipas (México) Paul Lefrere, Cca (UK) Carlos Marcelo Garcí a, Universidad de Sevilla (España) Francois Marchessou, Universidad de Poittiers, Parí s (Francia) Francesca Marone, Università degli Studi di Napoli Federico II (Italia) Francisco Martí nez Sánchez, Universidad de Murcia (España) Ivory de Lourdes Mogollón de Lugo, Universidad Central de Venezuela (Venezuela) Angela Muschitiello, Università degli studi di Bari (Italia) Margherita Musello, Università degli Studi Suor Orsola Benincasa (Italia) Elvira Esther Navas, Universidad Metropolitana de Venezuela (Venezuela) Trinidad Núñez Domínguez, Universidad de Sevilla (España) James O’Higgins, de la Universidad de Dublín (UK) José Antonio Ortega Carrillo, Universidad de Granada (España) Gabriela Padilla, Universidad Autónoma de Tumalipas (México) Ramón Pérez Pérez, Universidad de Oviedo (España) Angel Puentes Puente, Pontificia Universidad Católica Madre y Maestra. Santo Domingo (República Dominicana) Julio Manuel Barroso Osuna, Universidad de Sevilla (España) Rosalía Romero Tena. Universidad de Sevilla (España) Hommy Rosario, Universidad de Carabobo (Venezuela) Pier Giuseppe Rossi, Università di Macerata (Italia) Jesús Salinas Ibáñez, Universidad Islas Baleares (España) Yamile Sandoval Romero, Universidad de Santiago de Cali (Colombia) Albert Sangrá Morer, Universidad Oberta de Catalunya (España) Ángel Sanmartí n Alonso, Universidad de Valencia (España) Horacio Santángelo, Universidad Tecnológica Nacional (Argentina) Francisco Solá Cabrera, Universidad de Sevilla (España) Jan Frick, Stavanger University (Noruega) Karl Steffens, Universidad de Colonia (Alemania) Seppo Tella, Helsinki University (Finlandia) Hanne Wacher Kjaergaard, Aarhus University (Dinamarca) Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. FACTOR DE IMPACTO (IMPACT FACTOR) SCOPUS (CiteScore Tracker 2021: 2.8) - Journal Citation Indicator (JCI). Posición 400 de 722 revistas Puntuación: 44.67 (Q3) - FECYT: Ciencias de la Educación. Cuartil 2. Posición 16. Puntuación: 39,80- DIALNET MÉTRICAS (Factor impacto 2019: 1,355. Q1 Educación. Posición 11 de 230) - REDIB Calificación Glogal: 29,102 (71/1.119) Percentil del Factor de Impacto Normalizado: 95,455- ERIH PLUS - Clasificación CIRC: B- Categoría ANEP: B - CARHUS (+2018): B - MIAR (ICDS 2020): 9,9 - Google Scholar (global): h5: 42; Mediana: 42 - Journal Scholar Metric Q2 Educación. Actualización 2016 Posición: 405ª de 1,115- Criterios ANECA: 20 de 21 - INDEX COPERNICUS Puntuación ICV 2019: 95.10 Píxel-Bit, Revista de Medios y Educación está indexada entre otras bases en: SCOPUS, Fecyt, Iresie, ISOC (CSIC/ CINDOC), DICE, MIAR, IN-RECS, RESH, Ulrich’s Periodicals, Catálogo Latindex, Biné-EDUSOL, Dialnet, Redinet, OEI, DOCE, Scribd, Redalyc, Red Iberoamericana de Revistas de Comunicación y Cultura, Gage Cengage Learning, Centro de Documentación del Observatorio de la Infancia en Andalucía. Además de estar presente en portales especializados, Buscadores Científicos y Catálogos de Bibliotecas de reconocido prestigio, y pendiente de evaluación en otras bases de datos. EDITA (PUBLISHED BY) Grupo de Investigación Didáctica (HUM-390). Universidad de Sevilla (España). Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización Educativa. C/ Pirotecnia s/n, 41013 Sevilla. Dirección de correo electrónico: r[email protected] . URL: https://revistapixelbit.com/ ISSN: 1133-8482; e-ISSN: 2171-7966; Depósito Legal: SE-1725-02 Formato de la revista: 16,5 x 23,0 cm Los recursos incluidos en Píxel Bit están sujetos a una licencia Creative Commons Attribution-NonCommercial- ShareAlike 4.0 Unported (Reconocimiento-NoComercial-CompartirIgual)(CC BY-NC-SA 4.0), en consecuencia, las acciones, productos y utilidades derivadas de su utilización no podrán generar ningún tipo de lucro y la obra generada sólo podrá distribuirse bajo esta misma licencia. En las obras derivadas deberá, asimismo, hacerse referencia expresa a la fuente y al autor del recurso utilizado. ©2021 Píxel-Bit. No está permitida la reproducción total o parcial por ningún medio de la versión impresa de la Revista Píxel- Bit. Píxel-Bit. Revista de Medios y Educación. 2021 - ISSN: 1133-8482. e-ISSN: 2171-7966. PIXEL-BIT REVISTA DE MEDIOS Y EDUCACIÓN Nº 62 SEPTIEMBRE 2021 índice 1.- Niveles de representación externa de estudiantes de educación secundaria acerca de la división celular mitótica: una experiencia con realidad aumentada // High school student representations of mitotic cell division: an augmented reality experience. (Bilingüe) Francisco J. López-Cortés, Eduardo Ravanal Moreno, Claudio Palma Rojas, Cristián Merino Rubilar 2.- Satisfacción del profesorado con la formación en servicio online: aproximaciones desde la usabilidad pedagógica // Teachers’ satisfaction with in-service online training from the viewpoint of pedagogic usability (Bilingüe) Osbaldo Turpo-Gebera, Alejandra Hurtado-Mazeyra, Yvan Delgado-Sarmiento, Gerber Peréz-Postigo 3.- Evaluación de la competencia oral con rúbricas digitales para el Espacio Iberoamericano del Conocimiento // Assessment oral competence with digital rubrics for the Ibero-American Knowledge Space (Bilingüe) Carlos Rafael Fernández Medina, Cristina Raquel Luque Guerrero, Francisco José Ruiz Rey, Diana Elizabeth Rivera Rojel, Lucy Deyanira Andrade Vargas, Manuel Cebrián de la Serna 4.-Agente conversacional virtual: la inteligencia artificial para el aprendizaje autónomo // Embodied conversational agents: artificial intelligence for autonomous learning. (Bilingüe) Josué Artiles Rodríguez, Mónica Guerra Santana, Mª Victoria Aguiar Perera, Josefa Rodríguez Pulido 5.- Gamificación superficial en e-learning: evidencias sobre motivación y autorregulación // La transición a la enseñanza en línea llevada a cabo por los docentes de América Latina y el Caribe durante la pandemia de COVID-19: desafíos, cambios y lecciones aprendidas. (Bilingüe) Olga Juan-Lázaro, Manuel Area-Moreira 6.- Análisis de Género del Cine de Animación Infantil como Recurso para una Escuela Coeducativa // A Gender Perspective in Analyzing Film Production for Children as a Source for Coeducation. (Bilingüe) Tarxilia Heras Peinado, Rosario Mérida Serrano 7.- Competencia digital docente en educación de adultos: un estudio en un contexto español // Digital competence in adult education: a study in a Spanish context. (Bilingüe) Esther Garzón Artacho, Tomás Sola Martínez, Juan Manuel Trujillo Torres, Antonio Manuel Rodríguez García 8.- Percepción docente del uso de TIC en la Educación Inclusiva // Teacher perception on the use of ICT in Inclusive Education. (Bilingüe) Esther Vega-Gea, Juan Calmaestra, Rosario Ortega-Ruiz 9.- Evaluating Eye Tracking Technology for Assessment of Students with Profound and Multiple Learning Difficulties // Evaluación de la tecnología de seguimiento ocular para la evaluación de estudiantes con dificultades de aprendizaje múltiples y profundas. (Bilingüe) Rayjvir Grill, Sarah Younie Younie 10.- Coding, robotics and socio-emotional learning: developing a palette of virtues // Codificación, robótica y aprendizaje socioemocional: cómo desarrollar una combinación de habilidades (Bilingüe) Marina U. Bers 7 39 71 107 146 183 209 235 269 309 Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 Evaluating Eye Tracking Technology for Assessment of Students with Profound and Multiple Learning Difficulties. Evaluación de la tecnología de seguimiento ocular para la evaluación de estudiantes con dificultades de aprendizaje múltiples y profundas Ms. Rajvir Gill Lecturer. Faculty Health and Life Sciences. De Montfort University, The Gateway, Leicester. United Kingdom. Dra. Sarah Younie Professor of Education Innovation. Faculty Health and Life Sciences. De Montfort University, The Gateway, Leicester. United Kingdom. Recibido: 2020/11/15; Revisado: 2020/12/22; Aceptado: 2021/02/25; Preprint: 2021/07/23; Preprint: 2021/09/01 ABSTRACT Eye-Gaze Tracking Technology (EGTT) is used most commonly as a communication tool for learners with profound and multiple learning difficulties (PMLD). This research investigates the use of EGTT as an assessment tool to provide additional evidence to confirm teacher assessment. The paper contributes to how teachers can address the barriers faced upon assessing students with PMLD through the use EGTT. Data was obtained from a sample of four students with PMLD and physical disabilities located within a special needs school. The qualitative methodology ensured a triangulation of data collection, which included analysis of learners’ heat maps, parent questionnaires and observations of teaching via video capture. It was found that the eye-tracking data provided information on individual learner’s engagement with the learning objectives, which otherwise could not have been communicated. The innovative technology provided an independent data source to inform the teacher’s assessment of the learner’s cognitive abilities. Overall EGTT enabled a more accurate method of teacher assessment of PMLD students’ abilities, giving teachers more confidence with their judgements by providing robust evidence to underpin their professional practice. Where schools want to invest in tools which deliver, this research can guide SEN leaders/schools in deciding potential investment in EGTT equipment and how to use it as an assessment tool. RESUMEN La tecnología Eye-Gaze Tracking (EGTT) se utiliza con mayor frecuencia como una herramienta de comunicación para estudiantes con dificultades de aprendizaje múltiples y profundas (PMLD). Esta investigación se trata del uso de la EGTT como herramienta de evaluación para proporcionar evidencia adicional para confirmar la evaluación del maestro. Este artículo contribuye a cómo los profesores pueden abordar las barreras que se enfrentan al evaluar a los estudiantes con PMLD mediante el uso de EGTT. Los datos se obtuvieron de una muestra de cuatro estudiantes con PMLD y discapacidades físicas ubicados dentro de una escuela especial. La metodología cualitativa aseguró una triangulación de la recopilación de datos, que incluyó el análisis de mapas de calor de los alumnos, cuestionarios para los padres y observaciones de la enseñanza a través de la captura de video. Se descubrió que los datos de seguimiento ocular proporcionaban información sobre el compromiso de cada alumno con los objetivos de aprendizaje, que de otro modo no se habría podido comunicar. La tecnología innovadora proporcionó una fuente de datos independiente para informar la evaluación del profesor de las habilidades cognitivas del alumno. En general, EGTT permitió un método más preciso de evaluación docente de las habilidades de los estudiantes de PMLD, dando a los docentes más confianza en sus juicios al proporcionar evidencia sólida para respaldar su práctica profesional. Cuando las escuelas quieran investir en herramientas que ofrezcan resultados, esta investigación puede orientar a los dirigentes de escuelas especiales para decidir la posible inversión en equipos EGTT y cómo utilizarlos como herramienta de evaluación. KEYWORDS · PALABRAS CLAVES Eye Gaze Tracking Technology; assessment; technology; special education; digital competence Eye Gaze Tracking Technology; evaluación, tecnología; educación especial; competencia digital Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 270 Introduction Current assessment in the UK with students with Special Educational Needs and Disability (SEND) includes the use of P (Progress) scale indicators, (DfE-Department for Education 2014), which are statutory and used nationally to recognise the achievements of those working towards level 1 of the National Curriculum. Teachers in special needs schools use the same national set of assessment indicators as mainstream schools, however, in SEND schools most assessment is based on teacher observations. Observations are an integral part of the assessment and can take place anytime. The ‘Framework for Curriculum for students with severe and profound learning needs’ proposes the assessment to be largely formative and on-going as students are unlikely to follow a linear trajectory of development (South Lanarkshire Council, 2015). Therefore, visual judgments and observations are key methods of assessment for teachers, parents and other professionals in order to record ‘significant information and subtle changes…which may indicate likes/dislikes’ (South Lanarkshire Council 2015, p.10). However, this approach poses a challenge as well as a major weakness in the accuracy of informal and observation assessments as information may be misinterpreted or overlooked, particularly for students with PMLD. For example, a child may seem interested in an activity but not be processing the information. However, this could be interpreted as engagement by the teacher. Reliance on teachers’ visual observations can inadvertently lead to making incorrect judgements and assumptions regarding the student’s likes, dislikes, interests and most importantly cognitive abilities. Writing on use of summative assessment tools for students with PMLD, Hogg (2017, p.9) states ‘’…their suitability is questionable and the accuracy and reliability of these summative assessments is debatable as they are dependent on practitioner judgements so achieving objectivity is difficult’’. Weston & Ware (2018) investigated the effectiveness of Routes for Learning (RfL) in England and Wales which is a bilingual assessment tool for learners with PMLD. The assessment included materials and structured framework for teachers to use for assessment. The response from 15 schools in Wales and 53 in England (from which 36 where special schools) reported the tool as valuable. Although this was widely used and appreciated, the assessment was still reliant on teacher judgment and lacked a data recording system which would support summative assessment. Perhaps an additional source of assessment through EGTT can enhance the current assessment practices for schools wanting to gain accurate data on students with severe/multiple learning difficulties. The working hypothesis of the research was that the use of EGTT can contribute to the accurate measurement of what PMLD students are looking at and understanding in order to provide feedback to teachers to inform more accurate assessment of students understanding and progress. Students with these needs have limited speech and vocabulary, which can be a limitation and a difficulty for teachers in making accurate measurements for assessment purposes. Relying on visual judgement can impose a risk of missed information or misinterpretation by teachers. The school for this case study approached this research with the aim to establish an accurate and more reliable assessment of students with multiple SEND/PMLD and support their teachers by providing others forms of information on assessment. A number of studies have merged which have investigated eye-gaze tools to support individuals with severe visual/physical disabilities but they have mainly focused on using the tools for communication or to improve users eye gaze performance over time (Perfect et al., Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 271 2019; Borgestig et al., 2017; Borgestig, 2016; Najafi et al., 2008). Holmqvist et al. (2017) carried out a study exploring parents and professionals’ views on the effectiveness of gazecontrolled computer for children with severe multiple disabilities. The study found new opportunities for children to use it for communication, interaction and perform activities independently. Borgestig (2016, p.9) states that due to severe complex needs, ‘it can be difficult for children to participate in standardised assessments of cognitive function’ as they have ‘difficulties in controlling body movement voluntarily, except for the eye movements’. Where some of these studies have acknowledged the need for assessing the appropriateness of EGTT, limited have used it for assessment in relation to curriculum scales/assessment. Renshaw et al (2012,p.21) did acknowledge this area where their study assessed the feasibility of using eye-gaze to aid the teaching of symbol recognition to those with PMLD. They found the tool to be useful in establishing ‘a richer way of communicating’ and providing immediate feedback on symbol recognition to support carer/teacher strategies. The study is one of the few which uses EGTT as an assessment tool to provide information for carers on symbol recognition. The EGTT is a device that is able to track eye movement of the student in order to generate data (Eye-Gaze plotting and heat maps) to show exactly where the student is looking on screen. Thus a device which is mainly used for communication purposes can now also be used for assessment purposes. The expectation here is that the EGTT can provide a clearer assessment of the student’s functional vision and the chances of misjudgments or inaccurate assessments of ability will be reduced. This project was set up to investigate the effectiveness of using eye-tracking technology as an assessment tool, in accordance with the statutory guidance on measuring students’ performance (P scale). The research contributes to the discussion on assessment of students with SEND/PMLD using innovative forms of technology. Research objectives: • To examine effectiveness of using eye-tracking technology as an assessment tool by SEND teachers. To address this, we designed a case study approach that investigated the use of EGTT for assessment of students with limited speech. Research questions: • To research how the application of eye-tracking technology can be used to carry out accurate assessments of the student to inform and guide the school, families and teacher practice. • To assess and confirm whether judgements and observations being made previously by teachers and parents were an accurate assessment of the student’s abilities. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 278 Figure 2 Equipment set up in the classroom Figure 3 Activity to assess understanding of volume Figure 4 Understanding of object placement 3. Methodology The selected school for this research was a Special Needs School (4-19 years) in a city. The school is actively engaged in using technology to support students learning overall. At Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 279 the time of this research, 90 students attended the school and all had either SLD or PMLD. Many students have additional physical and/or sensory impairment and a quarter have autistic spectrum disorders (ASD). The research adapted a case study design which is known for its strengths in ability to focus on the complexity of the case; attention can be focused on selected and fewer variables and enquiry of real-life context (Yin, 2018). Due to the complexity of assessing students with PMLD and limited vocabulary, a case study design allowed for selected variable to be focused on such as assessment and use of eye-gaze technology to gather accurate data of student’s abilities and likes/dislikes. The research was conducted using a collaborative inquiry methodology, involving the academic researchers, the Head Teacher and the school’s Communication Co-ordinator. This allowed those involved to contribute to the research design (Cohen et al., 2018). The data was collected by the teachers as co-researchers who worked directly with the students. Once the data had been gathered from the teaching sessions, the teachers then met with the researchers to analyse the data. Furthermore, this increases the validity and trustworthiness of the findings and data collected as more than one researcher has investigated and analysed the data (Archibald, 2015). The reason for teachers collecting data was to maintain a naturalistic environment for the students. Due to student’s disabilities, it was important to eliminate any factors which may disturb or make the students anxious such as having another unknown adult or stranger in the room. This reflected the ethical sensitivities of working directly with PMLD students and the need to honour maintaining a naturalistic setting. This approach also allowed observations to be recorded exactly as they occur which maintains an element of ecological validity. Ecological validity is the process by which the results can be said to be valid as they are conducted in a natural environment (Martella & Nelson, 2013). Following a purposive sampling, originally six students were selected. As the research began, it became apparent that two students were unable to continue due to very severe visual impairments, which meant they could not focus on the screen. They were not responsive and no data was collected from the heat maps. This process was given careful consideration as it was important to ensure those involved could hold voluntary gaze on the screen and be able to complete the intended observation sessions in a comfortable space. The sample was selected by the Head Teacher and the communication co-ordinator, who choose students they thought would benefit the most from the one-to-one intervention with the technology. For these students, the teachers would gain a much better understanding of the student’s ability with the eye tracking technology and would benefit from more assessment information regarding interests and preferred learning areas. The difficulty that staff had encountered with the selected students was that the student’s behaviour, body language and often repetitive movements or even lack of observable responses had masked and hidden the clues. Qualitative data was derived from direct fieldwork observations collected by the teachers as co-researchers who engaged in naturalistic inquiry, studying real-world settings inductively to generate rich narrative descriptions and construct case studies (Cohen et al., 2018). The recordings of these observations were later shared with the research team to validate and form reliable conclusions. The main methods to collect data were: participant observations (by the Head Teacher and the school’s Communication Co-ordinator), surveys Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 280 (from the parents and teachers) and semi-structured interviews with the communication coordinator who was responsible for recording and taking part in participant observations. The heat maps produced during the participant observations were used as part of analysis. See Figures 5 and 6 for examples of heat maps generated. Figure 5 Figure 6 Example of heat map (I) Example of heat map (II) Participant observations were conducted in a room familiar to the students. During the observations, two cameras were used: one was the Eye-Gaze device to track eye movement of the student and the second was used by the teacher co-researchers to record the teaching sessions of the student’s physical responses when engaging with the EGTT device and teaching activities on the computer screen. On average five observation sessions were completed with each student participant varying in time due to different needs (average time being 20 minutes). Surveys were sent to parents/carers and classroom teachers to be completed regarding the student’s likes/dislikes and topics they were interested in prior to the start of the sessions. The survey asked questions concerning students’ abilities to recognise pictures of themselves; of their parents, teachers; what students enjoyed watching; students’ abilities to recognise drawings, coloured symbols, real objects and whether they were able to follow moving objects on screen. After the student data collection, an interview was conducted by a university researcher with the communication co-ordinator. As well as conducting the Eye-Gaze sessions herself, the communication co-ordinator has also participated in analysing the data for each student along with the university researchers. Therefore, an interview with the communication coordinator provided more detail on how the process of conducting the research with the technology and students occurred and which changes were made to accommodate students’ needs across the teaching sessions. Porter et al., (2001) empathises the importance of working with those who are involved in the individual’s life and are able to offer alternative perspectives in order to form a reliable picture. This can include staff, family, parents, practitioners and professionals. Pearlson & Micheals (2019) also support this suggesting validity to be important when analysing/interpreting voice of people with PMLD. They suggest although those directly involved may be emotionally attached therefore lacking objectivity however the researchers may also risk this by misinterpreting data. Therefore, Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 281 the professional, parents, and staff working together is key (Winter & Bunn 2019; Porter et al., 2001). 3.1. Ethical consideration Confidentiality, parental consent and anonymity were maintained throughout following BERA (2018) guidelines. To protect data and follow school policy, no videos data was shared via emails for analysis resulting in analysis being completed within the school premises. 4. Analysis and results This section presents the key themes generated from data analysis. 4.1. Human observation vs technology The aim of this research was to carry out a more accurate form of assessment with PMLD students who the teachers found difficult to assess by traditional means. Students with complex and multiple learning and physical difficulties can be challenging to observe and form judgements of their abilities and interests (Weston &Ware 2018). Judgements from teachers and student preferences on learning were collected and used alongside data from the eye-tracking technology to confirm assessment information on these students and to gain additional information for future teaching. It was found that some human (teacher) observations and judgements on students were not accurate and human error can mislead teachers about whether their students were engaged in learning and whether they understand a particular concept. Hogg (2017) does identify this as a challenge the reliability and accuracy of assessment which is dependent on practitioner judgement. This was evident on a number of occasions: for example, when assessing a student’s understanding of the concept of full/empty. Student B’s observation from their baseline-video showed the student being presented with an empty cup and full cup and then asked to select which one is full. However, student B picks both options. The observation from this showed that he does not understand the full/empty concept. However, the data from his heat maps clearly shows that student B understands which cups are full as he could demonstrate from his eye-Gaze data (see Figure 3). Without the use of technology this judgement about the student’s understanding would not have been as precise. This was a significant finding which justified the use of EGTT and aim of the research to evaluate its use by teachers. This demonstrated how the technology was used to develop more accurate assessments of students’ abilities. Similarly, student C looked very engaged in some activities, but the heat maps showed otherwise. It was found that student C was distracted by her reflection on the screen (the screen had a black background that was reflective) whereas in her classroom observations, it may seem she is fully engaged and focused on the screen. The Eye Gaze technology with the eye tracking device and heat maps offered a different way of assessing these students’ engagement, cognitive understanding and motivators. For example, one student was always Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 282 motivated to look at food objects on the screen, whilst not attending to other objects even when asked to by the teachers. 4.2. Visual Images With respect to visual images and cartoons the Eye Gaze data proved that the SEND students were not necessarily attracted to these images. The heat maps from student C, A and D show very minimal or no interest at all in them. Though student D and B show some visual attention to these, they were not focused on the cartoons (of animals) on the screen, but rather showed they were glancing all around. This was an interesting finding as the teachers expected students to enjoy cartoon videos and images as they would watch cartoons at home on TV as their parents reported in the survey data collection. This was also stated in some surveys in which parents stated ‘Tom and Jerry’ and CBeebies were things the students enjoyed watching. However, the eye gaze data reveals a disengagement in cartoons and instead a keen or preferred interest in the images of real objects instead. The students’ preference for use of real images of objects (animals, equipment and food) was an element found with all students and this is an important finding. The assessment process included cartoon drawings, coloured and black/white images, all of which held little or no interest, whereas all students responded in some way to real images. The teachers found that the students understanding of images is based on using real objects, whereas cartooned images can confuse them. This also highlights the necessity of in-depth observations to be conducted by both parents and teachers to ensure the content and images being presented to the child are familiar to what they see around them. This will support the students in understanding the objects and images they see on a day-today basis and avoid confusing them with cartoon images. Borgestig (2016) talks about adapting the intervention to support the complex needs. This can include content as well as timeframes. Borgestig also adapted these changes to their research after discussion with professionals which is deemed important part of the process. 4.3. Personalised Learning This theme emerged as the observation sessions progressed. The sessions began with the use of the ‘Look-to-Learn’ activities, but as the sessions progressed, it was too complex for some students. For example, multiple objects moving on screen at the same time. Therefore, more personalised materials for each student were created by the communication co-ordinator. For example, it was found from the surveys and the videos that student D was fascinated by clocks, so activities based around clocks were created. The activities were differentiated according to each students’ needs and abilities: some were showing big/small objects, others only coloured objects. The second finding was that materials used with students with complex and multiple needs should be personalised to their needs and abilities. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 283 Although software programmes are designed to support the students, nevertheless it is important to highlight here that schools need to identify the students’ level of understanding. Where some students such as those in this research have severe learning and physical difficulties, it was found that creating personalised activities was more beneficial as the students’ interests and likes could be integrated into the activities. This was also found in Najafi et al. (2008) case studies in which they found personalising the software/devices to be a key factor for interaction. 4.4. Clutter and busy backgrounds The ‘Look-to-Learn’ computer programme provided a range of activities and images for the students to work with. However, it was found that most images were too complicated and cluttered with busy background and too many moving objects, which caused confusion for most students and was a distraction. The teacher asked students to find the bi-cycle which upon gaze would move. However, it was found that students gazed all over the screen which resulted multiple objects moving. With sudden moments of objects on screen and busy background images, the activity and sound caused confusion for the students. As a result, the communication co-ordinator decided to use images without the ‘cause and effect’ function and created her own materials to avoid the busy backgrounds as a distraction. The images that had busy backgrounds such as the park, or the house with many objects, were interrogated, to see what the students focused on. It was found that those students who were interested in faces and mouths (student C, A and B) looked at faces on some images, but were distracted by the clutter around the people on busy background images. A third finding therefore is that the images being used on screen for the activities, should be kept simple for the PMLD students. It was observed that all students had a better focus and were able to provide more information on how they process visual information in simple, clutter free pictures. They were able to maintain eye gaze and focus on images with a background in different colours but not images with a lot of clutter (such as equipment, food, shelves, cupboards etc.). This knowledge on how these students’ process images can be used as a teaching strategy for student B, A and especially student C who showed a keen interest in faces and people. A fourth finding is that as a teaching strategy, teachers could keep the space around the interactive whiteboard clear to encourage the students to focus on the screen. There should be no distraction by posters, stickers or displays around the board, helping to retain students’ attention. Teachers can use this information to avoid clutter around displays or presenting too many objects during activities. 4.5. Enhancing Student Voice Importantly, strategies were deployed by the teachers to strengthen the students’ voice: the surveys sent home before the action research began; the Eye Gaze plotting and heat maps; and the supplementary field notes taken by the teacher observer (head teacher and the communication co-ordinator), followed by the analysis of the data by the research team. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 284 This enabled multiple data sets to be integrated to identify students’ preferences. In addition, this triangulation of data provided a more robust evidence base to inform the teachers’ judgments. A fifth finding is that the combination of techniques above significantly enhanced the teachers’ confidence in their assessment of the student’s performance levels. 5. Discussion The aim of this research was to carry out a more accurate form of assessment with PMLD students who the teachers found difficult to assess by traditional means. It was found that some teacher observations and judgements on students were not accurate and can mislead teachers about whether their students understood a particular concept. Without the use of technology, the judgements found about the student’s understanding would not have been as precise. This was a significant finding which justified the use of EGTT and aim of the research to evaluate its use. Although some are minor findings, small changes in performance can be meaningful for students with limited communication and vocabulary (Verssoyan et al., 2018). Observations and opinions on student’s assessment can be subjective and lack the objectivity needed to inform the next steps for students’ progression (Renshaw et al., 2012). Therefore, the use of EGTT can provide another independent source of data which teachers can use in conjunction with other forms of assessment to achieve further accuracy. Schools who may wish to invest in this technology for SEND students can purchase the Eye Gaze device (track box and screen) and develop their own materials giving the assessment a personalised element, which the students may engage with more. The images and videos should be kept simple and as the Eye Gaze sessions progress, the difficulty of activities can also be increased if needed. The creation for new content/activities is found to be beneficial if selected staff can set aside time to ensure the technology is used effectively (Holmqvist et al., 2017) and can encourage schools to devise their individual approaches (Glazzaed et al., 2019). This is essential when deploying technology for students with PMLD as it requires to meet their individual needs as well curriculum guidelines (DfE, 2015) therefore making personalised learning a vital aspect. Earlier research has emphasised on the use of personalised and adaption of content (Borgestig, 2016). This research also shows this as well keeping the content simple to match the students learning needs/level at initial stages. This will also support SEND teachers in adapting their teaching strategies in the classroom. Furthermore, for such content to be created, it is essential that schools work in collaboration with other professionals and parents/carers. Earlier research has acknowledged the importance of involving those who are closest to the student to gather initial baseline data, design content and when interpreting data (Porter et al., 2001). Similarly, Holmqvist et al. (2017) findings on the importance of collaborating with those who are closest to the students in order to provide stimulating content for the technology to be useful and effective. The researchers in this project were not known to the students therefore working with school staff as co-investigator was essential to maintain naturalistic environment and offer alternatives perspectives during data analysis process (Martella & Nelson, 2013). Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 285 Through this research, Eye Gaze allowed teachers to assess their engagement through the student’s eye movements using a range of visual materials to engage them. Mencap (2018) highlight the challenges and complexity of this area stating that SEND students experience problems in expressing themselves. This was a challenge for the teacher coresearchers but with appropriate techniques, they were able to give these students a voice using Eye Gaze to form an accurate picture of the students understanding. School government policies also reflect this, highlighting the importance and the right for all children to express and have a voice (DfE, 2015). The students who were selected had multiple learning difficulties and as a result the school had little information on their understanding of images and how they process the environment around them. The sample was small and therefore cannot be generalised, but the four students have provided valuable and significant data that indicates that more accurate assessment about students with severe learning difficulties can be achieved. Some of the data confirmed judgements of parents and teachers. But in addition, the teachers found that Eye Gaze assessment revealed information about the learner that the teacher could not achieve with observation alone. 6. Conclusions The teachers were aware that assessment of PMLD students is a challenge because of the communication barriers. This research project developed a collaborative inquiry, which was designed by the SEND teachers as co-researchers, working alongside university researchers, as the teachers had realised that EGTT, which they were already using as a communication aid, also had potential for enhancing assessment exercises. The research can also guide schools in making purchasing decisions with respect to technology procurement, which can be expensive. In addition to purchasing guidance, this research can offer a contribution on how SEND teachers can use EGTT for assessment purposes as well as communication. Another discovery was that at this level of multiple and complex difficulties, the software activities may be too complex and images too busy. Therefore, more can be gained if materials are personalised and simplified by the schools. Teachers learnt to remove displays around the computer screen and interactive whiteboard in order to maintain focus and to use real object images with students to help develop students understanding of different concepts. The findings from the research using EGTT not only improve teacher’s practice, but also informs parents of what interests and motivates their children, what their child can do and how they understand what is being said to them. The project also contributes in giving students a voice who have limited vocabulary and speech. The assessment of their likes/dislikes did not only inform teacher assessment but also support parents /teachers to personalise their learning activities. With respect to the theoretical lens that was brought to bear on understanding the teachers’ professional practice, the model that we identified as having the most explanatory power was Rogers (2003) theory of innovation. In this model teachers can be understood to be innovators as they had developed a novel approach to using the technology, which had not been done before, thereby displaying innovation. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 286 Overall the conclusion is that this technology is an effective device to enhance assessment which not only benefits learners and parents, but also gives students with SEND/PMLD more of a voice in their learning. Significantly, it also allows for more accurate and robust assessment of PMLD students who can be a challenging to assess. It gives teachers an additional tool to collect data to inform their professional judgment of a student’s abilities and standardised assessment. In turn increasing teachers’ confidence in the assessment of students’ progress and attainment at a time where such measurements are vital. 6.1. Recommendations It is recommended that teachers receive training before the use of Eye Gaze and a designated staff member who deals with the whole process to ensure the appropriate materials are created for students. If other schools wish to use Eye Gaze for assessment purposes, it is recommended that they create they own personalized materials as the software can be confusing and distracting for students with complex needs. To enable the technology to be embedded, teachers could build on the resources developed in this case study by sharing knowledge and resources to help overcome the barriers to innovation (see/contact corresponding author for further information). Acknowledge We acknowledge the support given to the ‘Eye-Gaze Tracking Technology for Assessment’ project from Leicester City Council and the DigiLit Project, which was funded by the Building Schools for the Future Programme, ICT Innovation Fund (UK). We would also like to acknowledge the school staff for working with us as coinvestigators to effectively carry out this research. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 287 Evaluación de la tecnología de seguimiento ocular para la evaluación de estudiantes con dificultades de aprendizaje múltiples y profundas 1. Introducción Actualmente, en el Reino Unido, la evaluación de los estudiantes con necesidades educativas especiales y discapacidades (SEND) incluye el uso de indicadores de la escala P (Progreso) (DfE-Department for Education 2014), que son obligatorios y que se utilizan a nivel nacional para reconocer el alcance del nivel 1 del Currículo Nacional. Los maestros de las escuelas especiales utilizan el mismo conjunto nacional de indicadores de evaluación que las escuelas ordinarias; sin embargo, en las escuelas especiales, la mayoría de las evaluaciones se basan en observaciones de los maestros. Las observaciones son una parte integral de la evaluación y pueden realizarse en cualquier momento. El "Marco del plan de estudios para estudiantes con necesidades de aprendizaje graves y profundas" propone que la evaluación sea en gran medida formativa y continua, ya que es poco probable que los estudiantes sigan una trayectoria lineal de desarrollo (South Lanarkshire Council, 2015). Por lo tanto, los juicios visuales y las observaciones son métodos claves de evaluación para maestros, padres y otros profesionales con el fin de registrar "información significativa y cambios sutiles ... que pueden indicar gustos / disgustos" (South Lanarkshire Council 2015, p.10). Sin embargo, este enfoque plantea un desafío, así como una debilidad importante en la precisión de las evaluaciones informales y de observación, ya que la información puede malinterpretarse o pasarse por alto, especialmente para los estudiantes con PMLD. Por ejemplo, un niño puede parecer interesado en una actividad pero no está procesando la información. Sin embargo, el maestro podría interpretarlo como interese. La confianza en las observaciones visuales de los maestros puede llevar inadvertidamente a hacer juicios y suposiciones incorrectos con respecto a los gustos, aversiones, intereses y, lo que es más importante, las habilidades cognitivas del estudiante. Al escribir sobre el uso de herramientas de evaluación sumativa para estudiantes con PMLD, Hogg (2017, p. 9) afirma '' ... su idoneidad es cuestionable y la precisión y confiabilidad de estas evaluaciones sumativas es discutible ya que dependen de los juicios de los profesionales, por lo que lograr la objetividad es difícil''. Weston & Ware (2018) investigaran la efectividad de Routes for Learning (RfL) en Inglaterra y Gales, que es una herramienta de evaluación bilingüe para estudiantes con PMLD. La evaluación incluyó materiales y un marco estructurado para que los maestros los utilicen en la evaluación. Las respuestas de 15 escuelas en Gales y 53 en Inglaterra (de las cuales 36 eran escuelas especiales) señalaran que la herramienta era valiosa. Aunque esto fue ampliamente utilizado , la evaluación aún dependía del juicio del maestro y carecía de un sistema de registro de datos que respaldara la evaluación sumativa. Quizás una fuente adicional de evaluación a través de EGTT pueda mejorar las prácticas de evaluación actuales para las escuelas que desean obtener datos precisos sobre los estudiantes con dificultades de aprendizaje graves o múltiples. La hipótesis provisional de la investigación fue que el uso de EGTT pueda contribuir a la medición precisa de lo que los estudiantes de PMLD ven y comprenden para proporcionar retroalimentación a los maestros para informar una evaluación más precisa de la comprensión y el progreso de los estudiantes. Los estudiantes con estas necesidades Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 294 con PMLD, ya que esto puede ser un desafío al evaluar las opiniones y respuestas de cada niño. Esto también se hace eco de este objetivo de investigación de utilizar grabaciones de video y datos de la tecnología de seguimiento de la mirada para evaluar las respuestas de los estudiantes con el fin de ofrecer una mayor validación a las observaciones iniciales del maestro para la evaluación del progreso de los estudiantes. El EGTT fue fundamental para la visión pedagógica de este proyecto porque el dispositivo ofrece una forma de recopilar datos sobre las preferencias de los estudiantes mediante el seguimiento de aquello en lo que se enfocan sus ojos, que es una forma de darles "voz"; en concreto, a través de datos más precisos y fiables sobre lo que miran los alumnos. De esta manera, la voz del estudiante se puede incluir en el desarrollo y mejora de las actividades docentes futuras y en la identificación de los intereses individuales de los estudiantes. 2.5 Por qué se utilizó la tecnología Eye Gaze para evaluaciones y observaciones Los avances tecnológicos han dado como resultado el desarrollo de dispositivos de alto rendimiento para el seguimiento ocular. Con respecto a la identificación de los intereses de los niños, tanto los maestros como los padres se han basado históricamente en la observación y las observaciones, un método clave para informarles sobre las preferencias de los niños. Por ejemplo, los factores claves son la cantidad de tiempo involucrado y el nivel de disfrute que muestra el niño en ciertas actividades y temas. La dificultad que la escuela había encontrado con los estudiantes seleccionados con PMLD era que el comportamiento del estudiante, el lenguaje corporal y, a menudo, los movimientos repetitivos o incluso la falta de respuestas observables, enmascaraban y ocultaban las pistas en las que los maestros normalmente se basarían para ayudar a informar sus juicios. El EGTT puede complementar el juicio profesional de los maestros y, por lo tanto, se puede utilizar para ayudar a profundizar la comprensión del maestro sobre el desarrollo cognitivo del estudiante y los motivadores individuales de los estudiantes. Esto, a su vez, se puede utilizar para adaptar las prácticas docentes. Por ejemplo, el uso del mapa de calor para identificar el movimiento de los ojos de los estudiantes, el tiempo de permanencia y la mirada informa a los maestros sobre qué es exactamente lo que el niño está mirando y si es el sonido, las imágenes o el movimiento de un objeto en la pantalla que se interesa. 2.6 Equipo utilizado y cómo se instaló EGTT es un dispositivo que se conecta a la parte inferior de un monitor de ordenador. El dispositivo se llama Tobii PC EyeGo y ya ha demostrado ser eficaz para mejorar las habilidades de comunicación de los estudiantes en el entorno de la investigación. Este dispositivo de seguimiento ocular independiente permite al usuario (estudiante) controlar un ordenadorusando sus ojos. El software Gaze Viewer adicional, que se utiliza junto con Tobii PC EyeGo, facilita la recopilación de pruebas al registrar los movimientos oculares del estudiante. Esto se puede usar con cualquier programa o aplicación de ordenador como PowerPoint, o al mirar videos o navegar por Internet. La caja de seguimiento puede capturar el movimiento de los ojos / cabeza y es capaz de capturar el movimiento de los ojos muy rápidamente. El 'cuadro de seguimiento' es el término utilizado para describir el espacio disponible dentro del cual mover la cabeza y aún poder ser capturado por la cámara del Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 295 dispositivo. Esto luego produce "mapas de calor" que muestran exactamente dónde está mirando el usuario y hacia dónde mueve su mirada. También proporciona datos de trazado de la mirada para mostrar en qué orden se miraron los objetos. El monitor del ordenador muestra el contenido de la lección y los recursos en la pantalla se utilizan para estimular el aprendizaje de los estudiantes. El EGTT le permite al maestro ver dónde se están enfocando los estudiantes y qué están mirando con mayor precisión. Por ejemplo, si hay una variedad de objetos, como de una escena de cocina (con tazas y vasos), el maestro puede preguntar cuál es el más grande / más pequeño, vacío / lleno, etc. y así evaluar la comprensión del estudiante de los conceptos matemáticos: permitiendo una evaluación más precisa del aprendizaje. Consulte la Figura 2 para ver la configuración del equipo y el usuario y las Figuras 3 y 4 para ver ejemplos de actividades de evaluación. Figura 2 Equipamiento instalado en el aula La cámara montada en el soporte del trípode debía grabar la sesión de enseñanza, lo que permitió al equipo de coinvestigadores analizar los datos de observación registrados durante la lección. Esto facilitó la triangulación de los datos por parte del coinvestigador para aumentar la validez y confiabilidad al formar conclusiones (ver la sección de Metodología). Figura 3 Actividad para evaluar la comprensión del volumen Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 296 Figura 4 Comprensión de la ubicación de objetos Los títulos de software adquiridos para este estudio que incluían contenido de las lecciones eran 'Look-to-Learn', 'Look-to-Learn Sounds and Scenes' y 'Sensory EyeFX'. Estos cuentan con 40 aplicaciones para apoyar y promover los primeros niveles de acceso a el ordenador Eye-Gaze. El software y el hardware utilizados se diseñaron cuidadosamente para garantizar que satisfagan las necesidades físicas de los estudiantes con discapacidades, así como para proporcionar resultados precisos y confiables del seguimiento ocular. Esto también fue para respetar y dar a los estudiantes "una voz" mediante el uso de equipo apropiado para adaptarse a sus niveles de habilidad. 3. Metodología La escuela seleccionada para esta investigación fue una escuela de necesidades especiales (4-19 años) en una ciudad. La escuela participa activamente en el uso de la tecnología para apoyar el aprendizaje general de los estudiantes. En el momento de esta investigación, 90 estudiantes asistían a la escuela y todos tenían SLD o PMLD. Muchos estudiantes tienen impedimentos físicos y / o sensoriales adicionales y una cuarta parte tiene trastornos del espectro autista (TEA). La investigación adaptó un diseño de estudio de caso conocido por sus fortalezas en la capacidad de centrarse en la complejidad del caso; la atención puede centrarse en determinadas y menos variables y en la indagación del contexto de la vida real (Yin, 2018). Debido a la complejidad de evaluar a los estudiantes con PMLD y vocabulario limitado, un diseño de estudio de caso permitió que la variable seleccionada se centrara en la evaluación y el uso de la tecnología de la mirada para recopilar datos precisos de las habilidades y gustos / disgustos de los estudiantes. La investigación se llevó a cabo utilizando una metodología de investigación colaborativa, en la que participaron los investigadores académicos, el director y el coordinador de comunicación de la escuela. Esto permitió a los involucrados contribuir al diseño de la investigación (Cohen et al., 2018). Los datos fueron recopilados por los profesores como coinvestigadores que trabajaron directamente con los estudiantes. Una vez recopilados los datos de las sesiones de enseñanza, los profesores se reunieron con los investigadores para analizar los datos. Además, esto aumenta la validez y confiabilidad Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 297 de los resultados y de los datos recopilados, ya que más de un investigador ha investigado y analizado los datos (Archibald, 2015). La razón por la que los maestros recopilaron datos fue para mantener un ambiente naturalista para los estudiantes. Debido a las discapacidades del estudiante, era importante eliminar cualquier factor que pudiera perturbar o hacer que los estudiantes se sintieran ansiosos, como tener a otro adulto desconocido en el salón. Esto reflejó la sensibilidad ética de trabajar directamente con los estudiantes de PMLD y la necesidad de honrar el mantenimiento de un entorno naturalista. Este enfoque también permitió que las observaciones se registraran exactamente como ocurren, lo que mantiene un elemento de validez ecológica. La validez ecológica es el proceso mediante el cual se puede decir que los resultados son válidos ya que se llevan a cabo en un entorno natural (Martella & Nelson, 2013). Después de un muestreo intencional, originalmente se seleccionaron a seis estudiantes. Cuando comenzó la investigación, se hizo evidente que dos estudiantes no podían continuar debido a una discapacidad visual muy grave, lo que significaba que no podían enfocarse en la pantalla. No respondieron y no se recopilaron datos de los mapas de calor. Este proceso se consideró cuidadosamente, ya que era importante garantizar que los involucrados pudieran mantener la mirada voluntaria en la pantalla y completar las sesiones de observación previstas en un espacio cómodo. La muestra fue seleccionada por el director y el coordinador de comunicación, quienes eligen a los estudiantes que creen que se beneficiarían más de la intervención uno a uno con la tecnología. Para estos estudiantes, los maestros obtendrían una mejor comprensión de la capacidad del estudiante con la tecnología de seguimiento ocular y se beneficiarían de más información de evaluación con respecto a sus intereses y áreas de aprendizaje preferidas. La dificultad que el personal había encontrado con los estudiantes seleccionados era que el comportamiento del estudiante, el lenguaje corporal y, a menudo, los movimientos repetitivos o incluso la falta de respuestas observables habían enmascarado y ocultado las pistas. Los datos cualitativos se derivaron de las observaciones directas del trabajo de campo recopiladas por los profesores como coinvestigadores que participaron en la investigación naturalista, estudiando escenarios del mundo real de manera inductiva para generar descripciones narrativas ricas y construir estudios de casos (Cohen et al., 2018). Las grabaciones de estas observaciones se compartieron posteriormente con el equipo de investigación para validar y formar conclusiones fiables. Los principales métodos de recopilar datos fueron: observaciones de los participantes (por parte del director y el coordinador de comunicación del colegio), encuestas (de los padres y profesores) y entrevistas semiestructuradas con el coordinador de comunicación que era responsable de registrar y tomar parte en las observaciones de los participantes. Los mapas de calor producidos durante las observaciones de los participantes se utilizaron como parte del análisis. Consulte las Figuras 5 y 6 para ver ejemplos de mapas de calor generados. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 298 Figura 5 Figura 6 Ejemplos de mapa de calor (I) Ejemplo de mapa de color (II) Las observaciones de los participantes se llevaron a cabo en una sala familiar para los estudiantes. Durante las observaciones, se utilizaron dos cámaras: una fue el dispositivo Eye-Gaze para rastrear el movimiento de los ojos del estudiante y la segunda fue utilizada por los coinvestigadores del maestro para registrar las sesiones de enseñanza de las respuestas físicas del estudiante al interactuar con el dispositivo EGTT y las actividades docentes en la pantalladel ordenador . En promedio, se completaron cinco sesiones de observación con cada alumno participante variando en el tiempo debido a diferentes necesidades (el tiempo medio es de 20 minutos). Se enviaron encuestas a los padres / cuidadores y maestros de aula para que las completaran sobre los gustos / disgustos del estudiante y los temas que les interesaban antes del inicio de las sesiones. La encuesta planteaba preguntas sobre la capacidad de los estudiantes para reconocer imágenes de sí mismos; de sus padres, maestros; lo que los estudiantes disfrutaron viendo; las habilidades de los estudiantes para reconocer dibujos, símbolos de colores, objetos reales y si eran capaces de seguir objetos en movimiento en la pantalla. Después de la recolección de datos de los estudiantes, un investigador universitario realizó una entrevista con el coordinador de comunicación. Además de realizar ella misma las sesiones Eye-Gaze, la coordinadora de comunicación también ha participado en el análisis de los datos de cada alumno junto con los investigadores de la universidad. Por lo tanto, una entrevista con el coordinador de comunicación proporcionó más detalles sobre cómo se produjo el proceso de realización de la investigación con la tecnología y los estudiantes y qué cambios se realizaron para adaptarse a las necesidades de los estudiantes a lo largo de las sesiones de enseñanza. Porter et al., (2001) enfatiza la importancia de trabajar con aquellos que son parte de la vida del individuo y son capaces de ofrecer perspectivas alternativas para formar una imagen confiable. Esto puede incluir personal, familia, padres, médicos y profesionales. Pearlson y Micheals (2019) también apoyan esta sugerencia de validez como importante al analizar / interpretar la voz de las personas con PMLD. Sugieren que, aunque las personas directamente involucradas pueden tener un vínculo emocional, por lo tanto, carecen de objetividad, sin embargo, los investigadores también pueden correr el riesgo de interpretar mal los datos. Por lo tanto, el trabajo conjunto del profesional, los padres y el personal es clave (Winter & Bunn 2019; Porter et al., 2001). 3.1 Consideración ética: Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 299 La confidencialidad, el consentimiento de los padres y el anonimato se mantuvieron durante todo el proceso siguiendo las pautas de BERA (2018). Para proteger los datos y seguir la política de la escuela, no se compartieron datos de videos por correo electrónico para su análisis, lo que resultó en que el análisis se completara dentro de las instalaciones de la escuela. 4. Análisis y resultados Esta sección presenta los temas clave generados a partir del análisis de datos. 4.1 Observación humana vs tecnología El objetivo de esta investigación fue realizar una forma de evaluación más precisa con los estudiantes de PMLD que los profesores encontraron difíciles de evaluar por los medios tradicionales. Los estudiantes con dificultades físicas y de aprendizaje complejas y múltiples pueden ser un desafío para observar y formar juicios sobre sus habilidades e intereses (Weston & Ware 2018). Los juicios de los maestros y las preferencias de los estudiantes sobre el aprendizaje se recopilaron y utilizaron junto con los datos de la tecnología de seguimiento ocular para confirmar la información de la evaluación de estos estudiantes y obtener información adicional para la enseñanza futura. Se encontró que algunas observaciones y juicios humanos (docentes) sobre los estudiantes no eran precisos y el error humano puede inducir a error a los docentes sobre si sus estudiantes participaron en el aprendizaje y si entendieron un concepto en particular. Hogg (2017) identifica esto como un desafío para la confiabilidad y precisión de la evaluación que depende del juicio del profesional. Esto fue evidente en varias ocasiones: por ejemplo, al evaluar la comprensión de un estudiante del concepto de lleno / vacío. La observación del estudiante B de su video de línea de base mostró que al estudiante se le presentaba una taza vacía y una taza llena y luego se le pedía que seleccionara cuál está llena. Sin embargo, el estudiante B elige ambas opciones. La observación de esto mostró que no comprende el concepto de lleno / vacío. Sin embargo, los datos de sus mapas de calor muestran claramente que el estudiante B comprende cuáles vasos están llenos, como pudo demostrar a partir de los datos de su ojomirada (ver Figura 3). Sin el uso de la tecnología, este juicio sobre la comprensión del estudiante no habría sido tan preciso. Este fue un hallazgo significativo que justificó el uso de EGTT y el objetivo de la investigación para evaluar su uso por parte de los profesores. Esto demostró cómo se utilizó la tecnología para desarrollar evaluaciones más precisas de las habilidades de los estudiantes. De manera similar, el estudiante C parecía muy involucrado en algunas actividades, pero los mapas de calor mostraban lo contrario. Se encontró que la estudiante C se distrajo con su reflejo en la pantalla (la pantalla tenía un fondo negro que era reflectante) mientras que en sus observaciones en el aula, puede parecer que está completamente comprometida y concentrada en la pantalla. La tecnología Eye Gaze con el dispositivo de seguimiento ocular y mapas de calor ofreció una forma diferente de evaluar el interés , la comprensión cognitiva y los motivadores de estos estudiantes. Por ejemplo, un estudiante Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 300 siempre estaba motivado para mirar objetos de comida en la pantalla, sin prestar atención a otros objetos, incluso cuando los profesores se lo pedían. El proceso de evaluación incluyó dibujos animados, imágenes en color y en blanco y negro, todas las cuales atrajeron poco o ningún interés, mientras que todos los estudiantes respondieron de alguna manera a las imágenes reales. Los profesores descubrieron que la comprensión de las imágenes por parte de los estudiantes se basa en el uso de objetos reales, mientras que las imágenes de dibujos animados pueden confundirlos. Esto también destaca la necesidad de que tanto los padres como los maestros lleven a cabo observaciones en profundidad para garantizar que el contenido y las imágenes que se presentan al niño sean familiares para lo que ven a su alrededor. Esto ayudará los estudiantes a comprender los objetos e imágenes que ven en el día a día y evitará confundirlos con imágenes de dibujos animados. Borgestig (2016) habla de adaptar la intervención para dar soporte a las necesidades complejas. Esto puede incluir tanto el contenido como los plazos. Borgestig también adaptó estos cambios a su investigación después de una discusión con profesionales que se considera parte importante del proceso. 4.2 Imágenes visuales Con respecto a las imágenes visuales y los dibujos animados, los datos de Eye Gaze demostraron que los estudiantes de SEND no se sintieron necesariamente atraídos por estas imágenes. Los mapas de calor de los estudiantes C, A y D muestran un interés mínimo o nulo en ellos. Aunque los estudiantes D y B muestran algo de atención visual a estos, no se enfocaron en los dibujos animados (de animales) en la pantalla, sino que mostraron que estaban mirando a su alrededor. Este fue un hallazgo interesante ya que los maestros esperaban que los estudiantes disfrutaran de videos e imágenes de dibujos animados mientras veían dibujos animados en casa en la televisión, como informaron sus padres en la recopilación de datos de la encuesta. Esto también se indicó en algunas encuestas en las que los padres afirmaron que "Tom y Jerry" y CBeebies eran cosas que los estudiantes disfrutaban viendo. Sin embargo, los datos de la mirada revelan una falta de interés con los dibujos animados y, en cambio, un interés entusiasta o preferido en las imágenes de objetos reales. La preferencia de los estudiantes por el uso de imágenes reales de objetos (animales, equipo y comida) fue un elemento que se encontró con todos los estudiantes y este es un hallazgo importante. 4.3 Aprendizaje personalizado Este tema surgió a medida que avanzaban las sesiones de observación. Las sesiones comenzaron con el uso de las actividades de "Mirar para aprender", pero a medida que avanzaban, resultaban demasiado complejo para algunos estudiantes. Por ejemplo, varios objetos que se mueven en la pantalla al mismo tiempo. Por lo tanto, el coordinador de comunicación creó materiales más personalizados para cada alumno. Por ejemplo, a partir de las encuestas y los videos se descubrió que el estudiante D estaba fascinado con los Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 301 relojes, por lo que se crearon actividades basadas en relojes. Las actividades se diferenciaron según las necesidades y habilidades de cada alumno: algunas mostraban objetos grandes / pequeños, otras solo objetos de colores. El segundo hallazgo fue que los materiales utilizados con estudiantes con necesidades complejas y múltiples deben personalizarse de acuerdo con sus necesidades y habilidades. Aunque los programas de software están diseñados para ayudar a los estudiantes, es importante destacar aquí que las escuelas deben identificar el nivel de comprensión de los estudiantes. Cuando algunos estudiantes, como los de esta investigación, tienen graves dificultades físicas y de aprendizaje, se halló que crear actividades personalizadas era más beneficioso ya que los intereses y gustos de los estudiantes podían integrarse en las actividades. Esto también se indicó en Najafi et al. (2008) estudios de caso en los que se resultaron que la personalización del software / dispositivos es un factor clave para la interacción. 4.4 Fondos desordenados y ocupados El programa informático "Look-to-Learn" proporcionó una variedad de actividades e imágenes para que los estudiantes trabajaran. Sin embargo, se descubrió que la mayoría de las imágenes eran demasiado complicadas y estaban abarrotadas de fondos ocupados y demasiados objetos en movimiento, lo que causaba confusión para la mayoría de los estudiantes y era una distracción. El maestro pidió a los estudiantes que encontraran la bicicleta, que se movería al mirarlo. Sin embargo, se notó que los estudiantes miraron por toda la pantalla, con el resultado de que múltiples objetos se movieran. Con movimientos repentinos de objetos en pantalla e imágenes de fondo ocupadas, la actividad y el sonido causaron confusión a los estudiantes. Como resultado, la coordinadora de comunicación decidió utilizar imágenes sin la función de "causa y efecto" y creó sus propios materiales para evitar la distracción causada por los fondos ocupados. Las imágenes que tenían fondos ocupados, como el parque, o la casa con muchos objetos, fueron interrogadas, para ver en qué se enfocaban los estudiantes. Se encontró que aquellos estudiantes que estaban interesados en rostros y bocas (estudiante C, A y B) miraban rostros en algunas imágenes, pero estaban distraídos por el desorden alrededor de la gente en imágenes de fondo ocupadas. Por lo tanto, un tercer hallazgo es que las imágenes que se utilizan en la pantalla para las actividades deben ser sencillas para los estudiantes del PMLD. Se observó que todos los estudiantes tenían un mejor enfoque y pudieron proporcionar más información sobre cómo procesan la información visual en imágenes simples y sin desorden. Pudieron mantener la mirada y enfocarse en imágenes con un fondo en diferentes colores, pero no en imágenes con mucho desorden (como equipos, comida, estantes, armarios, etc.). Este conocimiento sobre cómo procesan las imágenes se puede utilizar como una estrategia de enseñanza para el estudiante B, A y especialmente el estudiante C, que mostró un gran interés en los rostros y las personas. Un cuarto hallazgo es que, como estrategia de enseñanza, los maestros podrían mantener despejado el espacio alrededor de la pizarra interactiva para alentar a los estudiantes a concentrarse en la pantalla. Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 302 No debe haber ninguna distracción con carteles, pegatinas o exhibiciones alrededor de la pizarra, lo que ayuda a retener la atención de los estudiantes. Los profesores pueden utilizar esta información para evitar el desorden alrededor de las pantallas o la presentación de demasiados objetos durante las actividades. 4.5 Fortaleza de la voz del estudiante Es importante destacar que los profesores desplegaron estrategias para fortalecer la voz de los estudiantes: las encuestas enviadas a casa antes de que comenzara la investigación-acción; los mapas de calor y trazado de Eye Gaze; y las notas de campo complementarias tomadas por el profesor observador (director y coordinador de comunicación), seguidas por el análisis de los datos por parte del equipo de investigación. Esto permitió integrar múltiples conjuntos de datos para identificar las preferencias de los estudiantes. Además, esta triangulación de datos proporcionó una base de evidencia más sólida para informar los juicios de los maestros. Un quinto hallazgo es que la combinación de técnicas mencionadas mejoró significativamente la confianza de los maestros en su evaluación de los niveles de desempeño de los estudiantes. 5. Discusión El objetivo de esta investigación fue realizar una forma de evaluación más precisa con los estudiantes de PMLD que a los profesores les resultaban difíciles de evaluar por los medios tradicionales. Se notó que algunas observaciones y juicios de los maestros sobre los estudiantes no eran precisos y pueden inducir a error a los maestros sobre si sus estudiantes entendieron un concepto específico. Sin el uso de la tecnología, los juicios encontrados sobre la comprensión del estudiante no habrían sido tan precisos. Este fue un hallazgo significativo que justificó el uso de EGTT y el objetivo de la investigación para evaluar su uso. Aunque algunos son hallazgos menores, pequeños cambios en el desempeño pueden ser significativos para los estudiantes con una comunicación y un vocabulario limitados (Verssoyan et al., 2018). Las observaciones y opiniones sobre la evaluación de los estudiantes pueden ser subjetivas y carecen de la objetividad necesaria para informar los próximos pasos para la progresión de los estudiantes (Renshaw et al., 2012). Por lo tanto, el uso de EGTT puede proporcionar otra fuente independiente de datos que los profesores pueden utilizar junto con otras formas de evaluación para lograr una mayor precisión. Las escuelas que deseen investir en esta tecnología para los estudiantes SEND pueden comprar el dispositivo Eye Gaze (caja de seguimiento y pantalla) y desarrollar sus propios materiales, dando a la evaluación un elemento personalizado, con el que los estudiantes pueden participar más. Las imágenes y los videos deben mantenerse simples y, a medida que avanzan las sesiones de Eye Gaze, la dificultad de las actividades también se puede aumentar si necesario. Se considera que la creación de nuevos contenidos / actividades es beneficiosa si el personal seleccionado puede reservar tiempo para garantizar que la tecnología se use de manera efectiva (Holmqvist et al., 2017) y puede alentar a las escuelas a diseñar sus enfoques individuales (Glazzaed et al., 2019)). Esto es Pixel-Bit. Revista de Medios y Educación, 62, 269-308 |2021| https://doi.org/10.12795/pixelbit.88106 PÁGINA | 303 esencial cuando se implementa tecnología para estudiantes con PMLD, ya que requiere satisfacer sus necesidades individuales y las pautas curriculares (DfE, 2015), por lo que el aprendizaje personalizado es un aspecto vital. Investigaciones anteriores han hecho hincapié en el uso de la personalización y la adaptación de contenidos (Borgestig, 2016). Esta investigación también muestra esto, además de mantener el contenido simple para que coincida con las necesidades / nivel de aprendizaje de los estudiantes en las etapas iniciales. Esto también ayudará a los maestros de SEND a adaptar sus estrategias de enseñanza en el aula. Además, para que se pueda crear dicho contenido, es fundamental que las escuelas trabajen en colaboración con otros profesionales y padres / cuidadores. Investigaciones anteriores han reconocido la importancia de involucrar a quienes estén más cercano al estudiante para recopilar datos de referencia iniciales, diseñar el contenido y al interpretar los datos (Porter et al., 2001). Del mismo modo, Holmqvist et al. (2017) subrayaron la importancia de colaborar con los más cercanos a los estudiantes para brindar contenidos estimulantes para que la tecnología sea útil y efectiva. Los investigadores de este proyecto no eran conocidos por los estudiantes, por lo que trabajar con el personal de la escuela como coinvestigador fue esencial para mantener el ambiente naturalista y ofrecer perspectivas alternativas durante el proceso de análisis de datos (Martella & Nelson, 2013). A través de esta investigación, Eye Gaze permitió a los maestros evaluar su participación a través de los movimientos oculares de los estudiantes utilizando una variedad de materiales visuales para involucrarlos. Mencap (2018) destaca los desafíos y la complejidad de esta área al señalar que los estudiantes de SEND experimentan problemas para expresarse. Este fue un desafío para los maestros coinvestigadores, pero con las técnicas apropiadas, pudieron darles voz a estos estudiantes usando Eye Gaze para formar una imagen precisa de la comprensión de los estudiantes. Las políticas del gobierno escolar también reflejan esto, destacando la importancia y el derecho de todos los niños a expresarse y tener voz (DfE, 2015). Los estudiantes que fueron seleccionados tenían múltiples dificultades de aprendizaje y, como resultado, la escuela tenía poca información sobre su comprensión de las imágenes y cómo procesan el entorno que los rodea. La muestra fue pequeña y, por lo tanto, no se puede generalizar, pero los cuatro estudiantes han proporcionado datos valiosos y significativos que indican que se puede lograr una evaluación más precisa sobre los estudiantes con graves dificultades de aprendizaje. Algunos de los datos confirmaron los juicios de padres y maestros. Pero, además, los profesores descubrieron que la evaluación Eye Gaze revelaba información sobre el alumno que el profesor no podía lograr con la simple observación. 6. Conclusiones Los profesores estaban conscientes de que la evaluación de los estudiantes de PMLD es un desafío debido a las barreras de comunicación. Este proyecto de investigación desarrolló una investigación colaborativa, que fue diseñada por los profesores SEND como coinvestigadores, trabajando junto con investigadores universitarios, ya que los profesores se habían dado cuenta de que EGTT, que ya estaban utilizando como ayuda de comunicación, también tenía potencial para mejorar los ejercicios de evaluación. La investigación también puede guiar a las escuelas en la toma de decisiones de compra con respecto a la adquisición de tecnología, que puede ser costosa. Además de la orientación