Un instrumento de preguntas abiertas para la revisión de la docencia universitaria

Revista Fuentes I.S.S.N.: 1575-7072 e-I.S.S.N.: 2172-7775 2016, 19(1), 57-71 http://dx.doi.org/10.12795/revistafuentes. 2017.19.1.03 Dirección de correspondencia: Antonio Aguilera Jiménez, Departamento de Psicología Evolutiva y de la Educación de la Universidad de Sevilla. C/ Camilo José Cela, s/n. 41018. Sevilla. e-mail: [email protected]. ORCID: 0000-0001-5329-4872 © 2017 Editorial Universidad de Sevilla Un instrumento de preguntas abiertas para la revisión de la docencia universitaria An instrument of open questions for the review of university teaching Antonio Aguilera Jiménez Universidad de Sevilla Recibido: 27/04/2017 Aceptado: 19/06/2017 ABSTRACT After an initial reflection on the agents, objectives, information sources and procedures that can be used in evaluating the quality of teaching, the aim of this article is to present a tool for reviewing university education with a clear educational function. It is an open-ended questionnaire addressed to students that can be used by the teachers themselves to review and improve the planning and development of their teaching structure and mode of filling as well as how to code the responses is presented obtained, as supplemented by other data and finally the use that can be made of them. All this exemplified results of its application in a particular subject of the degree of Master of Primary Education. It ends with some conclusions and proposals for new research should be developed. KEY WORDS: university teaching, quality of teaching, teaching evaluation, formative assessment, student opinion RESUMEN Tras una reflexión inicial acerca de los agentes, finalidades, fuentes de información y procedimientos que pueden emplearse en la evaluación de la calidad de la docencia, el objetivo de este artículo es presentar un instrumento de revisión de la docencia universitaria con una clara función formativa. Se trata de un cuestionario de preguntas abiertas dirigido a los estudiantes, que pueda ser utilizado por el propio profesorado para revisar y mejorar la planificación y el desarrollo de su actividad docente Se presenta su estructura y modo de cumplimentación así como la manera de codificar las respuestas obtenidas, cómo se complementa con otros datos y, finalmente el uso que puede hacerse de ellas. Todo ello ejemplificado con resultados de su aplicación en una materia concreta de la titulación de Maestro de Educación Primaria. Se termina con algunas conclusiones y con la propuesta de nuevas investigaciones que deberían ser desarrolladas. PALABRAS CLAVE: docencia universitaria, calidad de la docencia, evaluación de la docencia, evaluación formativa, opinión del alumnado Antonio Aguilera Jiménez Revista Fuentes 2017, 19(1), 57-71 58 1. Introducción La evaluación tanto del profesorado como de la docencia puede plantearse con dos objetivos diferentes: a) la valoración del profesorado a efectos de reconocimiento en forma de quinquenios de docencia, premios a la excelencia docente u otros fines similares relacionados con la “rendición de cuentas”, y b) obtener datos para la revisión de la docencia impartida y la mejora de la que se impartirá en cursos siguientes. En el primer caso hablaríamos de una evaluación sumativa dirigida a la “comprensión de la calidad del evaluado” (Stake, Contreras y Arbesú, 2011, p. 3) y en el segundo de una evaluación formativa, o más propiamente, de una revisión de la docencia y/o del profesorado dirigida a la “comprensión del evaluado como alguien que se está desarrollando, cambiando, reorganizando [su docencia] para un nuevo uso” (Stake y col., 2011, p.3). Por otra parte, si atendemos a quién realiza la evaluación, hemos de distinguir entre: a) una evaluación institucional, que es la realizada por diversas instancias de la universidad, centro, titulación o departamento distintas al docente como, por ejemplo, unidades de evaluación, comisiones de garantía de calidad, servicios de inspección y otras, y b) la revisión realizada por el propio profesorado (individualmente o en el equipo docente) que imparte la docencia de una materia concreta. Un tercer elemento a considerar es la diversidad de fuentes de información consideradas y de procedimientos para acceder a ellas. Entre las primeras se pueden citar a los propios estudiantes o estudiantes ya egresados, la evaluación de los propios colegas, la autoevaluación del profesor o la evaluación por expertos (Carrascosa, 2005). En cuanto a los procedimientos, se señalan la observación directa o en videograbaciones, los resultados académicos de los estudiantes en pruebas de rendimiento (como medida de la competencia del profesor), comentarios escritos o verbales obtenidos mediante entrevistas individuales y/o debates en grupo en clase, tests, cuestionarios o escalas diversas, entre otros (Escudero, 1993). Son numerosas las aportaciones que se centran en comparar las ventajas e inconvenientes de las fuentes anteriormente citadas (Mateo, 2000). Carrascosa (2005) señala que las entrevistas en grupo en las que el evaluador pregunta a los estudiantes sobre aspectos diferentes del profesor, permiten obtener información muy valiosa sobre aspectos relacionados con los conocimientos, estilo de enseñanza, carácter de los exámenes, grado de organización de las exposiciones, etc.; sin embargo este medio presenta como principal desventaja el elevado coste económico y temporal. Por otra parte, Tejedor (1985) señala que las cuestiones abiertas y los comentarios escritos sobre los profesores son otra vía de obtención de información relevante, aunque difícil de codificar además de presentar problemas para su análisis posterior. En cualquier caso, a pesar de que se defiende la diversificación y complementación de procedimientos y fuentes, la evaluación del profesorado por parte de sus estudiantes parece ser la fuente de información más utilizada en todo el mundo y, en muchas ocasiones, la única que se emplea de manera sistemática (Carrascosa, 2005; Escudero, 1999), y el cuestionario o las encuestas de opinión en el que el alumno valora algunos aspectos relacionados con la docencia (bien en papel bien a través de la Web) es el procedimiento más frecuente, difundido y aceptado en el panorama internacional (Carrascosa, 2005). Los estudios sobre la calidad docente y del profesorado a partir de la opinión de los estudiantes no es algo reciente sino que tienen su origen a finales del siglo XIX. Desde entonces su uso ha ido creciendo en todas las universidades del mundo generando multitud de estudios en América, Australia, Asia, Europa y África (Molero y Carrascosa, 2005). Como consecuencia, no es de extrañar que sea también el procedimiento que tiene tras de sí más estudios, más análisis científicos y más soporte metodológico y de resultados contratados (Escudero, 1999). Eso no significa que no tenga limitaciones, en particular cuando se usan en el marco de las que hemos llamado evaluaciones institucionales con finalidad sumativa, limitaciones entre las que Escudero (1999, pp. 82-83) destaca que: • La perspectiva del alumno es fundamentalmente la perspectiva del cliente que reclama calidad en el servicio y señala lo que le satisface y lo que no le satisface, y no la perspectiva del inspector o la del responsable académico. Por tanto, las encuestas a los estudiantes no Itinerarios formativos del profesorado de Música: sus percepciones sobre el valor didáctico de las TIC Revista Fuentes 2017, 19(1), 57-71 59 son el mejor procedimiento de control fiscalizador del grado de “cumplimiento del profesorado” • Los resultados de las encuestas institucionales no traen consecuencias y se terminan convirtiendo en algo rutinario de modo que los estudiantes acaban por no participar en estas evaluaciones. • Los alumnos suelen ser más indulgentes si conocen el valor sumativo de sus juicios sobre la estabilidad y promoción del profesorado. • Los cursos de perfeccionamiento dirigidos al profesorado no son seguidos por quienes tienen más problemas en el aula sino que suelen ser los docentes mejor valorados quienes más uso hacen de ellos. El mejoramiento continuo de la calidad docente es un desafío para todas las instituciones de educación superior, también en nuestro país y, en consecuencia, en todas las universidades españolas se están generalizando procedimientos de evaluación de la docencia en los que la opinión de los estudiantes ocupa un lugar destacado (ver, por ejemplo, Molero y Carrascosa, 2005; Muñoz, Ríos, Espiñeira y Rebollo, 2010). En España la evaluación de la docencia mediante instrumentos cumplimentados por estudiantes comienza en los años ochenta del siglo pasado, sigue teniendo vigencia en los años noventa y acaban difundiéndose con la aprobación del primer y segundo Plan Nacional de Evaluación de la Calidad de las Universidades Españolas de 1995 y 2001 respectivamente. Igualmente, en los últimos años han seguido publicándose estudios en nuestro país sobre evaluaciones de la docencia en diversas universidades, sobre características psicométricas de los instrumentos utilizados o sobre los modelos de evaluación que se emplean, así como numerosas revisiones de la literatura sobre este tema (p.e. Ramírez y Montoya, 2014). La casi totalidad de los estudios sobre evaluación de la docencia en las universidades españolas hacen referencia a lo que anteriormente hemos llamado “evaluación institucional”, en gran parte porque es casi la única que se realiza y, por otra, porque quizá las evaluaciones de los propios docentes permanezcan en el entorno de lo privado. Es cierto que un elemento de la planificación docente cuando se elabora el programa de una materia es la decisión acerca de los procedimientos e instrumentos de evaluación de los estudiantes, sin embargo es menos habitual que el profesorado anticipe los modos en que va a evaluar el desarrollo del curso y la percepción que tiene el alumnado acerca de la docencia impartida con el fin de mejorarla durante el curso siguiente. Frecuentemente, esta labor se deja en manos de otras instancias como pueden ser unidades de calidad de las propias universidades, facultades, titulaciones o departamentos que, entre otras cosas evalúan la docencia impartida en ellas. En segundo lugar, el desarrollo del marco legal que regula la evaluación del profesorado en nuestro contexto ha favorecido el enfoque sumativo orientado a la rendición de cuentas en detrimento del enfoque formativo orientado a la mejora de la docencia. La propia historia del desarrollo de procesos de evaluación de la calidad de la docencia, incluso cuando se apoya en la opinión de los estudiantes, y su vinculación reciente a procesos de evaluación de las titulaciones y universidades, ha hecho que tales evaluaciones se dirigieran principalmente a obtener información con propósitos de acreditación, promoción, traslado y juicio de méritos o aumento del salario del profesorado y solo secundariamente al desarrollo profesional del docente o a la mejora de la enseñanza impartida. En todo caso, se trata de una evaluación institucional tendente a conocer el estado general de la docencia en toda la universidad y arbitrar políticas al respecto por los órganos de gobierno de titulaciones, facultades y universidades y no tanto una evaluación realizada para que el profesor tenga retroalimentación precisa por parte de sus estudiantes a fin de mejorar la planificación y el desarrollo de su docencia (ver tabla 1). Prueba de ello es que los instrumentos utilizados en la mayoría de las universidades suele ser una escala de tipo Likert (la misma para todas las facultades, titulaciones y asignaturas) con un conjunto variable, aunque limitado de ítems, entre 7 y 34 en el estudio de Muñoz y col. (2010) en el que analiza los instrumentos utilizados en treinta y cuatro universidades españolas, a los que cada Antonio Aguilera Jiménez Revista Fuentes 2017, 19(1), 57-71 60 estudiante debe responder manifestando su grado de acuerdo o desacuerdo con lo que cada ítem afirma y que, en muchas ocasiones, no informan de la calidad de la docencia sino del grado de satisfacción del estudiante-cliente con ella (Muñoz y col., 2010). Este modo de proceder, indudablemente, tiene ventajas pero también limitaciones. Molero y Carrascosa (2005), tras revisar los cuestionarios empleados por dieciocho universidades españolas, afirman que: Con los resultados de los cuestionarios podemos conocer el grado en que el profesorado interactúa con el alumnado, la valoración de la metodología, el nivel de cumplimiento de las obligaciones docentes, si se emplean medios y recursos en las clases, etc. Pero es preciso recoger información sobre qué estrategias, procedimientos, técnicas o actividades emplea el docente (p. 78). A lo que podríamos añadir, que también se necesita conocer la valoración que los estudiantes hacen de tales estrategias, procedimientos, técnicas o actividades concretas y específicas del docente y de la materia que están evaluando si se quiere responder a otra de las consideraciones de los autores citadas, que “el profesorado debe asumir la utilidad formativa de estas evaluaciones para mejorar los procesos de orientación y desarrollo profesional del alumnado” (Molero y Carrascosa, 2005, p. 78). Tabla 1 Agentes y funciones de la evaluación en las universidades Dimensión institucional no implica necesariamente enfoque sumativo. También puede incluir un enfoque formativo; sin embargo, incluso cuando los cuestionarios institucionales se utilizan con esta finalidad formativa, la información que aportan, por ser general y común a todos los docentes y materias de todas las titulaciones, permite más la comparación entre docentes que la mejora de la docencia en una materia concreta. ¿Puede un mismo cuestionario aportar información relevante para la revisión y mejora de la docencia en todas las materias de todas las titulaciones de una universidad? ¿Son los mismos los criterios acerca de lo que es una docencia de calidad en el caso de un docente o un estudiante de ingeniería que en otros de ciencias sociales? A juzgar por lo ! 4! ! Evaluación de la docencia según la agencia evaluadora Institucional Personal Evaluación de la docencia según la función que desempeña Sumativa • Verificación y acreditación de titulaciones (ANECA) • Acreditación nacional del profesorado (Programa VERIFICA) • Evaluación de universidades y el profesorado (Programa DOCENTIA) • Supervisión de la calidad de las instituciones (Programa AUDIT) • Quinquenios • Selección • Certificación de docentes, títulos • Informes personales de autoevaluación a los instrumentos institucionales propuestos. Formativa • Planes de mejora institucionales • Planes de formación del profesorado • Sistemas de garantía de calidad • Planes estratégicos de mejora de la calidad de la docencia. • Mejora de la planificación y desarrollo de una materia concreta con el fin de mejorar la formación de los estudiantes (en todas sus dimensiones) • Identificar cada docente en qué necesita mejorar y para qué necesita formación Dimensión institucional no implica necesariamente enfoque sumativo. También puede incluir un enfoque formativo; sin embargo, incluso cuando los cuestionarios institucionales se utilizan con esta finalidad formativa, la información que aportan, por ser general y común a todos los docentes y materias de todas las titulaciones, permite más la comparación entre docentes que la mejora de la docencia en una materia concreta. ¿Puede un mismo cuestionario aportar información relevante para la revisión y mejora de la docencia en todas las materias de todas las titulaciones de una universidad? ¿Son los mismos los criterios acerca de lo que es una docencia de calidad en el caso de un docente o un estudiante de ingeniería que en otros de ciencias sociales? A juzgar por lo que dicen los estudiantes del Máster Universitario en Profesorado de Educación Secundaria Obligatoria y Bachillerato, Formación Profesional y Enseñanza de Idiomas (p.e. Cachón, López, Romero, Zagalaz y González, 2015; Pontes, Serrano y Poyato, 2013) parece ser que la respuesta es negativa. La valoración de la docencia y del docente, por tanto, no puede hacerse sin tener en cuenta los significados y la cultura del contexto especifico de cada facultad (Salazar, 2006). Tanto más en tanto que no hay consenso acerca de lo que es un buen profesor (Ramírez y Montoya, 2014; Tejedor, 2009) y “que no existe un método de enseñanza universitaria ideal, que se ajuste a todo tipo de alumnos y objetivos educativos, y que la eficacia docente depende fundamentalmente de la capacidad del profesor para tomar decisiones y ajustar su enseñanza a las circunstancias y contexto en que se desarrolla” (Tejedor, 2009, p. 88). Es cierto que la información así recogida puede servir a las autoridades académicas para tomar decisiones acerca de planes de mejora globales a titulaciones, centros o incluso para la universidad en su conjunto, pero aún así cometerían un error si para ello utilizaran los cuestionarios a los estudiantes como única fuente de información (Carrascosa, 2005). Cuando el objetivo es aportar información al docente para mejorar la planificación y desarrollo de su enseñanza, se precisa información más concreta y contextualizada en su materia de lo que perciben los estudiantes y que puede ser valorada desde la perspectiva del docente que conoce aspectos a los que el estudiante no tiene acceso como son los que se refieren a las tareas que realiza fuera del aula o los resultados académicos globales del conjunto del alumnado. En definitiva, coincidimos con Tejedor (2009) cuando señala que la evaluación del desempeño docente: a) es un proceso que debe orientarse a la estimación del nivel de calidad de la enseñanza a fin de contribuir progresivamente a su mejora; b) pretende informar al profesor para ayudarle a cambiar; c) ha de tener una utilidad efectiva del conjunto del proceso como recurso de promoción y perfeccionamiento docente; y d) debe permitir investigar sobre el proceso de enseñanza-aprendizaje. Desde estas premisas, la conclusión no puede ser otra sino que “en modo alguno los programas de evaluación institucional pueden considerarse como prácticas de evaluación de profesores, sobre todo por la referencia conjunta y no personalizada de la tarea desarrollada por los profesores de la titulación evaluada”. (Tejedor, 2009, p. 84). Itinerarios formativos del profesorado de Música: sus percepciones sobre el valor didáctico de las TIC Revista Fuentes 2017, 19(1), 57-71 61 que dicen los estudiantes del Máster Universitario en Profesorado de Educación Secundaria Obligatoria y Bachillerato, Formación Profesional y Enseñanza de Idiomas (p.e. Cachón, López, Romero, Zagalaz y González, 2015; Pontes, Serrano y Poyato, 2013) parece ser que la respuesta es negativa. La valoración de la docencia y del docente, por tanto, no puede hacerse sin tener en cuenta los significados y la cultura del contexto especifico de cada facultad (Salazar, 2006). Tanto más en tanto que no hay consenso acerca de lo que es un buen profesor (Ramírez y Montoya, 2014; Tejedor, 2009) y “que no existe un método de enseñanza universitaria ideal, que se ajuste a todo tipo de alumnos y objetivos educativos, y que la eficacia docente depende fundamentalmente de la capacidad del profesor para tomar decisiones y ajustar su enseñanza a las circunstancias y contexto en que se desarrolla” (Tejedor, 2009, p. 88). Es cierto que la información así recogida puede servir a las autoridades académicas para tomar decisiones acerca de planes de mejora globales a titulaciones, centros o incluso para la universidad en su conjunto, pero aún así cometerían un error si para ello utilizaran los cuestionarios a los estudiantes como única fuente de información (Carrascosa, 2005). Cuando el objetivo es aportar información al docente para mejorar la planificación y desarrollo de su enseñanza, se precisa información más concreta y contextualizada en su materia de lo que perciben los estudiantes y que puede ser valorada desde la perspectiva del docente que conoce aspectos a los que el estudiante no tiene acceso como son los que se refieren a las tareas que realiza fuera del aula o los resultados académicos globales del conjunto del alumnado. En definitiva, coincidimos con Tejedor (2009) cuando señala que la evaluación del desempeño docente: a) es un proceso que debe orientarse a la estimación del nivel de calidad de la enseñanza a fin de contribuir progresivamente a su mejora; b) pretende informar al profesor para ayudarle a cambiar; c) ha de tener una utilidad efectiva del conjunto del proceso como recurso de promoción y perfeccionamiento docente; y d) debe permitir investigar sobre el proceso de enseñanza-aprendizaje. Desde estas premisas, la conclusión no puede ser otra sino que “en modo alguno los programas de evaluación institucional pueden considerarse como prácticas de evaluación de profesores, sobre todo por la referencia conjunta y no personalizada de la tarea desarrollada por los profesores de la titulación evaluada”. (Tejedor, 2009, p. 84). En resumen, podemos afirmar que la mayoría de las evaluaciones que tienen un carácter institucional, tienen una función principalmente sumativa y que los procedimientos con un mayor valor formativo son los que se hacen desde el mismo profesorado y en referencia a las materias concretas que imparten. En cualquier caso, consideramos que ambos enfoques no tienen por qué ser excluyentes, sino que hay que buscar la complementariedad destacando la necesidad e importancia de la evaluación formativa del profesorado y procurando la necesaria armonía entre el desarrollo institucional y el individual. De aquí se desprende la necesidad de recurrir a fuentes de información variadas (Carrascosa, 2005). Por tanto, aunque nuestra propuesta es un procedimiento de evaluación formativa puesto en marcha por el profesorado, no debe considerarse como una alternativa sino un complemento a los cuestionarios de las evaluaciones institucionales. Estos pueden ser útiles cuando se inician procesos institucionales de evaluación (Carrascosa, 2005) pero debe llegar un momento en que cada docente incluya en la planificación de su materia procesos más individualizados y contextualizados de evaluación. Además de ofrecerles información de más calidad para iniciar procesos de mejora, permite poner en común dicha información con otro profesorado que imparta docencia al mismo grupo de estudiantes incluso a la misma titulación de manera que los planes de mejora surjan y se desarrollen de abajo hacia arriba y no desde las autoridades académicas hacia el profesorado. El objetivo de este trabajo es presentar un instrumento de evaluación de la docencia universitaria por parte de los estudiantes y dirigido a la revisión y mejora de la docencia impartida, así como ejemplificar sus ventajas e inconvenientes tras su uso en una materia concreta. De acuerdo con Felten (2013) la concepción de calidad de la docencia que subyace a esta propuesta es aquella que, por una parte la entiende como una docencia que es efectiva en la medida en que produce aprendizaje, y por otra promueve ciertos climas de aula activos, participativos y dialógicos (Aubert, Antonio Aguilera Jiménez Revista Fuentes 2017, 19(1), 57-71 62 Flecha, García, Flecha, y Racionero, 2008) que elicitan en los estudiantes procesos de pensamiento que les permitan llegar al logro de sus propósitos. Es decir, al hablar de “calidad de la docencia” nos estamos refiriendo tanto a los resultados del aprendizaje como a los procesos educativos que han permitido alcanzar dichos resultados. Se trata de un cuestionario de preguntas abiertas. Su mayor inconveniente es que su análisis resulta más laborioso que se si se tratara de una escala de tipo Likert. De todas formas, este inconveniente es altamente compensado por su mejor cualidad, a saber, que aunque las preguntas del instrumento pueden ser adecuadas para la revisión de cualquier materia, las respuestas están contextualizadas en aquella que es objeto de evaluación aportando detalles y matices muy útiles para la mejora de la docencia en cursos siguientes. 2. Nuestra propuesta de instrumento Esta propuesta es una adaptación del instrumento utilizado por el profesor Joaquín Mora Roche y que aparece en su proyecto docente (Mora, 1994) y que también ha sido utilizado por nosotros en otras ocasiones (AUTOR, 2007). En esta primera versión consta de 13 preguntas. Las tres primeras coinciden con las tres primeras de nuestro cuestionario y la última pregunta de la versión del profesor Mora coincide con la última pregunta de nuestra propuesta. Las cuestiones 4 a 12 de la versión original han sido sustituidas por una única pregunta con diversos apartados. La razón para estos cambios es que el estudiante, en un primer contacto con el cuestionario no se lleve la impresión de que es muy largo y abandone la idea de responderlo (Escudero, 1999) 2.1. Su estructura El cuestionario comienza con una breve presentación en la que se recuerda el sentido que tiene y el objetivo del mismo, a saber, reflexionar sobre la viabilidad del programa educativo y de su desarrollo en el aula a fin de determinar qué aspectos del mismo son adecuados y, por tanto deben mantenerse y potenciarse, y qué aspectos son inadecuados y, en consecuencia, deben ser mejorados o cambiados. Se recuerda que las opiniones del alumnado son esenciales en esta revisión de la asignatura. A continuación se dan unas mínimas orientaciones para la correcta cumplimentación de la revisión: a) que las respuestas deben ser anónimas, b) que para responder las preguntas abiertas no hay limitación de espacio; se pueden usar tantas hojas como sean necesarias identificando cada respuesta con el número de la pregunta a la que se refiere y c) que se puede tomar todo el tiempo que se desee para cumplimentarla; aunque se empieza a rellenar en la última clase, se puede continuar respondiendo en casa y entregarla en el buzón del profesor. Finalmente se presentan las preguntas. Las tres primeras son de carácter general y con ellas se pretende obtener un perfil global de la percepción de los estudiantes sobre la asignatura y como han vivido su implicación en ella a lo largo del periodo en que se ha desarrollado. En la cuarta pregunta se pide una valoración global y sugerencias sobre aspectos a mantener y a modificar en cada uno de los elementos del currículo: objetivos formulados, contenidos previstos y desarrollados, metodología seguida, sobre las clases teóricas y prácticas, sobre los materiales empleados y sobre el modo de realizar la evaluación. También se pregunta sobre la percepción de los estudiantes acerca del nivel de exigencia que es preciso afrontar para la superación de la asignatura. La quinta y última pregunta se destina a otras observaciones y sugerencias que no hayan tenido cabida en las cuatro cuestiones anteriores (Ver anexo I) 2.2. Su cumplimentación Desde el comienzo del curso, los estudiantes conocen la existencia de este cuestionario y saben que se les pedirá que lo respondan una vez que haya concluido el periodo de impartición de la asignatura. Además, disponen de él en la Plataforma de Enseñanza Virtual que usamos para compartir con el alumnado cualquier información relevante y otros materiales a usar en el desarrollo de la materia. Itinerarios formativos del profesorado de Música: sus percepciones sobre el valor didáctico de las TIC Revista Fuentes 2017, 19(1), 57-71 63 Como señala Escudero (1999, p. 73) “tampoco debe ser la evaluación demasiado frecuente ya que crece el peligro de que se convierta en algo rutinario e inútil. Lo más razonable parece ser la evaluación anual, al final de curso, antes de la evaluación final de los alumnos”. Siguiendo estas orientaciones es en la última sesión de clase cuando se pide a los estudiantes que respondan el cuestionario (aunque no es habitual, podrían ir respondiendo a lo largo de todo el curso). Se comienza explicando el sentido del mismo y se recuerdan las normas para su cumplimentación (ambas cosas, como hemos dicho, aparecen también por escrito al inicio del cuestionario). Finalmente, comienzan a responder y si no terminan en el tiempo previsto o si lo desean, pueden continuar respondiendo fuera del aula y entregarlo al profesor dejándolo en su buzón. 2.3. Codificación de las respuestas Para la codificación de las respuestas se comienza con una metodología cualitativa basada en el análisis de contenido. En el caso de la pregunta primera (“expresa con cinco adjetivos la impresión global que tienes de la asignatura”) se van anotando los adjetivos que los estudiantes aportan recogiendo el número de veces que se repite cada uno. Posteriormente se agrupan según su significado y se calcula el porcentaje de presencia de cada aportación respecto al total de adjetivos aportados. El resultado se presenta en una tabla como la que se presenta a continuación a título de ejemplo correspondiente a la revisión del curso 2015/2016 de una materia optativa de la mención de Educción Especial de la titulación de Maestro de Educación Primaria (ver tabla 2). En las casillas de fondo blanco aparecen los adjetivos citados por los estudiantes con indicación, entre paréntesis, del número de veces que es citado cada uno. Aparecen agrupados según significados afines, significados que se señalan en las casillas sombreadas junto con la frecuencia total (suma de las frecuencias de cada adjetivo textualmente citado) y el tanto por ciento que le corresponde. Finalmente aparecen otros comentarios escritos como respuesta a esta pregunta y que no tienen cabida en las casillas correspondientes a los adjetivos que se pedían. Tabla 2 Ejemplo de codificación de las respuestas a la primera pregunta del cuestionario (curso 2015-2016) ! 7! ! ÚTIL Y PRÁCTICA (37) (29,11%) INTERESANTE (28) (15,22%) DINÁMICA Y PARTICIPATIV A (25) (13,59%) NOVEDOSA (15) (8,15%) DIFÍCIL (12) (6,52%) Útil (18) Práctica (14) Aplicable (3) Funcional (2) Interesante (25) Interés (1) Atractiva (1) Bonita (1) Dinámica (7) Participativa (7) Comunicativa (3) Interactiva (3) Dialógica (3) Activa (2) Novedosa (4) Diferente (4) Innovadora (2) Nueva (1) Original (1) Curiosa (1) Específica (2) Difícil (4) Intensa (4) Compleja (3) Saturada (1) NECESARIA E IMPORTANT E (10) (5,43%) MOTIVADORA (9) (4,90%) ORGANIZADA (8) (4,35%) REFLEXIVA (5) (2,72%) ENRIQUECEDORA (5) (2,72%) Necesaria (6) Importante (2) Fundamental (2) Motivadora (5) Gratificante (1) Cálida (1) Amena (1) Agradable (1) Organizada (4) Planificada (2) Metódica (2) Reflexiva (5) Enriquecedora (4) Formadora (1) MONÓTONA (5) (2,72%) CREATIVA (5) (2,72%) ACTUALIZADA (2) (1,09%) DESCONCERTANTE (2) (1,09%) EFICAZ (2) (1,09%) Monótona (3) Pesada (1) Rutinaria (1) Creativa (4) Creadora (1) Actualizada (1) Actual (1) Desconcertante (1) Caótica (1) Eficaz (2) OTROS ADJETIVOS (14) (7,61%) (0,54% cada uno) Realista (1) Crítica (1) Significativa (1) Constante (1) Extensa (1) Transformadora (1) Tradicional (1) Corta (1) Teórica (1) Constructiva (1) Positiva (1) Explicativa (1) Completa (1) Injusta (1) Para el resto de cuestiones, se actúa de la siguiente manera: en primer lugar se transcriben las respuestas a cada pregunta de todos los cuestionarios; a continuación se segmenta cada respuesta en diferentes unidades de significado; en tercer lugar se agrupan las distintas unidades de significado según se refieran a temas afines y se asigna una denominación a cada conjunto de unidades de significado. En la tabla 3 se presenta un ejemplo del resultado de esta manera de proceder. En este caso se trata de las respuestas dadas a la pregunta 4.a (“Valoración global y sugerencias sobre aspectos a mantener y a modificar relativos a alguno o a todos de los siguientes elementos de la asignatura: objetivos). En la primera columna aparece la denominación dada por el profesor a cada conjunto de aportaciones y en las dos siguientes aparecen textuales todas las unidades de significado identificadas en las respuestas de todos los estudiantes a esta pregunta. Tabla 3 Ejemplo de codificación de las respuestas de los estudiantes a la pregunta sobre aspectos a mantener y a modificar en relación con los objetivos de la asignatura (curso 2015-2016) Aspectos a mantener (valoraciones positivas) Aspectos a modificar (valoraciones negativas) Adecuados, correctos, y útiles. • Me parecen adecuados y útiles para un futuro. • Me parecen correctos puesto que nos servirán para nuestro futuro docente. • Los objetivos me parecen correctos. Antonio Aguilera Jiménez Revista Fuentes 2017, 19(1), 57-71 64 Para el resto de cuestiones, se actúa de la siguiente manera: en primer lugar se transcriben las respuestas a cada pregunta de todos los cuestionarios; a continuación se segmenta cada respuesta en diferentes unidades de significado; en tercer lugar se agrupan las distintas unidades de significado según se refieran a temas afines y se asigna una denominación a cada conjunto de unidades de significado. En la tabla 3 se presenta un ejemplo del resultado de esta manera de proceder. En este caso se trata de las respuestas dadas a la pregunta 4.a (“Valoración global y sugerencias sobre aspectos a mantener y a modificar relativos a alguno o a todos de los siguientes elementos de la asignatura: objetivos). En la primera columna aparece la denominación dada por el profesor a cada conjunto de aportaciones y en las dos siguientes aparecen textuales todas las unidades de significado identificadas en las respuestas de todos los estudiantes a esta pregunta. Tabla 3 Ejemplo de codificación de las respuestas de los estudiantes a la pregunta sobre aspectos a mantener y a modificar en relación con los objetivos de la asignatura (curso 2015-2016) ! 8! ! Aspectos a mantener (valoraciones positivas) Aspectos a modificar (valoraciones negativas) Adecuados, correctos, y útiles. • Me parecen adecuados y útiles para un futuro. • Me parecen correctos puesto que nos servirán para nuestro futuro docente. • Los objetivos me parecen correctos. • Los objetivos son correctos y a través de ellos aprendemos muchas cosas interesantes para nuestro futuro como docentes. • Los objetivos los considero acordes al planteamiento de la asignatura. • Resultan de gran interés para mí. • Están bien marcados; se ha podido comprobar en el desarrollo de las clases. • Los objetivos me parecen estupendos. • Me parecen muy ajustados los objetivos. • No me parecen mal los objetivos propuestos. Son útiles y necesarios para nuestra formación Son realistas. Se han alcanzado vs. no se han alcanzado. • En los objetivos estoy de acuerdo y me han parecido acertados ya que lo que en un principio nos propusimos se ha cumplido. • Se han ido logrando con la adquisición de conocimientos y con los contrastes que iba haciendo con mis conocimientos previos y la integración de los nuevos. • Se han alcanzado los objetivos. • Los objetivos se han ido cumpliendo y, además, de manera útil y práctica. • Son los adecuados y se han cumplido • Los objetivos marcados son adecuados y realistas para poderlos alcanzar. • Creo que el objetivo principal (aprender a intervenir) está muy bien y se aprende a la perfección. • Quizá el objetivo del profesor sobre llevar las lecturas leídas a clase no se ha conseguido del todo porque no toda la clase llevaba los documentos leídos. • Creo que para el tiempo que se tiene presentan dificultades. También porque nunca antes se han realizado. No los modificaría. • No modificaría los objetivos. • No veo por qué modificar ningún aspecto. • Mantendría los mismos sin modificación. • Estoy de acuerdo No me quedaron claros. • Los objetivos no me quedaron del todo claros. A continuación, para cada pregunta se hace un recuento de las aportaciones realizadas y se presenta su valor absoluto y el porcentaje de cada respuesta respecto al total. En la tabla 4 se ejemplifica este proceder para la misma cuestión a la que se refiere la tabla 3. En la primera columna se usa un código de colores para indicar aquellos conjuntos de aportaciones que tienen más comentarios positivos que negativos (en blanco), más comentarios negativos que positivos (en negro) o igual número de ambos (en gris). Tabla 4 Cuantificación de las aportaciones a la pregunta sobre valoración de los objetivos Total de aportaciones Aspectos a mantener Aspectos a modificar Itinerarios formativos del profesorado de Música: sus percepciones sobre el valor didáctico de las TIC Revista Fuentes 2017, 19(1), 57-71 65 A continuación, para cada pregunta se hace un recuento de las aportaciones realizadas y se presenta su valor absoluto y el porcentaje de cada respuesta respecto al total. En la tabla 4 se ejemplifica este proceder para la misma cuestión a la que se refiere la tabla 3. En la primera columna se usa un código de colores para indicar aquellos conjuntos de aportaciones que tienen más comentarios positivos que negativos (en blanco), más comentarios negativos que positivos (en negro) o igual número de ambos (en gris). Tabla 4 Cuantificación de las aportaciones a la pregunta sobre valoración de los objetivos 2.4. Otra información complementaria La estructura del informe que se elabora con datos como los anteriores es la siguiente: tras cada pregunta del cuestionario se presenta uno o dos párrafos presentando lo más relevante de las respuestas obtenidas. A continuación se presenta una tabla con las categorías en las que se agrupan las respuestas con la frecuencia de cada categoría (similar a la tabla 3 pero una por cada pregunta del cuestionario). Después se presentan las respuestas textuales de los estudiantes organizadas en las categorías establecidas, elaborando para cada pregunta del cuestionario una tabla similar a la tabla 4 anterior referida a la cuestión sobre la valoración de los objetivos. Finalmente se presenta una tabla final en la que, a modo de resumen, aparecen juntos los datos que anteriormente se han ido presentando en tablas como la número 3. Junto a las respuestas a las preguntas de la encuesta organizadas tal y como acabamos de exponer, se presentan los resultados de la evaluación de los aprendizajes alcanzados por los estudiantes según los dos procedimiento seguidos: la evaluación formativa mediante ejercicios de evaluación continua realizada individualmente en las sesiones de clase y la evaluación sumativa final realizada mediante el examen de treinta preguntas cerradas de tres opciones cada una, de las cuales sólo una es la correcta, examen que abarca el conjunto de la materia impartida, tanto sus contenidos teóricos como prácticos. Esta información se presenta en varios formatos. Uno de ellos es una tabla en la que en las columnas aparecen las preguntas de examen respondidas correctamente y en las filas la media de las calificaciones obtenidas en los ejercicios de evaluación continua. En cada celda aparece el número de estudiantes que se encuentra en cada situación. En la tabla 5 se ejemplifica lo que estamos señalando con los resultados correspondientes al curso 2015/2016 de la materia denominada “Intervención y Aspectos Evolutivos de las Necesidades Educativas Específicas” de la titulación de Maestro de Educación Primaria en la Facultad de Ciencias de la Educación de la Universidad de Sevilla. ! 9! ! Tabla 4 Cuantificación de las aportaciones a la pregunta sobre valoración de los objetivos Total de aportaciones Aspectos a mantener (positivos) Aspectos a modificar (negativos) Los objetivos son adecuados, correctos y útiles. 11 (44%) 11 (44%) 0 Los objetivos son realistas se han alcanzado vs. no se han alcanzado 9 (36%) 7 (28%) 2 (8%) Los objetivos no los modificaría 4 (16%) 4 (16%) 0 Los objetivos no me quedaron claros 1 (4%) 0 1 (4%) TOTAL 25 (100%) 22 (88%) 3 (12%) 2.4. Otra información complementaria La estructura del informe que se elabora con datos como los anteriores es la siguiente: tras cada pregunta del cuestionario se presenta uno o dos párrafos presentando lo más relevante de las respuestas obtenidas. A continuación se presenta una tabla con las categorías en las que se agrupan las respuestas con la frecuencia de cada categoría (similar a la tabla 3 pero una por cada pregunta del cuestionario). Después se presentan las respuestas textuales de los estudiantes organizadas en las categorías establecidas, elaborando para cada pregunta del cuestionario una tabla similar a la tabla 4 anterior referida a la cuestión sobre la valoración de los objetivos. Finalmente se presenta una tabla final en la que, a modo de resumen, aparecen juntos los datos que anteriormente se han ido presentando en tablas como la número 3. Junto a las respuestas a las preguntas de la encuesta organizadas tal y como acabamos de exponer, se presentan los resultados de la evaluación de los aprendizajes alcanzados por los estudiantes según los dos procedimiento seguidos: la evaluación formativa mediante ejercicios de evaluación continua realizada individualmente en las sesiones de clase y la evaluación sumativa final realizada mediante el examen de treinta preguntas cerradas de tres opciones cada una, de las cuales sólo una es la correcta, examen que abarca el conjunto de la materia impartida, tanto sus contenidos teóricos como prácticos. Esta información se presenta en varios formatos. Uno de ellos es una tabla en la que en las columnas aparecen las preguntas de examen respondidas correctamente y en las filas la media de las calificaciones obtenidas en los ejercicios de evaluación continua. En cada celda aparece el número de estudiantes que se encuentra en cada situación. En la tabla 5 se ejemplifica lo que estamos señalando con los resultados correspondientes al curso 2015/2016 de la materia denominada “Intervención y Aspectos Evolutivos de las Necesidades Educativas Específicas” de la titulación de Maestro de Educación Primaria en la Facultad de Ciencias de la Educación de la Universidad de Sevilla. Tabla 5 Resultados obtenidos en la evaluación continua y en el examen final Preguntas de examen correctas NP 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 TOTAL Notas ejrcicios de clase No hacen 8 1 1 1 1 12 0,01-0,99 1 1 1 3 1-1,99 1 1 3 4 5 1 1 1 1 2 1 21 2-2,99 2 1 2 1 4 1 5 4 2 1 3 26 3-3,99 1 2 2 2 1 3 2 6 4 2 6 2 2 35 4-4,99 1 2 4 7 7 7 6 5 3 1 43 5-5,99 1 2 1 1 2 2 6 5 1 1 22 6-6.99 2 1 8 1 2 1 15 7-7,99 1 2 2 5 8-8,99 1 1 1 3 TOTALES 12 1 0 3 0 3 3 4 12 10 7 11 19 20 22 23 19 10 6 185