Encuestas como herramienta para valorar la influencia de las innovaciones docentes en el rendimiento a largo plazo de los alumnos

15 Encuesta como herramienta para valorar la influencia de las innovaciones docentes… Revista de Enseñanza Universitaria Diciembre 2009, N.º 34; 15-23 ENCUESTAS COMO HERRAMIENTA PARA VALORAR LA INFLUENCIA DE LAS INNOVACIONES DOCENTES EN EL RENDIMIENTO A LARGO PLAZO DE LOS ALUMNOS Juan Martín Hernández Camilo Ábalos Labruzzi Amparo Jiménez Planas Facultad de Odontología Resumen Tratamos de desarrollar una herramienta docente de evaluación, que resulte útil para valorar como evoluciona la retención de los contenidos de nuestra asignatura en los alumnos así como la influencia que en esa memoria van teniendo las distintas innovaciones metodológicas que vamos introduciendo en nuestra docencia. Se diseñó un modelo de encuesta que realizaron 219 alumnos de los cursos tercero, cuarto y quinto de la Licenciatura de Odontología y se valoraron las respuestas obtenidas con ayuda de un programa de análisis estadístico. Este tipo de encuesta nos permite un control a largo plazo de nuestra docencia y su influencia en los conocimientos de nuestros alumnos. Además puede ser una herramienta muy útil para valorar la percepción que nuestros alumnos tienen de nuestra docencia y la utilidad de la misma a largo plazo. Palabra clave: Evaluación de la docencia, encuestas, retención de conocimientos Abstract We endeavour to develop a tool to evaluate the influence upon our students’ long-term knowledge retention made by the various innovative methodologies being introduced into our teaching. A questionnaire is designed which is answered by 219 students from the third, fourth and fifth year of the dentistry degree and the results are assessed with the help of a statistical analysis program. This type of survey enables us to supervise our teaching and its influence upon the skill of our students. Furthermore, it can also prove to be useful as a tool for the evaluation of both the students’ perception of our teaching system and of its utility in the long-term. Key words:Teaching evaluation, questionnaires, knowledge retention. 16 J. Martín Hernández, C. Ábalos Labruzzi y A. Jiménez Planas I. INTRODUCCIÓN Y OBJETIVOS El proyecto que nos ocupa, forma parte de un conjunto de la evolución en la docencia que llevamos realizando en nuestra asignatura Materiales Odontológicos desde hace casi una década. A lo largo del tiempo hemos ido introduciendo cambios metodológicos en nuestra asignatura dirigidos al aprendizaje participativo y razonado por parte del alumno, tratando de desterrar el aprendizaje memorístico y favoreciendo la implicación del alumno en su propio aprendizaje. Todos estos cambios han venido avalados por los correspondientes proyectos de innovación docente financiados y aprobados por el ICE . Ya llevamos años utilizando, en nuestra asignatura, métodos basados en cuestionarios (primero presenciales y luego en red) o en el aprendizaje basado en problemas y hemos adoptado una forma de evaluación continuada. Los cambios más recientes que hemos realizado en Materiales Odontológicos y que formaron parte de nuestros proyectos de innovación del curso 2007-08, han sido la sustitución de las clases magistrales y el aprendizaje memorístico por otras actividades más participativas por parte del alumno, como la virtualización de nuestra asignatura en la plataforma digital WebCT, de la Universidad de Sevilla (curso 2007-2008), la inclusión de casos problema y un manual elaborado por el profesorado con el contenido teórico básico de la asignatura entre nuestras herramientas de trabajo (curso 2007-08). En este último curso 2008-09 hemos incluido el uso de mapas conceptuales como elemento de estudio y de aprendizaje previo a la clase teórica y hemos incorporado el uso de foros de debate como elemento de ayuda al aprendizaje participativo del alumno. A pesar de que todos estos cambios han sido evaluados en su momento positivamente para la realización de los distintos proyectos docentes y han sido incorporados a nuestra práctica habitual en la asignatura, una vez que el alumno aprueba la asignatura le “perdemos la pista” y no evaluamos el objetivo final de nuestro trabajo, que es que el alumno recuerde en el tiempo los fundamentos de nuestra asignatura y le sirvan para adquirir las destrezas necesarias para el desarrollo de su profesión. Los conceptos de Materiales Odontológicos que explicamos a nuestros alumnos de segundo curso se van matizando y completando con la aplicación que de ellos se hacen en asignaturas de cursos superiores. Para nosotros son más importantes estos conocimientos a largo plazo que los que pueden demostrar en el examen ya que los conocimientos retenidos son los que van a aplicar en su práctica diaria y por ello van a influir directamente en el rendimiento profesional de nuestros alumnos. Con esta innovación docente pretendemos realizar una evaluación a lo largo del tiempo del grado de olvido de los conocimientos de nuestros alumnos así como de su opinión sobre la pertinencia y calidad de nuestra docencia. Para ello hemos diseñado unos cuestionarios sobre el contenido de nuestra asignatura y sobre la percepción que el alumno tiene de ella con la intención de valorar el olvido con el paso del tiempo de los conocimientos que adquirieron los alumnos. Es una encuesta breve de 15 preguntas. Las 5 primeras nos servirán para establecer que opinión van teniendo los alumnos de nuestra asignatura con el paso de los años y las 10 restantes son preguntas sobre contenidos teóricos de la materia explicada y con diferente grado de dificultad. Este cuestionario fue contestado por alumnos de los 17 Encuesta como herramienta para valorar la influencia de las innovaciones docentes… Imagen 1: Cuestionario cursos superiores (tercero, cuarto y quinto) de la licenciatura de Odontología. El modelo de encuesta fue el que se ve en la imagen 1 Los datos obtenidos son sometidos al correspondiente análisis estadístico mediante la T de student y el test de ANOVA con 18 J. Martín Hernández, C. Ábalos Labruzzi y A. Jiménez Planas la corrección de Bonferronni. Una vez evaluados los resultados trataremos de ajustar y mejorar la encuesta para aplicarla en sucesivas ocasiones, ya que pretendemos que la misma sea un elemento de autoevaluación para los profesores que nos permita detectar la influencia que los cambios de metodología docente van realizando en la calidad y cantidad de conocimientos retenidos por los alumnos a largo plazo, así como en la manera en que los alumnos perciben estos cambios. Con ello pretendemos hacer cambios en la metodología docente que resulten más útiles en sí mismos y más motivadores para el alumno ya que de su motivación y percepción de los cambios va a depender directamente la utilidad de los mismos. 2. RESULTADOS Se realizaron 219 encuestas a otros tantos alumnos de los cursos tercero, cuarto y quinto de la Licenciatura de Odontología de nuestra facultad. En la encuesta se le pedía al alumno que indicase los años que hacía desde que había cursado la asignatura de materiales odontológicos (asignatura de segundo curso) y la nota que había obtenido en la misma. Se obtuvieron 68 encuestas de alumnos que habían cursado la asignatura hacía un año, 53 de alumnos de dos años antes, 82 de alumnos de tres años antes, 12 de alumnos de 4 cursos anteriores, 3 de alumnos que hacía 5 años que habían cursado la asignatura y 1 encuesta de un alumno que hacía 6 años que había cursado la asignatura. Por ello en nuestro estudio hemos considerado 4 grupos de alumnos en función de los años que habían cursado la asignatura, a saber alumnos de 1 año, 2 años, 3años y más de 4 años tras terminar la asignatura (tabla 1). En cuanto a las calificaciones obtenidas al terminar la asignatura se agruparon en las categorías de aprobado (67 encuestados), notable (126 encuestados), sobresaliente (18 encuestados) y matrícula de honor (6 encuestados). Hubo, por tanto, dos alumnos que no rellenaron este apartado (tabla 2). Estas notas nos servirán de punto de partida para comparar con las calificaciones obtenidas en las diez preguntas de evaluación que formaron parte de esta encuesta. Con respecto a la primera de las 5 preguntas del cuestionario referidas a la percep- Ta b l a 1: Tabla de frecuencias para la variable “años que hace que cursó la asignatura” Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado Válidos 1 año 68 31,1 31,1 31,1 2 años 53 24,2 24,2 55,3 3 años 82 37,4 37,4 92,7 4 años 12 5,5 5,5 98,2 5 años 3 1,4 1,4 99,5 6 años 1 ,5 ,5 100,0 Total 219 100,0 100,0 19 Encuesta como herramienta para valorar la influencia de las innovaciones docentes… ción por parte del alumno de la asignatura, en la que se pedía al alumno que evaluara la calidad de la docencia recibida valorándola de 0-10 obtuvimos los siguientes resultados: (ver tabla 3) La calificación media de la calidad de la docencia recibida fue de 7,61 sobre 10 con una desviación típica de 1,3. También se evaluaba en estas 5 preguntas iniciales valorando de 0-10 el grado de dificultad de los conocimientos adquiridos y la utilidad que al alumno le parecía que tenían los mismos (tablas 4 y 5 respectivamente). Ta b l a 2: Tabla de frecuencias para la variable “calificación obtenida al cursar la asignatura” Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado Válidos aprobado 67 30,6 30,9 30,9 notable 126 57,5 58,1 88,9 sobresaliente 18 8,2 8,3 97,2 MH 6 2,7 2,8 100,0 Total 217 99,1 100,0 Perdidos Sistema 2 ,9 Total 219 100,0 Ta b l a 3: Tabla de frecuencias para la variable “calidad de la docencia” valores de 0-10. Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado Válidos 0 1 ,5 ,5 ,5 3 2 ,9 ,9 1,4 4 3 1,4 1,4 2,7 5 8 3,7 3,7 6,4 6 19 8,7 8,7 15,1 7 58 26,5 26,5 41,6 8 72 32,9 32,9 74,4 9 47 21,5 21,5 95,9 10 9 4,1 4,1 100,0 Total 219 100,0 100,0 Las medias de puntuación obtenidas para estas dos preguntas fueron de 5,96 con una desviación típica de 1,5 para la dificultad de la asignatura y de 7,39 con desviación típica de 1,5 para la utilidad de los conocimientos adquiridos. Preguntados los encuestados por el porcentaje de conocimientos que creen retener de la asignatura, la media obtenida fue del 49,6% con desviación típica de 17,6. De los conocimientos obtenidos en nuestra asignatura, les resultaron aplicables en otras asignaturas una media del 60,4 % con una desviación típica del 24,28. 20 J. Martín Hernández, C. Ábalos Labruzzi y A. Jiménez Planas Ta b l a 4: Tabla de frecuencias para la variable “dificultad de la asignatura” valores de 0-10. Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado Válidos 0 1 ,5 ,5 ,5 1 2 ,9 ,9 1,4 2 5 2,3 2,3 3,7 311 5,0 5,0 8,7 411 5,0 5,0 13,7 5 39 17,8 17,8 31,5 6 61 27,9 27,9 59,4 7 61 27,9 27,9 87,2 8 24 11,0 11,0 98,2 9 3 1,4 1,4 99,5 10 1 ,5 ,5 100,0 Total 219 100,0 100,0 Ta b l a 5: Tabla de frecuencias para la variable “utilidad de los conocimientos” valores de 0-10. Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado Válidos 2 2 ,9 ,9 ,9 3 2 ,9 ,9 1,8 4 3 1,4 1,4 3,2 5 21 9,6 9,7 12,9 6 24 11,0 11,1 24,0 7 55 25,1 25,3 49,3 8 60 27,4 27,6 77,0 9 32 14,6 14,7 91,7 10 18 8,2 8,3 100,0 Total 217 99,1 100,0 Perdidos Sistema 2 ,9 Total 219 100,0 21 Encuesta como herramienta para valorar la influencia de las innovaciones docentes… En cuanto a la nota obtenida por nuestros encuestados en las 10 últimas preguntas de la encuesta fueron las que figuran en la tabla 6. La nota media obtenida en el total de las encuestas fue de 4,81 con una desviación típica de 1,3. Pero quizá lo más interesante sea analizar la nota obtenida por nuestros estudiantes en función de los años que hace que terminaron la asignatura y si lo hacemos así veremos que las medias de nota obtenidas son las que figuran en la tabla 7. 3. DISCUSIÓN De los resultados obtenidos podemos deducir que nuestra asignatura es percibida por los alumnos como una asignatura de grado de dificultad medio (5,96 sobre 10) pero muy útil para el desarrollo posterior de la profesión (7,39 sobre 10). En cuanto a la docencia recibida parece ser que nuestros alumnos la valoran muy positivamente pues la media obtenida es de 7,61 sobre 10. Es más, si analizamos la docencia recibida a través de la comparación de la valoración media obtenida en función Ta b l a 6: Tabla de frecuencias para la variable “nota obtenida” valores posibles de 0-10. Nota obtenida Frecuencia Porcentaje Porcentaje válido Porcentaje acumulado 2 8 3,7 3,7 3,7 3 33 15,1 15,1 18,7 4 52 23,7 23,7 42,5 5 58 26,5 26,5 68,9 6 42 19,2 19,2 88,1 7 21 9,6 9,6 97,7 8 4 1,8 1,8 99,5 9 1 ,5 ,5 100,0 Total 219 100,0 100,0 Ta b l a 7: Media de la “nota obtenida” en función de los años que hace que se cursó la asignatura. Media N Desv. típ. Hace 1 año 5,03 68 1,221 Hace 2 años 4,72 53 1,498 Hace 3 años 4,72 82 1,460 Hace 4 años o mas 4,63 16 1,455 Total 4,81 219 1,398 22 J. Martín Hernández, C. Ábalos Labruzzi y A. Jiménez Planas de los años que hace que se cursó la asignatura, veremos que ésta se mantiene estable a lo largo de los años ya que la diferencia de estas medias no resultó estadísticamente significativa en ningún caso (tabla 8) También sabemos que nuestros alumnos creen retener una media de 49,6 % de los conocimientos que adquirieron en la asignatura Materiales Odontológicos , lo que se aproxima bastante a los resultados obtenidos en nuestras 10 preguntas de evaluación pues la media de preguntas respondidas correctamente fue de 4,81 sobre 10 lo que supone el 48,1% de la nota máxima. Además, la encuesta nos ha permitido saber que un porcentaje muy alto de los conocimientos que se imparten en nuestra asignatura (60,4%) resulta de utilidad a los alumnos a la hora de aplicarlos en otras disciplinas de la carrera, lo cual indica que la asignatura, a pesar de ser una asignatura fundamentalmente teórica, basada en otras disciplinas de difícil manejo por parte de los que nos dedicamos a las ciencias de la salud, está orientada adecuadamente en su docencia y resulta de utilidad en otras disciplinas puramente clínicas y prácticas. Hemos querido hacer un análisis más amplio de algunos aspectos que nos parecen interesantes y hemos querido saber cómo retienen en el tiempo nuestros alumnos los conocimientos. En primer lugar hemos quedado gratamente sorprendidos de que la calificación media de nuestros alumnos tras varios años de haber cursado la asignatura siga muy próxima al aprobado (4,81). Para evitar que el aprendizaje en cursos sucesivos nos interfiriera con el recuerdo de los conocimientos aprendidos en nuestra asignatura, las preguntas están seleccionadas de manera que esos contenidos no se vuelvan a mencionar los cursos posteriores. Por otro lado vimos que existían diferencias en la nota media obtenida en función de los años que hacía que se había cursado la asignatura, llegando incluso al aprobado (5,03) en el grupo de alumnos que solo hacía un año que habían recibido la formación (ver tabla 7). Al realizar la prueba estadística de comparación de medias ANOVA con comparación de Bonferroni de los resultados obtenidos pudimos constatar que no existían diferencias significativas entre las notas obtenidas por los distintos grupos en los que hacía 1, 2, 3 ó más de 3 años que habían cursado la asignatura. Al ver que la diferencia de conocimientos l año, 2, 3 ó mas de 3 años no era significativa quisimos analizar si existía diferencia con la nota obtenida por ese mismo grupo de alumnos al cursar la asignatura. Para ello clasificamos las notas de nuestra encuesta de la misma manera Ta b l a 8: Media de la valoración de la docencia en función de los años que hace que se cursó la asignatura. Media N Desv. típ. Hace 1 año 7,88 68 1,653 Hace 2 años 7,40 53 1,349 Hace 3 años 7,61 82 1,204 Hace 4 años o mas 7,19 16 ,911 Total 7,61 219 1,385 23 Encuesta como herramienta para valorar la influencia de las innovaciones docentes… que habíamos clasificado las notas obtenidas por nuestros alumnos en la asignatura y las comparamos a través de la prueba T de Student para muestras relacionadas, y en esta ocasión la comparación resultó ser estadísticamente significativa. Por ello podemos afirmar que la perdida de conocimientos se produce fundamentalmente en el primer año tras terminar la formación en nuestra asignatura y que los conocimientos permanecen estables durante un periodo de 4 años. Por último hemos querido analizar si existe diferencia entre la percepción de la utilidad que tienen los alumnos de los conocimientos de la asignatura y la utilidad real que estos conocimientos han tenido en su aplicación en cursos posteriores, para ello comparamos la utilidad que los alumnos atribuían a la formación en Materiales Odontológicos con la aplicación que de esos conocimientos habían hecho en cursos posteriores. También en esta ocasión utilizamos la comparación de medias y pudimos comprobar que la diferencia entre la media de la percepción de utilidad de los conocimientos (73,92%) y la utilidad real de los mismos (59,86%) resultaba estadísticamente significativa. Como podemos deducir de los datos obtenidos de nuestra encuesta, ésta nos permite un control bastante exhaustivo de los resultados a largo plazo de nuestra docencia en los conocimientos de nuestros alumnos y además puede ser una herramienta muy útil para valorar cómo los cambios en la docencia pueden influir en la percepción que nuestros alumnos tienen de ella y a su vez en los resultados obtenidos por los mismos alumnos en esta evaluación de los conocimientos a largo plazo. Por ello esta herramienta nos puede ayudar a evaluar, mejorar y si fuera necesario corregir nuestra metodología docente. Dada la naturaleza de nuestra asignatura cuyos contenidos son básicos para la comprensión de otras disciplinas más clínicas, las encuestas son una herramienta útil para conocer si los contenidos de nuestra asignatura resultan adecuados para la comprensión de otras asignaturas y en general para la adquisición de las competencias finales que debemos conseguir que desarrollen nuestros alumnos Con todo esto podemos llegar a las siguientes conclusiones: Las encuestas a los alumnos de cursos 1. posteriores al de la docencia de materiales son una herramienta útil para conocer la adecuación de nuestra metodología docente. Los alumnos de la Facultad de Odonto-2. logia de Sevilla consideran a Materiales Odontológicos una asignatura de grado medio de dificultad (5,96), bien desarrollada (7,61) y bastante útil (7,39). Los alumnos de la Facultad de Odonto-3. logia de Sevilla tienen una percepción alta en cuanto a al utilidad de los conocimientos que tratamos de trasmitirles en nuestra asignatura (73,92%) a pesar de que la utilidad real de los conocimientos impartidos luego resulta ser inferior (59,86%). La retención de los conocimientos 4. de Materiales Odontológicos por los alumnos de la Facultad de Odontologia de Sevilla sufre una caida importante primer año después de cursar la asignatura pero se mantiene luego más estable hasta el cuarto año y a niveles de conocimiento bastante altos ya que la nota media roza el aprobado (4,81).