Evaluación de aspectos docentes y materiales utilizados en la asignatura de Fundamentos Metodológicos en Psicología

EVALUACIÓN DE ASPECTOS DOCENTES Y MATERIALES UTILIZADOS EN LA ASIGNATURA DE FUNDAMENTOS METODOLÓGICOS EN PSICOLOGÍA Rafael J. Martínez y Rafael Moreno' Universidad de Sevilla RESUMEN Desde que empezó a impartirse en el curso 1994-95 en la asignatura de Fundamentos Metodológicos en Psicología se viene desarrollando una tarea sistemática con el objetivo de explicitar unos criterios comunes para la docencia, materiales y evaluación. En el presente trabajo se analizan las valoraciones que realizan los alumnos sobre distintos aspectos docentes de la citada asignatura, referidos al manual que por primera vez se ofrecía a los alumnos, asi como a los materiales de prácticas y a la docencia impartida por cada profesor. Para ello se aplicó a los alumnos asistentes a prácticas en la última semana de clase una encuesta informatizada en la que debían valorar en una escala de 1 a 5 la adecuación de esos diversos aspectos docentes. En primer lugar los datos muestran una adecuada consistencia interna de las respuestas dadas al cuestionario. Con esa base los resultados muestran una valoración media favorable en todos los aspectos, aunque algo inferior a valoraciones encontradas en cursos anteriores. En todo caso, las valoraciones mejoran en aquellos alumnos que han cursado previamente la asignatura, estando algunas relacionadas con el profesor que la imparte y la motivación que procura. ABSTRACT Since teaching of the course 'Foundations of Methodoiogy in Psychology' started in 1994- .95, a systematic procedure has been followed with the aim of making explicit ihe common criteria for teaching, materials and evaluation. The present paper analyzes students' assessments of the different aspects involved with the teaching of the course: the coursebook that has for the fí rst time been made available to the students, practical coursework and each lecturer's teaching method. To do this, students attending practical classes in the last week of the course took part in a computerized survey where they had to assess on a I to 5 scale the different aspects involved with the teaching of the course. The data show adequate intemal consistency in terms of the responses to the questionnaire. The results show a favorable average assessment in all aspects, although slightly lower than assessments given in previous years. The assessments improve in those students in their second year of the course, while there are also differences related to the teacher involved and his/her level of motivation. Dirección de los autores: Departamento de Psicología Experimental; C/ Camilo José Cela s/n - 41005 SEVILLA; correo electrónico: [email protected] III Jomadas Andaluzas de Calidad en la Enseñanza Universitaria La asignatura de Fundamentos Metodológicos es una materia troncal impartida en el primer cuatrimestre del primer curso de la licenciatura en Psicologia de la Universidad de Sevilla. Supone para los alumnos una introducción a las nociones metodológicas en psicologia, en la que se pretenden fundamentar conceptos que los estudiantes tendrán oportunidad de desarrollar en asignaturas metodológicas más especializadas. Desde su instauración se viene tratando de sistematizar los planteamientos docentes de dicha asignatura, los materiales que se ofrecen a los alumnos para su estudio y la evaluación que se realiza de su aprendizaje. Dicha sistematización ha sido realizada sobre la base de unos criterios explicitos y comunes. La exposición y justificación de estos criterios -provenientes de los planteamientos interconductuales de Ribes y López (1985)-, y de cómo se desarrollan en la docencia y en la elaboración de materiales docentes, han sido realizadas extensivamente en un trabajo previo (Moreno, Chacón y Martínez, en prensa). Ello ha supuesto continuar una linea de trabajo en la que a partir de la noción psicológica de 'desligamiento funcional' se han derivado diversas implicaciones en el ámbito de la docencia universitaria, en términos de eficacia y generalidad (Martínez, Moreno y Trigo, 1991; Moreno et al., 1992; Trigo, Martínez y Moreno, 1991; Trigo, Moreno y Martínez, 1991). La asignatura se desarrolla mediante una complementariedad entre las clases teóricas y prácticas, tratando de ajustarse a dos ejes o criterios generales: el tipo de contenidos de la enseñanza universitaria, y el componente psicológico implicado en el proceso de aprendizaje. La materia universitaria implica conceptos que además de precisos han de ser aplicables a situaciones variadas. El futuro profesional debe obtener en sus estudios universitarios esquemas y conceptos generales que le permitan abordar las variadas y cambiantes situaciones que la vida laboral le presentará. En consecuencia esa eficacia en situaciones variadas constituye también el objetivo de la enseñanza universitaria y por tanto de esta asignatura. Psicológicamente el aprendizaje y enseñanza de ese tipo de conceptos puede describirse como un proceso en espiral y de complejidad progresiva; el alumno debe ir acumulando conocimientos sobre situaciones particulares, e integrarlos en esquemas o conceptos válidos a todas ellas, de modo que pueda aplicarlos para entender mas cabalmente nuevas situaciones, las cuales deberán ser integradas a su vez en nuevos conceptos de mayor generalidad, y así sucesivamente hasta alcanzar los conceptos del mayor nivel deseado que permitan ser eficaces en una amplia variedad o generalidad de situaciones. El logro de esos conocimientos implica una ordenación de situaciones en la que el alui^o debe comenzar su aprendizaje guiado estrechamente por el profesor y el material idáctico, para ir desligándose progresivamente de ellos hasta llegar a actuar correctamente e manera autónoma en las situaciones que se le vayan presentando. En un primer tipo de situaciones el alumno es fundamentalmente pasivo, debiendo ser observador y receptor de as diferentes situaciones y elaboraciones que el profesor haga, mediante exposiciones de ten^s y problemas, lecturas de textos, etc. En un segundo tipo de situaciones el alumno eminentemente activo, en el sentido que maneje y afronte situaciones en las que .f entrenarse como preparación de la vida profesional, utilizando la información recibida. El trabajo sistemático desarrollado para esta asignatura se ha ido configurando en sucesivos proyectos apoyados por el Instituto de Ciencias de la Educación de la 316 Asegurar la Calidad en las Universidades Universidad de Sevilla, en relación con la docencia (Moreno et al., 1992), a la elaboración de material docente (López et al., 1995) y al desarrollo de bancos de items informatizados para la evaluación de los conocimientos sobre Fundamentos Metodológicos (Moreno y Martinez, en prensa; Martinez y Moreno, en preparación). Este trabajo sistemático ha permitido seguir acumulando y desarrollando una serie de materiales para la docencia y evaluación de la asignatura. Como ft uto de este trabajo, entre otros, se ha editado un manual para la asignatura que por primera vez se les ha ofrecido a los alumnos en el curso 2000-01 (Moreno, Martínez y Chacón, 2000). Además, uno de los elementos fundamentales tenidos en cuenta en la eventual modificación y mejora de la docencia de Fundamentos Metodológicos son las valoraciones que realizan los alumnos sobre la adecuación de los materiales que se les ofrecen, lo cual se ha venido recogiendo de forma sistemática en sucesivos cursos (Chacón, Martínez y Moreno, 1995; Moreno, Chacón y Martinez, en prensa). En este marco, los objetivos del presente trabajo son en primer lugar evaluar la calidad del instrumento de evaluación utilizado para recoger las valoraciones de los alumnos, analizando su consistencia interna y su estructura. Sobre esa base se estudian las valoraciones dadas a distintos aspectos del material y la docencia de los profesores. Estos aspectos se diferenciaron según su referencia al manual ofrecido a los aliunnos -tanto su estructura y componentes, como los distintos capítulos-, a los materiales de prácticas y a la docencia impartida por los profesores. Adicionalmente, y con el propósito de configurar un modelo exploratorio de acción docente que pueda incidir sobre las valoraciones de los alumnos, se pretende analizar la posible relación de estos aspectos con el nivel declarado de uso del manual, el hecho de repetir o no la asignatura, la motivación procurada por el profesor y el profesor que impartía la asignatura en cada gmpo de clase. MÉTODO Muestra De un total de 334 alumnos matriculados en la asignatura de Fundamentos Metodológicos se encuestaron a los asistentes a las prácticas de la última semana de clase, y que voluntariamente contestaron. Esto nos ofreció una muestra de 153 sujetos (13 de los asistentes la dejaron en blanco). Estos alumnos correspondían a cuatro grupos inqjartidos por dos profesores (ni = 95; n2 = 58), y de los cuales 26 eran repetidores de la asignatura. La baja proporción de alumnos, respecto al total de matriculados, que participaron en la encuesta en este curso se debe en parte al método de selección de voluntarios y a que la encuesta fue aplicada en la última semana de curso. En esa semana los alumnos tuvieron los primeros exámenes de otras asignaturas, circunstancia que no conocíamos por no estar considerada en la planificación realizada por la facultad. Instrumentos y materiales Para recoger las valoraciones de los alumnos se elaboró una encuesta con la siguiente estructura: 16 preguntas sobre el manual y sus capítulos -items 1 a 16-; 3 pregiuitas sobre los dossiers de prácticas -items 17 a 19-; 5 preguntas sobre la docencia del profesor -items 317 III Jomadas Andaluzas de Calidad en la Enseñanza Universitaria 20 a 24-; y 2 preguntas adicionales para que indicaran cuál era su profesor y si estaban repitiendo la asignatura. Exceptuando estas dos últimas preguntas, en el resto debían valorar en una escala de 1 a 5 la adecuación de esos diversos aspectos de la docencia y los materiales de la asignatura. La encuesta se aplicó a través de veinticuatro ordenadores, in^lementada mediante el programa MEL 1.0 en un aula informaíizada de la Facultad de Psicología en la que recibían las prácticas de la asignatura. Procedimiento La encuesta se aplicó de forma colectiva en grupos de entre 13 y 30 alumnos. Cada alumno debía contestar individualmente a la encuesta mediante el teclado del ordenador que le correspondía. De forma previa el profesor explicaba, oralmente y por escrito, el objetivo de la encuesta y la forma de contestarla. Como elemento de motivación se les explicaba que al fi nal de la encuesta se realizaría un análisis metodológico de la misma, como práctica de la asignatura. Se les pedía además que contestaran de forma sincera para poder utilizar sus valoraciones en futuras mejoras de la asignatura. Se garantizaba el anonimato de sus respuestas y además, durante la encuesta, el profesor mostraba que no estaba pendiente de las contestaciones individuales de sus alumnos. Para el análisis de los datos se consideró un nivel de significación bilateral de 0,05. RESULTADOS Para ios 24 items del cuestionario global se encontró un índice de consistencia interna a = 0,90 {n = 98). Seleccionando sólo los aspectos referidos al manual -items 1 a 16-, equivalentes a los que se habían encuestado en cursos anteriores, el índice de consistencia interna mostró un valor de ¿ar = 0,85 (n = 122). Para evaluar la estructura global de la encuesta -a excepción de los items 1 y 25 por no ser de valoraciónse aplicó un Análisis de Componentes Principales en el que tras usar la regla de Kaiser-Guttman se retuvieron seis componentes (Tabla 1) que explicarían en conjunto un 62,41% de la varianza. Tabla 1.- Matriz de componentes retenidos del Análisis de Componentes Principales aplicado a las valoraciones de los alumnos. Items 14. CAPITULO 7 12. CAPÍTULO 5 15. CAPÍTULO 8 9. CAPÍTULO 2 13. CAPÍTULO 6 11. CAPÍTULO 4 16. CAPÍTULO 9 6. Organización ENTRE capítulos 5. Organización DENTRO de cada capítulo Componentes I II m" ,778 ,759 ,746 ,745 ,703 ,668 ,664 0,64 0,64 Asegurar la Calidad en las Universidades Items 10. CAPITULO 3 2. CONCEPTOS, breves y claros 3. EJEMPLOS, amplios y claros 4. Ejemplos, ILUSTRAN conceptos Componentes I II III ,623 .537 ,548 ,460 24. En general estoy SATISFECHO con este profesor ,443 0,72 21. El profesor intenta MOTIVAR ,443 ,406 20. El profesor EXPLICA con claridad ,676 23. Las PRÁCTICAS son útiles ,439 ,423 18. DOSSIER de PRÁCTICAS 3-4 ,713 17. DOSSIER de PRÁCTICAS 1-2 ,569 19. DOSSIER de PRÁCTICAS 5-9 22. Las explicaciones CORRESPONDEN al programa 7. GLOSARIO 0,57 6,99 2,21 1,58 1,36 1,17 1,05 30,4 9,6 6,9 5,9 5,1 4,5 Saturaciones % varianza De cara a interpretar el significado de estos contenentes se consideró el peso de cada uno de los items en ellos, eliminando aquellos pesos con valores infenores a 0,4 (Tabla 1). Con este análisis se observa un primer componente que daría cuenta de un 30,38% de la varianza encontrada, compuesto por todos los items referidos al manual excepto el referido al glosario -ítem 7- y al capítulo 1 -ítem 8-. En este componente también participan dos de los items referidos al profesor: el grado de satisfacción general con el profesor -ítem 24- y la motivación que procura en el alumno -ítem 21-. Un segundo componente, que determina un 9,60% de la varianza, está formado por todos los items referidos al profesor a excepción del ítem 22 -referido a la correspondencia entre sus explicaciones y el programa-. El tercer componente, que aporta un 6,88% de la varianza explicada por este análisis, está formado por items referidos a dos dossiers de prácticas - items 17 y 18- y a la utilidad que le perciben los alumnos a las actividades prácticas impartidas por el profesor. Los restantes componentes aportan cada uno entre un 5,9% y un 4,5% a la varianza total, y su interpretación se asocia a aspectos diversos, tales como los ejemplos del manual -items 3 y 4 del componente IV- y al glosario -ítem 7 en el componente VI-. Por su parte, el componente V agrupa, aunque con signos opuestos, a dos items referidos al material de prácticas de los temas 5 a 9 y a la correspondencia de las explicaciones del profesor con el programa. Entrando en el análisis de las valoraciones aportadas por los alumnos se observa un nivel medio de uso declarado del manual de 3,16, siendo la valoración media obtenida en el conjunto del cuestionario de 3,85. Las valoraciones medias dadas a los distintos aspectos se encuentran en todos los casos con valores superiores a 3 en la escala de 1 a 5 III Jomadas Andaluzas de Calidad en la Enseñanza Universitaria utilizada (Tabla 2). En los aspectos referidos a la estmctura del manual se encuentra una valoración media de 3,45. Estas valoraciones van desde un valor de 3,72 para la ilustración de los conceptos por los ejemplos -ítem 4- hasta una valoración de 3,12 para la amplitud y claridad de los conceptos -ítem 2-. Por su parte las valoraciones de los capítulos varían desde una media de 3,94 para el capítulo 5 hasta una valoración media de 3,34 para el capítulo 9, siendo la valoración media para el conjunto de los capítulos de 3,60. En lo referente a los dossiers de prácticas se encuentra una valoración media de 4,17; siendo el más valorado el dossier de prácticas de los temas 5 a 9 (Af = 4,42) y el menos valorado el de los temas 3 y 4 (M = 3,91). Por último, los aspectos referidos a la docencia del profesor se valoran por término medio con un 4,20, oscilando desde el 4,65 de valoración media dada a la correspondencia de las explicaciones con el programa hasta el 3,52 otorgado a la motivación procurada por el profesor en los alumnos. TABLA 2.- Valoraciones medias, en una escala de 1 a 5, realizadas por los alumnos a distintos aspectos de la docencia de Fundamentos Metodológicos. Items Media N 1. USO del manual 3,16 1,05 149 2. CONCEPTOS, breves y claros 3,12 1,05 147 3. EJEMPLOS, amplios y claros 3,44 1,10 144 4. Ejemplos, ILUSTRAN conceptos 3,72 1,04 144 5. (>ganízación DENTTIO de cada capítulo 3,45 1,10 146 6. Organización ENTRE capítulos 3,68 0,97 144 7. GLOSARIO 3,37 1,32 137 Valoración media de la Estructura del Manual 3,45 8. CAPÍTULO 1 3,38 0,95 147 9. CAPÍTULO 2 3,67 0,85 147 10. CAPÍTULOS 3,53 0,87 144 11. CAPÍTULO 4 3,51 0,87 144 12. CAPÍTULO 5 3,94 1,03 142 13. CAPÍTULO 6 3,79 1,00 140 14. CAPÍTULO? 3,64 0,88 138 15. CAPÍTULO 8 3,52 0,93 129 16. CAPÍTULO 9 3,34 0,98 115 Asegurar la Calidad en las Universidades Valoración media del conjunto de Capítulos 17. DOSSIER de PRÁCTICAS 1-2 18. DOSSIER de PRÁCTICAS 3-4 19. DOSSIER de PRÁCTICAS 5-9 Valoración media de los Dossiers de Prácticas 20. El profesor EXPLICA con claridad 21. El profesor intenta MOTIVAR 22. Las explicaciones CORRESPONDEN al programa 23. Las PRÁCTICAS son útiles 24. En general estoy SATISFECHO con este profesor Valoración media del profesor Medía 5x V 3.60 4,15 0,84 148 3,91 0,90 147 4,42 0,76 148 4.¡7 4,09 0,84 151 3,52 1,08 147 4,65 0,61 147 4,60 0,63 149 4,12 0,85 149 4,20 En lo referente a la dispersión de estas valoraciones se observa que los aspectos en los que aparece una mayor variabilidad en las respuestas de los alumnos -con desviaciones típicas superiores a un puntoson los referidos al uso del manual y su estructura, al capítulo 5 y a la motivación procurada por el profesor. Por el contrario, los aspectos en los que se produce una menor dispersión de las valoraciones de los alumnos son los referidos a la correspondencia de las explicaciones del profesor con el programa de la asignatura (¿"x = 0,61) y a la utilidad de las clases prácticas (S* = 0,63). Entrando en el análisis de las relaciones que el uso del manual o la motivación procurada en los alumnos tienen con las valoraciones aportadas por los alumnos (Tabla 3), se observa que todas las referidas al manual varían de manera directa y significativa con el nivel declarado de su uso. De esta generalización hay que exceptuar a los aspectos referidos ai valor ilustrativo de los párrafos de ejemplos -ítem 4- y a la adecuación del capítulo 1 - ítem 8-. También aparecen correlaciones significativas entre el uso del manual y algunos aspectos referidos a la docencia del profesor, tales como que éste explique con claridad - ítem 20-, que sus explicaciones correspondan al programa de la asignatura -ítem 22- y que intente motivar a los alumnos -ítem 21-. A diferencia de lo anterior, el nivel de uso del manual no covaría de manera significativa con las valoraciones referidas al material de prácticas, a la utilidad de las clases prácticas y a la Satisfacción general con el profesor. III Jomadas Andaluzas de Calidad en la Enseñanza Universitaria TABLA 3.- índices de Spearman de las correlaciones entre el uso del manual y la motivación procurada por el profesor con el resto de aspectos valorados de la docencia y el material. Items 1. Uso del23. El profesor manual intenta motivar l.Uso del manual — 0,169 * 2. CONCEPTOS, breves y claros 0,297 0,250 ** 3. EJEMPLOS, an^lios y claros 0,269 0,213 * 4. Ejemplos, ILUSTRAN conceptos 0,163 0,118 5. Organización DENTRO de cada capítulo 0,366 ** 0,222 ** 6. Organización ENTRE capítulos 0,376 ** 0,216 * 7. GLOSARIO 0,201 0,141 8. CAPÍTULO 1 0,112 0,021 9. CAPÍTTJLO 2 0,380 ** 0,326 10. CAPÍTULO 3 0,260 ** 0,203 * U. CAPÍTULO 4 0,266 ** 0,265 ** 12. CAPÍTULO 5 0,324 0,282 ** 13. CAPÍTULO 6 0,337 *■« 0,250 ** 14. CAPÍTULO 7 0,217 * 0,316 15. CAPÍTULOS 0,293 ** 0,193 * 16. CAPÍTULO 9 0,255 0,230 * 17. DOSSIER de PRÁCTICAS 1-2 0,135 0,165 * 18. DOSSIER de PRÁCTICAS 3-4 0,042 0,072 19. DOSSIER de PRÁCTICAS 5-9 0,062 0,276 ** 20. El profesor EXPLICA con claridad 0,176 * 0,354 ** 21. Las explicaciones CORRESPONDEN al programa 0,190 * 0,202 * 22. Las PRÁCTICAS son útiles 0,014 0,256 ** 24. En general, estoy SATISFECHO con este profesor 0,133 0,435 ** Significación bilateral: */?< 0,05; ** p< 0,01 Por su parte, la motivación procurada por el profesor covaría de manera significativa, además de con el uso del manual, con la mayoría de las valoraciones de los distintos aspectos del manual, exceptuando el capítulo 1, el glosario y la ilustración de los conceptos mediante los ejemplos. Además la motivación procurada por el profesor covaría de manera significativa con valoraciones de los materiales de prácticas -ítems 17 y 19- y con todas las valoraciones referidas a la docencia del profesor. Asegurar la Calidad en las Universidades En el análisis de las relaciones de las valoraciones de los estudiantes con el hecho de repetir la asignatura y con el profesor concreto que se las imparte (Tabla 4) se encuentra por una parte que el repetir la asignatura está relacionado significativamente con la valoración del capítulo 2 y los comprendidos entre el 5 y el 9 inclusivos. Asimismo ocurre con las explicaciones y la actitud motivadora del profesor, y con el grado de satisfacción que con él manifiestan los alumnos. Aunque estas diferencias resultan significativas según la prueba U de Mann-Whitney, sus tamaños de efectos estimados con el índice eta cuadrado señalan unos valores de escasa magnitud - entre 0,03 y 0,05-. Al margen de lo anterior si se observa que, fuesen significativas o no las diferencias, las valoraciones de los alumnos repetidores fueron superiores en todos los aspectos estudiados a las de los alumnos de nuevo ingreso. TABLA 4.- índices de correlación 7 y estadísticos Z asociados al contraste de Mann- Whitney para la repetición de curso y los profesores con el resto de aspectos valorados. Repetición Profesor Items T} 2 T¡ 2 l.USO del manual 0^06 ^03 0^24 3,21 2. CONCEPTOS, breves y claros 3. EJEMPLOS, amplios y claros 4. Ejemplos, ILUSTRAN conceptos 5. Organización DENTRO de cada capítulo 6. Organización ENTRE capítulos 7. GLOSARIO 0,07 0,87 0,04 0,49 0,00 0,18 0,09 0,90 0,13 1,43 0,00 0,12 8. CAPITULO 1 9. CAPÍTULO 2 10. CAPÍTULO 3 11. CAPÍTULO 4 12. CAPÍTULO 5 13. CAPÍTULO 6 14. CAPÍTULO 7 15. CAPÍTULO 8 16. CAPÍTULO 9 17. DOSSIER de PRÁCTICAS 1-2 18. DOSSIER de PRÁCTICAS 3-4 19. DOSSIER de PRÁCTICAS 5-9 0,21 2,57 ** 0,08 0,84 0,15 1,79 0,16 2,08 * 0,08 0,97 0,00 0,00 20. El profesor EXPLICA con claridad 0,20 2,58 ♦♦ 0,08 1,11