Aplicación de la técnica peer review en los procesos de aprendizaje y evaluación en cursos de posgrado: una experiencia en Ciencias de la Actividad Física y del Deporte

APLICACIÓN DE LA TÉCNICA PEER REVIEW EN LOS PROCESOS DE APRENDIZAJE Y EVALUACIÓN EN CURSOS DE POSGRADO: UNA EXPERIENCIA EN CIENCIAS DE LA ACTIVIDAD FÍSICA Y DEL DEPORTE. Carrasco Páez, Luis Departamento de Educación Física y Deporte Universidad de Sevilla [email protected] De Hoyo Lora, Moisés Departamento de Educación Física y Deporte Universidad de Sevilla [email protected] Sañudo Corrales, Borja Departamento de Educación Física y Deporte Universidad de Sevilla [email protected] Martínez Díaz, Inmaculada Concepción Departamento de Educación Física y Deporte Universidad de Sevilla [email protected] RESUMEN Con el objetivo de comprobar la validez de la técnica peer review o por pares como sistema de aprendizaje y evaluación en un curso de posgrado en Ciencias de la Actividad Física y del Deporte, 14 estudiantes evaluaron de forma mutua su participación en la exposición de un trabajo científico previamente seleccionado y estudiado, comparándose con la evaluación emitida por el profesor responsable. Los resultados muestran diferencias significativas entre las puntuaciones otorgadas por los pares y el profesor, sobreestimándose las emitidas por los primeros. Sin embargo, un aumento en el nivel de conocimientos sobre la materia desarrollada en el curso y una notable puntuación (8 sobre 10 puntos) en lo que respecta al grado de satisfacción global. Se concluye que esta técnica facilita el aprendizaje y el proceso evaluativo en niveles formativos superiores, siendo, además, bien aceptada por los estudiantes. Palabras clave: técnicas metacognitivas, revisión por pares, peer review, estudios de posgrado, evaluación. ABSTRACT With the aim to check the validity of peer review technique as learning and evaluation strategy in a PhD program on Physical Activity and Sport Sciences, 14 PhD students evaluated themselves on their participation in a scientific paper presentation previously selected and analyzed, process. Moreover, students fulfilled an initial questionnaire on specific knowledge and global satisfaction that was applied at the end of the program. The results show significant differences between evaluation scores emitted by reviewers and professor, finding overestimated scores from reviewers. However, a improve in specific knowledge was found and a remarkable level of global satisfaction (8 of 10 points). It concludes that this type of metacognitive techniques can be applied in PhD programs representing a new source of interest for both students and professors. Keywords: metacognitive techniques, peer review, PhD program, evaluation. 1. INTRODUCCIÓN. Dada la estructura de los estudios de doctorado que, hasta hace poco, se han venido desarrollando al amparo del RD 778/1998 y anteriores en la universidad española, los procesos de aprendizaje y, por ende, de evaluación aplicados han sufrido una importante degradación. Así, y de forma generalizada, la carga lectiva correspondiente al periodo formativo (200 horas) se impartía y se imparte por medio de técnicas basadas en la instrucción directa (normalmente clases magistrales), sin contar, en muchos casos, con un sistema de evaluación apropiado. Aunque este tipo de estudios se sitúa al borde de su extinción, es importante intervenir en ellos e innovar en lo que a la metodología docente se refiere, máxime teniendo en cuenta la implantación del posgrado oficial regulado, entre otros, por el RD 56/2005 y el RD 189/2007, y para el cual se hace necesario el dominio de nuevas estrategias docentes. La evaluación por pares (peer review, peer assessment o peer evaluation) es una técnica ideada, originalmente, para la revisión de artículos científicos sometidos a consideración para su posterior publicación. En un contexto de aprendizaje, consiste en una evaluación horizontal realizada por los propios estudiantes (expertos) acerca del trabajo de uno de sus compañeros. Con ella, los estudiantes aumentan su implicación tanto en el proceso de aprendizaje como en la evaluación (Medina et al., 2003; Sluijsmans et al., 2003). La evaluación puede ser de tipo formativo, cuyo objetivo fundamental es mejorar el aprendizaje de los alumnos a través de los comentarios de los compañeros, o incluir también un componente sumativo, es decir, ayudar a definir la calificación final de los alumnos. En cualquier caso, la evaluación por pares, impulsa el desarrollo de habilidades cognitivas superiores o metacognitivas, como es el caso del pensamiento crítico, ya que los estudiantes deben utilizar su propio conocimiento para analizar y valorar el trabajo de los demás, proporcionándoles elementos de crítica constructiva para mejorar su trabajo (Sitthiworachart y Joy, 2004). Además, la evaluación entre compañeros es una técnica docente que puede ser beneficiosa para todos los agentes implicados: el autor del trabajo, el revisor del trabajo y el propio profesor (Bostock, 2002), máxime si se optimiza su aplicación a través de herramientas informáticas o plataformas docentes digitales adecuadas (Gehringer, 2001; Wolfe, 2004). El proceso de evaluación bajo esta técnica también ofrece ventajas para quien lo realiza, comprendiendo mejor los criterios de evaluación después de haberlos aplicados sobre un igual. Si la evaluación entre pares realiza de forma correcta, el profesor podría incluirla en su evaluación sumativa, aunque para ello es necesario organizar muy bien la actividad y comprobar que los resultados obtenidos, es decir, las evaluaciones de los estudiantes, gozan de la suficiente validez. Considerando todo lo anterior, y ante la necesidad de diseñar y desarrollar procesos de aprendizaje y evaluación específicos en cursos de doctorado a través de técnicas innovadoras que reactiven el interés de los estudiantes, este trabajo se fundamenta en la aplicación de la evaluación por pares en un curso de doctorado vinculado a las Ciencias de la Actividad Física y del Deporte. 2. OBJETIVOS. Comprobar la validez de la evaluación por pares como sistema de evaluación en un curso de doctorado en Ciencias de la Actividad Física y del Deporte. Analizar el nivel de los conocimientos adquiridos, así como el grado de satisfacción alcanzado por los alumnos de doctorado tras un proceso de aprendizaje dentro del ámbito de las Ciencias de la Actividad Física y del Deporte. 3. METODOLOGÍA. 3.1. Participantes. por el Departamento de Educación Física y Deporte de la Universidad de 3.2. Procedimiento. En primera instancia, y en la primera sesión presencial, se informó a los alumnos de las actividades a realizar así como de la técnica a aplicar. Asimismo, se procedió a valorar el nivel inicial de conocimientos sobre la materia a desarrollar. Para ello, los estudiantes contestaron a diez preguntas tipo test con respuesta múltiple, de las cuales 4 hacían referencia a diseños experimentales y seis a conceptos directamente relacionados con la temática del curso. La puntuación final quedó establecida en el intervalo 0 10. En una segunda sesión presencial, se instó a los sujetos a utilizar diversos recursos electrónicos (bases de datos especializadas) con el fin de seleccionar un artículo de investigación que debía haber sido publicado en el presente año en revistas contempladas en el Journal Citation Reports. Tras la búsqueda y selección de los trabajos en cuestión, cada estudiante consultó con el profesor la idoneidad de su artículo que, en un plazo de cinco días, es decir, en la penúltima sesión presencial, sería presentado y defendido frente al grupo como si se tratara de una autoría propia. Al mismo tiempo, se procedió, en cada caso, a la asignación aleatoria de dos pares y al envío de los correspondientes artículos. Desconociendo qué compañeros/as estaban trabajando sobre cualquier artículo pero, a la vez, sabiendo que cada uno de estos documentos estaba siendo estudiado por triplicado (expositor y pares correspondientes), el profesor de la asignatura hizo entrega a cada estudiante de una guía para proceder a la evaluación de los trabajos presentados (puntuación final: 0 10 puntos). Esa misma guía fue también utilizada por el profesor en la evaluación de cada presentación sirviendo así de referencia. Durante la presentación de los trabajos (diez minutos) y, especialmente, en su defensa ante las preguntas que, libremente, cualquier estudiante podía emitir (5-10 minutos), los pares implicados puntuaban a su compañero registrando sus comentarios o indicaciones en la guía de evaluación (Figura 1). Asimismo, los pares eran los encargados de abrir el turno de preguntas justo al finalizar la exposición del estudiante asignado, cuestionándole o debatiéndole aquellos aspectos que podían resultar conflictivos en el trabajo. Figura 1: planilla para la evaluación de los trabajos. En cualquier caso, y para evitar cualquier sensación de responsabilidad manifiesta en relación con el proceso de evaluación del curso, se informó a los estudiantes que las puntuaciones emitidas hacia sus compañeros no iban a ser consideradas a la hora de adjudicar la calificación final de los mismos. Al finalizar todas las presentaciones, el profesor recogió todas las guías de evaluación con la puntuación asignada en cada caso. Al día siguiente, y ya en la última sesión presencial, los alumnos pudieron tener acceso a las guías que, sobre sus presentaciones habían sido completadas y puntuadas, estableciéndose un debate conjunto moderado por el profesor de la asignatura. Seguidamente, los alumnos volvieron a completar el cuestionario inicial sobre conocimientos de la materia, a la vez que, sobre una escala analógica visual (0-10), informaron sobre su nivel de satisfacción con las actividades desarrolladas. Todos los datos fueron objeto de un análisis descriptivo básico. Con el fin de valorar la validez de las evaluaciones y/o puntuaciones promedio emitidas por los pares, se realizó un análisis de correlación de Pearson considerando como referencia las puntuaciones efectuadas por el profesor. Además, se aplicó un análisis ANOVA de un factor con el fin de determinar la existencia de diferencias entre las diferentes puntuaciones así como entre la prueba inicial y final sobre conocimiento específico de la materia. Para todo ello se utilizó el programa informático SPSS v.15, manteniendo un intervalo de confianza del 95%. 4. RESULTADOS. En la valoración sobre el nivel de conocimientos previos, los alumnos alcanzaron una puntuación (media ± dt) de 3.6 ± 2.8 puntos, no superando, en conjunto, dicha prueba inicial. En la Tabla 1 se muestran las puntuaciones otorgadas en cada caso por los pares y por el profesor del curso. Puntuaciones emitidas Estudiante nº Pares Profesor 1 6.5 5.0 2 8.2 7.5 3 5.0 3.0 4 9.0 7.5 5 10.0 7.0 6 6.0 6.0 7 7.3 6.5 8 8.4 5.5 9 5.0 3.0 10 7.2 7.0 11 8.0 6.0 12 7.0 5.0 13 6.0 4.5 14 9.0 8.0 Media ± dt 7.3±1.5* 5.8 ±1.8 Como se puede apreciar, la puntuación promedio de los pares fue, en cada caso, superior a la emitida por el profesor. De hecho, se encontraron diferencias significativas entre ambas puntuaciones globales (Tabla 1). Por otra parte, y en lo que respecta a la relación mostrada por las puntuaciones otorgadas por los pares y el profesor (Gráfico 1), se cual es indicativo de una misma tendencia en la evaluación, aunque, como ha quedado patente, con valores sobrestimados de forma significativa por parte de los pares. Gráfico1: relación entre las puntuaciones emitidas por los pares y la otorgada por el profesor. En lo que respecta a la prueba de nivel aplicada al final del curso, los estudiantes alcanzaron una puntuación media de 6.1 ± 2.8 puntos, siendo este valor significativamente superior al registrado en la valoración inicial. Por último, el nivel de satisfacción general expresado por los estudiantes a través de la escala analógica visual (0-10) alcanzó un valor medio de 8.0 ± 1.3 puntos. 5. CONCLUSIONES. La validez de la evaluación por pares como sistema de evaluación en un curso de doctorado en Ciencias de la Actividad Física y del Deporte se considera adecuada, por lo que, teniendo en cuenta la sobrevaloración de las puntuaciones emitidas por los pares, puede ser aplicada en este tipo de cursos. La evaluación por pares conlleva, además, un aprendizaje significativo de conceptos y procesos propios de la materia desarrollada en el curso objeto de estudio. El nivel global de satisfacción se considera destacable, reforzando la aplicación de esta técnica cognitiva en los estudios de doctorado. 6. BIBLIOGRAFÍA. Bostock, S. (2002). Web Support for Student Peer Review. Staffordshire. Keele University Innovation Project Report. Gehringer, E.F., Chinn, D.D., Ardis, M.A., Pérez-Quiñones, M.A. (2005). Using Peer Review in teaching Computing -27 Medina, V., Martins, L., Dos Santos, RC. (2003). Peer Review in Education: Promoting Collaboration, Written Expression, Critical Thinking, and Professional Responsibility. Education and Information Technologies, 81 (1), 37-46. Sitthiworachart, J., Joy, M. (2004). EffectivePeer Assessment for Learning Computer Programming. Sluijsmans, M.A. et al. (2003). The Training of Peer Assessment Skills To Promote the Development of Reflection Skills in Teacher Education. Studies in Educational Evaluation, 29 (1), 23-42. Wolfe, W.J. (2004). Online Student Peer Reviews.