Auto-evaluación discente como estrategia de aprendizaje: ¿cuestión de género?

  $XWRHYDOXDFLyQGLVFHQWHFRPRHVWUDWHJLDGHDSUHQGL]DMH ¢&XHVWLyQGHJpQHUR" Carlos T. Calafate, Juan Carlos Cano, Pietro Manzoni Dpto. de Informática de Sistemas y Computadores (DISCA) Escuela Técnica Superior de Ingeniería Informática (ETSINF) Universitat Politècnica de València (UPV) E-mail: {calafate, jucano, pmanzoni}@disca.upv. 5HVXPHQ La adopción de las directrices definidas para el Espacio Europeo de Educación Superior ha representado un gran cambio en el paradigma enseñanza/aprendizaje. En particular, los estudiantes deben adaptarse a las actividades y técnicas de estudio basadas en grupo. Además, se espera de ellos que gradualmente sean protagonistas de su propio aprendizaje. En el escenario actual, donde el acceso al conocimiento es un fenómeno generalizado, los profesionales deben ser capaces de mantener sus conocimientos actualizados a medida que se producen continuos avances en sus campos profesionales. En este escenario el autoaprendizaje, más que deseable, se está convirtiendo en un requisito indispensable. Formar estudiantes con capacidades de autoaprendizaje es un objetivo transversal en los actuales curricula de cualquier grado universitario que desea formar profesionales con éxito profesional. Para conseguir dicha competencia es fundamental que los estudiantes adquieran hábitos de auto-evaluación de su propio proceso formativo. En este trabajo se analiza si el género (masculino, femenino) constituye un factor clave que pueda afectar a las habilidades de auto-evaluación de nuestros estudiantes. También se analiza si las preferencias sociales relacionadas con el aprendizaje dependen del género de los estudiantes, y como éstas pueden afectar al proceso de la auto-evaluación.  ,QWURGXFFLyQ La utilización de la evaluación como herramienta metodológica para el aprendizaje [1] constituye un área que encuentra aplicación en diferentes ámbitos del escenario universitario, incluyendo la evaluación de planes de estudio, los procesos de evaluación del personal, así como la evaluación de los estudiantes. La evaluación formativa [2] es un concepto relacionado, y se refiere al proceso mediante el cual el instructor mejora el proceso de aprendizaje de los alumnos en base a la información obtenida de los resultados de la evaluación. La evaluación formativa puede centrarse en el estudiante, en el instructor, o en ambos. Si se hace hincapié en el estudiante, el objetivo principal estriba en permitirle mejorar su proceso de aprendizaje a partir de la retroalimentación de la evaluación. Si se hace hincapié en que el instructor, ésta le debería permitir determinar qué cambios podrían mejorar el proceso de enseñanza, por ejemplo la organización del curso, los contenidos del mismo, o los ejercicios y ejemplos propuestos. Por último, una tercera alternativa es centrarse tanto en el estudiante como en el instructor. La auto-evaluación [3] está íntimamente relacionada con el aprendizaje autónomo. De hecho, para lograr un auto-aprendizaje eficiente y eficaz se requiere de una buena capacidad de auto-evaluación. Varios estudios indican, que los procesos de aprendizaje y evaluación presentan características diferentes cuando se analizan atendiendo al género de los estudiantes. Willingham y Cole [4] fueron de los primeros autores en estudiar la relación entre el proceso de evaluación y el género de los estudiantes. Autores como Halpern [5] afirman que hay indicios claros que indican que los hombres superan a las mujeres en las pruebas de capacidad cuantitativa y habilidades matemáticas. Otros autores, como Spelke [6] y Hyde [7], también han advertido de estas diferencias en función del género cuando se trata de titulaciones con marcado carácter tecnológico Sesión 1A: Evaluación del alumnado I     y matemático, indicando, además, que la investigación sobre las capacidades cognitivas de hombres y mujeres, desde el nacimiento hasta la madurez, no es compatible con tales afirmaciones. Para demostrarlo, Hyde et al. han realizado un análisis estadístico más detallado que muestra que las diferencias de puntuación entre hombres y mujeres en términos de habilidades matemáticas son insignificantes. Aunque los estudios anteriormente citados arrojan algo de luz en el desarrollo de las competencias científicas basadas en el género, la relación particular entre auto-evaluación y su dependencia del género es un tema que requiere un examen más detallado. En los años noventa, Beyer [8] estudió la relación entre auto-evaluación y capacidades, concluyendo que existen diferencias significativas en función del género. En concreto, las mujeres tenían tendencia a subestimar significativamente su rendimiento y percibían una sensación de fracaso mucho más acentuadas que los hombres. Recientemente, Pallier [9] ha realizado dos encuestas diferentes, con una población significativa de adultos, que una vez más confirma que, en general, los hombres expresan niveles más altos de confianza que las mujeres en el trabajo desarrollado y en sus capacidades. En el presente trabajo, se analizan las habilidades de auto-evaluación de un grupo de estudiantes de Ingeniería Informática cursando un curso de Redes de Computadores. A partir de una encuesta realizada a los estudiantes durante el curso 2009/2010, se obtuvieron resultados de una población de 70 estudiantes, que fueron clasificados y analizados en función del género. Además, también se estudió si el género afecta a las preferencias sociales de aprendizaje asociados con la evaluación formativa en el aula. Los resultados obtenidos muestran que, a diferencia de trabajos anteriores, “ODV HVWXGLDQWHV´ son las que expresan más altos niveles de confianza en su trabajo. Esta discrepancia nos permite formular la hipótesis de que tal vez las características de los estudiantes de Ingeniería Informática difieren de los comportamientos generales y las pautas de auto-evaluación detectados por otros investigadores en poblaciones diferentes. El resto del trabajo se organiza como sigue. En la Sección 2 se revisan algunos trabajos relacionados con la evaluación formativa. La Sección 3 describe los detalles sobre la encuesta y la población utilizada. Los resultados de la encuesta se presentan y discuten en la Sección 5. Por último, la Sección 6 presenta las conclusiones del trabajo.  7UDEDMR5HODFLRQDGR La evaluación formativa es un proceso autoreflexivo que persigue promover y mejorar los resultados de los estudiantes [10]. Cowie y Bell [11] lo definen como el proceso bidireccional entre el profesor y el estudiante para mejorar, reconocer y responder al aprendizaje. Black y William [12] consideran que la evaluación es "formativa" cuando la retroalimentación de las actividades de aprendizaje se utilizan efectivamente para adaptar la enseñanza a las necesidades del alumno. Nicol y Macfarlane [13] interpretan de forma diferente los conceptos de evaluación formativa y retroalimentación, mostrando como estos procesos pueden ayudar a que los estudiantes tomen las riendas de su propio aprendizaje (aprendizaje auto-regulado). La auto-evaluación en un entorno educativo induce a los estudiantes a hacer juicios sobre su propio trabajo. Uno de los primeros experimentos en este ámbito [3] fue realizado por Sedikides (1993), que estudió los diferentes roles de la evaluación prestando especial atención a los aspectos relacionados con la autoevaluación y la auto-verificación. Trope y Ben- Yair [14] también han estudiado la autoevaluación, concluyendo que los individuos prefieren adquirir las competencias que les permitan medir sus habilidades con mayor precisión, aunque serán más persistentes evaluando aquellas tareas que requieran una menor precisión en dicha evaluación A diferencia de trabajos previos, nuestro trabajo se centra en la auto-evaluación como herramienta que potencia la evaluación formativa en el contexto de los estudios universitarios, utilizando una aproximación por género. ;9,,-RUQDGDVGH(QVHxDQ]D8QLYHUVLWDULDGHOD,QIRUPiWLFD       'HWDOOHVGHODHQFXHVWD\SREODFLyQ GHOHVWXGLR Nuestro análisis se centra en los estudiantes matriculados en la asignatura Redes de Computadoras, asignatura obligatoria de 4º curso (séptimo semestre) de la titulación de Ingeniería Informática de la Universidad Politécnica de Valencia. Un total de 70 estudiantes han participado en nuestro estudio (alrededor del 95% de los estudiantes que asisten regularmente a clase), de los cuales 55 son hombres y los 15 restantes son mujeres. La encuesta constaba de dos partes: (i) una vez finalizado el examen final de la asignatura, y antes de entregar el examen, se solicitó a los alumnos que indicasen por escrito en el propio examen la nota esperada en cada una de las cuestiones, indicándoles para cada pregunta su peso sobre la nota final. (ii) A la semana siguiente del examen, y antes de publicar las notas de los mismos, se les pidió rellenar una encuesta con una amplia colección de preguntas relacionadas con la auto-evaluación y las preferencias sociales relacionadas con la autoevaluación y el aprendizaje. Con toda esta información se procedió a realizar un análisis discriminando los resultados en función del género (masculino o femenino). A continuación se presentan y analizan los resultados obtenidos.  $QiOLVLVGHUHVXOWDGRVVREUHODV FRPSHWHQFLDVGHDXWRHYDOXDFLyQ En esta sección se presentan los resultados más representativos de nuestro estudio. En primer lugar, se presentan resultados que hacen referencia a las competencias de autoevaluación de los estudiantes, mostrando su nivel de conciencia sobre dicho proceso, es decir, la diferencia entre las puntuaciones estimadas y las que realmente han obtenido. Se han comparado tres datos estadísticos: los resultados reales obtenidos en el examen (Sr), los valores estimados por los alumnos (Se), y las puntuaciones que los estudiantes creen que merecen (Sd); éste último dato obtenido refleja las habilidades que los alumnos perciben que han adquirido en el contexto de los diferentes conceptos de la asignatura. En cuanto a los resultados del aprendizaje, la Figura 1 muestra un diagrama de caja y bigotes para la distribución de resultados asociados a ambos géneros. Podemos observar que la puntuación media obtenida por los hombres es un 26% superior a la puntuación obtenida por los estudiantes de género femenino. También encontramos diferencias significativas entre las puntuaciones máximas y mínimas y, aunque el rango es similar para ambos géneros (alrededor del 63%) las puntuaciones obtenidas por las alumnas está ligeramente desplazada hacia la izquierda. Figura 1. Diagrama de caja y bigotes para las puntuaciones de examen en función del género. Figura 2. Diagrama de caja y bigotes de los errores en la estimación de la puntuación obtenida, en función del género. Centrándonos ahora en los errores de estimación, la Figura 2 muestra el diagrama de caja y bigotes para la distribución de los errores de estimación asociada. Podemos observar que tanto chicos como chicas tienden a sobreestimar las puntuaciones obtenidas. Sesión 1A: Evaluación del alumnado I     Al comparar la distribución por género, nos encontramos con que un mayor porcentaje de alumnas tienden a sobrestimar los resultados: 81% (mujeres) frente a 76% (hombres). Además, encontramos que alrededor del 25% de los hombres son pesimistas en dicha estimación, con errores de estimación de hasta un -22%. Las chicas, por su parte, son mucho menos pesimistas, con un error de estimación negativa de un -8% en el peor de los casos. En general, encontramos que las estudiantes no estiman con precisión su puntuación en un 12% como media, mientras que para los chicos este valor medio es ligeramente inferior (8%). Además, la distribución que corresponde a la población masculina tiene una gama mucho más amplia en comparación con la población femenina (61% vs 40%), mientras que también tiene una curtosis superior y un desplazamiento ligeramente negativo. Los resultados obtenidos presentan discrepancias con respecto a los estudios realizados por Beyer y Pallier [8,9], que indican que las mujeres son más propensas a subestimar su trabajo. Esto puede ser debido a las características de aprendizaje de los estudiantes de ingeniería. Figura 3. Diagrama de caja y bigotes de los errores en la puntuación que los alumnos creen merecer, en función del género. Para concluir nuestro análisis de las habilidades de auto-evaluación, analizamos ahora el error entre la nota finalmente obtenida y la que los estudiantes creen que merecen en función de su percepción de conocimiento adquirido a lo largo del curso. Los resultados obtenidos se muestran en la Figura. 3. Las diferencias observadas son bastante acentuadas en función del género. El valor medio del error de estimación es del 24% para la población femenina y del 15% para la masculina. En general, observamos que ninguna chica es pesimista respecto a la puntuación que cree merecer, siendo la mayoría bastante optimistas (error superior al 10%) e incluso algunas (15%) son extremadamente optimistas, con un error superior al 30%. Con respecto a la población masculina, nos encontramos con que, aunque también hay un alto porcentaje optimista, ahora también encontramos alrededor de un 30% de estudiantes que podemos considerar realistas (error en el intervalo [-10%, 10%]). En este punto se hacen evidentes los diferentes puntos de vista entre el profesor y el estudiante con respecto a la evaluación de competencias. Así, los resultados parecen indicar que los estudiantes no identifican el examen realizado como una herramienta de evaluación de los conocimientos adquiridos. Sin embargo, si analizamos las respuestas de los estudiantes a las preguntas relativas a dicho aspecto (ver Figura 4) verificamos que sólo el 10% de los estudiantes piensan que el examen no evalúa sus conocimientos adecuadamente, mientras que una amplia mayoría sí que está de acuerdo sobre la adecuación del examen. No hubo diferencias significativas entre ambos géneros sobre esta cuestión. Así pues, todo parece indicar que los resultados se deben por una parte a la falta de competencias de los estudiantes con respecto a la auto-evaluación de sus propios conocimientos y, por otra, quizás a no haber sabido transmitir a los alumnos desde un principio los objetivos y competencias que se espera que éstos adquieran en la asignatura. Nos planteamos el reto de cómo transmitir a los estudiantes lo que se espera de ellos mejorando, al mismo tiempo, sus competencias de auto-evaluación. Según diferentes autores [15,16], la utilización de rúbricas pueden ser de gran utilidad para lograr este objetivo, ya que los estudiantes se pueden beneficiar de un conjunto de normas claramente definidas desde el principio, que son de utilidad para centrar su atención en los aspectos realmente importantes, mejorando al simultáneamente sus capacidades de autoevaluación. Como trabajo futuro para el próximo curso académico tenemos previsto implantar un sistema de evaluación basado en rúbricas de calificación con información detallada sobre qué ;9,,-RUQDGDVGH(QVHxDQ]D8QLYHUVLWDULDGHOD,QIRUPiWLFD      aspectos son los más representativos en cada una de las unidades, y cómo estos aspectos serán evaluados. Figura 4. Histograma de la opinión sobre el examen realizado, y si éste ha sido representativo del conocimiento adquirido a lo largo del curso.  $QiOLVLVGHORVUHVXOWDGRVGHODV SUHIHUHQFLDVVRFLDOHVGHODSUHQGL]DMH En la sección anterior hemos demostrado que, en general, las habilidades de auto-evaluación del estudiante son bastante pobres. En estas circunstancias, la retroalimentación del instructor es un requisito esencial para una evaluación formativa más precisa, que permita además que los estudiantes sean más conscientes del proceso de adquisición de conocimientos. La retroalimentación por parte del instructor acerca de la evaluación puede tener lugar en cualquier momento del proceso de aprendizaje. Así pues, en la segunda parte de nuestro estudio, se analizarán las preferencias sociales de los estudiantes con respecto a dicha retroalimentación en los procesos de aprendizaje. Nos hemos centrado en las siguientes cuestiones: 1. Describir el grado de incomodidad al recibir comentarios de evaluación en clase, es decir, cuando se evalúa frente a otros estudiantes. 2. Describir el grado de incomodidad cuando la retroalimentación se produce en horas de tutorías, es decir, cuando se evalúa a solas con el profesor. 3. Opinión con respecto a la siguiente afirmación: "la retroalimentación por parte del instructor mejora mi capacidad de auto-evaluación”. La Figura 5 presenta los resultados de la primera pregunta en función del género. Podemos observar que la mayoría de las estudiantes (63%) se sienten cómodas cuando son evaluadas en clase, mientras que la mayoría de los estudiantes (67%) se sienten moderadamente (44%) o muy incómodos (23%) al ser evaluados frente a otros estudiantes. Cuando los alumnos asisten a horarios de tutorías del instructor para solucionar dudas, las respuestas son muy diferentes. Ahora nos encontramos con que la inmensa mayoría de estudiantes de género femenino (74%) se sienten moderadamente incómodas, mientras que la mayoría de los estudiantes se sienten más cómodos en este escenario (58%). Al analizar estos resultados podemos intuir que los resultados son, en parte, debidos a que todos los profesores de la asignatura son hombres. Otra cuestión digna de mencionar es que, particularmente en la población masculina, parece que un número significativo de estudiantes no está satisfecho con cualquiera que sea la estrategia de retroalimentación utilizada por el profesor. Para completar nuestro análisis, hemos analizado la opinión de los estudiantes sobre la importancia de la retroalimentación del instructor como un mecanismo para mejorar la evaluación del aprendizaje. El propósito es confirmar si el punto de vista donde el instructor juega un papel central en la mejora de habilidades de aprendizaje de evaluación, que se adopta en este y otros trabajos, es una opinión compartida por los estudiantes o si, por lo contrario, no están de acuerdo con dicha opinión. Los resultados mostrados en el histograma de la Figura 7 confirman que la mayoría de los estudiantes tienen una opinión positiva acerca de la retroalimentación del instructor, considerándola beneficiosa para su aprendizaje. Sin embargo, alrededor de un 11,6% de los estudiantes no están de acuerdo con esta opinión, lo que indica que no asocian la tarea del instructor con la tarea de promover la adquisición de conocimientos de estudiante, Sesión 1A: Evaluación del alumnado I     guiándolo durante todo el proceso a través de diferentes mecanismos de evaluación. Figura 5. Histograma que describe el grado de incomodidad del estudiante (en función del género) al ser evaluados en clase. Figura 6. Histograma que describe el grado de incomodidad del estudiante (en función del género) al ser evaluados durante las horas de tutoría. Figura 7. Histograma acerca de la importancia de la retroalimentación del instructor como un mecanismo para mejorar sus capacidades de auto.  &RQFOXVLRQHV En este trabajo hemos analizado las capacidades de auto-evaluación de los alumnos como herramienta de aprendizaje, en el ámbito de un curso de Redes de Computadores de una titulación de Ingeniería Informática. Nos hemos centrado en las habilidades de auto-evaluación de nuestros estudiantes, así como de sus preferencias sociales relacionadas con la retroalimentación obtenida por parte del instructor. A partir de los datos recibidos de una población de 70 estudiantes de Ingeniería Informática, los resultados muestran que, aunque todos los estudiantes tienden a sobrestimar su calificación del examen, las estudiantes son mucho más optimistas (una diferencia de puntuación de 10% más que los chicos en comparación con el resultado real obtenido). Además, algunos estudiantes (masculinos) creen merecer una nota que está por debajo del resultado real obtenido (hasta un 10% menos). Entre las estudiantes de género femenino no encontramos casos pesimistas en cuanto a la nota que creen merecer. En general, el estudio realizado revela que las mujeres son más propensas a sobreestimar la calidad de su trabajo. Aunque este resultado está en clara contradicción con trabajos anteriores, consideramos que puede ser debido a que la población de estudiantes de Ingeniería Informática tiene características especiales que la hacen diferente respecto a patrones encontrados en muestras de otras poblaciones. En cuanto a las preferencias sociales, encontramos que las estudiantes se sienten más cómodas que los varones cuando se está evaluando en clase (63% vs 33%). Sin embargo, hay un grupo significativo de estudiantes que, independientemente de su sexo, se siente muy incómodo siendo evaluados frente a otros estudiantes (23% hombres y 12% de estudiantes mujeres). Cuando se analizan los resultados de la evaluación realizada en horarios de tutorías, la tendencia es la opuesta: el 57% de los estudiantes masculinos se sienten cómodos, mientras que este porcentaje se reduce al 25% en el caso de las alumnas. Además, alrededor de un 11,6% de los estudiantes tienen una opinión negativa acerca de la retroalimentación del instructor, aspecto que está en clara contradicción con la interacción natural estudiante-profesor de base. Este factor merece un estudio más detallado. Como trabajo futuro, planeamos realizar estudios similares en próximos cursos que ;9,,-RUQDGDVGH(QVHxDQ]D8QLYHUVLWDULDGHOD,QIRUPiWLFD      permitan validar estos primeros resultados. Además, tenemos la intención de evaluar el impacto de la utilización de rúbricas en el proceso de enseñanza-aprendizaje que permita a los estudiantes tener una visión más objetiva de aquellos aspectos representativos, ofreciéndoles además una guía detallada de cómo dichos aspectos serán posteriormente evaluados. $JUDGHFLPLHQWRV Este trabajo ha sido parcialmente financiado por la Escuela Técnica Superior de Ingeniería Informática (ETSINF - UPV), y el Departamento de Informática de Sistemas y Computadores (DISCA) de la Universitat Politècnica de València, España. 5HIHUHQFLDV [1] D. Carless, “Prospects for the implementation of assessment for learning”. In Assessment in Education: Principles, Policy and Practice. Routledge: Taylor & Francis Group, 2005, Vol. 12(1), pp. 39-54. [2] P. Black and D. Wiliam, “Inside the Black Box: raising standards through classroom assessment”. London: King's College, Reprinted in Phi Delta Kappan, 1998, Vol. 80(2), pp. 139-48. [3] C. Sedikides, “Assessment, enhancement, and verification determinants of the selfevaluation process”. Journal of Personality and Social Psychology, 1993, Vol. 65(2), pp. 317-338. [4] W.W. Willingham, N.S. Cole, Gender and fair assessment, Mahwah, NJ: Erlbaum, 1997. [5] D. Halpern, Sex Differences in Cognitive Abilities, Lawrence Erlbaum Associates, 2000. [6] E. Spelke, Sex Differences in Intrinsic Aptitude for Mathematics and Science?: A Critical Review, American Psychologist, Vol. 60(9), pp. 950-958, 2005. [7] J.S. Hyde, E. Fennema, S.J. Lamon, Gender differences in mathematics performance: a meta-analysis. Psychol Bull., Vol. 107(2), pp. 139-55, 1990. [8] Sylvia Beyer, Self-Consistency and Gender Differences in the Accuracy of Self- Evaluations, 100th Annual Convention of the American Psychological Association, Washington, DC, 14-18 August, 1992. [9] Gerry Pallier, Gender Differences in the Self-Assessment of Accuracy on Cognitive Tasks, Sex Roles, Vol. 48(5/6), pp. 265- 276, 2003. [10] T. Crooks, The Validity of Formative Assessments, Paper presented to the British Educational Research Association Annual Conference, University of Leeds, 13-15 September 2001. [11] B. Cowie, B. Bell, A model of formative assessment in science education, Assessment in Education, 1999, Vol. 6, pp. 101-116. [12] P. Black, D. William, Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 1998, Vol. 80(2), pp. 139-149. [13] D.J. Nicol, D. Macfarlane-Dick, Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 2006, Vol. 31(2), pp.199-218. [14] Y. Trope, E. Ben-Yair, Task construction and persistence as means for selfassessment of abilities. Journal of Personality and Social Psychology, 1982, Vol. 42, pp. 637-645. [15] H. Goodrich, “Understanding Rubrics”. Educational Leadership, 1996, Vol. 54(4), pp. 14-18. [16] H. Andrade, Self-assessment through rubrics. Educational Leadership, 2007, Vol. 65(4), pp. 60-63. [17] E. Wenger, “Artificial intelligence and tutoring systems: computational and cognitive approaches to the communication of knowledge”. Morgan Kaufmann Publishers, 1987.