Puntuación entre iguales para la evaluación del trabajo en equipo

Puntuación entre iguales para la evaluación del trabajo en equipo Alberto Abelló Xavier Burgués Dept. d’Enginyeria de Serveis i Sistemes d’Informació Universitat Politècnica de Catalunya C/ Jordi Girona 1-3, 08034 Barcelona {aabello,diafebus}@essi.upc.edu Resumen La entrada en el EEES y la adopción de un sistema de evaluación basado en competencias, algunas de ellas no técnicas, hace que nos tengamos que plantear algún tipo de cambio, no solo en la forma de enseñar, sino también en la forma de evaluación. Evaluar, por ejemplo, la actitud ante el trabajo, el trabajo en equipo o la capacidad de innovación mediante un examen resulta a todas luces poco apropiado, si no imposible. Es en este sentido que hemos experimentado durante dos semestres la posibilidad de evaluación entre iguales para la competencia genérica “trabajo en equipo”. En este trabajo, presentamos la experiencia y conclusiones extraídas. 1. Introducción La implantación del grado en informática y la consecuente adaptación de los estudios al EEES ha resultado, no solo en una oportunidad de innovación docente, sino también en una necesidad de adaptarnos a las nuevas exigencias. Hemos pasado de asignaturas (y estudios) basadas en objetivos a unas basadas en competencias. La mayoría de estas competencias son de índole técnica o tecnológica. No obstante, algunas de ellas son de tipo genérico y transversales al contenido de las asignaturas. Así, en la Facultad de Informática de Barcelona de la UPC se han incluido en el grado las siguientes competencias genericas [7] (algunas dictadas por el ministerio, otras por la universidad y el resto introducidas por la propia facultad): Iniciativa e innovación Sostenibilidad y compromiso social Tercera lengua (inglés) Comunicación eficaz oral y escrita Trabajo en equipo Uso solvente de recursos de información Aprendizaje autónomo Actitud apropiada ante el trabajo Hábitos de pensamiento apropiados (capacidad de razonamiento crítico, lógico y matemático) Está claro que desarrollar y evaluar estas competencias con los métodos tradicionales resulta totalmente inapropiado. En este trabajo proponemos el uso de la evaluación entre iguales para promover la reflexión y evaluar una de estas competencias: “Trabajo en equipo”, claramente destacada en [9] y [2]. Esta competencia se ha definido en nuestra facultad como “ser capaz de trabajar como miembro de un equipo, ya sea como un miembro más o realizando tareas de dirección, con la finalidad de contribuir a desarrollar proyectos de una forma pragmática y con sentido de la responsabilidad asumiendo compromisos teniendo en cuenta los recursos disponibles”. El artículo está organizado en 6 secciones. La sección 2 introduce el marco concreto en el cual se ha desarrollado la experiencia. La sección 3 presenta la motivación y el ánimo que nos ha movido a llevar a cabo la experiencia, así como las dificultades que presentan este tipo de actividades. La sección 4 describe lo que propusimos concretamente a los estudiantes. La sección 5 muestra un análisis estadístico de los resultados obtenidos desde diferentes puntos de vista. Finalmente, la sección 6 resume las conclusiones que hemos extraído y como proponemos mejorar la puesta en práctica el próximo semestre. 2. Contexto de la experiencia En esta sección explicamos el marco en el cual se ha desarrollado la experiencia, en primer lugar en lo referente a las herramientas utilizadas y posteriormente en cuanto a la organización y evaluación de la asignatura sobre la que se ha llevado a cabo. 74 Sesión 2A: Evaluación del alumnado II 2.1. Moodle y LEARN-SQL Desde el curso 07/08, las asignaturas del área de bases de datos se vienen apoyando en Moodle1[1], que es el Learning Management System escogido por la UPC para dar soporte a su Campus Virtual. Se ha ido personalizando y complementando Moodle para implementar y facilitar los cambios que se han ido aplicando a las diferentes asignaturas. Hay que destacar el desarrollo de una herramienta que tiene como interfaz de usuario al propio Moodle, llamada LEARN-SQL [5], cuyo objetivo es corregir automáticamente cualquier tipo de sentencia SQL (consultas, actualizaciones, procedimientos almacenados, disparadores, etc.) y discernir si la respuesta aportada por el estudiante es o no correcta con independencia de la solución concreta que éste proponga. Además, esta herramienta ayuda a los profesores a diseñar las pruebas de evaluación, permitiendo también la opción de revisar cualitativamente las soluciones aportadas por los estudiantes. Por último, el sistema proporciona ayuda a los estudiantes para que aprendan de sus propios errores, dando realimentación de calidad. Los profesores generan un archivo de preguntas y posteriormente se generarán cuestionarios a partir de las preguntas almacenadas. Los estudiantes pueden acceder al cuestionario a través de un navegador y proponer soluciones a las preguntas, soluciones que serán evaluadas por el sistema. Esta evaluación es automática, interactiva (el estudiante obtiene realimentación en cuestión de segundos) e informativa (el estudiante obtiene información sobre los errores que ha cometido en su solución y una posible orientación para solucionarlos). Otros aspectos que podemos citar son el carácter multilingüe (tanto de la interfaz como de los enunciados de las preguntas; téngase en cuenta que algunos semestres la asignatura se imparte en inglés) y un módulo que permite a los estudiantes crear parejas de prácticas sin repetir compañeros anteriores y que también permite emparejar automáticamente a los estudiantes desde un primer momento o cuando no lo hayan hecho ellos mismos al acabar un cierto plazo. Además, el módulo de cuestionarios reconoce estas parejas y les permite ver la solución del compañero así como adjuntarle comentarios, permitiendo la resolución en equipo sin necesidad de coincidir en el tiempo ni el espacio. 1www.moodle.org 2.2. Estrategia de evaluación de la asignatura Diseño y Administración de Bases de Datos2es una asignatura opcional correspondiente a objetivos formativos comunes de la categoria 2.2 de [2], que se cursa durante el quinto semestre de la Ingeniería Informática y en el tercero del Master en Tecnologies de la Informació de la Facultad de Informática de Barcelona. Esta asignatura está siendo objeto de mejoras desde 2005 en el marco de los proyectos de mejora docente tanto de la propia universidad, como del gobierno autonómico. En su estado actual, los estudiantes trabajan en la asignatura asistiendo a dos sesiones (2 horas + 1 hora) de teoría y una sesión (2 horas) de laboratorio a la semana, además de unas horas más de trabajo personal. En todos los casos, exceptuando la primera sesión, las sesiones de laboratorio proporcionan una calificación. La evaluación de la asignatura se basa mayoritariamente, con un peso del 80%, en las pruebas realizadas en parejas durante las sesiones de laboratorio (el 20% restante corresponde a la calificación obtenida en el examen individual realizado al final del semestre). Generalmente, en cada sesión, los estudiantes, además de responder un cuestionario LEARN-SQL, tienen que contestar algunas preguntas complementarias en un formulario en papel para reforzar la validez de la evaluación automática. Habida cuenta del peso de la nota de laboratorio, los estudiantes cambian de pareja varias veces durante el curso (normalmente 5 veces). También se tiene en cuenta la dificultad e importancia de cada sesión, asignándose a cada una un peso de 1, 2 ó 4. La dedicación autónoma de los estudiantes, aparte del estudio, se canalizaba hasta el curso 07/08 por medio de ejercicios propuestos en una lista de problemas (sin soluciones) a disposición de los estudiantes. A partir del curso 08/09, los estudiantes acceden a los ejercicios a través de cuestionarios en LEARN-SQL. Durante una semana, los estudiantes tienen acceso a través de internet a un cuestionario de entrenamiento para estudiar y practicar un tema. Siete días después de la publicación de este cuestionario de entrenamiento, en sesión cerrada de laboratorio, se lleva a cabo en el aula la correspondiente prueba puntuable. A partir del curso 09/10, dado el poco peso del examen final (únicamente el 20%), 2http://www.fib.upc.edu/es/infoAca/estudis/ assignatures/DABD.html XVII Jornadas de Enseñanza Universitaria de la Informática 75 para estimular la dedicación personal a la asignatura e incidir en los aspectos teóricos de la misma, se ha puesto en marcha una actividad donde los estudiantes proponen preguntas aptas para figurar en un examen (descrita en [6]). Con esta actividad se pretende que, además de resolver el cuestionario semanal, los estudiantes estudien el material teórico para estar en disposición de formular dichas preguntas. 3. Motivación, objetivos y dificultades En general, a los estudiantes, les pedimos que adquieran ciertos conocimientos a nivel meramente memorísticos y otros a un nivel más profundo que les permita no solo repetirlos, sino también aplicarlos a nuevas situaciones y casuísticas ( correspondiente a los niveles de conocimiento y aplicación en [4], respectivamente). Para los primeros es suficiente la lectura y el estudio, mientras que para los segundos es imprescindible la aplicación y práctica. En el caso de las competencias genéricas (igual que muchas otras), está claro que no podemos pedirles un conocimiento basado en la simple memorización de una serie de definiciones y consejos (que no tendría demasiado sentido), sino que hemos de pedirles que practiquen y adquieran una serie de actitudes. El problema es que estas competencias genéricas, por el hecho de serlo, son totalmente independientes de la materia propia de la asignatura y acostumbran a estar más relacionadas con actitudes que con aptitudes o conocimientos explícitos. Esto lleva a que su aprendizaje sea siempre colateral o complementario al aprendizaje de la materia en cuestión y consecuentemente, su evaluación debe ser también totalmente independiente de la evaluación de los conocimientos técnicos de la asignatura. Parece evidente que no tiene demasiado sentido añadir preguntas a un supuesto examen final sobre un tema como el trabajo en equipo, pero quizás el caso más claro sea el de la competencia de lengua extranjera. No se trata de hacer clases de inglés y añadir preguntas de gramática en el examen final, sino de utilizar de alguna manera el inglés a lo largo de la asignatura y evaluar como lo utilizan en las actividades evaluatorias de las competencias técnicas. Idealmente, debería hacerse de forma similar con el resto de competencias genéricas. La forma de introducir la competencia “trabajo en equipo” parece clara, ya que podemos pedir a los estudiantes que realicen cualquier actividad en equipo. Sin embargo, esta competencia no puede evaluarse simplemente viendo los resultados de la actividad (como podemos hacer con el inglés leyendo una respuesta de examen o informe de práctica en esa lengua). Por ejemplo, el resultado de una actividad puede ser perfecto sin necesidad de que participen todos los miembros del equipo o totalmente al contrario, obtener un resultado desastroso a nivel técnico habiendo realizado un buen trabajo en equipo. Si el profesor únicamente valora el resultado de la actividad no podrá evaluar la competencia genérica en sí misma. Así pues, la principal razón para poner en marcha esta experiencia fue la detección de una falta de información por parte del profesor para evaluar ciertas competencias genéricas. En el caso concreto del “trabajo en equipo”, los propios compañeros tendrán siempre mucha más información que el profesor y, en cualquier caso, la información que tendrán será siempre de primera mano. La revisión o evaluación entre iguales está reconocida como un deber muy importante de los profesionales del futuro que intenta “aceptar y promover la revisión objetiva, crítica y documentada del trabajo de los demás” [8]. Además de esto, promueve la reflexión crítica sobre el trabajo propio y el de los demás, al mismo tiempo que permite que los estudiantes obtengan información útil sobre ellos de sus propios compañeros. Como todas, esta técnica de evaluación también presenta algunos inconvenientes. En [3] se describen cuatro tipos de evaluación sesgada que pueden observarse en la evaluación entre iguales: (I) Puntuación por amistad: Se asigna una puntuación más elevada a los amigos. (II) Coincidencia de puntuaciones: Todos los miembros del grupo dan la misma puntuación al resto. (III) Puntuación de decibelios: Los estudiantes más populares o con personalidades dominantes reciben puntuaciones más altas que el resto. (IV) Puntuación parásita: Estudiantes que no han contribuido lo suficiente se benefician del hecho que el grupo reciba una única puntuación (este hecho no es debido puramente a la pun- 76 Sesión 2A: Evaluación del alumnado II Category 4 3 2 1 Contributions Always provides useful ideas when participating in the group discussion. Usually provides useful ideas when participating in the group discussion. Sometimes provides useful ideas when participating in the group discussion. Rarely provides useful ideas when participating in the group discussion. Problem Solving Actively looks for and suggests solutions to problems. Builds on solutions suggested by others. Does not suggest solutions, but is willing to try out solutions suggested by others. Does not try to solve problems or help others solve problems. Lets others do the work. Attitude Always has a positive attitude towards the task. Often has a positive attitude towards the task. Usually has a positive attitude towards the task. Often has a negative attitude towards the task. Preparedness Brings needed materials to class and is always ready to work. Almost always brings needed materials to class and is ready to work. Often brings needed materials but sometimes needs to settle down and get to work. Often forgets needed materials or is rarely ready to get to work. Working with others Almost always listens to, shares with, and supports the efforts of others. Usually listens to, shares, with, and supports the efforts of others. Often listens to, shares with, and supports the efforts of others. Rarely listens to, shares with, and supports the efforts of others. Focus on the task Consistently stays focused on the task and what needs to be done. Focuses on the task and what needs to be done most of the time. Focuses on the task and what needs to be done some of the time. Rarely focuses on the task and what needs to be done. Lets others do the work. Figura 1: Rúbrica para la evaluación del trabajo en equipo tuación entre iguales, sino al hecho de asignar puntuaciones a grupos en lugar de individuos). El problema (I), intentamos evitarlo generando parejas de prácticas de forma aleatoria (excepto la primera pareja del curso, que permitimos que la escojan para evitar que los habituales abandonos tempranos generen problemas o tensiones innecesarias). Respecto a (II), pedimos expresamente a los estudiantes que asignen puntuaciones diferentes a todos sus compañeros (el módulo Moodle que hemos desarrollado -cuyas funcionalidades se explican brevemente en la siguiente secciónnos ayuda a garantizar que lo hacen de esta manera). Por contra, pensamos que (III) es difícilmente evitable, pero intentamos minimizarlo dándoles pautas claras de evaluación (tal como se explica en la sección 4) y haciendo que la puntuación sea totalmente anónima. Finalmente, (IV) no tiene por qué aparecer en la evaluación del trabajo en equipo, si cada estudiante puntúa a los individuos y no a los equipos con los que ha trabajado. En todo caso la puntuación parásita afectaría en nuestro caso a la evaluación de las competencias técnicas, ya que las parejas sí que reciben una puntuación única en cada práctica. Para minimizar este efecto, cada estudiante trabaja, en general, con cinco parejas diferentes a lo largo del curso. 4. Caso de estudio Con la idea de captar la atención de los estudiantes y hacerles reflexionar sobre su actitud hacia el trabajo en equipo, les mostramos una “rúbrica” (false friend de la palabra inglesa rubric, que significa “conjunto de instrucciones”). La figura 1 muestra la tabla de conceptos y puntuaciones que se dio a los estudiantes. Ésta fue inicialmente obtenida de Rubistar3y posteriormente modificada para que se adaptase mejor al funcionamiento de la asignatura. De esta manera, se les pedía a los estudiantes que analizasen el comportamiento de sus compañeros (y el suyo propio) desde seis puntos de vista diferentes: Contribución: Aporta ideas en las discusiones. Habilidad para la resolución de problemas: Busca y sugiere soluciones. Actitud: Tiene una actitud positiva hacia la tarea a realizar. Preparación: Hace los entrenamientos con anterioridad a la sesión puntuable. Capacidad para trabajar en equipo: Escucha, comparte ideas y valora el esfuerzo de los otros. Capacidad de concentración: Dedica continuamente su atención a la tarea que se está haciendo en cada momento. El primer semestre que llevamos a cabo la experiencia les dimos la rúbrica el día del examen sin previo aviso y les pedimos en ese mismo momento que puntuaran a sus compañeros de prácticas (normalmente entre 4 y 5 estudiantes diferentes) de forma 3http://rubistar.4teachers.org XVII Jornadas de Enseñanza Universitaria de la Informática 77 Figura 2: Captura de pantalla del módulo Moodle desarrollado totalmente anónima. Hacerlo el día del examen nos garantizaba la asistencia masiva de los estudiantes y el hecho de no avisarlos evitaba que se pusieran de acuerdo previamente. Por contra, impedía una reflexión más profunda sobre el propio comportamiento. Así, en el siguiente semestre, decidimos cambiar de estrategia y les avisamos al inicio de curso de que serían evaluados por sus compañeros de prácticas (facilitando así la autoreflexión) y les dimos la rúbrica que deberían utilizar para hacerlo. Dado que la mayoría de parejas de prácticas son definidas de forma aleatoria, creemos que es realmente difícil que se pongan de acuerdo a la hora de puntuarse (prácticamente deberían ponerse de acuerdo todos los estudiantes dentro de un mismo grupo de la asignatura, aproximadamente 15 personas) y definimos el plazo de puntuación entre el último día de clase y el día del examen final. De esta manera, los estudiantes tenían más de dos semanas para puntuar a sus compañeros y podían hacerlo desde casa a través de la misma interfaz que habían utilizado a lo largo de todo el curso para el seguimiento de la asignatura, gracias a que desarrollamos un módulo de Moodle (cuya captura de pantalla se puede ver en la figura 2) que nos ayudó también a la gestión de las puntuaciones. Además del hecho de controlar a qué compañeros puntúa cada estudiante (en nuestro caso únicamente esos con los que haya realizado alguna práctica a lo largo del curso), el módulo Moodle que hemos desarrollado ofrece las siguientes funcionalidades: 1. Control de la nota máxima y mínima que puede poner un estudiante a otro. 2. Control de repetición de nota por parte del mismo estudiante evaluador. 3. Función de agregación para el cálculo de la nota (promedio, máximo, mínimo o suma). 4. Normalización de las notas asignadas por cada estudiante. 5. Normalización de las notas resultantes para todos los estudiantes del curso. La experiencia demuestra que los estudiantes únicamente participan en una actividad si ven algún beneficio o están realmente muy motivados. Dado que en nuestro caso no hemos querido modificar aún el método de evaluación, el resultado de la actividad resultaba únicamente en una modificación positiva de la nota final de la asignatura. De esta manera, la participación es totalmente voluntaria y los estudiantes que no lo hacen no se ven perjudicados, pero aún así incentivamos la participación. 5. Experimentación y resultados obtenidos En primer lugar, cabe decir que tal como refleja la figura 3, la participación en la actividad ha sido to- 78 Sesión 2A: Evaluación del alumnado II 09-10Q2 10-11Q1 Matriculados 24 34 Participantes 20 32 Figura 3: Participación en la actividad 09-10Q2 10-11Q1 AVG por evaluador 8’33 8’05 STDDEV por evaluador 1’20 1’74 AVG por evaluado 8’27 8,12 STDDEV por evaluado 1’28 1’29 Figura 4: Puntuaciones proporcionadas por los estudiantes talmente masiva. Los cuatro estudiantes que no la realizaron en la primera ocasión fueron aquellos que no se presentaron al examen, mientras que los dos que no lo hicieron en la segunda, fueron aquellos que abandonaron la asignatura antes del final del semestre. Cabe resaltar que en el segundo caso, la actividad se realizo desde casa y que en ningún momento estudiante alguno mostró reparos a su realización. La figura 4 muestra los promedios obtenidos en cada caso. En la primera ocasión que se realizo la actividad no se controló que los estudiantes otorgaran la misma puntuación a todos sus compañeros, mientras que en la segunda ocasión (gracias al uso del módulo de Moodle desarrollado), sí que se pudo hacer. A pesar de eso, el promedio de puntuaciones otorgadas por cada estudiante (en la primera fila de la tabla) es muy similar en ambos casos, aunque la desviación estándar sí que aumente significativamente. Las dos últimas fila de la tabla muestran el promedio y la desviación estándar de las notas recibidas por cada estudiante. Vemos que en la segunda experiencia la desviación estándar de las notas recibidas es claramente inferior a la de las notas otorgadas (la diferencia en la primera columna no es tan relevante). La figura 5 muestra las notas otorgadas por cada estudiante a sus compañeros el semestre 0910Q2. En las ordenadas vemos los valores de las notas (entre 0 y 10) y en las abscisas los diferentes estudiantes ordenados por la amplitud del intervalo de notas asignado (aquellos intervalos menores que 4 corresponden a estudiantes que por una razón u otra tuvieron Figura 5: Puntuaciones otorgadas por cada estudiante Figura 6: Puntuaciones recibidas por cada estudiante menos de 5 compañeros de prácticas). Se puede ver claramente la tendencia a otorgar notas altas también observada en el promedio, aunque ahora también vemos que un 25% de estudiantes también otorgan notas por debajo de 6 o incluso de 5. Nótese que pese a la restricción introducida para que hayan de asignar puntuaciones diferentes a todos sus compañeros, al tener un máximo de 5 compañeros, podrían puntuarlos a todos entre 6 y 10. Creemos que los estudiantes tienen tendencia a otorgar las puntuaciones máximas a sus compañeros (probablemente para no perjudicarlos), excepto en casos de actitud claramente reprobable (como por ejemplo no asistir a una sesión puntuable sin razón aparente ni aviso previo). La figura 6 muestra las notas recibidas por cada estudiante. Igual que en la figura anterior, en las ordenadas vemos los valores de las notas (entre 0 y 10) y en las abscisas los diferentes estudiantes ordenados por la amplitud del intervalo de notas recibido. Se puede observar que en más de la mitad de los casos el tamaño del intervalo de notas recibidas es menor o igual que 2. Es decir, las notas de cada estudiante están claramente agrupadas. A pesar de XVII Jornadas de Enseñanza Universitaria de la Informática 79 que casi todos los estudiantes (28 de 32) han otorgado 4 o 5 notas diferentes, la gran mayoría (25 de 32) ha recibido únicamente 2 o 3 notas diferentes, o lo que es lo mismo, han recibido más de dos notas repetidas y las no repetidas son consecutivas. Además, hay algún estudiante con un intervalo mayor de 4, pero ninguno con más de 4 notas diferentes. Todo esto nos lleva a la conclusión de que las puntuaciones otorgadas a cada estudiante son coherentes con su comportamiento a lo largo del curso, ya que, en general, no se aprecian grandes discrepancias en las opiniones de los diferentes compañeros que ha tenido cada uno. No obstante, hemos observado también que las notas otorgadas a la primera y última pareja del curso son sensiblemente superiores a las otorgadas a las otras tres parejas (8’82 y 7’76 respectivamente). Realizando un test de Student, vemos que la probabilidad de que esta diferencia en el promedio se deba al azar es menor que 0’02%. Seguramente diversos factores (como la dificultad de la práctica) podrían haber influido en esta diferencia, pero nosotros opinamos que la causa principal es que la primera y última pareja de prácticas la escogieron ellos en la mayoría de casos, mientras que las otras tres parejas fueron asignadas totalmente al azar. 6. Conclusiones e intenciones futuras Tras detectar la dificultad de evaluar competencias genéricas, en este artículo hemos presentado la utilización de la puntuación entre iguales para paliar esta dificultad. De esta manera, hemos explicado como en los dos últimos semestres hemos propuesto a nuestros estudiantes que evalúen el trabajo en equipo de sus compañeros. Pensamos que de esta manera se verán aún más motivados a tener una actitud positiva ante el trabajo en equipo. Además, el hecho de afectar la nota del compañero también debe mejorar su responsabilidad. Creemos que es importante que aprendan a evaluar el trabajo de los compañeros (y consecuentemente el suyo propio) de forma crítica y responsable. La participación (totalmente voluntaria) en esta actividad ha sido masiva, no planteándose ningún tipo de duda por parte de los estudiantes (pensamos que la rúbrica es suficientemente clara en los aspectos a evaluar). Además, la distribución de notas obtenidas nos parece coherente en el sentido de que 09-10Q2 10-11Q1 AVG por curso 4’91 5’07 STDDEV por curso 1’77 1’39 Figura 7: Puntuaciones normalizadas los estudiantes que reciben notas altas las reciben de la mayoría de sus compañeros y lo mismo ocurre con los que reciben notas bajas (uno de los cuales sí expresó su descontento con las puntuaciones obtenida). No obstante, hemos detectado una tendencia a otorgar únicamente las puntuaciones más altas disponibles y un cierto favoritismo hacia los compañeros de práctica escogidos por el propio estudiante frente a los asignados de forma aleatoria. Actualmente hemos propuesto la inclusión de las puntuaciones entre compañeros en la evaluación de la asignatura con un peso del 10%. Para evitar favoritismos, intentaremos generar todos los equipos de prácticas al azar (en lugar de únicamente 3 de los 5). Además para corregir la tendencia de los estudiantes a otorgar puntuaciones altas a sus compañeros proponemos también normalizar las notas otorgadas por cada estudiante. La figura 7 muestra cual sería el resultado en el promedio de notas obtenidas por todos los estudiantes (normalizando las notas otorgadas por cada estudiante con una esperanza de 5 y una desviación estándar de 2’75) en las dos experiencias realizadas. El objetivo de esta normalización no es tanto corregir directamente la distribución de las notas (que no parece demasiado significativo en estos dos casos), sino corregir la actitud de los estudiantes y que sean ellos quienes discriminen más al saber que en cualquier caso sus puntuaciones serán normalizadas. Reconocimientos Este trabajo ha sido financiado con los proyectos de “Millora de la Docència” de la Universitat Politècnica de Catalunya y 2009MQD00251 de la Generalitat de Catalunya. Queremos agradecer también a Carlos Romeu su dedicación en la implementación del módulo Moodle que ha facilitado la recogida de datos. 80 Sesión 2A: Evaluación del alumnado II Referencias [1] ALIER,M.A social constructionist approach to learning communities: Moodle in Open Source for Knowledge and Learning Management. Idea Group, 2007. [2] ANECA (AGENCIA NACIONAL DE EVALUACIÓN DE LA CALIDAD Y ACREDITACIÓN). Libro Blanco: Título de grado en ingeniería informática. Omán Impresores, 2005. [3] BROWN,S.,AND KNIGHT,P. Assessing learners in higher education. Teaching and higher education series. Routledge Falmet, 1994. [4] B.S. BLOOM.Taxonomy of educational objectives. David McKay, 1956. [5] A. ABELLÓ,E.RODRÍGUEZ,T.URPÍ,X. BURGUÉS,M.CASANY,C.MARTÍN,AND C. QUER. LEARN-SQL: Automatic Assessment of SQL Based on IMS QTI Specification. In Proceedings of 8th IEEE International Conference on Advanced Learning Technologies (ICALT) (2008), pp. 592–593. [6] A. ABELLÓ,X.BURGUÉS,AND E. RODRÍGUEZ. Utilización de glosarios de Moodle para incentivar la participación y dedicación de los estudiantes. In Actas de las XVI Jornadas de Enseñanza Universitaria de la Informática (JENUI) (2010), pp. 309–316. [7] CONSELL DE GOVERN DE LA UPC. Marc per al disseny i la implantació dels plans d’estudis de grau a la UPC. Document DG 16/4 2008, 2008. http://www.upc.edu/bupc/ hemeroteca/2008/b105/16-04-2008.pdf. [8] KERN,V.M.,SARAIVA,L.M.,AND DOS SANTOS PACHECO, R. Peer review in education: Promoting collaboration, written expresion, critical thinking and professional responsibility. Education and Information Technologies 8, 1 (2003), 37–46. [9] SÁNCHEZ,F.,SANCHO,M.,BOTELLA,P., GARCIA,J.,ALUJA,T.,NAVARRO,J.,AND BALCÁZAR,J.TICAI 2008: TICs para a aprendizajem da engeharia. IEEE, Sociedad de Educación: Capítulos Español, Portugués y Colombiano, 2009, ch. Competencias profesionales para el Grado en Ingeniería Informática, pp. 147– 154.