El juicio del oráculo : la red como recurso para la mejora de la evaluación educativa

EL JUICIO DEL ORÁCULO. LA RED COMO RECURSO PARA LA MEJORA DE LA EVALUACIÓN EDUCATIVA. Daniel David Martínez Romera Universidad de Málaga Resumen La evaluación puede llegar a ser fuente de dificultades para los docentes preocupados por aplicarla de forma útil, y un condicionante externo mal entendido por parte del alumnado. En este sentido, el calado social de Internet ha transformado no sólo nuestra forma de ver el mundo, sino también cómo aprendemos y comprobamos la veracidad de los hechos. Por ello, utilizarla de forma eficiente parece una opción más interesante que oponérsele esgrimiendo la bandera de sus efecto negativos, muy reales por otro lado: debilitamiento del pensamiento crítico, exaltación de los resultados en detrimento de los procesos, trivialización de la importancia del saber propio… Y es que también nos permite refinar procesos diagnósticos como la evaluación de pares de una forma antes impensable para contextos distintos al pequeño grupo. Sin embargo, y a diferencia de lo que se argumenta tradicionalmente, este tipo de evaluación es común a casi todas las etapas de la vida: cuando se trabaja o colabora en grupo se construyen juicios basados en el desempeño individual y colectivo de los pares, independientemente de si estamos en educación infantil, primaria, secundaria, universitaria, un grupo de investigación o de técnicos. Como ejemplo de su aceptación y utilidad han quedado, en el ámbito académico, estándares como el de la evaluación de artículos por doble ciego. Para ilustrar el papel que puede llegar a tener la Web en estos procesos, así como los paralelismos trazables entre la teoría de redes como instrumento para estudiar Internet y las relaciones interpersonales, se utilizarán de base experiencias llevadas a cabo en el marco del Proyecto de Innovación Educativa (PIE13-171) – La evaluación de 360º para evaluar las competencias profesionales en la enseñanza universitaria, y también durante el presente curso académico, en la Universidad de Málaga. Palabras clave: Educación, Innovación, Evaluación, Web, Didáctica, Ciencias Sociales. ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1053 - 1. Introducción El interés por aplicar nuevas metodologías en el ámbito educativo superior lleva manifestándose como un punto de investigación interesante en los últimos años (Pérez, E. B., Gómez-Linares, A., y Martín, R. P., 2015; Panadero-Calderón, E. y Alonso-Tapia, J., 2013); algo lógico por otra parte, ya que la naturaleza de las relaciones sociales actuales está cada vez más mediatizada por la tecnología (Casero-Ripollés, 2012; Castells, 2012 y 2011) en la ya conocida como sociedad del conocimiento. Por ello, los docentes se encuentra en una encrucijada educativa, entre los modos y prácticas válidos hasta ayer y la vorágine de interdependencias y conectividades de hoy, entre concepciones centradas en el conocimiento como eje curricular y concepciones articuladas en las destrezas de aprendizaje por otro; lo que, al margen de las sempiternas instrumentalizaciones políticas, sigue siendo motivo de debate educativo (Casanova, 2012). La evaluación de 360º es un instrumento de interés plenamente vigente y extendido (Arzate, 2013; Cano, 2008; Alzina, Olmo, Soler y Escoda, 2006) que permite desarrollar un proceso de evaluación desde todas las ópticas implicadas en el aula: tanto alumnado como individuo y conjunto como profesorado implicado. Con ello se pretende desarrollar una aproximación integrada al proceso de aprendizaje y su mejora, objeto en última instancia de la evaluación, en el que la perfectibilidad de los aprendizajes se produce tanto por motivaciones intrínsecas como valoraciones extrínsecas, de modo que el autoconcepto se desarrolle de forma positiva y no ilusoria (Fernández, Ramos-Díaz, Zuazagoitia, 2016), fomentando así actitudes asertivas y resilentes que permitan crear espacios de trabajo en equipo constructivos. El Proyecto de Innovación Educativa que ha constituido el soporte de la presente investigación fue aplicado, por el conjunto del profesorado implicado, en varias asignaturas de grado y posgrado de las Facultades de Educación, Ciencias, Informática y Periodismo de la Universidad de Málaga. Además, la naturaleza de las mismas, claramente heterogéneas dada su procedencia, se vio acentuada por singularidades como el curso académico en el que se imparte y su relevancia curricular (troncal, obligatoria, optativa). La aplicación de un instrumento de evaluación en dicho contexto supone, de facto, un reto. Sin embargo, también subraya su capacidad para ser aplicada en una gran variedad de contextos educativos, aspecto que la hace especialmente interesante. ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1054 - Dentro de este conjunto de experiencias, el desarrollo de la presente propuesta de innovación educativa se realizó en el grupo C de la asignatura Educación para la Ciudadanía y los Derechos Humanos, formada por 78 estudiantes, perteneciente al Grado de Educación Primaria de la Facultad de Educación, durante el curso 2014/15. Además, y con objeto de establecer una referencia comparativa, se realizó un modesto ejercicio análogo en el Máster de Profesorado y Doble Máster de Profesorado, Filosofía y Ciudadanía dentro de la asignatura de Innovación Docente e Iniciación a la Investigación Educativa de la especialidad de Ciencias Sociales, formada por 42 estudiantes, a partir de una única tarea de evaluación entre pares con valoración externa del docente, durante el curso anterior, 2013/14. 2. Método El objetivo del presente estudio fue comprobar la utilidad de los recursos tecnológicos en el proceso de evaluación del alumnado durante la realización de trabajos grupales, para lo que se utilizó como instrumento tecnológico la rúbrica digital (rubric, https://gteavirtual.org/rubric/) desarrollada por el Grupo de Investigación en Globalización, tecnología, educación y aprendizaje de la Universidad de Málaga. El trabajo principal, sobre la asignatura de Educación para la Ciudadanía y los Derechos Humanos, analizó longitudinalmente uno de los 14 grupos, de 5 miembros, en que se organizó la clase para realizar las distintas tareas presenciales y no presenciales. La selección del mismo se planteó de forma transparente bajo dos premisas: su carácter voluntario y la no repercusión en la evaluación final, lo que podría condicionar claramente su actitud y dedicación, enmascarando así el verdadero comportamiento del método. Varios fueros los grupos que se ofrecieron a participar, siendo el elegido el que presentaba un mayor número de miembros sin colaboración previa en anteriores cursos, con lo que se pretendía evitar la vacuidad de evaluar grupos consolidados de trabajo eficientes. El carácter longitudinal del estudio quedó garantizado con el establecimiento de tres puntos de control sobre otras tantas tareas, en diferentes momentos de la asignatura: 2.1. Inicio: Construcción de un modelo democrático. Tarea grupal realizada al inicio de la asignatura, y que pretendía acercar al alumnado a la complejidad de la democracia contemporánea a partir de un texto de Robert Dahl (2004). El mismo se ofreció con antelación para su lectura individual, de modo que los miembros pudieran tener un debate basado en posturas meditadas, que facilitaran la ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1055 - exigencia de una respuesta redactada colectiva a las cinco preguntas fundamentales que formula el autor sobre el tema. 2.2. Ecuador: Evaluación de pares mediante rúbricas. Tarea realizada en el ecuador de la asignatura, que tenía por finalidad acercar al alumnado a la dificultad de la toma de decisiones y la emisión de juicios sobre los demás. Cada grupo debía establecer una rúbrica de evaluación para la exposición oral de los trabajos finales de la asignatura, en la que se especificara: criterios, medición y ponderación. Tras el debate final en gran grupo, la matriz resultante sería la que cada alumno utilizaría para evaluar las exposiciones de sus compañeros. 2.3. Final: Trabajo Final de Grupo. Aunque finalizada con la asignatura, se trata de una tarea de largo recorrido. Desde el punto de vista de la investigación metodológica, es la que ha permitido conocer con mayor detalle la evolución de las relaciones internas y el compromiso individual de cada uno de los miembros, ya que es la única tarea que se abordó de forma recurrente. Tras la finalización y entrega de cada tarea, se realizó una reunión de valoración global a dos niveles: individual y grupal, basada en la realización y análisis de las tres rúbricas on-line que articulaban la propuesta (autoevaluación, heteroevaluación y evaluación del profesor), véase Tabla I. Por tanto, las rúbricas debían ser cumplimentadas dos veces en cada tarea por parte del alumnado (autoevaluación y evaluación de pares) y una por parte del profesor, lo que en conjunto supuso la utilización de 9 rúbricas digitales. En este sentido, es importante subrayar el carácter anónimo de las evaluaciones de pares, en tanto que los miembros evaluados podían ver su calificación media pero no la estimación individual realizada por sus pares. A su vez, la observación de la docente, necesaria para emitir su juicio, se basó en la observación del trabajo de clase en las sesiones presenciales correspondientes. ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1056 - Tabla I. Transcripción del modelo de rúbrica digital utilizado. Ítems (Ponderación) Puntuación Media (25.00%) Coordina al grupo, organiza y distribuye tareas, toma iniciativas, resuelve problemas % (15.00%) Colabora y ayuda a sus compañeros, comprometido con la tarea % (10.00%) Acepta, negocia e integra las diversas ideas. Genera confianza en el grupo % (10.00%) Presenta una actitud pasiva en el desarrollo de la actividad, descansa sobre los demás % (15.00%) Expresa su opinión más que escuchar a los demás % (25.00%) Hostil, agresivo, plantea problemas, disruptivo, entorpece el desarrollo de la actividad % (100.00%) Trabajo en equipo (autoevaluación/heteroevaluación/profesor) % La rúbrica digital se centró en la evaluación de una única competencia, el trabajo en equipo, con objeto de medir un aspecto concreto del proceso de aprendizaje. Su elección se basó en la relevancia que tiene dicha competencia en la formación del profesorado, el desarrollo de la sociabilización del alumnado y su utilidad en los entornos laborales (Poy- Castro, Mendaña-Cuervo, González, 2015; Vadillo, 2013; van-der Hofstadt Roman y Gras, 2013). En la Ilustración 1 se recoge la estructura inicial de la eRúbrica para el docente, con la lista de miembros a evaluar, el número de evaluaciones realizadas y la calificación media recibida, pulsando sobre cada miembro se accede a la eRúbrica de evaluación sobre dicho participante, de forma análoga a la descrita en la Tabla I. Esta estructura es semejante para los dos modelos restantes, cambiando únicamente la lista de participantes a evaluar (1 en el caso de la autoevaluación o x-1 en el caso de la evaluación de pares). ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1057 - Ilustración 3. Captura de pantalla de la eRúbrica (docente) Al efecto se definieron 6 ítems con diferentes pesos en función de su relevancia, más un ítem sintético que resumiera cuantitativamente el significado de la rúbrica. La aplicación de la misma dependía del objeto de evaluación (uno mismo, los compañeros o la equivalente realizada por el profesor), para facilitar esto se definieron 3 rúbricas digitales en cada tarea con sus correspondientes enlaces URL. Así, en cada caso se accedía a una eRúbrica semejante, pero con una intención distinta:  De autoevaluación: aquí cada alumna accedía para evaluarse únicamente a sí misma.  De heteroevaluación (o pares): aquí cada alumna evaluaba, individualmente, al resto de compañeras, excluyéndose ella misma.  Docente: sin participación del alumnado. Se evaluaba individualmente la competencia de trabajo en equipo de cada miembro, obteniéndose al final del proceso la valoración docente de grupo. La experiencia muestra, no obstante, una clara debilidad, la dificultad de contextualizar los posibles resultados ante la ausencia de grupos de control comparables, ya que la naturaleza de las experiencias metodológicas realizadas por parte del resto del profesorado implicado en el PIE se llevaron en ramas de conocimiento con trasfondos diferentes (Física Aplicada, o Educación Primaria, por ejemplo). Con todo se intentaron cotejar las experiencias para discernir posibles elementos comunes a investigar, discrepancias o aspectos ambiguos en los que seguir profundizando. ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1058 - Afortunadamente, en el curso anterior se pudo llevar a cabo un primer ensayo basado en la evaluación de 360º a través de la plataforma disponible en el Máster de Profesorado, y que se utilizó para estructurar una única tarea de forma semejante, aunque no idéntica, a las anteriores; ya que en última instancia se trataba de una primera tentativa de evaluación del método. Entendemos que pese a la diferente trayectoria pedagógica de ambos colectivos, la idea evaluación entre pares como experiencia de colectivo docente es tan válida como necesaria en el Profesorado de Primaria y Secundaria, motivo por el que se la incluye, con las debidas reservas, aquí. El grupo de clase de Innovación, formado por 42 personas debía realizar una lectura individual de dos textos de opinión: la conocida disputa entre Benejam Arguimbau, 2007 y Rodríguez Adrados, 2007, sobre formación del profesorado. Y entregar, tras ello, un texto en el que se pudiera evaluar claramente tanto elementos menos subjetivos, como la identificación de los elementos clave de la confrontación mediante un resumen, como la valoración de las posturas y el posicionamiento al respecto, claramente subjetivos. Con ello se pretendía poner sobre la mesa la dificultad de evaluar en Ciencias Sociales, ya que los educadores deben ayudar a construir pensamiento crítico autónomo, y no semejante algo a lo que nuestras propias convicciones nos hacen ciegos con frecuencia. El cotejo, como se ilustrará más adelante, arrojó algunos elementos interesantes para la reflexión. 3. Resultados El seguimiento presentó una primera incidencia con la baja en la asignatura de uno de los componentes, por motivos ajenos a la dinámica objeto de estudio. No obstante se optó por mantener el grupo asignado, como mejor candidato de los posibles. El análisis de la primera tarea, tanto en las entrevistas individuales como en el intercambio grupal, dejó patente el recelo con el que se veía la innovación metodológica, que podría resumirse en una suerte de silogismo: debido a una clara reticencia basada en su percepción como un instrumento de delación, ninguno de los miembros mostró el mínimo afán de protagonismo ni discrepancia, probablemente en un intento por demostrar cohesión de grupo, lo que se reflejó en resultados de rúbricas bastante homogéneas durante la primera parte de la investigación. No obstante, la percepción que poco a poco íbamos construyendo del grupo basada en nuestra observación arrojaba algunos matices: ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1059 -  Solicitud de un sistema de recompensa extrínseca, pese a que explícitamente se indicó lo contrario al inicio de la asignatura. En un intento por favorecer su rendimiento académico a través de la participación en la experiencia.  Defectos en el diseño de la rúbrica. Tanto en las entrevistas privadas como en el debate colectivo surgieron algunas puntualizaciones agrupables en dos categorías: o Construcción grosera, en cuanto a la secuencia de preguntas. Subrayaron, de forma unánime, la semántica utilizada como excesivamente compleja o ambiciosa, demasiados verbos concatenados, en algunas de las preguntas formuladas, lo que dificultó la valoración. o Ausencia de elementos cualitativos. Probablemente sea una cuestión característica del colectivo implicado en la experiencia, ya que en las facultades de educación los aspectos cualitativos suelen tener una posición central en el seguimiento de los procesos de enseñanza-aprendizaje. La propuesta ofrecida basada en un sistema de medición tipo Likert dio pié a un intenso debate, que a nuestros ojos puso en evidencia cómo método y sujeto se condicionan mutuamente, en este caso debido a la formación de partida del segundo. Nuestra observación había puesto de relieve algunos perfiles-tipo dentro del grupo, pero en esta fase aún no se habían manifestado como posible fuente de conflicto: claramente al menos dos personas del grupo poseían una personalidad fuerte y una tercera exhibía una actitud pasiva durante el tiempo de trabajo, la cuarta persona se ubicaba en una posición intermedia, con una virtud que a la larga demostró ser fundamental, la asertividad. Si la autoevaluación mostró escasa utilidad en este momento, la heteroevaluación ya permitía observar elementos que corroboraban la visión docente que íbamos construyendo, especialmente sobre el posible advenimiento de conflictos: los propios miembros del grupo iban detectando quiénes aglutinaban la mayor parte del tiempo en sus intervenciones y además no eran permeables a las aportaciones ajenas. El resultado final de la primera evaluación entre pares fue un claro reflejo de ello, con dos personas levemente por debajo del umbral de valoración del 50% y otras dos de forma análoga por encima de la misma marca. ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1060 - El análisis de la segunda tarea añadía a las dificultades de consenso el hecho de estar construyendo un instrumento de medición entre pares. Por tanto, no manifestar la postura personal tendría, en este caso, una repercursión posterior inexistente en la tarea anterior. Y entendemos que ese añadido, junto con el devenir de las sesiones, ayudó a que se hicieran patentes tanto las fortalezas como las debilidades del grupo de trabajo. Por primera vez las entrevistas individuales señalaban, claramente, problemas de comunicación interna que podrían resumirse en una reorganización de roles que a nadie dejó satisfecho: una de las personas con más iniciativa decidió adoptar una actitud pasiva y conformista, mientras que la otra experimentó un incremento en su responsabilidad al frente del grupo, situación en la que ambas personas demostraron finalmente no encontrarse cómodas. Esta situación era muy bien descrita por el miembro asertivo del grupo, que se quejaba de un cierto agotamiento psicológico ante la situación de mediación constante en la que se encontraba inmersa. La persona pasiva del grupo reconoció su actitud, y la valoró como un mal menor ante la situación de tensión e incapacidad para alcanzar consensos que estaban caracterizando las dinámicas de trabajo. Se produjo, además, una reivindicación grupal llamativa: el de la consideración de la nota individual sobre la colectiva, en un intento por salvar la situación con el menor perjuicio posible. Mucho menos interesante se mostró la reunión grupal previa, haciéndose evidente que las formas se guardaban más como una cuestión de protocolo entre pares que como una estrategia coordinada frente a la innovación, o el docente. De esta experiencia obtuvimos tres elementos de análisis:  Diálogo interno no fluido. La distancia entre caracteres o bien era excesiva, o demasiado exigua. Se ofrecieron pautas para mejorar la comunicación y la escucha activa, así como se abordó la importancia de la asertividad tanto desde una perspectiva puramente ciudadana, como específicamente educativa.  Dificultad para alcanzar acuerdos. Esto partía, a nuestro entender, de un idea equivocada de la dialéctica, o su confusión con la retórica. Algo especialmente cierto entre las dos personas dominantes del grupo, ya que su objetivo, según pudimos dilucidar en las entrevistas, era hacer ver su postura como la válida o correcta, no proponerla para debatirla, aceptar modificarla o incluso reconocer mejores alternativas a tener como referencia de trabajo, en su caso. Verba docent, exempla trahunt, dice el proverbio latino, pero no siempre es fácil encontrarlos, ACTAS DEL I CONGRESO INTERNACIONAL COMUNICACIÓN Y PENSAMIENTO. COMUNICRACIA Y DESARROLLO SOCIAL | ISBN - 978-84-945243-2-5 - 1061 -