La evaluación de los estudiantes universitarios, el caso de la Universidad de Santiago de Compostela

AGRADECIMIENTOS AGRADECIMIENTOS AGRADECIMIENTOS AGRADECIMIENTOS No soy capaz de expresar con palabras el agradecimiento que merecen las personas que hicieron posible la realización de este trabajo, por lo que sólo pretendo recordar en esta página a aquéllas que me ayudaron y apoyaron en la realización de esta Tesis Doctoral. Al Profesor Felipe Trillo Alonso, por su talento y amistad, por todo lo que de él he aprendido –y que desborda con mucho lo que se puede plasmar en este trabajo–, por ser un ejemplo a seguir ..., en fin, por enseñarme lo que significa ser Maestro. A mis padres y hermana, por su comprensión, confianza y cariño, por estar siempre a mi lado, independientemente de las circunstancias o de la distancia, por enseñarme lo que significa la Familia. A Rosa, por su apoyo y amistad, por “caminar conmigo” durante este trayecto aunque el camino no siempre fue fácil, por seguir día a día demostrándome lo valioso y esencial de la Amistad. A esos amigos (Lupe, Carmen, Sonia, Ramón, Alex, Marta, Diego, Pirri, Arancha, Eva, Manolo, ...) que siempre tienen una palabra de ánimo cuando hace falta y hacen fácil la sonrisa necesaria para seguir adelante. A esas personas de la Universidad de Santiago de Compostela, y ahora también de la Universidad de Murcia, que con frecuencia demuestran su afecto y una confianza en mí de la que no siempre me siento merecedora. Por último, a todos los estudiantes y profesores que colaboraron en la realización de esta Tesis Doctoral, sin su colaboración no habría sido posible esta investigación. A todos, sinceramente, GRACIAS. ÍNDICE GENERAL . Pag MARCO TEÓRICO INTRODUCCIÓN .......................................................................................... . 1 1. CONTEXTO INSTITUCIONAL: LA UNIVERSIDAD ................................. 9 1.1. Perspectiva histórica .............................................................................. 11 1.2. Concepto de Universidad ....................................................................... 20 1.3. Funciones y fines de la Universidad española: marco legal del sistema educativo universitario ....................................................... . 25 1.4. Problemas y retos actuales de la Universidad española ........................ 31 1.5. Normativa sobre evaluación de estudiantes en la Universidad .............. 42 2. CALIDAD EN EL CONTEXTO UNIVERSITARIO ..................................... 53 2.1. Calidad de la Universidad: diferentes concepciones de calidad ............ . 55 2.2. Evaluación de la calidad: Plan de la calidad de las universidades ......... 66 2.3. Indicadores de calidad en la Universidad ............................................... 77 2.3.1. La evaluación de los estudiantes como indicador de calidad de la enseñanza universitaria ....................................................... . 87 3. LA EVALUACIÓN DE LOS ESTUDIANTES: APROXIMACIÓN A UNA TEORÍA GENERAL .................................................................... . 97 3.1. Introducción al concepto de evaluación ................................................. . 99 3.2. Qué es evaluación .................................................................................. 105 3.2.1. Confusiones y concepciones erróneas .......................................... 105 3.2.2. Definición de evaluación ................................................................ 112 3.2.3. Características de la evaluación .................................................... 121 3.3. Qué hay que evaluar .............................................................................. 126 3.4. Cómo evaluar ......................................................................................... 134 3.4.1. Referentes de la evaluación .......................................................... . 134 3.4.2. Criterios para juzgar lo que es evaluado ....................................... . 139 3.4.3. Instrumentos de recogida de información ...................................... 145 3.5. ¿Cuándo evaluar? .................................................................................. 176 3.5.1. Evaluación inicial – diagnóstica ..................................................... . 176 3.5.2. Evaluación continua – formativa o formadora ................................ 177 3.5.3. Evaluación final – sumativa ........................................................... . 179 3.6. Quién evalúa y para quién ..................................................................... . 181 3.7. Para qué evaluar .................................................................................... 184 4. LA EVALUACIÓN DE ESTUDIANTES EN LA UNIVERSIDAD ............... 197 4.1. Dimensiones de la evaluación de estudiantes en la Universidad ........... 199 4.1.1. Cómo se define la evaluación de estudiantes en la Universidad ... 199 4.1.2. Qué hay que evaluar ...................................................................... 199 4.1.3. Cómo realizar la evaluación de estudiantes en la Universidad ...... 201 4.1.4. Cuándo evaluar .............................................................................. 202 4.1.5. Quién y para quién evaluar en la Universidad ............................... 202 4.1.6. Para qué evaluar: funciones de la evaluación de estudiantes en la Universidad .......................................................................... . 204 4.2. Características específicas del contexto universitario que influyen en la evaluación de estudiantes ............................................................ 206 4.2.1. Características institucionales y organizativas .............................. . 206 4.2.2. Formación docente ........................................................................ . 208 4.2.3. Formación de profesionales de nivel superior ............................... . 210 4.2.4. Características de los estudiantes ................................................. 212 4.2.5. “Paradojas” de la evaluación de estudiantes en la Universidad .... . 214 4.3. Investigaciones sobre la evaluación de estudiantes en la Universidad: la realidad de los datos.......................................................................... . 217 4.3.1. Dimensiones que recogen los artículos publicados sobre evaluación de estudiantes ............................................................. 218 4.3.2. Resultados de algunas investigaciones específicas sobre esta temática: ¿qué nos dicen las investigaciones hasta ahora realizadas? .......................................................................... 228 4.3.3. Evaluación por Áreas de conocimiento .......................................... 241 4.4. Identificando cambios necesarios y resistencias ................................... . 251 RECAPITULACIÓN DEL MARCO TEÓRICO .............................................. . 263 MARCO EMPÍRICO INTRODUCCIÓN .......................................................................................... . 279 5. DISEÑO DE LA INVESTIGACIÓN ........................................................... . 285 5.1. Naturaleza y objeto de estudio ............................................................... 285 5.2. Objetivos de la investigación .................................................................. 289 5.3. Metodología de la investigación ............................................................. 291 5.3.1. Definición y selección de la muestra .............................................. 294 5.3.2. Instrumentos utilizados para la recogida de datos ......................... 300 6. ANÁLISIS DE LA INFORMACIÓN OBTENIDA ....................................... . 315 6.1. Análisis de los cuestionarios .................................................................. . 317 6.1.1. Introducción ................................................................................... . 317 6.1.2. Área de Ciencias Sociales y Jurídicas ........................................... 324 6.1.2.1. Datos de identificación ..................................................... 324 6.1.2.2. Variables de contenido ..................................................... 325 6.1.2.3. A modo de recapitulación ................................................. 380 6.1.3. Área de Humanidades ................................................................... . 383 6.1.3.1. Datos de identificación ..................................................... 383 6.1.3.2. Variables de contenido ..................................................... 385 6.1.3.3. A modo de recapitulación ................................................. 429 6.1.4. Área de Ciencias Experimentales .................................................. 432 6.1.4.1. Datos de identificación ..................................................... 432 6.1.4.2. Variables de contenido ..................................................... 434 6.1.4.3. A modo de recapitulación ................................................. 473 6.1.5. Área de Enseñanzas Técnicas ...................................................... . 476 6.1.5.1. Datos de identificación ..................................................... 476 6.1.5.2. Variables de contenido ..................................................... 477 6.1.5.3. A modo de recapitulación ................................................. 511 6.1.6. Área de Ciencias de la Salud ......................................................... 513 6.1.6.1. Datos de identificación ..................................................... 513 6.1.6.2. Variables de contenido ..................................................... 514 6.1.6.3. A modo de recapitulación ................................................. 549 6.1.7. Interpretación de los resultados ..................................................... 551 6.2. Análisis de las entrevistas ...................................................................... 581 6.2.1. Introducción ................................................................................... . 581 6.2.2. Área de Ciencias Sociales y Jurídicas ........................................... 588 6.2.2.1. Aproximación al perfil de Área ......................................... . 633 6.2.3. Área de Humanidades ................................................................... . 637 6.2.3.1. Aproximación al perfil de Área ......................................... . 676 6.2.4. Área de Ciencias Experimentales .................................................. 678 6.2.4.1. Aproximación al perfil de Área ......................................... . 714 6.2.5. Área de Enseñanzas Técnicas ...................................................... . 716 6.2.5.1. Aproximación al perfil de Área ......................................... . 744 6.2.6. Área de Ciencias de la Salud ......................................................... 746 6.2.6.1. Aproximación al perfil de Área ......................................... . 780 6.2.7. Interpretación de los resultados ..................................................... 781 6.3. Triangulación cuestionarios-entrevistas ................................................. 809 6.3.1. ¿Qué se entiende por evaluación de estudiantes?: Conceptualización de la evaluación .............................................. 809 6.3.2. ¿Qué se evalúa?: Objetos de la evaluación .................................. . 811 6.3.3. ¿Cómo se evalúa?: Referentes, instrumentos de recogida de información y formas de realizar la evaluación de estudiantes ..... 813 6.3.4. ¿Cuándo se evalúa? ...................................................................... 818 6.3.5. Para qué se evalúa?: Funciones de la evaluación ........................ 819 6.3.6. Quién y para quién se realiza la evaluación .................................. . 821 6.3.7. Evaluación versus calificación ....................................................... . 824 6.3.8. Diferencias / homogeneidad entre Áreas de conocimiento ............ 825 6.3.9. Perfil de la evaluación de estudiantes en la U.S.C. ....................... 827 7. CONCLUSIONES GENERALES .............................................................. 833 7.1. Objetivos Directos .................................................................................. 835 7.2. Objetivos Inferidos .................................................................................. 844 BIBLIOGRAFÍA ............................................................................................ . 877 ANEXOS ....................................................................................................... 921 Anexo 1: Cuestionario ................................................................................... 923 Anexo 2: Guión de Entrevista ........................................................................ 939 1 INTRODUCCIÓN En esta introducción queremos dejar claras fundamentalmente tres cuestiones: mi motivación más personal para realizar esta Tesis Doctoral, la relevancia del objeto de estudio y la estructura de la investigación. Así, en relación con la primera cuestión –mi motivación personal- ocurre que, como alumna, durante 20 años he estado sometida a constantes procesos de evaluación, algunos de los cuales me parecieron muy razonables, otros no tanto, y demasiados totalmente arbitrarios y sin ningún fundamento pedagógico, por lo que investigar sobre la evaluación de estudiantes es un tema que me compromete de una manera personal. Siendo así, hago mías las palabras de Santos Guerra (1998): "Llevamos ya unos años haciendo evaluaciones [...]. Es hora de iniciar un discurso sobre estos procesos. ¿Qué está pasando? ¿Cómo se está haciendo? ¿Qué se está consiguiendo? ¿Qué efectos secundarios está provocando? ¿Qué piensan de las evaluaciones los protagonistas (que son los evaluados)? No se trata de hacer evaluaciones sin ton ni son. Se trata de hacer evaluaciones rigurosas que conduzcan a una comprensión profunda de la realidad y a una mejora de la práctica. Y se trata de hacerlas respetando los más exigentes principios de la ética social y de la ética individual" (Santos Guerra, 1998: 171) Pues bien, saber sobre todo eso es precisamente el objetivo que perseguimos con esta Tesis Doctoral: conocer las principales características de la evaluación de los estudiantes en esta Universidad desde la perspectiva de sus protagonistas, con el fin de identificar los puntos fuertes y las debilidades de este proceso y ver las posibles líneas de mejora. En definitiva, lo que pretendemos es conocer cómo se evalúa a los estudiantes en nuestra Universidad y utilizar esta información como indicador de la calidad de la enseñanza universitaria. Nos gustaría, por tanto, que esta investigación sirviera para apoyar la necesaria reflexión sobre la evaluación de los alumnos en la Universidad y, sobre todo, para comenzar a cambiar la forma en que ésta se desarrolla en la práctica. Y es que, aunque pareciera que sobre evaluación de estudiantes está casi todo dicho, en realidad son muy escasos los estudios realizados en el 2 ámbito universitario, tal y como expresan Carles Monereo y Juan Ignacio Pozo (2003): “La investigación sobre la didáctica universitaria destaca por su ausencia. Ciertamente, en los últimos años el interés ha crecido considerablemente, como lo manifiestan el conjunto de congresos, simposiums, jornadas, publicaciones que aparecen ininterrumpidamente; no obstante, predominan las reflexiones bienintencionadas de teóricos que desde el sentido común o realizando una forzada pirueta generalizadora, a partir de las investigaciones en otros niveles, expresan opiniones esperanzadas o apocalípticas sobre el futuro de la universidad, o las experiencias esforzadas de profesores que a título individual han hecho algún cambio en su enseñanza habitual y comunican con entusiasmo su iniciativa” (Monereo y Pozo, 2003: 24-25). De hecho, el interés por este tema no es algo en absoluto novedoso pero, sin embargo, hemos constatado que son muy pocos los trabajos de investigación que se ocupan de la evaluación del alumnado en este nivel educativo, y menos todavía los que lo hacen considerando las percepciones y opiniones de los propios alumnos: “Los estudiantes son el objeto final de todos los esfuerzos que se hacen en el medio universitario. Ellos y los profesores son los actores de toda actividad docente, de toda estrategia académica, de toda organización. Si bien la misión de la universidad no es exclusivamente docente, no se entiende su existencia sin ellos, y son su fundamento y finalidad. Sin embargo, sorprende la poca extensión que al tema específico de los estudiantes se dedica en la literatura sobre el tema universitario. [...] No parece que se repare en sus últimos destinatarios, ni se concede, en algunos casos, a los estudiantes otro papel que el meramente pasivo en el desarrollo de la educación” (Michavila y Calvo, 2000: 159). Pues bien, frente a eso, este trabajo pretende aportar una visión general sobre el modo cómo se desarrolla la evaluación de estudiantes en la Universidad de Santiago de Compostela, analizando, a partir del contraste de las percepciones de estudiantes y de profesores universitarios, posibles diferencias en la forma de evaluar entre las cinco grandes áreas de conocimiento de esta Universidad (Ciencias Sociales y Jurídicas, Humanidades, Ciencias Experimentales, Enseñanzas Técnicas, y Ciencias de la Salud). No hay hipótesis propiamente dicha, pero sí la sospecha de que existen fuertes contradicciones entre lo defendido teóricamente para la evaluación de 11 1.1. PERSPECTIVA HISTÓRICA : El profesor Espada Recarey (1999) afirma que se ha definido la Universidad como "una institución autónoma que, de modo crítico, produce y transmite la cultura por medio de la investigación y la enseñanza, adoptando independencia moral y científica frente a cualquier poder público"; no obstante: "Desde el punto de vista histórico no siempre se consideró así, aún admitiendo su esplendor literario en el siglo XVI y su decadencia posterior en los dos siguientes siglos. Sin embargo, no es hasta el siglo XIX cuando se planean las bases de una Universidad libre con docencia aprendizaje e investigación, de acuerdo con unos principios más racionales que empíricos. Los tres tipos de Universidades (anglosajona, francesa y alemana) se afianzan a lo largo del siglo XIX, con posturas contrapuestas entre el modelo descentralizado y el centralizado, ambos con mayor o menor autonomía. A lo largo del siglo XX y ya centrándonos en España, la Universidad pasó por varias etapas, desde la subordinación al Estado con una concepción elitista hasta disponer de una autonomía plena y, en algunos casos, masificada" (Espada Recarey, 1999: 9). Si nos detenemos un momento para tener una visión de esas etapas por las que pasó la Universidad española, podemos decir que, siguiendo a Sotelo (1987), se pueden señalar tres etapas históricas en la vida de la Universidad como institución: la universidad medieval, que se prolonga hasta la caída del "antiguo régimen", la universidad moderna -o universidad burguesa- y la universidad de masas de nuestros días. Si bien, para este autor: "Las tres etapas que hemos distinguido para la historia de la universidad europea no se ajustan de todo a la universidad española: la universidad medieval dura mucho más que en el resto de Europa y la universidad liberal moderna que, con enormes dificultades, empieza a cuajar a finales del siglo XIX y primer tercio del siglo XX, recibe en 1936 un revés que parece definitivo. Conservando hasta hoy no pocos residuos medievales, y sin que se haya desarrollado plenamente la universidad burguesa, estamos pasando a la universidad de masas. Esta mezcla de universidad medieval y de masas es lo que define a la española de nuestros días" (Sotelo, 1987: 48). 1.- Universidad Medieval (hasta la caída del Antiguo Régimen), en la que se parte de un saber absoluto y definitivo, que no admite la menor duda, y 12 consecuentemente, la función de la Universidad consiste en la transmisión de ese saber debidamente sistematizado. La base de la enseñanza en la universidad medieval es la lección, es decir, la lectura de un texto de reconocida autoridad, en el que se halla sistematizado un saber seguro y suficiente. La función del maestro se agota en explicar y comentar el texto y la del alumno en asimilar y retener lo que se le transmite, sin levantar la menor cuestión crítica. Consecuentemente, la función de la evaluación en este tipo de Universidad sería la de comprobar el ajuste entre lo transmitido por el profesor y lo que el alumno ha sido capaz de asimilar y retener, buscando que en ningún momento se produzcan alteraciones ni modificaciones en lo que se ha transmitido como verdad absoluta. Según el Informe Universidad 2000 (dirigido por el profesor Bricall): "Las universidades atribuyen a su origen medieval algunas características que aun las distinguen. Nos referimos a:  la elaboración y transmisión de los resultados de la reflexión y la investigación a través de una institución a la que sus miembros deciden integrarse de forma voluntaria;  la existencia de una corporación;  la independencia en su funcionamiento respecto de los poderes exteriores a la misma;  la capacidad de asegurar la continuidad de su actividad en el tiempo" (Bricall, 2000: 91-92). 2.- Universidad Moderna o burguesa , en la que se pueden distinguir tres modelos claramente diferenciados: a) Modelo anglosajón: la universidad es una institución en la que conviven profesores y alumnos, y el factor educativo más valioso se deriva de esta convivencia: "El estilo anglosajón pone el acento en el desarrollo personal del alumno, para que alcance la formación más completa posible. Por tal motivo, se propone la estancia de los estudiantes en régimen de internado, y tienen una especial importancia los colleges universitarios y las tutorías, como entidades garantes de la convivencia y la buena marcha de los estudiantes" (Bricall, 1997) 13 El modelo clásico inglés se realiza en las universidades de Oxford y Cambridge, donde el fin de la enseñanza universitaria es educar a la clase dirigente, reproducir las estructuras de poder establecidas. Lo que caracteriza a la universidad inglesa, es un sentido global de educación, que atañe tanto al cuerpo como al espíritu, y que transmite ante todo un modo de vida, las maneras y los valores propios de una clase dirigente, destinada a ocupar los puestos más altos de la administración eclesiástica y civil. Un tipo de evaluación coherente con este modelo de enseñanza, debiera estar atenta a los valores y actitudes que se están adquiriendo en la institución. Es decir, en este modelo no sólo interesa el aprendizaje de una serie de conocimientos conceptuales y de destrezas y habilidades, sino que además se considera fundamental la formación en unos valores concretos, que por tanto deberán verse reflejados en todo momento a la hora de la evaluación. b) Modelo francés napoleónico "universidad imperial": la universidad ya no se identifica con una tradición, sino exclusivamente con la razón, entendida como razón de Estado. Creada por Napoleón, esta universidad nace con el único fin de plegarse a los intereses del estado. La "universidad imperial" es una, con un cuerpo único de profesores, planes de estudio comunes y los mismos contenidos en la enseñanza a lo largo y ancho de la nación. La racionalidad napoleónica, aplicada a la universidad, significa estatalización, centralismo y uniformidad: “La Universidad pasó a depender del gobierno. En buena parte de naciones europeas y de América hispánica la influencia de las ideas napoleónicas se hicieron sentir y las Universidades perdieron su autonomía. En España, concretamente, el plan de estudios de 1845, hecho a imitación de Francia, acabó con la independencia de la Universidad española. A las antiguas Universidades en las que el gobierno para nada intervenía, sucedieron otras en las que el gobierno intervenía en todo, hasta en los pormenores de indumentaria y en el buen servicio de los bedeles” (Menéndez Pelayo, 1948, citado por García Hoz, 1996: 30). La universidad, al mismo tiempo que transmite los principios que rigen la convivencia y legitiman el poder del estado, ha de preparar a la juventud para 14 el ejercicio de las profesiones que precisa la sociedad. Se elimina así de la universidad el saber racional y sistemático sobre la realidad en su conjunto, convirtiéndola en una serie de "escuelas especiales" ocupadas en la transmisión de saberes técnicos especializados. El modelo napoleónico configura así una universidad pública al servicio del Estado, en la que una clase media ascendente aprende los saberes específicos, imprescindibles para el ejercicio competente de las distintas profesiones liberales. Según Rábade Romeo (1996): "Dejando de lado la Universidad inglesa, elitista y enraizada en la tradición, así como la Universidad alemana inspirada por W. von Humboldt, en España hemos seguido hasta no hace mucho el modelo napoleónico. Es decir, teníamos una Universidad más atenta a la preparación para determinadas profesiones que a la especialización científica" (Rábade Romeo, en García-Hoz, 1996: 205). Lo fundamental en este modelo de Universidad, será por tanto el aprendizaje de una serie de habilidades, destrezas, conocimientos prácticos, etc., que capaciten al estudiante para el desarrollo de aquellas profesiones que en un momento determinado precise la sociedad, es decir, en función del mercado laboral. En consecuencia, la evaluación debiera hacerse fundamentalmente de esos contenidos procedimentales. c) Modelo alemán o humboldtiano: la universidad que pretende el "idealismo alemán" no está, como la medieval, al servicio de la "verdad relevada" sino sólo y exclusivamente al servicio de la "verdad" una verdad que no se posee acabada y definitiva, sino que se busca en una investigación que no tiene fin: “La Universidad de Berlín, organizada por Guillermo de Humboldt en 1809, significó un cambio en la idea y en las actividades universitarias, en las que la ciencia y la investigación ocuparon el lugar preeminente que antes se concedió a la Filosofía y a la transmisión verbal del saber” (García Hoz, 1996: 29-30). El sentido y fin de la universidad es la búsqueda de la verdad, imposible empresa sin gozar de una libertad plena, lo que a su vez supone una verdadera autonomía frente a los poderes públicos. Ciencia por la ciencia, 15 libertad y autonomía forman el trípode sobre el que descansa el modelo alemán de universidad. La Universidad es la institución docente en la que no se aprenden los resultados de la ciencia, sino a hacer ciencia. Toda su organización y modos de enseñanza se orientan a la formación de científicos, preocupados únicamente por la persecución de la verdad. La evaluación, por tanto, debiera hacerse de estas habilidades que capacitan al estudiante como científico: "El estilo de tradición alemana, conocido como estilo humboldtiano, se distinguió por la asimilación precoz, en el siglo pasado, de la nueva ciencia experimental, y sostiene que las universidades deben organizarse sobre las bases de la libertad académica y la propia autoalimentación de la ciencia generada por los profesores de manera desinteresada y autónoma" (Bricall, 1997). 3.- Universidad de Masas . Hasta mediados del siglo XX, la universidad era en Europa una institución elitista, pero la transición, al término de la Segunda Guerra Mundial, de una sociedad industrial a una sociedad de servicios y bienestar se tradujo en la correspondiente demanda de personal altamente cualificado en diferentes actividades, lo cual da lugar a una multiplicación y diversificación de los centros de enseñanza superior, incrementándose no sólo el alumnado, sino también el profesorado con una nueva jerarquía profesional (Rumbo Arcas, 1998: 25). En palabras de Miguel Ángel Quintanilla (1998a), el conjunto de transformaciones que se han operado en el sistema universitario español durante los últimos quince años se puede resumir en una sola expresión: en estos años se ha consolidado el cambio de una universidad tradicional a una universidad de masas; proceso que, como en el resto de los países occidentales se inició en los años sesenta, pero que en España se ha producido con cierto retraso 1 y se ha concluido en los '90. Algunos de los 1 Entre otras razones, porque en España la disminución de las cohortes de edad se produjo con diez años de retraso respecto a la mayoría de los países desarrollados (Mora, 1998: 30). 16 rasgos con los que según este autor se puede caracterizar el modelo universitario de la universidad de masas son los siguientes: "• Una amplia capa de la población (en torno al 20% de la cohorte de edad correspondiente) accede a los estudios universitarios. • Se incorporan a la Universidad una gran variedad de estudios, tanto académicos como profesionales, que anteriormente no existían o no tenían carácter universitario. • La Universidad es una institución abierta a su entorno social, con el que mantiene intensas relaciones de prestación de servicios, ligados no sólo a la enseñanza formal, sino también a la investigación, la formación continuada, la colaboración con las empresas, etc." (Quintanilla, 1998a: 86-87). Esta transformación es una de las razones fundamentales de la preocupación actual por la calidad de la educación superior, ya que en la universidad de élites la calidad es un supuesto, no un problema específico: "La universidad tradicional se comportaba socialmente como un club muy selecto: entraban pocos en él y los que lo hacían, si realizan el esfuerzo que se esperaba de ellos y lograban permanecer el tiempo suficiente para obtener la graduación, tenían reservados los puestos directivos de la Administración y de la sociedad. Ante esta perspectiva la calidad efectiva de lo que allí dentro les ofrecieran no tenía mucha importancia. Lo que la universidad ofrecía era, por definición, la excelencia académica" (Quintanilla, 1998a: 91). Sin embargo, la actual situación de una universidad de masas, en la que un 20% de los jóvenes de la cohorte de edad correspondiente acceden a los estudios universitarios, no garantiza ni esos puestos de trabajo, ni la satisfacción de los sujetos que en ella se integran, y ni siquiera se da siempre por supuesta esa excelencia académica. La masificación de la educación superior tiene importantes repercusiones en la organización de estas instituciones (¿cómo se puede hacer extensible el conocimiento de un determinado campo científico a tal número de alumnos, manteniendo al mismo tiempo los niveles de exigencia propios de este nivel educativo?); así como en el replanteamiento de los recursos que se debe, se puede o se quiere asignar a la universidad: “Durante la segunda mitad del siglo XX las universidades europeas han pasado por varios cambios radicales, que han ido conformando su 17 situación social. De una forma muy sintética, parece, como indica LeVasseur, que en todos los países de la OCDE se perciben tres etapas, aunque no en todos ellos se producen simultáneamente: la primera se corresponde con un período de rápida expansión, en el que ha habido que hacer frente a una progresión creciente del número de estudiantes. El segundo período se caracteriza por una cierta sensación de privilegio hacia el colectivo universitario. La tercera etapa, en la que nos hallamos, se puede identificar con la búsqueda de la convergencia y de soluciones imaginativas que permitan conciliar la cantidad de estudiantes con la calidad de la enseñanza” (Michavila y Calvo, 2000: 35). De todas formas, el problema no es sólo de números: “En una mente simplista, si hay excesivo número de alumnos por aula, se dividen en varios grupos y la masificación desaparece. Pero no hay tal. Si en una clase, por pequeño que sea el número de alumnos, no se atiende a las peculiares posibilidades y limitaciones de cada estudiante, que son propias de él y de nadie más, si no hay relación personal entre profesor o profesores y alumnos estamos también frente a una realidad masificada” (García Hoz, 1996: 36). Ya que, como nos advierte García Hoz, no debemos confundir el concepto de "masas" con el de "comunidad": "Una masa de hombres es un conjunto de individuos en el que cada uno pierde su condición peculiar para confundirse y mezclarse con los demás, siendo cada uno de estos «demás» una unidad numérica, un poco de cantidad que se añade a las otras cantidades en que se han convertido los que se hallan en el conjunto. [...] Cuando en un conjunto de hombres cada uno de ellos puede hacer uso de su criterio y guiar su propia actividad vinculándola a la de los otros de acuerdo con sus propias ideas y decisiones, propiamente no hay masa; la reunión de hombres que actúan consciente y libremente es una comunidad" (García Hoz, 1996: 36). Aparte de la masificación de alumnos, también considera este autor que se produce una masificación de conocimientos, nacida de la excesiva especialización y dispersión de los contenidos, de forma que estos se dan de manera inconexa y aislada entre ellos. Y también hace referencia a la masificación de profesores, con consecuencias sobre todo a nivel de descenso en la asunción de su responsabilidad: "La masificación en los alumnos consiste en dejar de actuar como personas y en los profesores en tratar a los alumnos como si fueran una 18 masa, es decir, como si no fueran personas singulares" (García Hoz, 1996: 44). En cualquier caso, hemos de tener en cuenta que en la actualidad estamos en una época de relativa estabilidad en el número de alumnos que acceden al sistema universitario, afirmándose en algunos foros que la Universidad debe prepararse para una considerable reducción del número de alumnos en los próximos años, como consecuencia del marcado descenso de la natalidad a partir de la década de los ochenta y que empezará ahora a notarse en el contexto universitario; si bien, esta reducción podría verse compensada por el aumento del ingreso en la Universidad de alumnos adultos: “Si las tendencias señaladas por países que culturalmente nos preceden se cumplen, no decaerá excesivamente el número de universitarios, por dos razones: en primer lugar, sigue ampliándose la cuota de participación de la cohorte de edad que cursa estudios universitarios [...]. En segundo lugar, se espera una creciente incorporación de adultos a los estudios universitarios. Por razones de reconversión laboral, de ampliación de estudios o de simple satisfacción personal, personas de cualquier edad se incorporarán a los estudios, lo que supone no sólo un refuerzo cuantitativo del número de estudiantes sino, sobre todo, una importante variación en el tipo de demanda” (Michavila y Calvo, 2000: 160-161). Circunstancia que la Universidad debería aprovechar para mejorar la calidad de la formación que oferta a sus estudiantes: “En España, el previsible descenso de la presión demográfica en los próximos años comportará, sin duda, una excelente oportunidad para un mejor aprovechamiento de los recursos humanos y materiales, a la vez que resultará parcialmente compensada por el incremento de la demanda de todas las capas sociales de acceso a la educación superior y a la necesidad de atender a las exigencias de una formación continuada a lo largo de la vida” (MEC, 2003: 3). Pero ésta no ha sido la única modificación que ha sufrido la universidad en los últimos tiempos, encontrándose además con situaciones como la consecución de una mayor autonomía, el problema de la selección del alumnado (o la distribución del mismo en los diferentes centros universitarios), una gran burocratización, la recesión económica, la preponderancia de otras necesidades sociales (como la sanidad o las pensiones), que indudablemente 19 han repercutido en su organización y en la concepción que de ella tiene el resto de la sociedad. "La Universidad ha ido evolucionando al menos en tres grandes aspectos: sus funciones, sus destinatarios y su autonomía, lo que ha contribuido tanto a la imprecisión de su concepto actual cuanto a su situación de crisis casi permanente en nuestro tiempo" (Pérez Juste, 1996: 487). Según Michavila y Calvo (1998), a partir de los '80 se ha desarrollado otro modelo en la Universidad, que podría denominarse «neoliberal», según el cual los gobiernos, en nombre de la sociedad y de las restricciones presupuestarias, instan a las universidades a deshacer sus lazos históricos con los estados, reemplazando la idea de servicio estatal por la de adaptación a las demandas del mercado: "Actualmente, las sociedades de este cambio de siglo han puesto el énfasis en la utilización de las universidades como instrumentos de política económica y social, pero sin sofocar el papel de las mismas en los procesos de innovación y de crítica social" (Bricall, 2000: 94). Con la entrada de España en la Unión Europea, la Universidad se ha visto condicionada a una inevitable puesta a punto, no siempre lograda, de directrices que algunos países miembros comunitarios aconsejaban (Espada Recarey, 1999), pero según diversos autores, la Universidad española en la actualidad está todavía a la búsqueda de nuevas fórmulas de relación entre el poder político y el académico. Como afirma la Declaración Mundial sobre Educación Superior para el siglo XXI, adoptada en la conferencia Mundial sobre Educación Superior de UNESCO: "La relevancia de la educación superior debe evaluarse según la correspondencia entre lo que la sociedad espere de las instituciones y lo que ellas hacen. Ello requiere visión ética, imparcialidad política, capacidad crítica y, al mismo tiempo, una mejor articulación con los problemas de la sociedad y del mundo del trabajo, basando las orientaciones a largo plazo en las necesidades y finalidades de la sociedad, incluyendo el respeto a la cultura y la protección ambiental" (citado en el Informe Universidad 2000: 94). 20 1.2. CONCEPTO DE UNIVERSIDAD : Una vez vista la trayectoria histórica de la institución universitaria, podemos intentar aproximarnos a cuál es la idea o concepto de Universidad que se acepta actualmente. Así, García Hoz nos da dos visiones complementarias del concepto de Universidad: espacio de formación científica y profesional, o bien espíritu o estilo de vida: "La idea más corriente sobre la Universidad es la de que se trata de un lugar donde se va a adquirir unos conocimientos científicos y técnicos que permitirán en el futuro alcanzar un puesto interesante en el mundo profesional y social. Pero también se halla extendida la idea de la vida universitaria como una época gozosa, en la que junto a las exigencias del estudio, bien duras a veces, se encuentra la satisfacción por ir venciendo sus dificultades en un ámbito de esfuerzo personal y colaboración amistosa. Tras esta satisfacción, la maduración, imperceptible pero continua, que va haciendo al estudiante consciente de ser capaz de participar eficaz y satisfactoriamente en la vida de la sociedad en que vive. Y en un campo más impreciso, pero no menos real, el ejercicio de la amistad, de la libertad y del descubrimiento de tantas cosas caen fuera de los programas y de los exámenes; pero con frecuencia, en conversaciones informales, se habla de cuestiones tales como el espíritu o el estilo universitario, la dedicación a la verdad y a la solidaridad, la actitud de servicio a la libertad" (García Hoz, 1996: 52). Sabemos que intentar definir el concepto de Universidad es una tarea complicada si tenemos en cuenta la complejidad de esta institución y los numerosos y diversos aspectos que la conforman, pero creemos que si pretendemos estudiar cualquier tema que se realiza en su seno debemos considerar en que marco se está desarrollando. Como nos advierte el profesor Zabalza: "La Universidad es un todo complejo en cuyo seno se entrecruzan dimensiones de muy diverso signo que interactúan entre sí condicionando cada uno de los aspectos de su funcionamiento interno [...]. No es posible acercarse a los temas universitarios (tanto si el objetivo es el análisis de fenómenos como si se trata de procesos de planificación de estrategias de desarrollo) si no se parte y se toma en consideración esa complejidad básica" (Zabalza, 1996: 20-21). Siguiendo a este autor, la Universidad se configura como un contexto formativo definido a partir de cuatro grandes ejes que constituyen el marco de referencia de la enseñanza en este nivel, tal como aparecen representados en el siguiente gráfico: 27 “Según sus propias declaraciones, los gobiernos de los países desarrollados se plantean como objetivos a alcanzar a través de la educación superior los siguientes: - una mayor (y mejor) preparación de técnicos, científicos e ingenieros, requisito indispensable para favorecer la innovación y la competitividad y, con ello, el crecimiento económico y el bienestar de la sociedad; - la garantía de una mayor igualdad de oportunidades de todos los ciudadanos a través de la generalización del acceso a la educación superior; - finalmente, la transmisión de los valores culturales y de convivencia social y la creación y difusión del conocimiento científico y humanístico como cauces para el progreso y la consolidación de las sociedades democráticas” (Bricall, 2000: 139). Comprobamos así como hay un consenso internacional en considerar que las finalidades de la educación superior son fundamentalmente contribuir al desarrollo científico, económico y cultural de la sociedad, lo que incluye la función de fomento, consolidación y creación de valores culturales y de convivencia social entre sus estudiantes. Centrándonos ya en la Universidad española, si revisamos cuáles son las finalidades que legalmente le son atribuidas, debemos decir en primer lugar que, en apariencia, existe una amplio consenso sobre la misión de la universidad o, más bien, los fines que legalmente se le asignan a la universidad, lo que se comprueba analizando documentos como: la Ley General de Educación (LGE), la Ley de Reforma Universitaria (LRU), y la Ley Orgánica de Universidades (LOU). Así, la LGE (1970) afirma que: "La educación universitaria tiene por finalidad: 1. Completar la formación integral de la juventud, preparar a los profesionales que requiera el país y atender al perfeccionamiento en ejercicio de los mismos ... 2. Fomentar el progreso cultural, desarrollar la investigación en todos los niveles con libre objetividad y formar a científicos y educadores. 3. Contribuir al perfeccionamiento del sistema educativo nacional, así como al desarrollo social y económico del país" (Medina Rubio, 1996: 133). Y la LRU (1983), en su artículo 1º del Titulo Preliminar, habla de la Universidad como un servicio público destinado a la educación superior mediante la docencia, el estudio y la investigación; atribuyéndole cuatro funciones fundamentales: 28 1. La creación, desarrollo, transmisión y crítica de la ciencia, de la técnica y de la cultura. 2. La preparación para el ejercicio de actividades profesionales que exijan la aplicación de conocimientos y métodos científicos o para la creación artística. 3. El apoyo científico y técnico para el desarrollo cultural, social y económico, tanto nacional como de las comunidades autónomas. 4. La extensión de la cultura universitaria. Funciones que son refrendadas por la LOU (2001: art. 1, Título Preliminar: De las funciones y autonomía de las Universidades) y que, para la Universidad de Santiago de Compostela, son recogidas en sus estatutos de la siguiente manera: “1.- Son funciones de la Universidad de Santiago de Compostela: a) La creación, desarrollo, transmisión y crítica de la ciencia y de la técnica y de cualquier otra forma de cultura potenciando una educación basada en los principios democráticos, la defensa de la paz y de los derechos humanos. b) La preparación para el ejercicio de actividades profesionales que exijan conocimientos científicos o artísticos. c) La difusión, la valorización y la transferencia del conocimiento al servicio de la cultura, de la calidad de vida y del desarrollo económico y social. d) La difusión del conocimiento y la cultura a través de la extensión universitaria y la formación a lo largo de toda la vida. e) El apoyo científico y técnico al desarrollo social, económico y cultural de la sociedad gallega que la sustenta. 2.- Además de las funciones básicas del artículo anterior, la Universidad de Santiago de Compostela desarrollará otras actividades de extensión dirigidas a todos los miembros de la comunidad universitaria y a la sociedad en general, que tendrán como finalidad: a) Procurar la formación integral de los miembros de la comunidad universitaria mediante la programación y organización de cursos, conferencias y todo tipo de actividades culturales, recreativas y deportivas que puedan contribuir a la mejor realización de este objetivo. b) Potenciar los diversos grupos y asociaciones universitarias que desarrollan actividades en los ámbitos de la cultura y del deporte. c) Proyectar las funciones y los servicios de la universidad al contorno social. d) Atender especialmente a la defensa, desarrollo y difusión de la cultura gallega, promoviendo las actividades y servicios que contribuyan a este fin y manteniendo las relaciones necesarias con las instituciones que tengan el mismo objetivo” (Estatutos de la Universidad de Santiago de Compostela, 2004, art. 4). 29 Además, en la LOU (2001) se explicita: "Las enseñanzas para el ejercicio de profesiones que requieren conocimientos científicos, técnicos y artísticos y la transmisión de la cultura son misiones ineludibles de la Universidad para formar profesionales competentes que sean a su vez hombres y mujeres libres que den un sentido social a sus vidas. Las funciones anteriores se desarrollan mediante la docencia y el estudio, organizando las enseñanzas y sus correspondientes titulaciones según las necesidades de la sociedad, la proyección de los estudiantes y la dedicación y calidad del profesorado" (Art. 33) "La investigación, fundamento de la docencia, medio para el progreso de la comunidad y soporte de la transferencia social del conocimiento, constituye una función esencial de las Universidades. [...] La Universidad asume, como uno de sus objetivos primordiales, el desarrollo de la investigación científica, técnica y artística, así como la formación de investigadores, y atenderá tanto a la investigación básica como a la aplicada" (Art. 39). Por lo tanto, podemos comprobar como en las declaraciones de principios y finalidades que se formulan en el marco legal de la Universidad española se concede gran importancia a la integración entre docencia e investigación, de forma que se espera que en estas instituciones se genere conocimiento y al mismo tiempo se enseñe de forma crítica y globalizadora a sus alumnos. Se pide que la Universidad sea un espacio donde profesores y estudiantes tengan las mayores oportunidades para desarrollarse de forma global y, al mismo tiempo, ayudar al perfeccionamiento de la sociedad en la medida de sus posibilidades: "Podemos afirmar, pues, que legalmente la Universidad tiene como fines fundamentales: la formación cultural y humana, la transmisión crítica del saber, la investigación científica y la formación profesional superior." (Medina Rubio, 1996: 134). "Es aconsejable contemplar la Universidad como una institución cuyas actividades se destinan, en gran parte, directamente al enriquecimiento intelectual, moral y material de la sociedad (ya sea ésta local, nacional o global) a través de la formación de sus ciudadanos y de la realización de tareas de investigación y de aplicación de sus resultados" (Bricall, 2000: 3). Creemos que en todos estos aspectos el papel que juega la forma en que se desarrolle el proceso de evaluación de alumnos es fundamental, ya que sus dos funciones principales permiten ayudar a la mejora del proceso de 30 enseñanza-aprendizaje, para adaptarse mejor a las necesidades de los estudiantes y, al mismo tiempo, comprobar cuáles son los conocimientos que han adquirido, y acreditar si están preparados para desempeñar determinada actividad profesional: “La doble dimensión (formativa y de acreditación) constituye un elemento básico a la hora de analizar el sentido de la evaluación en una sede universitaria. Como parte del proceso formativo, la evaluación ha de constituir el gran « ojo de buey » a través del cual vayamos consiguiendo información actualizada sobre cómo se va desarrollando el proceso formativo puesto en marcha y sobre la calidad de los aprendizajes efectivos de nuestros alumnos. Como parte del proceso de acreditación, la evaluación constituye un mecanismo necesario para constatar que los estudiantes poseen las competencias básicas precisas para el correcto ejercicio de la profesión que aspiran a ejercer” (Zabalza, 2003: 147-148). 31 1.4. PROBLEMAS Y RETOS ACTUALES DE LA UNIVERSIDAD ESPAÑOLA : Tal y como se expone en la Exposición de Motivos de la LOU, actualmente se espera que la Universidad aporte la formación necesaria para resolver algunos de los retos que se plantean en nuestra sociedad: “El sistema universitario español ha experimentado profundos cambios en los últimos veinticinco años; cambios impulsados por la aceptación de nuestras Universidades de los retos planteados por la generación y transmisión de los conocimientos científicos y tecnológicos. Nuestra sociedad confía hoy más que nunca en sus Universidades para afrontar nuevos retos, los derivados de la sociedad del conocimiento en los albores del presente siglo”. Gustavo Villapalos (1998), considera que algunos de los retos con los que tendrá que enfrentarse la Universidad del siglo XXI son los siguientes: • En el ámbito de la docencia, el profesorado debería prestar más atención al sujeto de la enseñanza -el estudiante- que a su propio dominio científico, para que se enseñe no todo lo que el profesor sabe, sino lo que el estudiante puede aprender. Asimismo debería detenerse la excesiva parcialización y especialización de estudios a que ha conducido la reforma y modificar el enfoque demasiado orientado al mercado de trabajo. Otro reto nuevo e importante para la Universidad está en el tercer ciclo. Junto con la estructuración de las enseñanzas de postgrado, debe abordarse la modificación del doctorado, distinguiendo y graduando lo que es la formación para la investigación y formación para la ampliación y la especialización. • En el ámbito de la investigación, el reto para la Universidad en el siglo XXI es buscar el equilibrio entre la investigación básica y la aplicada, sesgado ahora del lado de la última. Si la Universidad abandona la reflexión y el pensamiento crítico, ¿qué otra institución lo hará? • Por último, otro reto de la Universidad es recuperar su papel de orientadora, iluminadora y provocadora de los cambios sociales y económicos y culturales. En una época de incertidumbre y crisis, la Universidad debe recuperar, desde su posición independiente y con su gran bagaje científico y cultural, su capacidad de iniciativa y crear 32 pautas de pensamiento y de desarrollo científico y técnico que influyan decididamente en la nueva sociedad del siglo XXI. Por su parte, Miguel Ángel Quintanilla considera que el gran reto de la Universidad de nuestros días es: "cómo hacer compatible esta dimensión social de servicio público, abierto a toda la sociedad, con las exigencias de calidad e incluso de excelencia que son propias de una institución dedicada al desarrollo y a la transmisión de la ciencia, la tecnología y la cultura superior" (Quintanilla, 1998b: 345). Según el Libro Blanco sobre la Educación y la Formación de la Comisión Europea, los tres grandes impactos de nuestro tiempo sobre la educación superior serían: "la emergencia de la sociedad de la información que está transformando la naturaleza del trabajo y de la organización de la producción; el fenómeno de la mundialización que incide sobre las posibilidades de creación de empleo; y, finalmente, la revolución científico-técnica, que crea una nueva cultura y que plantea acuciantes cuestiones éticas y sociales" (citado en el Informe Universidad 2000: 6). Sobre el fenómeno de la mundialización, el Ministerio de Educación y Ciencia considera que va a afectar a la institución universitaria fundamentalmente en lo que atañe a la movilidad de estudiantes, profesores e investigadores, lo cual plantea nuevas demandas educativas: “El fenómeno de la globalización no se limita al ámbito económico sino que afecta también, de forma decisiva y positiva, a la transmisión de los conocimientos y a la formación superior. El carácter universal de la institución universitaria se verá aún más incrementado no sólo con la utilización de las nuevas tecnologías de la comunicación a distancia que eliminan barreras geográficas sino con una creciente movilidad de profesores, investigadores y alumnos que podrán ver atendidas sus demandas de educación universitaria de grado y postgrado en centros radicados en países distintos al que iniciaron su formación” (MEC, 2003: 3). Y no podemos obviar que otro de los grandes retos que debe afrontar la Universidad española en estos momentos es, consecuentemente, los cambios necesarios para su integración efectiva en el “Espacio Europeo de Educación Superior”, proceso en el que está inmersa en estos momentos, si bien todavía son muchos los pasos que hay que dar para una efectiva integración. 33 La construcción del Espacio Europeo de Educación Superior es un proceso que se inicia con la Declaración de La Sorbona (1998) y se consolida con la Declaración de Bolonia (1999), en la que 29 Ministros europeos de Educación se comprometen a alcanzar los siguientes objetivos: • La adopción de un sistema de títulos de sencilla legibilidad y comparabilidad, a través de la introducción del “Diploma Supplement” 2 , para favorecen la obtención de empleo de los ciudadanos europeos y la competitividad internacional del sistema europeo de enseñanza superior. • La adopción de un sistema basado esencialmente en dos ciclos principales, respectivamente de primer y segundo nivel. El acceso al segundo ciclo precisa de la conclusión satisfactoria de los estudios de primer ciclo, que duran un mínimo de tres años. El título otorgado al final del primer ciclo será utilizable como cualificación en el mercado laboral europeo. El segundo ciclo debe conducir a un título de master o doctorado como en muchos países europeos. • El establecimiento de un sistema de créditos –como el modelo ECTS 3 – como medio de promover la movilidad de estudiantes. Los créditos también pueden adquirirse en otros contextos, como la formación permanente, siempre que estén reconocidos por las universidades receptoras en cuestión. 2 “El Suplemento Europeo al Título es un modelo de información unificado, personalizado para el titulado universitario, sobre los estudios cursados, su contexto nacional y las competencias y capacidades profesionales adquiridas. Pretende ser un documento fácilmente comprensible, abierto para incorporar el aprendizaje a lo largo de la vida, acreditando los conocimientos adquiridos por cada persona en diferentes instituciones europeas de educación superior” (MEC, 2003: 11). 3 El Sistema Europeo de Transferencia de Créditos (ECTS o European Credits Transfer System) “constituye un código práctico que ofrece los instrumentos necesarios para garantizar la transparencia y facilitar el reconocimiento académico mediante la utilización de créditos y la organización de programas razonables en cuanto al volumen de trabajo a lo largo del período de estudios”(Informe Técnico “El crédito europeo y el sistema educativo español”, 2002: 7). A este respecto, el Documento-Marco para la integración del sistema universitario español en el espacio europeo de enseñanza superior establece que: “El crédito europeo debe quedar definido como la unidad de valoración de la actividad académica en la que se integran las enseñanzas teóricas y prácticas, así como otras actividades académicas dirigidas y el volumen de trabajo que el estudiante debe realizar para alcanzar los objetivos educativos” (MEC, 2003: 6). 34 • La promoción de la movilidad; mediante la eliminación de los obstáculos para el pleno ejercicio de la libre circulación con especial atención a lo siguiente: o Para los estudiantes: el acceso a oportunidades de estudio y formación, y a servicios relacionados. o Para profesores, investigadores y personal técnico-administrativo: el reconocimiento y valorización de períodos de investigación en contextos europeos relacionados con la docencia y la formación, sin perjuicio para los derechos adquiridos. • La promoción de una colaboración europea en la garantía de calidad con vistas al diseño de criterios y metodologías comparable. • La promoción de las dimensiones europeas necesarias en la enseñanza superior, sobre todo en lo que respecta al desarrollo cultural, colaboración interinstitucional, planes de movilidad y programas integrados de estudio, formación e investigación. “El Espacio Europeo de Enseñanza Superior significa un reto muy positivo para todos. Los estudios tendrán mayor transparencia y comparabilidad con beneficios para toda la sociedad y reportará a los estudiantes la organización de las enseñanzas en función de su aprendizaje. La introducción del crédito europeo como unidad del haber académico valora el volumen global de trabajo realizado por el alumno en sus estudios, no sólo las horas de clase. El diseño de los planes de estudio y las programaciones docentes se llevarían a cabo teniendo como eje de referencia el propio aprendizaje de los alumnos. El suplemento europeo al título ayudaría al reconocimiento más fácil y transparente por parte de otras universidades y organismos europeos de la formación adquirida. Y, en fin, la estructura de las enseñanzas que cursan y los niveles de los títulos que reciben al finalizar sus estudios serían más homogéneos con los correspondientes títulos y enseñanzas de los países de la Unión Europea favoreciendo su movilidad e integración en el mercado laboral”. (MEC, 2003: 1). En la Asamblea de la Conferencia de Rectores de las Universidades Españolas (CRUE), celebrada en Julio de 2002, se establece que su posición con respecto a la armonización de los títulos y enseñanzas es la siguiente: “1.La introducción de una arquitectura de títulos en dos niveles (grado y postgrado) constituye una excelente oportunidad para modernizar las 35 enseñanzas, tanto en su organización como en sus objetivos, métodos, contenidos y esquemas de evaluación del esfuerzo en el aprendizaje, con el fin de adecuar la oferta universitaria a las necesidades reales de la sociedad y a los retos del futuro a medio y largo plazo. 2. La estructura propuesta, al separar con claridad la formación en los niveles de grado y postgrado, proporciona un nuevo marco de oportunidades para definir una oferta académica versátil abierta, dentro de un esquema global de aprendizaje continuo, capaz de responder a un nuevo paradigma educativo basado en el aprendizaje y centrado por tanto en los estudiantes. [...] 3. Con el fin de cumplir el objetivo de armonizar las enseñanzas y favorecer la movilidad de los estudiantes, es necesario adoptar el sistema de créditos europeos (ECTS), así como un sistema de calificación que permita una conversión fácil al sistema de calificaciones y grados ECTS. Es necesario además implantar el Suplemento al Diploma de manera coordinada entre las instituciones de carácter superior. 4. [...] Además de propiciar diferencias en los estudios de pre y postgrado de acuerdo con las distintas competencias para el empleo de ambos niveles de estudio; la relevancia social de los estudios dependerá en gran medida de la calidad de la educación recibida, de la diversidad y flexibilidad de programas con múltiples puntos de acceso y salida, del desarrollo de aptitudes y habilidades para la comunicación, la capacidad de jerarquizar la información y el trabajo en equipo” (CRUE, 2002: 2) Nos parece de especial relevancia las siguientes consideraciones que en el documento elaborado por el profesor Domingo Docampo 4 -reflejando la posición de la CRUE- se hacen en relación con las repercusiones de la Declaración de Bolonia en la estructura de las titulaciones de España: “El quicio de la reforma no está en la acomodación de los contenidos de los planes de estudio a la nueva estructura, sino en un cambio de paradigma: pasar de una educación centrada en la enseñanza (en el profesor) a otra centrada en el aprendizaje (en el alumno). Esta cultura del aprendizaje debe llevarnos a una revisión profunda de nuestros esquemas de evaluación, actualmente estructurados en torno a la dualidad aprobado/suspenso, con el fin de reflejar adecuadamente en las calificaciones el esfuerzo efectuado por los estudiantes. Deberíamos por tanto evitar la adopción de cambios cosméticos, que simplemente acomodan contenidos sin modificar mentalidades; si el estudiante debe pasar a ser el centro del proceso de aprendizaje, las aulas universitarias deben ser por tanto lugares a los que se va a aprender (no a enseñar). No hay que olvidar que la ciudadanía espera recibir de las universidades profesionales que hayan desarrollado 4 Domingo Docampo es Rector de la Universidad de Vigo y Presidente del Grupo de Convergencia Europea de la CRUE desde Julio de 2002. 36 aptitudes y habilidades para ser útiles a la sociedad” (Docampo, 2001: 10). Opinión en la que parece coincidir el Ministerio de Educación, Cultura y Deporte, que en el Documento-Marco para la integración del sistema universitario español en el espacio europeo de enseñanza superior (2003) expone: “El desarrollo de la sociedad del conocimiento precisará de estructuras organizativas flexibles en la educación superior, que posibiliten tanto un amplio acceso social al conocimiento como una capacitación personal crítica que favorezca para la interpretación de la información y la generación del propio conocimiento. Se hace, pues, necesaria una nueva concepción de la formación académica, centrada en el aprendizaje del alumno, y una revalorización de la función docente del profesor universitario que incentive su motivación y que reconozca los esfuerzos encaminados a mejorar la calidad y la innovación educativa” (p. 3). Sin embargo, parece que en la actualidad existen muchos problemas en la formación universitaria que hacen difícil la consecución de este cambio de paradigma. Según una revisión bibliográfica efectuada por Rumbo Arcas (1998) algunas de las características que coexisten en nuestra universidad serían: • Predominio casi exclusivo de la lección magistral. • Una jerarquización del saber que se materializa en el programa de la asignatura y el plan de estudios. • Del alumno no se espera más que la capacidad de reproducir fielmente los conocimientos transmitidos en la lección magistral. El profesor es el que "sabe", un saber absoluto que no admite duda, el alumno el que tiene que aprender lo que el profesor dice. • La multiplicidad y proximidad de los exámenes no permiten al alumno centrarse en un tema particular que le pueda interesar especialmente. El estudio queda reducido a una carrera de obstáculos y el que los supere con éxito no demuestra más que cierta capacidad de retención a corto plazo. • En vez de hacer ciencia, la universidad divulga sus resultados, transmitiendo una información de la que luego se exige su fiel reproducción en el momento oportuno (el examen). 43 Consejo Social, previo informe del Consejo de Coordinación Universitaria, aprobará las normas que regulen el progreso y la permanencia en la Universidad de los estudiantes, de acuerdo con las características de los respectivos estudios”. Es decir, el único aspecto relacionado con la evaluación de estudiantes que aparece regulado en ambas leyes es la función de comprobación de conocimientos adquiridos. En relación con este tema, los Estatutos de la Universidad de Santiago de Compostela vigentes cuando iniciamos esta investigación (pero actualmente renovados tras la aprobación de la LOU), establecen: “Art. 115: 1.- La evaluación del rendimiento de cada estudiante se hará mediante un conjunto de trabajos y ejercicios sobre los contenidos de cada materia. Esta evaluación será realizada de forma ordinaria por el profesor encargado del curso de acuerdo con los criterios establecidos por los Consejos de Departamento. La Junta de Gobierno elaborará una normativa para articular los procedimientos extraordinarios de evaluación y la revisión de calificaciones. 2.- De considerar el estudiante que la calificación recibida supone un tratamiento arbitrario o discriminatorio, podrá solicitar del decano o director del centro, mediante petición razonada, la revisión de su calificación” (Estatutos da USC, 1997). De la misma forma, en los Estatutos del Estudiantado de la Universidad de Santiago de Compostela se recoge, en la sección dedicada al derecho a una docencia de calidad, los siguientes artículos: “Art. 27: Del derecho a la evaluación: Los estudiantes tienen derecho a ser evaluados objetivamente de sus conocimientos. Los procedimientos de calificación deberán consistir en alguno o varios de los siguientes: Participación activa e individualizada en las actividades teóricas, seminarios, trabajos llevados a cabo o prácticas programadas. Exámenes parciales que, de existir, podrán tener carácter liberatorio. Exámenes finales. Otros medios objetivos de evaluación de la actividad académica En el caso de estudiantes con discapacidades, deberá facilitárseles la realización de pruebas o exámenes en condiciones adecuadas a sus capacidades. Art. 28: De los exámenes: Todos los estudiantes matriculados en una materia tienen derecho a realizar los exámenes finales. También podrán realizar los exámenes parciales que estén previstos cuanto reúnan los requisitos fijados para 44 participar en ellos. De cara a la realización de los exámenes los estudiantes deberán identificarse, cuando así lo solicite el profesor encargado de su evaluación. Durante la realización de las pruebas será obligatoria la presencia del profesor que impartió la materia, salvo causas justificadas. Los criterios de calificación de los exámenes deberán darse a conocer antes de su inicio. Los exámenes finales deberán ser realizados en las fechas y en la modalidad aprobada por la Junta del Centro con anterioridad al plazo de matrícula, no cabiendo más modificaciones que las derivadas de causas de fuerza mayor. En el caso de que se alteren las fechas, se garantizará el derecho a examen evitando incompatibilidades. Los estudiantes tienen derecho, si lo solicitan, a un justificante documental de haberse presentado a la prueba o examen.” (Estatuto del Estudiantado de la Universidad de Santiago, 1998). En los nuevos Estatutos de la USC (2004), las referencias a la evaluación de estudiantes se amplían, apareciendo en los siguientes términos: “Son deberes específicos del personal docente e investigador funcionario o contratado: [...] c) La evaluación del estudiantado con objetividad de acuerdo con las normas establecidas. (Art. 15.2) Son derechos específicos del estudiantado: [...] c) La adaptación de las actividades docentes, así como de las fechas y mecanismos de evaluación, a las circunstancias especiales en las que se pueda encontrar por discapacidad u otras circunstancias similares. d) Ser evaluado por la Universidad objetivamente en su rendimiento académico y disponer de mecanismos adecuados de revisión. (Art. 38). La formalización de la matrícula supone el derecho de asistencia a las clases teóricas y prácticas propias de cada materia y a ser evaluado. Asimismo, implica el deber de asistencia y realización de aquellas actividades formativas que se establezcan como obligatorias en la programación docente. (Art. 126.2) Con carácter singular para casos específicos, la Junta de Centro podrá conceder la dispensa de asistencia a clase. En estos casos, si fuera necesario, podrá contemplarse un sistema de evaluación diferenciado del criterio general. (Art. 126.3) El Consejo de Gobierno elaborará una normativa básica para la ordenación del proceso de enseñanza-aprendizaje que permita, según las competencias de los centros y departamentos, llevar a cabo una docencia coordinada. (Art. 127.1) Esta normativa regulará los aspectos principales de la programación docente de las disciplina, entre los que figurarán profesorado, horario, contenidos básicos de los programas y criterios y sistemas de evaluación, que serán homogéneos para todos los grupos de una misma 45 materia. Determinará, así mismo, el órgano responsable de establecer cada uno de sus elementos y de velar por su cumplimiento, así como los plazos en que deberá estar a disposición del estudiantado. (Art. 127.2) Le corresponde al Consejo de Gobierno establecer los procedimientos de verificación de los conocimientos de los estudiantes. Para estos efectos, elaborará una normativa para articular estos procedimientos así como la revisión de calificaciones. Esta evaluación será realizada de forma ordinaria por el profesorado encargado del curso de acuerdo con los criterios establecidos por los consejos de departamento. (Art. 128.1) De considerar el estudiante que la calificación recibida supone un tratamiento arbitrario o discriminatorio podrá solicitar al decano o director de centro, mediante una petición razonada, la revisión de su calificación. (Art. 128.2) Es decir, el Consejo de Gobierno es el encargado de establecer la normativa para articular los procedimientos de comprobación de conocimientos de los estudiantes y la normativa para la revisión de las calificaciones, mientras que los Consejos de Departamento son los responsables de elaborar los criterios de evaluación. Desaparecen de la formulación de los estatutos la especificación de los medios que se utilizarán para realizar esta evaluación (presente en los antiguos estatutos como: “conjunto de trabajos y ejercicios sobre los contenidos de cada materia”), pero en esencia se siguen manteniendo la evaluación en los mismos términos, con la única diferencia de que se hace mayor hincapié en la necesidad de que los criterios y sistemas de evaluación sean homogéneos para todos los grupos de una misma materia, o que el estudiantado tiene el derecho de ser evaluado “objetivamente” (lo cual a su vez es un deber del profesorado), así como la adaptación de las fechas y mecanismos de evaluación a sus especiales características. En la “Normativa Básica para la ordenación del proceso de enseñanza- aprendizaje y de la evaluación del rendimiento académico de los estudiantes” (2001), se aborda este tema más pormenorizadamente, aunque siempre centrándose en evaluación del rendimiento, no evaluación de los estudiantes, ni siquiera evaluación de su aprendizaje en general. 46 En primer lugar, esta normativa establece que es el Departamento el encargado de garantizar que en todas sus materias aparezcan reflejados los criterios y sistemas de evaluación: “Artículo 3: El departamento tiene la obligación de garantizar para cada materia una Programación Docente que deberá especificar: I. Profesorado encargado de la docencia con indicación, de ser varios, del coordinador de la misma. II. Descriptores de la materia en el Plan de Estudios. III. Número de créditos teóricos, de prácticas de encerado, de laboratorio, etc. IV. Objetivos. V. Programación de la parte teórica y práctica. VI. Desarrollo del temario (con indicación, a ser posible, del tiempo previsto para cada tema) con determinación de la docencia no presencial). VII. Criterios y sistemas de evaluación (tipo y número de pruebas, trabajos para presentar con posibles fechas, controles periódicos, etc.) VIII. Bibliografía recomendada actualizada.” Especificándose en el artículo 10 que el Consejo de Departamento es el encargado de establecer los criterios de evaluación de rendimiento de los estudiantes y de garantizar que los alumnos de diferentes grupos de una materia sean evaluados con criterios equivalentes: “Artículo 10: En todo caso, el artículo 115 de los Estatutos de la USC le asigna al Consejo de Departamento el establecimiento de los criterios de evaluación del rendimiento de los estudiantes y el artículo 3.1. del Estatuto del Estudiante establece que todos los estudiantes tendrán igualdad de derechos y deberes sin más distinciones que las derivadas de las enseñanzas que estén a cursar, por lo que es necesario que los alumnos de los distintos grupos de una misma materia reciban una formación equivalente y sean evaluados con criterios también equivalentes, independientemente del grupo que les corresponda siempre que este derecho pueda ejercitarse sin menoscabo de los derechos de los demás miembros de la comunidad universitaria, como establece el mismo artículo 3 del Estatuto del Estudiante en el apartado 2.” Criterios que los estudiantes deben conocer para poder predecir los resultados de su evaluación: “Dada la importancia de la evaluación del rendimiento académico de los alumnos en cualquier proceso docente, el estudiante debe de tener la máxima información posible. Es muy importante que los estudiantes puedan predecir las consecuencias de su rendimiento y que puedan controlar el resultado de su evaluación. 47 Los alumnos deben de ser informado minuciosamente sobre los criterios y métodos de evaluación, así como el tipo y número de exámenes.” (Art. 9, 2º y 3er párrafo) En este normativa se establece también que la evaluación debe basarse en objetivos educativos, y con ella se debe asegurar: - “mejorar la docencia - informar a la Universidad sobre el grado de asunción de los objetivos educativos previstos, - garantizar la competencia de los alumnos, - asegurar la equidad, y - mejorar el aprendizaje de los estudiantes” (Art. 9, 1er párrafo). En los artículos 6, 7 y 8 de esta normativa se regulan aspectos relacionados con las fechas de realización de las pruebas finales de evaluación: “Artículo 6: Los estudiantes tienen derecho a ser evaluados en todas las materias de las que estén matriculados. Este derecho no implica derecho a fechas de evaluación distintas de las previstas si están matriculados de materias con fechas de evaluación coincidentes. Se procurará que no haya materias de dos cursos consecutivos con calendarios de evaluación coincidentes. Artículo 7: El centro aprobará y hará pública la programación de las pruebas finales de las disciplinas de todas las convocatorias de cada curso antes del 15 de mayo del curso académico anterior. Artículo 8: El decano/director del centro resolverá, previa consulta con los profesores correspondientes y con los alumnos del curso o grupo afectado, las situaciones en las que por imposibilidad sobrevenida resulte imposible realizar el examen de acuerdo con lo establecido en la programación.” Comprobamos así como se da por hecho la necesidad de realizar un examen final para realizar la evaluación del rendimiento, y sus fechas de realización tienen que fijarse en el curso académico anterior, pudiendo modificarse estas fechas únicamente por causas que hagan imposible la realización del examen en las establecidas. Sin embargo, si a un estudiante le coinciden las fechas de los exámenes finales de dos materias, queda a 48 disposición de la voluntad de los profesores de esas materias para examinarse en otra fecha, ya que no se reconoce su derecho a que así sea. No obstante, en el artículo 9 de esta misma normativa se reconoce la posibilidad de evaluar el rendimiento de los estudiantes a través de otras actividades: “Los estudiantes serán evaluados de acuerdo con los criterios que figuren de forma explícita en la programación de la materia y que, en general, se basarán en alguna o algunas de las siguientes actividades: I. Asistencia y participación en clases teóricas, seminarios y otras actividades complementarias II. Realización de prácticas y trabajos de laboratorio III. Presentación de trabajos o informes relacionados con el contenido de la materia IV. Pruebas parciales y/o final V. Otras actividades específicas que también garanticen la evaluación objetiva del rendimiento de los estudiantes. En todo caso para las pruebas, distintas de la final, que se declaren obligatorias deben indicarse las fechas de su realización en la programación docente.” Actividades que deben adaptarse a las capacidades de los estudiantes con alguna minusvalía y que, en el caso de ser exámenes orales, deben ser públicos y establecerse una comisión de evaluación (cuando es la única prueba de evaluación): “Artículo 11: Para la realización de pruebas orales, se convocará cada día a los alumnos que previsiblemente el profesor pueda evaluar. Tales exámenes serán públicos y por lo menos en los casos en que sea la única prueba de evaluación, el departamento nombrará una comisión de evaluación que deberá estar formada por un mínimo de dos profesores.” Otro de los aspectos que regula esta normativa es el derecho de los estudiantes a conocer los resultados de las pruebas de evaluación en un plazo inferior a veinte días (salvo casos excepcionales), así como a revisar estos resultados junto con el profesor responsable de la materia: “Artículo 14: El estudiante tiene derecho a conocer los resultados de las pruebas, trabajos o exámenes parciales que realice, según el sistema de evaluación previamente establecido, en un plazo razonable, que salvo casos excepcionales, debidamente justificados ante la dirección del centro, serán inferiores a 20 días naturales desde la fecha de realización de la prueba excepto para las calificaciones finales que deberán ajustarse a lo reglamentado por las Normas de Gestión Académica. Tales resultados deben conocerse con suficiente antelación a la realización de una nueva prueba. [...]” 49 “Artículo 17: El alumno tiene derecho a la revisión de los exámenes tanto parciales como finales en su presencia en las fechas y horarios que para tal efecto deberán fijarse en el momento de hacer públicos los resultados provisionales. Las fechas de revisión deberán estar comprendidas dentro de los diez días siguientes a la publicación de los resultados y tal plazo no deberá ser inferior a tres días hábiles y garantizará que todos los alumnos que lo deseen puedan revisar el examen. Se intentará que, para cada estudiante, estas revisiones se puedan llevar a cabo en dos fechas opcionales y que sean un instrumento útil para que el alumno pueda percibir su nivel de conocimientos y carencias, tanto si resulta aprobado como suspenso. Deberá quedar constancia de esta revisión (mediante firma en el examen revisado, listado, etc.).” Constatamos por tanto, que el conjunto de la normativa que regula la evaluación de estudiantes en la Universidad de Santiago de Compostela se caracteriza fundamentalmente por reducir este proceso a una certificación de conocimientos estableciendo, a partir de ahí, los procedimientos para que esta certificación se haga de la forma más objetiva y justa que sea posible, y regulando los aspectos más “técnicos” de la evaluación: establecimiento de las fechas para la evaluación (lo cual implica la concepción de que la evaluación se hace en un momento diferenciado al resto del proceso de enseñanza- aprendizaje), plazos para conocer y revisar las calificaciones, etc. No dudamos que estos aspectos deben estar regulados, pero sorprende realmente la poca atención que en la normativa se le concede al proceso de evaluación de los estudiantes desde una perspectiva más amplia, en la que se reconozca su valor para autorregular el aprendizaje de los estudiantes, para ajustar el proceso de enseñanza, para socializar al alumnado en los valores propios del campo profesional en que se están formando, etc. En cualquier caso, en esta investigación pretendemos conocer si la normativa propia de esta universidad se está cumpliendo en el proceso de evaluación de estudiantes, y hasta qué punto existen otros aspectos que debieran aparecer recogidos en esta normativa. 50 53 2. CALIDAD EN EL CONTEXTO UNIVERSITARIO: Como hemos podido comprobar, una de las preocupaciones más importantes de la Universidad en la actualidad es la búsqueda de la calidad, la cual en los últimos años se ha puesto en entredicho desde numerosas instancias (medios de comunicación, congresos, debates políticos, etc.), pareciendo que es ahora el momento de informar al resto de la sociedad sobre la "calidad" de nuestras instituciones de educación superior. Pero, ¿qué es exactamente la calidad universitaria? El tema de la calidad de la Universidad es mucho más complejo de lo que en un principio podría suponerse, variando mucho en función de las diferentes perspectivas con que se analice o de las diferentes audiencias implicadas en su valoración. Como ya hemos comentado anteriormente, nuestra intención es enmarcar el tema de la evaluación de los estudiantes en la actual investigación sobre la calidad de la Universidad que está en pleno auge en nuestro país. Por ello consideramos relevante realizar un apartado previo en el que analizamos qué se entiende por calidad de la Universidad, de qué forma se puede evaluar esta calidad y cómo podría incluirse la evaluación de los estudiantes en esta evaluación de la calidad universitaria. Consecuentemente, a continuación vamos a ver diferentes perspectivas existentes en el estudio de la calidad en el ámbito de la educación superior, diferentes categorizaciones de las posibles dimensiones que estarían presentes en el concepto de calidad universitaria y una relación de los factores que estarían implicados en la calidad de un sistema de educación superior. Una vez visto esto, comenzaremos a analizar cómo se puede evaluar la calidad de las instituciones universitarias, centrándonos en el Plan Nacional de Calidad de las Universidades que está desarrollándose actualmente en el contexto español, y en el anterior Plan Nacional de Evaluación de la Calidad de las Universidades. De esta forma, veremos cuáles son los objetivos y finalidades que persiguen estos planes, cómo se desarrollan, los instrumentos básicos que 54 utilizan para realizar la evaluación, ..., y, especialmente, qué se dice con respecto a la evaluación de los estudiantes en las Guías de Evaluación, aprobadas por el Comité Técnico de los citados planes. Posteriormente, abordaremos el tema de los indicadores de calidad en la Universidad, para ver en qué medida podría ser relevante introducir la evaluación de los estudiantes como uno de estos indicadores. Así, estudiaremos como se definen los indicadores y algunas consideraciones en torno a su utilidad y funcionalidad, para ver a continuación alguna propuesta de indicadores que se podrían utilizar para recoger información sobre la calidad de la enseñanza universitaria. Finalmente, defenderemos la inclusión del análisis del proceso de evaluación de los estudiantes como uno de los indicadores de la calidad de la enseñanza que la Universidad ofrece; analizando por qué este aspecto puede darnos valiosa información para conocer y comprender mejor como se desarrolla el proceso de enseñanza-aprendizaje en una institución universitaria, y posibilitando así la formulación de propuestas para mejorarlo. 61 Cuadro 2: Dimensiones de la Calidad universitaria: Guía de Evaluación del Plan Nacional de Evaluación de la Calidad de las Universidades (1998) Dimensión de la disciplina : asociada con la excepción o exclusividad tiene como norte la excelencia. Dimensión de la reputación : la imagen de calidad que se transmite a la sociedad depende de la opinión de diferentes audiencias. Dimensión de la perfección o consistencia : hacer las cosas bien en la forma y tiempo predeterminados. Dimensión económica o de resultados : calidad como disponibilidad de recursos y calidad como logro de objetivos. Dimensión de la satisfacción de los usuarios : los servicios ofertados satisfacen los requerimientos y expectativas de los usuarios presentes y potenciales. Dimensión de la organización : la organización tiene que afrontar la demanda creciente de mayor calidad e individualización en el producto o servicio presta (incrementando la complejidad de tareas que realizan sus miembros y con una mayor cohesión de los mismos). Rodríguez Espinar (1997) La calidad como excepción : algo diferente, exclusivo, de élite; excelencia; ó adecuación a los estándares mínimos preestablecidos. La calidad como perfección o consistencia : sin errores o defectos en los procesos implicados en toda acción educativa. La calidad como aptitud para el logro de objetivos : el elemento característico de la calidad es la proporción o magnitud de los objetivos alcanzados. La calidad como eficiencia económica : los objetivos finales se alcanzan con una mínima pérdida del talento del alumno, utilizando recursos de producción con un máximo de eficiencia. La calidad como adecuación al mercado laboral : adecuación en cuanto al volumen de titulados universitarios necesarios y a su óptima distribución por ámbitos o sectores productivos y adecuación de los requisitos de formación necesarios a ese mercado laboral. La calidad como innovación organizativa : la institución posee la necesaria habilidad para desarrollar e implementar la normativa, para satisfacer los requisitos / la calidad educativa deseada. La calidad como satisfacción del usuario : el criterio de calidad reside en el grado en que los servicios ofertados satisfacen los requerimientos y expectativas de los alumnos (potenciales y presentes). La calidad como valor añadido : capacidad para lograr el mayor desarrollo intelectual, afectivo, personal y social de los alumnos, como el de los profesores (tanto en su dimensión pedagógica como académica y de productividad científica). 62 Harvey y Green (1993) Calidad como fenómeno excepcional : Se pueden distinguir tres variantes de esta noción de la calidad: noción de calidad como algo diferente; concepto de calidad traducida en excelencia; y calidad como satisfacción de estándares mínimos. Calidad como perfección o consistencia : está basada en dos premisas: la primera implica cero defectos y la segunda hacer las cosas bien la primera vez. Calidad como aptitud para el logro de un propósito : se define la calidad de manera funcional con relación a la forma en que un cierto producto o servicio se ajusta a un propósito. Calidad como relación costo-valor : se está usando el término calidad con relación al dinero invertido en educación. En el fondo subyace el concepto de obligación de rendir cuentas. Calidad como transformación : una educación de calidad es aquella que efectúa cambios en el participante y por tanto presumiblemente o enriquece. El "valor añadido" es una medida de calidad en tanto la experiencia educacional enriquezca el conocimiento, las capacidades y las destrezas de los estudiantes. Mora y Carrasco (1993) La calidad como reputación : la calidad de una institución de educación superior es evaluada mediante encuestas realizadas a un buen número de profesores de otras instituciones, a los que se les supone la capacidad de juzgar sobre la calidad de cada institución desde su punto de vista subjetivo. La calidad como disponibilidad de recursos : se valora la calidad de una institución por la calidad académica de los alumnos que admite y por los medios de que dispone, aunque no por la adecuada e intensiva utilización de esos medios. La calidad a través de los resultados : la valoración de la calidad de las universidades se hace a través de su producto, es decir, del resultado global de sus graduados cuando se incorporan al mundo laboral una vez han acabado su vida universitaria. La calidad por el contenido : a través de la consideración de lo que se enseña en las instituciones universitarias, de cual es su nivel docente, de cual es su currículum, de cual es su sistema pedagógico o de cual es el "clima" que se respira en el campus. La calidad por el "valor añadido" : la calidad de una institución se evaluaría por la diferencia entre el nivel de formación de los estudiantes al ingreso y a la salida de las instituciones universitarias. Viendo todas las dimensiones y factores que deberían analizarse para evaluar la calidad de las universidades, podríamos concluir que ésta es una empresa difícilmente abarcable, que exige esfuerzos y una cantidad de 63 información que apenas podríamos conseguir, pues como nos advierte Silvio: "al abordar la evaluación de la calidad total de un sistema universitario, podría concluirse con una posición pesimista, pues ante tal complejidad y tantos requerimientos, cualquier evaluador abandonaría a priori su tarea. Sin embargo, podemos aproximarnos a una evaluación de la calidad, mediante la consideración de la calidad de ciertos factores que influyen en ella" (Silvio, 1993: 68). Precisamente esta es la justificación de este trabajo, ya que pensamos que uno de los factores que influyen en la calidad de una institución universitaria es la forma como se realiza la evaluación de sus estudiantes, así como la percepción que de este proceso tienen alumnos y profesores. Por ello, creemos que conociendo mejor cómo se defiende actualmente que debe realizarse esta evaluación (qué dimensiones hay que considerar, qué técnicas se pueden utilizar, cuáles son los criterios a tener en cuenta, etc.) y contrastando esta información con la práctica de evaluación que se está desarrollando en las diferentes universidades, podremos saber en qué medida la evaluación de los estudiantes está contribuyendo a la calidad de esas instituciones. Por supuesto no obviamos que la valoración de la calidad de una Universidad no puede reducirse únicamente a la forma en que se desarrolla la evaluación de sus estudiantes. Esto sería caer en un grave reduccionismo, pero sí es cierto que no podemos olvidar que esta evaluación puede ser un importante indicador a tener en cuenta, y que en la actualidad parece no considerarse con toda la rigurosidad que sería de esperar. José Ginés Mora y Salvador Carrasco consideran que los factores esenciales que están implicados en la calidad de un sistema de educación superior son los que se recogen en el gráfico que presentamos a continuación: "Consideramos tres dimensiones básicas: entradas, procesos y resultados; que, a su vez, se dividen en diversas facetas. El cuadro es suficientemente explícito para no necesitar más comentarios. Hay que resaltar, sin embargo, que la evaluación de estos factores ha de ser dinámica. Mejorar la calidad del sistema debe también implicar la acción sobre todos los factores que intervienen y sobre sus posibles relaciones mutuas" (Mora y Carrasco,1993: 222). 64 G ráfico 2: Las dimensiones de la calidad de la educación (Mora y Carrasco, 1993: 221) FOR M A C I Ó N AC AD É MI C A N I VEL SALA R IA L TI POL OG ÍA NÚ ME R O FOR M A C I Ó N NÚ ME R O E D IF IC IO S LA BOR A T OR I O S IN ST AL AC IO N E S FO RM A C I Ó N P ED AG Ó GI C A PR OFESORA DO BI BLI O TEC A S PERS ONA L RECURSOS F Í SI COS CA P A CI D AD I NT E L ECTUA L CA P A CI D AD DE RENDIM I ENT O AC AD É MI CO CA R A CT ER Í ST IC A S SOC IE C ON Ó MI C A S NÚ ME R O SI ST EMA F I N A N C I ER O BECA S AL UMNO S RECURS OS FI N A N CI EROS E N T R A D A S IN S T I TU C I Ó N UN I VERSI TA R I A R E S U L T A D O S PRO CES O EDU CA C I Ó N IN V E S T IG AC I Ó N SE R V IC IO S N IV E L D E CONOCI M I E N T OS EM PL EO D E GRA DU A DO S N . S ALA R IA L DE GRA D. P U B LIC AC IO N E S PA T EN T ES OT ROS M É RI T OS A C T I VI DA D E S PRO FES . A CT I VI DA D ES SOC I A LE S GESTI Ó N DI RE CCI Ó N ORGA N IZ A C I Ó N A DMI NI ST RA TI VA CURR Í CUL A PL A NE S PRO GRA MA S SE R V IC IO S FUNCIO N AMI E N TO BI BLI O TEC A S SE R VIC IO S IN F O R M Á TI COS O TRO S SE R V IC IOS FU NCI O N A MI ENT O LA BORA T OR I O S A CT I VI DA D D O C EN T E ES FUERZ O D E L O S ES T UDIA N T ES REL A C I Ó N ENT RE PRO F. -A L U M NO OT R A S A C T I V ID A DE S EN A U L A FUE RA DEL A U L A AMBI EN T E N I VEL E S DE SA TIS FA CC I Ó N DE ALUM NO S-P ROFE S OR ES I N T E RA CC I ONES ENT RE ES T UDIA N T ES I N TERA CC I ONE S P ERSONA LE S EN EL C A MPU S A C T I VI DA D E S DEP ORT I VO-C U L TUR AL ES 65 Desde la perspectiva de Sebastián Rodríguez Espinar: "en términos económicos, una institución será de mayor calidad que otra en la medida en que consiga el máximo valor añadido para los mismos imputs. Dicho valor añadido es entendido tanto como los diferenciales del grado de desarrollo intelectual, afectivo, personal y social de los estudiantes desde el inicio al final de sus estudios universitarios, como el de los profesores -tanto en su dimensión pedagógica como académica y productividad científica- (Rodríguez Espinar, 1991: p. LXVIII). La pregunta clave será, consecuentemente, ¿cómo se evalúa ese valor añadido? Según Quintanilla, en el ámbito universitario: "no existe un criterio de calidad externo e independiente del que la propia institución (o el conjunto del sistema universitario o de sus profesores) define. Esto seguramente explica, aunque no justifica, algunos hechos bastante comunes en muchos cursos universitarios: no se usan libros de texto, a veces ni siquiera se especifica de antemano el programa de las asignaturas, en todo caso es frecuente que no se cumpla todo el programa y que cuando varios profesores imparten la misma asignatura, rara vez coincidan en sus contenidos y no digamos ya en sus enfoques, lo que hace difícilmente comparable el nivel de «calidad» de cada una de las diferentes prestaciones de lo que en teoría debería ser un mismo servicio. Pero lo peor no es esto: lo peor es que todos estos evidentes rasgos de falta de calidad, en la universidad no se suelen percibir como tales, sino más bien al contrario, como componentes esenciales de la excelencia académica: no es que la enseñanza de tal o cual profesor esté mal diseñada y mal implementada, es que lo que él hace es por definición el canon de excelencia precisamente en esa materia que se supone que él domina en el máximo nivel de competencia esperable" (Quintanilla, 1998a: 90). Teniendo esto en cuenta, ¿cómo se puede evaluar la calidad de las instituciones universitarias? Este es precisamente el tema que vamos a abordar en el siguiente apartado. 66 2.2. EVALUACIÓN DE LA CALIDAD: PLAN DE LA CALIDAD DE LAS UNIVERSIDADES : En estos momentos, existen sistemas de evaluación de la calidad de las universidades en la práctica totalidad de los países europeos: "En los países más desarrollados, la evaluación de la calidad de la educación universitaria se ha convertido no sólo en una de las prioridades, sino también en una exigencia tanto para las propias universidades como para los gobiernos y las administraciones públicas" (Guía de Evaluación del Plan Nacional de Evaluación de la Calidad de las Universidades, 1998: 4). David Neave resume con acierto la actualidad de este tema cuando afirma que: "una de las verdades universales de nuestro tiempo es que no existe un Estado Miembro en la Unión Europea que no esté firmemente implicado, o al menos decidido, a contemplar esquemas de diversos grados de refinamiento y sofisticación para evaluar la educación superior, la forma cómo se lleva a cabo, a qué coste y con qué resultados" (Neave, 1998: 265). En España, tras una serie de estudios previos, las experiencias del Programa experimental del Consejo de Universidades (1992-1994) y del Proyecto Piloto de la Unión Europea (1994-1996), se establece en el Real Decreto 1947/1995 de 1 de Diciembre la creación del Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU), el cual señala como objetivos: "- Promover la evaluación institucional de la calidad de las Universidades españolas, tanto en el ámbito de la enseñanza, como de la investigación y demás servicios que la Universidad presta a la sociedad. - Facilitar a las Universidades y a las Administraciones Educativas una metodología homogénea y unos criterios básicos comunes para la evaluación de la calidad compatibles con la práctica vigente en el contexto europeo. - Proporcionar a la sociedad, especialmente a los estudiantes universitarios, información relevante y objetiva sobre la calidad de las Universidades españolas, sus diferentes programas de estudio, sus áreas de especialización científica y el nivel de prestaciones y servicios que ofrece. 67 - Proporcionar a las Administraciones Educativas y al Consejo de Universidades una información objetiva sobre el nivel de calidad alcanzado por las Universidades que pueda servir de base para la adopción de decisiones en el ámbito de las respectivas competencias." (BOE de 28 de Febrero de 1996) En Abril de 2001 se establece el II Plan de la Calidad de las Universidades (BOE de 21 de Abril de 2001), renovándose sus objetivos de la siguiente forma: “a) Continuar con la evaluación institucional y fomentar la implantación en las Universidades de sistemas de calidad integral para la mejora continua. b) Promover la participación de las Comunidades Autónomas en el desarrollo y gestión del Plan propiciando la creación de entidades autonómicas dedicadas a tal fin, con el objeto de crear una Red de Agencias de la Calidad Universitaria coordinada por el Consejo de Universidades. c) Desarrollar metodologías homogéneas con las existentes en la Unión Europea, que permitan establecer estándares contrastados para la acreditación de la calidad alcanzada. d) Implantar un sistema de información a las Universidades, a las Administraciones públicas y a la sociedad, basado en la evaluación por resultados y apoyado en un catálogo de indicadores, que pueda servir de base para la toma de decisiones en el ámbito de sus respectivas competencias. e) Establecer un sistema de acreditación de programas formativos, grados académicos e instituciones que permita garantizar la calidad en conformidad con estándares internacionales, abarcando también programas de doctorado y formación de postgrado” De esta forma, "el Plan persigue promover la evaluación de las universidades para que adopten acciones concretas orientadas a mejorar su calidad; y proporcionar información, sobre la calidad de las universidades, a la sociedad y a las administraciones públicas" (Consejo de Universidades, 1998b). “El programa de evaluación institucional de la calidad de las universidades españolas se caracteriza por atender, por una parte, a la eficacia y la eficiencia (considera inputs y outputs) y por otra, atiende también los procesos. Así mismo, ha de conjugar las perspectivas intrínseca y extrínseca de la calidad de la educación universitaria.” (Consejo de Universidades, 2000a: 10). Además, Francisco Michavila y Benjamín Calvo consideran que el PNECU debe contribuir a mejorar estos otros tres aspectos: 68 "- Incrementar la eficacia y la eficiencia del gasto en enseñanza superior. - Incentivar el cumplimiento de estándares internacionales de calidad en los programas de formación, lo que permitirá aumentar la movilidad de nuestros graduados, con un incremento en la competitividad internacional de las empresas y la excelencia de la investigación y el desarrollo tecnológico realizados. - Por último, y no por ello menos importante, la evaluación de la calidad puede ser una herramienta singularmente útil para satisfacer nuevas demandas, más amplias y complejas, de formación reglada y no reglada o permanente, tanto del conjunto de los ciudadanos como, en especial, de los que acuden por primera vez a la aulas universitarias, con tantas ilusiones depositadas en su futuro" (Michavila y Calvo, 1998: 174). El Plan se concreta anualmente en convocatorias de proyectos de evaluación, en las que voluntariamente pueden participar las universidades españolas públicas y privadas. Y el proceso de evaluación se desarrolla conforme a los siguientes elementos: "• Los proyectos de evaluación, presentados por las universidades, siguen una metodología de autoevaluación, evaluación externa mediante revisión por pares y concluyen en un informe público. • En el marco de cada convocatoria los proyectos de cada universidad definen el alcance disciplinar o global de su evaluación. En todo caso la unidad mínima de evaluación es el programa docente tanto para los ámbitos de enseñanza, investigación y organización. • El Consejo de Universidades proporciona una metodología común y selecciona a los evaluadores externos. • Las administraciones educativas financian específicamente la ejecución de los proyectos de evaluación, seleccionados en una convocatoria pública por el Consejo de Universidades, en función de su viabilidad y calidad. • Se elaboran dos tipos de informes, uno referido a la universidad evaluada y otro anual referido al conjunto del sistema universitario español" (Luxán, 1998b: 25) De esta forma, se considera que son tres los instrumentos básicos para realizar la evaluación de la calidad de las universidades: "Auto-evaluaciones. Un estudio realizado por las unidades evaluadas. Revisiones por colegas. Visitas externas de expertos que realizan, totalmente o en parte, el proceso de evaluación. 69 Indicadores de rendimiento. Indicadores, generalmente cuantitativos, que suministran información operativa sobre el funcionamiento de las instituciones y sobre su eficacia." (Mora, 1998: 39-40). Así, la autoevaluación sería un proceso interno que lleva a cabo la propia Universidad. Según la Guía de Evaluación del PNECU. la autoevaluación: "Es una reflexión participativa y en profundidad sobre la realidad de su institución en relación con la calidad. Dentro de este proceso podemos distinguir la fase de recogida de información, la fase de reflexión/valoración de esa información y, finalmente, la fase de elaboración del Autoinforme donde se substancian las valoraciones y propuestas de mejora" (Consejo de Universidades, 1998a: 4). La autoevaluación irá seguida de una fase de evaluación externa, que es realizada por un Comité de Expertos Externos creado para tal efecto, quienes visitan la institución para recoger su propia información y valoran el informe de autoevaluación elaborado por la Universidad, y finalmente elaboran un informe final de evaluación. Tal y como establece la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA): “mediante estos planes se ha generalizado el desarrollo de la evaluación de la calidad en las universidades españolas y se ha elaborado una metodología común para los procesos de evaluación de las enseñanzas, los departamentos y los servicios universitarios. La finalidad última de la evaluación tiene dos vertientes: la mejora continua y la rendición de cuentas a la sociedad, realizándose esta última a través de la publicación de los informes de evaluación” (ANECA, 2003: 2). Esta Agencia convoca en el 2003 el Programa de Evaluación Institucional (PEI) con el fin de evaluar las enseñanzas universitarias conducentes a la obtención de títulos de carácter oficial y validez en todo el territorio nacional, programa que tiene como objetivos: “a. Promover procesos de evaluación que favorezcan la mejora continua en las enseñanzas. b. Facilitar la preparación de futuros procesos de acreditación de las enseñanzas conducentes a la obtención de títulos universitarios de 70 carácter oficial y validez en todo el territorio nacional, a través de la experiencia en procesos de evaluación. c. Proporcionar la información a los estudiantes y sus familias, al conjunto de la sociedad, a los gobiernos de las universidades y a las administraciones públicas sobre la calidad de las enseñanzas universitarias y sus planes de mejora” (ANECA, 2003: 4) Se continúa así con el proceso iniciado con los Planes de Calidad de la Universidad, pero con una visión más centrada en la acreditación de la que hasta ese momento estaba presente. También se siguen utilizando como instrumentos básicos para realizar la evaluación las autoevaluaciones de la propia institución (realizadas respecto a una serie de criterios que la Agencia establece), junto con evaluaciones externas realizadas por un grupo de evaluadores nombrados por la ANECA, que validan los informes de autoevaluación tanto a través de su análisis documental como por medio de una visita a las unidades evaluadas. Además de estas dos metodologías, cada vez surge con más fuerza el uso de indicadores de la calidad con el objetivo de precisar más claramente aquello que se debe considerar en la evaluación de las instituciones: "[...] como reacción al economicismo evaluativo (énfasis en los indicadores de eficiencia y productividad) se ha desarrollado un poderoso movimiento que pretende centrar la evaluación en la calidad de la universidad, utilizando una amplia gama de indicadores, no necesariamente cuantitativos, ya que el objetivo es valorar y medir lo que se debe, lo que es relevante y no lo que se puede, lo fácil; esto no sólo sería inútil, sino en muchos casos, peligroso, dado que el poder de evaluación para conformar su propio objeto podría, en tales circunstancias, desviar los objetivos, procesos y productos de la Universidad" (De la Orden, 1993: 1). De esta forma, los tres instrumentos se utilizan combinadamente en la evaluación de las universidades, pretendiéndose que, a través de ellos, se pueda realizar la evaluación de los tres aspectos básicos de la función universitaria que, en palabras de José-Ginés Mora (1998: 39), serían: " Enseñanza: • Aprendizaje de los estudiantes. 77 2.3. INDICADORES DE CALIDAD EN LA UNIVERSIDAD: Nadie discute en la actualidad que la información cuantitativa y cualitativa sobre el funcionamiento de las universidades es escasa. De ahí que algunos autores defiendan la necesidad de un sistema de indicadores que refleje claramente la situación de las universidades, que permita analizar como funciona cada institución, valorar su rendimiento, establecer comparaciones entre ellas, y tomar decisiones consecuentes (Mora, 1999). En Julio de 1999 se abordaba el tema de los indicadores en la Universidad, su pertinencia y utilidad como fuente de información, etc., en un seminario celebrado en León 2 y enmarcado en el Programa Institucional de Calidad: "Hace ya más de diez años que existe en el mundo universitario un debate abierto sobre indicadores, habiéndose llegado a la conclusión que los indicadores por sí solos son una herramienta más limitada de lo que algunos pensaban. Sin embargo, utilizados dentro de los actuales procesos de calidad en las universidades, pueden convertirse en una herramienta valiosa para la mejora, además de servir de medio de información a la sociedad y a los que han de tomar decisiones sobre el funcionamiento de las instituciones de educación superior" (Mora, 1999: 20) "Es preciso señalar que el problema de los indicadores radica sobre todo en el uso indebido, descontextualizado y desmesurado de los mismos. El problema estaría más bien en los modos de introducción e implementación que no han sido consensuados previamente. Los indicadores son una fuente de información que cumpliendo las garantías de fiabilidad, validez, pertinencia, utilidad, factibilidad y consenso previo, pueden proporcionar elementos fundamentales para la toma de decisiones de mejora en las Instituciones universitarias." (Grao y Winter, 1999: 84). A partir de este Seminario, el Consejo de Universidades constituyó en Febrero de 2000 una Comisión Técnica encargada de elaborar un Catálogo de Indicadores (Consejo de Universidades, 2001a), catálogo que en su última fase fue consensuado con representantes de la Conferencia de Rectores “en una 2 Seminario: Indicadores en la Universidad: Información y Decisiones. Universidad de León. Programa Institucional de Calidad. 9 a. 11 de Junio, 1999. Las Actas de este Seminario están publicadas en: VIDAL GARCÍA, J. (Coord.) (1999): Indicadores de la Universidad: información y decisiones. Madrid: MEC/Consejo de Universidades. 78 búsqueda conjunta de unos indicadores comunes para todo el sistema universitario español, con el grado de credibilidad y aceptación suficientes para que su implantación fuera posible sin especiales problemas” (Escudero Escorza, 2002: 181). Pero comencemos analizando lo que son los indicadores de calidad. Los indicadores se pueden definir como medidas objetivas, usualmente cuantitativas, de una institución o de todo un sistema de educación superior. José Ginés Mora nos menciona la existencia de dos tipos de indicadores que deben tener un tratamiento diferente, tanto conceptual como metodológicamente: "• Estadísticos (o de gestión). Magnitudes que describen una situación. No existe apenas discusión sobre la necesidad de desarrollar este tipo de indicadores, aunque su definición puede y debe ser objeto de discusión. • De rendimiento. Magnitudes combinadas de indicadores estadísticos que se relacionan con un objetivo o con una valoración sobre la institución o su entorno. Tienen, por tanto, carácter relativo y pueden llevar implícito algún tipo de juicio de valor. Sobre este tipo de indicadores es donde se concentran los problemas metodológicos y conceptuales sobre su definición y utilización." (Mora, 1999: 20) Por su parte, Tomás Escudero Escorza considera que la Universidad puede informar sobre su calidad a través de diferente tipo de indicadores: “Se informa de la calidad a través de sus indicadores directos, que no son otra cosa que los resultados (valor añadido) que obtiene la institución en el cumplimiento de sus diversas funciones, a través de los denominados indicadores de impacto, que no son sino medidas de la valoración o satisfacción de la institución por parte de las distintas audiencias implicadas en la misma y, finalmente, a través de indicadores indirectos, esto es, con información de sus entradas, de sus características organizativas, de sus recursos y de sus procesos de funcionamiento. La tipología de estos indicadores es muy variada y siempre condicionada por la naturaleza del concepto o variable sobre el que se quiere informar” (Escudero Escorza, 2002: 179) Según Sizer (1982), cuando los indicadores están suficientemente desarrollados ayudan a entender la situación de los problemas con respecto a unas variables determinadas, a ver como es su evolución en el tiempo y a hacer previsiones para el futuro. Su carácter cuantitativo ayuda a detectar con rapidez 79 las tendencias de los cambios en las necesidades de la sociedad, en las preferencias por determinados tipos de cursos o estudios, y, en consecuencia, en la reasignación de recursos a las partes del sistema universitario más necesitadas en cada momento. Y es que no podemos olvidar que el uso de indicadores ha estado muy unido a la necesidad de justificar el destino de los recursos públicos asignados a la educación superior. Como expresa Enrique Villarreal: "Los indicadores constituyen un instrumento del llamado "control a distancia" de las universidades que responde a la idea de que el funcionamiento autónomo de una institución universitaria puede conducir a resultados no deseados como consecuencia de las inercias adquiridas, de los desequilibrios en su funcionamiento interno o de la priorización de los intereses de la academia respecto a los intereses generales de los ciudadanos que se suponen representados por la Administración. Aunque existe el convencimiento de que la mejor forma de funcionamiento de un sistema universitario es aquella en la que las universidades se autoorganizan para prestar los diversos servicios que producen, se mantiene el temor a "desviaciones" de las instituciones respecto a los patrones que resultan aceptables, cualquiera que estos sean desde el punto de vista de la utilización de los recursos públicos" (Villarreal, 1999: 65-66). Sin embargo, en los últimos años el centro del interés en la discusión sobre el uso de los indicadores ha pasado de los problemas de eficiencia a los de eficacia, y de la comparación entre instituciones, a la utilización interna de los indicadores como herramienta para la mejora de la calidad. Como José Ginés Mora expone, los indicadores, adecuadamente definidos e interpretados, pueden jugar un papel útil en la toma de decisiones tanto para definir la política educativa, como para la gestión de una institución. El problema que hay que resolver es el de encontrar los indicadores más idóneos y el de llegar a un acuerdo entre las partes implicadas, tanto para su uso como para su interpretación. Para ello es necesario reflexionar sobre quiénes son estas partes implicadas, y para qué pueden utilizarse los indicadores, ya que su utilización puede tener algunas dificultades importantes, algunas de las cuales son las siguientes: "- Existe el peligro de convertir los indicadores en estándares de calidad, interpretados como tal, y utilizados inadecuadamente. Los indicadores de rendimiento se pueden convertir en una meta por sí mismos, y no 80 simplemente en lo que son: una manifestación parcial de una realidad compleja (Vroeijenstijn, 1995). - Los indicadores de rendimiento son, por su propia naturaleza, ambiguos, al menos que sean usados en un contexto de diálogo adecuado entre las partes implicadas y sean utilizados para objetivos aceptables por todos (Bormans et al., 1987). - Dadas las dificultades que rodean la definición y el diseño de los indicadores, la tendencia más habitual ha sido la de usar aquéllos que, o bien son más sencillos de obtener, o están relacionados con la medida de partes del sistema universitario que son más fácilmente medibles, descuidándose de este modo aspectos más esenciales pero que tienen mayor dificultad para traducirse en indicadores cuantitativos (Weert, 1990). El principio debería ser el de "medir lo que debe ser evaluado", en vez de "medir lo que es fácil de medir", aunque para ello haya que recurrir a sistemas no necesariamente numéricos (Dochy et al., 1990). - El uso de indicadores relacionados con la asignación de fondos es especialmente problemático. Su utilización ha de ser extremadamente cuidadosa, porque puede generarse un círculo vicioso: pueden estar indicando malos resultados en una institución porque los recursos son bajos, lo que puede dar lugar a que se le asignen menos recursos todavía (Williams, 1986)" (Mora, 1999: 21). Un indicador, por tanto, debe tener relación directa con la funcionalidad y la productividad institucionales, y nos debe permitir tomar decisiones para mejorarlas. Previamente, es necesario contar con un marco global de referencia, en el que se identifiquen los objetivos de calidad y sus dimensiones. Para cada una de estas última se definen los indicadores. Algunos se identifican con una variable, pero otros engloban a varias (Escudero Escorza, 1999). De esta forma, como nos advierte Tomás Escudero Escorza, el diseño y utilización de indicadores en la educación superior ofrece un panorama muy variado; sin embargo, sí que existen algunos principios o sugerencias de aceptación generalizada, tales como que los indicadores numéricos no son suficientes -pues existen informaciones importantes sobre la calidad que no son de esta naturaleza-, que un objetivo suele requerir más de un indicador para revisar adecuadamente su cumplimiento, y que los sistemas de indicadores de una institución o programa deben ser revisados y adecuados periódicamente. Según este autor: “un buen sistema de indicadores, con potencial estratégico para las universidades, necesita ser: 81 o Consensuado y aceptado por los implicados. o Referenciado internacionalmente. o Con elementos comunes para todo el sistema. o Centrado en aspectos relevantes de las instituciones. o Útil para diferentes contextos, propósitos y audiencias. o Comprensible para las distintas audiencias. o Flexible en su utilización. o Fácilmente revisable.” (Escudero Escorza, 2002: 180-181) Ahora bien, ¿qué sistema de indicadores debemos utilizar para valorar la calidad de la enseñanza en la Universidad? Son muchos los autores que nos advierten de la importancia de seleccionar adecuadamente los indicadores que vamos a utilizar para evaluar la calidad de la enseñanza, y de los peligros que conlleva el confundir esos indicadores con la verdadera calidad de la enseñanza universitaria: "Para juzgar la calidad de los procesos educativos se utilizan tres tipos de indicadores de desempeño: a) indicadores de resultados; b) indicadores de entrada y, c) indicadores de puntos críticos. De acuerdo con esta nomenclatura, los indicadores de uso más común son los de resultados; por ejemplo, en enseñanza superior sería el porcentaje de alumnos que se gradúan, el número de graduados otorgados, el porcentaje de alumnos que continúan el posgrado y el número de publicaciones de los profesores. Estas medidas, sin embargo, no proporcionan un sentido de calidad sino más bien de cantidad" (Meade, 1997: 215). "Indicadores de gran impacto socio-político tales como la tasa anual de egresados de una institución, la ratio de alumnos/profesor, el gasto por alumno, etc., son informaciones promedio, sin duda relacionadas con elementos importantes para la valoración institucional, pero de muy limitada utilidad para tomar decisiones conducentes al cambio y la mejora institucional, porque se dejan fuera muchos elementos de modulación de su significado y se unifican, en un sólo dato o elemento de información, multitud de situaciones, en general, muy diversas" (Escudero Escorza, 1999: 253). Mario de Miguel (1999), plantea una serie de problemas a considerar a la hora de utilizar los indicadores para recoger información sobre la calidad de la enseñanza universitaria: 82 1.- Dificultad de evaluar la efectividad de los aprendizajes: Resulta necesario que todo proceso de evaluación sobre la enseñanza universitaria se articule sobre el progreso académico que los alumnos han experimentado a causa de su proceso de escolarización. Según este autor, los procesos de enseñanza constituyen el factor más apropiado para explicar el valor añadido que aporta el sistema universitario al desarrollo intelectual y personal de los alumnos. Asumir este punto de vista plantea una serie de problemas técnicos a considerar: cuáles son los aprendizajes que se consideran básicos en una titulación, cómo evaluarlos de forma efectiva y cómo estimar el valor añadido que los procesos de enseñanza han otorgado a estos aprendizajes. 2.- Falta de especificaciones sobre la calidad de los productos: Esta falta de precisión respecto a los aprendizajes relativos a una titulación determina que la calidad de los productos a evaluar constituye una cuestión relativa que en cada caso es operativizada de acuerdo con la perspectiva de análisis de las audiencias implicadas, es decir, cada una de las audiencias las formula de acuerdo con sus intereses particulares, lo que da lugar a la utilización de enfoques evaluativos dispares y, en ocasiones, contradictorios. 3.- Interferencia entre procesos y productos: la tercera nota que caracteriza la evaluación de la enseñanza es la interferencia continua que se establece entre el servicio que se ofrece (enseñanza) y el producto que se obtiene (aprendizaje). 4.- Ausencia de estandarización de los procesos: Probablemente la característica más destacada de la enseñanza entendida como servicio sea la falta de normalización de los procesos; bajo el lema "cada maestrillo con su librillo", el resultado ha sido que "todo vale". Mientras no se avance en la construcción de normas que acrediten la calidad de este servicio, será difícil su evaluación. 5.- Ausencia de liderazgo instruccional: Mientras que a nivel de aula la responsabilidad está definida, dentro de la titulación ésta se diluye entre una serie de órganos y comisiones de Centros, Departamentos y Universidad que se superponen en los procesos de toma de decisiones dando lugar a que se 83 considere la enseñanza como una responsabilidad de todos que es casi lo mismo que decir de nadie. Pero como Tomás Escudero expresa: “Es muy cierto que los indicadores no lo son todo en materia de gestión de calidad, pues son muchas otras las herramientas metodológicas que también deben utilizarse. Tampoco podemos estar desprevenidos ante el conjunto de sus limitaciones, ni ante el mal uso y abuso que con alguna frecuencia se hace de ellos (Nedwek, 1996), pero hemos de coincidir con este autor en que, seguramente se trata del último gran instrumento metodológico incorporado para conectar calidad y su mejora y la responsabilidad social o rendición de cuentas” (Escudero Escorza, 2002: 180). Mario de Miguel considera que precisamente estas dificultades son las que deben hacernos reflexionar sobre los procedimientos que utilizamos para evaluar la calidad de las Universidades: "el hecho de que existan algunos problemas y dificultades a la hora de utilizar procedimientos evaluativos basados en indicadores no debe llevarnos a concluir que esta estrategia resulta inadecuada para evaluar la enseñanza. Al contrario, debe estimularnos a reflexionar y plantear criterios que nos permitan clarificar los factores implicados en estos procesos y avanzar algunas propuestas que permitan un uso razonable de estos métodos" (De Miguel, 1999: 416). Y en un intento por avanzar en este sentido, este autor hace una propuesta de indicadores que podrían ser utilizados para evaluar la calidad de enseñanza universitaria, y que puede visualizarse de forma global en el siguiente cuadro: Cuadro 3: Propuesta de Indicadores de Calidad (Mario De Miguel, 1999): Productividad Efectividad Calidad Resultados 1. Tasa de éxito, retraso y abandono. 2. Tiempo medio para la graduación. 3. Coste por graduado. 1. Tasa de retorno a las enseñanzas regladas. 2. Tasa de inserción profesional. 3. Nivel de ingresos de los graduados. 1. Cualificación de la demanda. 2. Grado de satisfacción de los clientes. 3. Estimaciones sobre el valor añadido. 84 Presagio Eficacia Calidad Procesos 1. Tasa de alumnos vocacionales. 2. Cualificación y carga docente del profesorado 3. Dimensión práctica del plan de estudios. 4. Dotación y equipamiento de recursos para la docencia. 5. Gasto por alumno. 1. Carga lectiva/créditos del alumno. 2. Tasa de distribución por grupos. 3. Tasa alumno/ profesor. 4. Grado de cumplimiento de las obligaciones docentes. 5. Tasa de utilización de los recursos docentes. 1. Tasa de asistencia a clase. 2. Nivel de aprendizaje autónomo. 3. Sistemas de apoyo al alumno. 4. Participación del alumno en la gestión académica. 5. Tasa de progreso académico/tasa de repetidores. De los recursos De los procesos Sistemas para Asegurar la Calidad 1. Políticas para captar y atender alumnos durante los primeros cursos 2. Programas para la formación pedagógica del profesorado. 3. Financiación de proyectos de innovación pedagógica. 1. Planificación estratégica de la titulación: objetivos y acciones a desarrollar. 2. Procedimientos establecidos para el seguimiento y revisión de los planes y programas docentes. 3. Sistemas implantados para evaluar la satisfacción de los agentes. Vamos a ver un poco más detalladamente lo que Mario de Miguel dice en relación con los indicadores de calidad de los resultados/aprendizajes (productos de la enseñanza) y de los procesos que generan dichos resultados de la enseñanza universitaria: • Indicadores de calidad de los resultados: "Si asumimos la perspectiva de la calidad, la evaluación de los resultados (aprendizajes) se efectúa con un planteamiento distinto, ya que su estimación viene dada por la "ratio entre unos inputs y unos outputs formulados con unos estándares específicos de calidad" (Martín y Kettner, 1996). Ahora bien, dado que habitualmente no existen especificaciones sobre las condiciones que deben reunir los productos o aprendizajes que el alumno debe dominar al finalizar una carrera, la evaluación de la calidad queda mediatizada por las valoraciones de los clientes y/o audiencias implicadas" (De Miguel, 1999: 420). • Indicadores sobre la calidad de los procesos: 85 "La ausencia de normalización de los procesos de enseñanza- aprendizaje impide lógicamente su evaluación utilizando estándares de calidad. Por ello, mientras no avancemos en esta normalización, su evaluación siempre nos remite a la satisfacción de los clientes internos que son los que participan en dichos procesos: es decir, a la valoración que realizan los alumnos sobre las actividades que desarrollan los profesores en el aula y las consecuencias que dicha actividad tiene para su propia promoción. De ahí que cuando el alumno considera que se le atiende y que es útil asistir a las clases responde favorablemente, y cuando no percibe interés alguno su participación es mínima" (De Miguel, 1999: 424). De esta forma comprobamos la importancia que este autor le atribuye a las valoraciones de los estudiantes sobre el proceso de enseñanza que han seguido y los resultados que han logrado, así como a su participación e implicación en estos procesos. Teniendo en cuenta que la evaluación de los alumnos es uno de los aspectos que más influencia tiene en la forma en que se desarrolla el proceso de enseñanza-aprendizaje, y que más condiciona las valoraciones que de este proceso hacen los estudiantes, nos parece que sería bastante relevante introducir esta dimensión como uno de los indicadores a considerar para evaluar la calidad de la enseñanza universitaria. Sin embargo, en el Catálogo de Indicadores elaborado por una Comisión Técnica bajo el auspicio del Consejo de Universidades y acordado con representantes de la Conferencia de Rectores (Consejo de Universidades 2001a), no se hace ninguna mención a este proceso. Este catálogo parte del modelo de evaluación de Stuflebeam: modelo CIPP (context, input, process, product), a partir del cual se elabora una propuesta de 46 indicadores organizados en 7 bloques: oferta universitaria, demanda universitaria, recursos humanos (P.D.I. y P.A.S.), recursos financieros, recursos físicos, proceso y resultados. En estos dos últimos bloques (que sería en los que se podría esperar alguna referencia a la evaluación de estudiantes), los indicadores propuestos son: Proceso: - Dedicación lectiva del alumnado en créditos - Prácticas requeridas 86 - Optatividad requerida de la titulación - Oferta de optatividad de la titulación - Prácticas en empresa del plan de estudios - Grupos grandes de teoría - Grupos pequeños de teoría - Dedicación del profesorado doctor funcionario al 1º curso del 1 Ciclo - Estudiante por profesor Resultados: - Tasa de abandono (interrupción de estudios) - Tasa de rendimiento - Tasa de éxito - Tasa de graduación - Duración media de los estudios - Tasa de progreso normalizado - Satisfacción con los estudios - Satisfacción con el empleo - Tasa de participación en proyectos de investigación - Proporción de sexenios - Producción de doctores. Teniendo en cuenta los objetivos que se pretenden con este Catálogo 3 , consideramos que sería necesario incluir algún indicador con una perspectiva más dinámica de lo que sucede durante el proceso de enseñanza-aprendizaje y, especialmente, incluir la evaluación de los estudiantes como uno de los indicadores de la calidad de la enseñanza. 3 “ Facilitar el diálogo entre las instituciones y con la sociedad; Promover análisis internos, externos y secuenciales; Facilitar el diagnóstico del sistema y de sus instituciones; Ayudar a la toma de decisiones sobre el rendimiento institucional y sobre su mejora. “ (Escudero Escorza, 2002: 182). 93 cualquier caso, sea como sea, lo que quisiera destacar es que el rendimiento puede no coincidir con el aprendizaje; y de hecho muchas veces, así es" (Trillo, 1995: 219). Si lo que pretendemos es conocer la calidad de la enseñanza, y por tanto, de la formación que están recibiendo los estudiantes en el seno de una universidad, parece claro que necesitamos contar con más información acerca de cómo se desarrolla este proceso: "Las calificaciones, variables sobre las que se construyen los indicadores tradicionales de éxito o fracaso escolar, son una medida de los resultados de la enseñanza, pero no estrictamente de su calidad, pues están condicionadas no sólo por la calidad de los alumnos, sino también por el criterio y el rigor personal del profesor a la hora de diseñar la enseñanza y valorar y calificar el aprendizaje y el rendimiento académico. Por ello, los resultados académicos deben ser complementados con otros de diverso tipo y fundamentación cuando pretendemos valorar la enseñanza de una institución" (Escudero Escorza, 1999: 254). Creemos que la forma en que se lleva a cabo la evaluación de los estudiantes puede darnos importantes pistas para comprender y mejorar este proceso. 94 97 3. LA EVALUACIÓN DE LOS ESTUDIANTES: APROXIMACIÓN A UNA TEORÍA GENERAL Hasta el momento, en el primer capítulo de este Marco Teórico hemos contextualizado la evaluación de estudiantes en el ámbito institucional universitario en que se desarrolla, constatando la denuncia de importantes problemas para desarrollar o llevar a la práctica los objetivos y principios que se defienden para la Universidad española y el planteamiento de nuevos retos para los próximos años; problemas y retos que sin duda se pueden (y se deben) abordar desde múltiples perspectivas, una de las cuales podría ser, desde nuestro punto de vista, la forma en que se desarrolla la evaluación de los estudiantes. Del mismo modo, en el segundo capítulo hemos situado nuestro objeto de estudio en la actual investigación sobre la calidad de la Universidad que está en auge en nuestro país, defendiendo la inclusión del análisis del proceso de evaluación de los estudiantes como uno de los indicadores de la calidad de la enseñanza de la Universidad, y justificando por qué este aspecto puede darnos valiosa información para conocer y comprender mejor como se desarrolla el proceso de enseñanza-aprendizaje en una institución universitaria. Nuestra intención es realizar ahora una revisión de la literatura que nos permita acercarnos a una Teoría General de la Evaluación de estudiantes. Es sabido que la evaluación es compleja y dilemática, por lo que nos parece preciso conocer esa complejidad y plantearnos los dilemas que pueden surgir en este Marco Teórico para que, a la hora de diseñar la investigación empírica, sepamos qué preguntar y qué, por las razones que sean, queda fuera de nuestro objeto inmediato de estudio (lo que justificaremos). Al igual que los capítulos anteriores, esperamos que éste nos sirva para fundamentar teóricamente nuestra investigación, dar sentido a las preguntas que formulemos para la recogida de información sobre la evaluación de estudiantes en el Marco Empírico (de modo que sean lo suficientemente claras, profundas y perspicaces); así como, finalmente, interpretar y valorar la información que obtengamos. 98 En definitiva, que la intención de realizar una revisión de lo que se podría denominar una Teoría General sobre la evaluación de estudiantes, tiene que ver con que su elaboración nos permitirá decidir qué buscar, qué preguntar y cómo valorar la evaluación que realmente se practica en la Universidad. 99 3.1. INTRODUCCIÓN AL CONCEPTO DE EVALUACIÓN : La evaluación comprende un campo muy amplio y complejo, de suerte que el mismo término es extremadamente polisémico; se pueden estar entendiendo o hablando de cosas totalmente diferentes, con fines y valores que pueden ser incluso contradictorios: "Por razones que no tienen nada que ver con el lenguaje, el concepto de 'evaluación' posee más sinónimos de los que un buen diccionario de la lengua española podría soportar" (Angulo Rasco, 1994: 283). Además de esto, la evaluación se considera un tema muy complejo porque engloba muchos campos (casi diríamos que "todos los campos"), ya que en nuestra actividad diaria, nos movamos en el ámbito que nos movamos y cualquiera que sea la actividad que realicemos, seguramente estaremos desenvolviendo algún tipo de evaluación. Y es que evaluar es "algo" que hacemos normalmente cuando tenemos que tomar una decisión sobre cualquier cuestión, por ejemplo qué carrera vamos a estudiar, qué coche debemos comprar, qué queremos/podemos hacer al terminar nuestros estudios, ... Y también se estaría evaluando cuando consideramos que nos gustaría pasar nuestras vacaciones en una ciudad determinada, o que el funcionario que tenemos delante nuestra no merecería cobrar su sueldo: "La evaluación es una práctica ampliamente utilizada en todos los ámbitos de la vida" (Hernández y Sancho, 1989: 141). Pero no podemos obviar que: "la evaluación en la escuela carga un significado muy diferente de la evaluación de nuestro día a día. En la escuela ocurre en un tiempo programado (día de prueba, día de hacer boletín, día de presentar resultados), en un espacio característico y artificial (aulas distintas para hacer las pruebas, pruebas en papel timbrado y revisado, clases limpias, profesores vigilantes), con gusto del deber cumplido, obligado, juicio necesario. Para educadores y educandos, para la sociedad, evaluación en la escuela es obligación, penosa, un mal necesario. Sin embargo, si hablamos de evaluación de nuestros actos diarios, de nuestra situación financiera, eso significa reflexionar para cambiar, para intentar mejorar nuestras vidas. Hacemos eso todo el día, todo el tiempo, sin programaciones o registros formales sobre nuestros desatinos hasta entonces. Intentamos varias veces descubrir mejores 100 soluciones para un determinado problema y maduramos a partir de tentativas frustradas. Ahora, si este es el sentido de la evaluación en la vida, ese no es el sentido de la evaluación en la escuela. A través de la formalización del proceso, se perdió el buen sentido en relación a su significado" (Hoffmann, 1994: 188). Vamos, por tanto, a intentar clarificar lo que se está entendiendo por evaluación desde una perspectiva más formal y educativa. Evaluación es un término que se utiliza con enorme frecuencia en nuestro entorno, y del que todo el mundo cree tener una concepción clara (que además la considera única), cuando la realidad es que cuando se interroga a la gente sobre su idea de evaluación nos encontramos con que es difícil que la expliciten, ya que muchas veces entra en el terreno de las teorías implícitas. De hecho, con frecuencia se admite que en la práctica de la enseñanza (y por tanto de la evaluación) se hacen muchas cosas –y no necesariamente mal ni con consecuencias negativas, aunque también–, sin que los actores se hayan parado a pensar por qué lo hacen de ese modo y sin que puedan justificarlo de una manera sólidamente argumental. Pues bien, incluso una vez que hemos conseguido su explicitación, encontramos a menudo numerosas contradicciones entre lo que distintos profesionales de la educación consideran evaluación, o entre lo que un mismo profesional afirma comprender por evaluación y lo que lleva a cabo como prácticas evaluativas en su actuación diaria: "Los educadores, en general, discuten mucho 'como hacer la evaluación' y sugieren metodologías diversas, antes de comprender verdaderamente 'el sentido de la evaluación en la escuela" (Hoffmann, 1994: 19). El tema de la evaluación educativa ha sido objeto de investigación y estudio desde sus inicios, y tratado en numerosas ocasiones y trabajos y se ha constituido en fuente constante de preocupaciones y dilemas para los profesionales de la educación de cualquier ámbito o nivel educativo. Con todo, en las últimas décadas este tema parece que suscita un interés o una preocupación especial, considerándose un aspecto fundamental a investigar y estudiar y del cual surgen "nuevas" teorizaciones constantemente, 101 relacionándola con temas tan “actuales” como los de innovación educativa, calidad del proceso de enseñanza-aprendizaje, reforma educativa, ...: "En el transcurso de los últimos años, las cuestiones relativas a la evaluación han adquirido un protagonismo creciente hasta convertirse en uno de los focos prioritarios de atención de los análisis, las reflexiones y los debates pedagógicos y psicopedagógicos. Muchas y muy diversas son las razones susceptibles de explicar este protagonismo, así como el apasionamiento, el tono categórico e incluso la acritud con que aparecen teñidos en ocasiones los debates y propuestas que, sobre los más variados y diversos aspectos de la evaluación, se producen y se formulan en los foros profesionales. Entre ellas, sin embargo, hay una que destaca por su inmediatez y también por la vivencia directa que nos proporciona el ejercicio cotidiano de la docencia: pocas tareas nos plantean tantas dudas y pueden llegar a crearnos tantas contradicciones a los profesores, con independencia de los niveles educativos en que estemos ejerciendo, como las relacionadas con la evaluación y las actuaciones o decisiones asociadas a ella, sin considerar los niveles educativos en que estamos ejerciendo" (Coll y Martín, 1994: 163). Pero que sea un tema muy investigado en los últimos años no quiere decir que ya esté todo dicho sobre él, por el contrario, es un tema tan complejo que nunca se considera suficientemente estudiado: "La evaluación se reconoce actualmente como uno de los puntos privilegiados para estudiar del proceso de enseñanza-aprendizaje. Abordar el problema de la evaluación supone necesariamente tocar todos los problemas fundamentales de la pedagogía. Cuanto más se penetra en el dominio de la evaluación, tanto más conciencia se adquiere del carácter enciclopédico de nuestra ignorancia y más ponemos en cuestión nuestras certidumbres. Cada interrogante planteada lleva a otras. Cada árbol se enlaza con otro y el bosque aparece como inmenso" (De Ketele, 1988: 5). De cualquier modo, la concepción del proceso evaluativo ha ido modificándose a medida que se avanzaba en la investigación educativa (como es lógico), aunque en muchas ocasiones estas modificaciones se limitaran al campo teórico, permaneciendo inmóviles e inalterables las prácticas evaluativas: "Desde el punto de vista teórico, la segunda mitad de nuestro siglo se ha caracterizado por el desarrollo del interés en torno a la evaluación por la necesidad de buscar nuevas formas y funciones de la misma. Así se han ido desarrollando modelos teóricos que progresivamente, y sobre la crítica de los existentes, iban ampliando los objetos de evaluación (desde la evaluación de los alumnos, a la de programas, 102 centros y profesores) así como a los métodos a utilizar para una correcta comprensión de los hechos y de su valor. Sin embargo, la amplia y variada aportación de modelos teóricos no ha ido acompañada por una variedad y mejora de las prácticas de evaluación en las instituciones educativas. [...] Seguimos reconociendo problemas aún en la evaluación de los alumnos, y esto hace que sea necesario reflexionar sobre las posibilidades de cambio porque hace falta que mejoren la educación y la evaluación. Y ello exige por parte de todos replantearse las cuestiones ideológicas subyacentes y la propia epistemología y la ética, en ambos procesos" (Estebaranz García y Mingorance Díaz, 1995: 225). En efecto, se podría decir que gran parte de las prácticas de evaluación permanecen ancladas en enfoques que tuvieron su vigencia y razón de ser en otros momentos, pero que actualmente se rechazan categóricamente en el nivel de intenciones u objetivos educativos. Así, siguiendo a Dolors Quinquer (2000), podemos diferenciar tres grandes modelos u orientaciones pedagógicas que conllevan prácticas de evaluación diferentes, comprobando como aunque teóricamente hay una gran coincidencia en situarnos en las dos últimas, las prácticas de evaluación que se siguen desarrollando se encuentran más próximas a la primera orientación (ver cuadro 5, página siguiente): "Existe confusión entre el nivel del discurso y el nivel de la práctica: en la actualidad se dicen y se hacen muchas cosas en nombre de la evaluación, cuando sin duda sólo unas pocas pueden ser reconocidas como prácticas de evaluación en sentido estricto [...] no extrañará constatar la existencia de un profundo abismo entre la riqueza del discurso sobre la evaluación y la pobreza relativa de las prácticas” (Barbier, 1993: 13). 103 Cuadro 5: Prácticas de evaluación en función de Modelos Pedagógicos Modelo Psicométrico “Muchas prácticas de evaluación tienen en común que se centran en medir preferentemente resultados de aprendizaje. Este hecho nos permite incluirlas, quizá con una excesiva pretensión, en el llamado modelo psicométrico, que tiene sus orígenes a principios del siglo XX y sus logros más evidentes a partir de la década de 1930, cuando las corrientes positivistas y conductistas sobre el aprendizaje impregnaban las prácticas de evaluación” (Quinquer, 2000: 14). “Es un hecho sabido que durante mucho tiempo la evaluación ha consistido casi exclusivamente en medir resultados finales de aprendizaje. Así, la función social de la evaluación, es decir, la certificación de los aprendizajes realizados y la selección de los estudiantes, ha sido mucho más relevante que la función pedagógica de análisis de los procesos y de detección de los obstáculos o de los problemas de aprendizaje. Además, muchas prácticas de evaluación de antes y de ahora están impregnadas por este modelo. La idea de que se puede medir cualquier tipo de aprendizaje y que evaluar es algo <<técnico>>, <<preciso>>, <<objetivo>> e incluso <<científico>>, planea como trasfondo de determinadas concepciones de algunos docentes sobre la evaluación”. (Op. Cit., p. 15) Modelo Sistémico A partir de la década de los ’60: “la psicología cognoscitiva adquiere un espacio propio entre las teorías sobre el aprendizaje, mientras que, desde el neoconductismo, se proponen también nuevas orientaciones. Desde ambas perspectivas, la evaluación, ahora prioritariamente formativa e inserta en el proceso de aprendizaje, actúa como el instrumento adecuado para regular y adaptar la programación a las necesidades y dificultades de los estudiantes. [...] En evaluación adquieren cara de naturaleza los métodos cualitativos (la observación, las entrevistas, los diarios de clase); orientados más a detectar las dificultades y a gestionar los errores que a verificar resultados del aprendizaje. Además, la evaluación se diversifica desarrollando nuevas modalidades y se articula en un sistema o dispositivo pedagógico del que el profesorado es el agente principal. De las múltiples funciones y tareas que tiene a su cargo, destacamos algunas relacionadas con la evaluación: realizar una diagnosis inicial y readaptar la programación en función de sus resultados, garantizar un seguimiento adecuado del proceso (evaluación formativa), detectando errores y dificultades, establecer diversos mecanismos de regulación (retroactiva, proactiva, interactiva), reforzar los éxitos, verificar, finalmente, los resultados mediante una evaluación sumativa o final” (Op. Cit., p. 16). Modelo Comunicativo o Psicosocial “La evaluación se convierte en un instrumento que permite mejorar la comunicación y facilitar el aprendizaje, puesto que una buena vía para aprender consiste en la apropiación progresiva por parte de los estudiantes (a través de situaciones didácticas adecuadas) de los instrumentos y criterios de evaluación del enseñante. Estas actividades de evaluación son una manera fácil de hacerles explícitas a los estudiantes las demandas del profesorado, especialmente los criterios de éxito que utiliza para valorar su aprendizaje. En este proceso, las actividades didácticas de traspaso de criterios a través de la autoevaluación o la evaluación mutua son especialmente útiles. En este contexto, no se establecen límites precisos entre las actividades de evaluación y las actividades de aprendizaje.[...] Se considera primordial promover la autonomía de los estudiantes; para ello es necesario desarrollar métodos pedagógicos orientados a fomentarla. La llamada evaluación formadora es un elemento clave del modelo que se propone precisamente transferir al alumnado el control y la responsabilidad de su aprendizaje mediante el uso de estrategias e instrumentos de autoevaluación. Mientras que en la evaluación formativa la regulación y la gestión de los errores era una responsabilidad del profesorado y, por tanto, externas al propio alumno, ahora se propone la autorregulación por medio de actividades de evaluación mutua, coevaluación o autoevaluación, a través de las cuales el alumno y la alumna se van construyendo un sistema personal para aprender, que se enriquece progresivamente” (Op. Cit., p. 18). 104 Siendo así, esto da lugar a situaciones tan absurdas como la existencia de un acuerdo general en la defensa de que la evaluación es algo mucho más amplio y complejo que un examen o una calificación junto con la constatación de que en la práctica real de la mayoría de nuestras aulas se sigue considerando que se evalúa a los alumnos proporcionándoles una calificación que se les ha asignado en una prueba: "La práctica cotidiana de la evaluación continúa resumiéndose en una calificación, resultante de administrar un test centrado en los resultados" (Trillo, 1996: 218). David Nevo en 1986 planteaba diez dimensiones de la evaluación educativa, cada una de las cuales puede verse como "fuente inagotable de cuestiones y preocupaciones" (Nevo, 1986: 16): 1. ¿Cómo se define la evaluación? 2. ¿Cuáles son las funciones de la evaluación? 3. ¿Cuáles son los objetos de la evaluación? 4. ¿Qué tipos de información deberían ser recogidos en la contemplación de cada objeto? 5. ¿Qué criterios tenemos para decidir el mérito o la importancia de lo que es evaluado? 6. ¿Para quién se realiza la evaluación? 7. ¿Cuál es el proceso para realizar una evaluación? 8. ¿Qué métodos de indagación deberían ser usados en la evaluación? 9. ¿Quién debe realizar la evaluación? 10. ¿Con qué criterios ha de juzgarse la evaluación: por su utilidad, factibilidad, por criterios éticos, por su precisión, ...? Nosotros vamos a abordar en este trabajo estas cuestiones para tener al final una visión más clara y precisa de en qué consiste la evaluación y, por consiguiente, mejor fundamentar lo que debemos preguntar a profesores y estudiantes de la Universidad de Compostela sobre cómo se está desarrollando la evaluación de estudiantes: “[…] lo que más nos interesa aquí al respecto es saber que, dependiendo del modo en que se responda a cada una de las preguntas que es posible plantearse respecto a la evaluación, -a saber: qué, cómo, por qué y para qué evaluar, además de quién lo hace y para quién-, se irá concretando uno u otro modelo de evaluación” (Trillo, 2003: 673). 111 14. Fomenta el conservadurismo. 15. La evaluación es un instrumento de represión. 16. No se hace metaevaluación. 17. No se practica la evaluación continua. 18. No se aclaran las condiciones de evaluación. Tratando de entender, sin embargo, porque se producen algunos de estos equívocos, MacGinitie (1993) considera que algunos errores que se producen en la evaluación educativa pueden ser debidos a determinados sesgos, propios de los juicios humanos, como son: - Asimilación y contraste : existe una tendencia general a ignorar evidencias posteriores y a basar las evaluaciones en las primeras evidencias (a hacer que los juicios posteriores encajen con los iniciales). También existe la tendencia a exagerar la diferencia entre las primeras evidencias y las evidencias posteriores. Es probable que este efecto de contraste se produzca cuando se evalúa una serie de productos que se consideran totalmente independientes entre sí, como cuando son hechos por distintos estudiantes. - Negatividad : la información negativa suele influir en las evaluaciones con mucha más fuerza que la información positiva. Evidentemente, se debería procurar que informaciones ocasionales decepcionantes no distorsionen las evaluaciones. - Categoría : en cuanto se coloca a una persona en cualquier categoría, es probable que el contenido estereotipado de la categoría influya en la evaluación. - Confirmación : las personas tendemos a no comprobar nuestras creencias, así como a tener una confianza excesiva en nuestras evaluaciones: sobrevaloramos lo que sabemos y las veces que tenemos razón. - Selección de la medida : las evaluaciones también están limitadas por la dificultad de elegir qué es lo que se debe evaluar y cómo se debe evaluar. Hay muchas cosas que se espera que aprendan los estudiantes y se podría elegir entre muchos métodos para intentar evaluar cada uno de estos aprendizajes. 112 "Al reflexionar sobre los límites de la evaluación descubrimos que, independientemente de lo cuidadosos que seamos, muchos de nuestros juicios estarán sesgados, que no podemos tener la esperanza de evaluar muchas cosas que son importantes, que nuestros procedimientos de evaluación, por muy realistas que queramos que sean, tendrán una validez limitada, y que nunca podemos estar seguros del significado que tienen nuestras evaluaciones para los estudiantes que son evaluados" (MacGinitie, 1993: 30). En fin, ¿será que los problemas existentes son los denunciados?, ¿será que lo que nos hace errar de ese modo en materia de evaluación son estas explicaciones de MacGinitie? 3.2.2. Definición de evaluación : Una vez que hemos visto lo que la evaluación no es, vamos a intentar clarificar lo que es realmente, para lo cual en primer lugar recogeremos algunas de las definiciones que distintos autores o instituciones “relevantes” en este campo han hecho o hacen de la evaluación, para analizar distintas propuestas, comprobar como se ha modificado su concepción, y ver como se concibe en la actualidad este concepto. Vamos a mostrar estas definiciones agrupadas ya en categorías, en función de como definen la evaluación: • Como una actividad, acto o actuación (o bien un conjunto de estos): BOE de 29 de Septiembre de 1970, Decreto 2618—70 de 22 Agosto: “Es una actividad sistemática y permanente, integrada dentro del proceso educativo con el fin de mejorar este proceso, ayudar y orientar al alumno, criticar y revisar los planes y programas, métodos y recursos” CESAR COLL, 1983: “En su apreciación más amplia, la evaluación puede caracterizarse como un conjunto de actividades que conducen a emitir un juicio sobre una persona, objeto, situación o fenómeno en función de unos criterios previamente establecidos y con vistas a tomar una decisión” RAMÓN PÉREZ JUSTE, 1986: “Evaluar es el acto de valorar una realidad, formando parte de un proceso cuyos momentos previos son los de fijación de las características de la realidad a valorar, y de recogida de información sobre las mismas, y cuyas etapas posteriores 113 son la información y la toma de decisiones en función del juicio de valor emitido” • Como un proceso o procedimiento : COMITÉ PHI DELTA KAPPA DE EVALUACIÓN DE LA ENSEÑANZA NACIONAL, 1971: “La evaluación es el procedimiento que define, obtiene y ofrece información útil para juzgar decisiones alternativas” BRUCE WAYNE TUCKMAN, 1975: “La evaluación es el proceso mediante el cual las partes, los procesos o resultados de un programa se examinan para ver si son satisfactorios con referencia a los objetivos establecidos, a nuestras propias expectaciones o nuestros estándares de excelencia” JUAN MANUEL ESCUDERO, 1980: “En primer lugar hay que señalar que la evaluación es un proceso no un producto, pero un proceso que justifica tanto en cuanto es el punto de apoyo para tomar decisiones racionales. De esta forma definiremos la evaluación como el proceso de identificación, remodelación y tratamiento de datos, seguido para obtener una información que justifique una determinada decisión” ARTURO DE LA ORDEN, 1982: “Evaluar hace referencia al proceso de recogida y análisis de información relevante para describir cualquier faceta de la realidad educativa y formular un juicio sobre su adecuación a un patrón o criterio previamente establecido, como base para la toma de decisiones” DANIEL STUFFLEBEAM Y ANTHONY SHINKFIELD, 1987: “La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados” TERRY TEMBRINK, 1988: “Evaluación es el proceso de obtención de información y de su uso para formular juicios que a su vez utilizarán para tomar decisiones” MARÍA ANTONIA CASANOVA, 1992: “La evaluación consiste en un proceso sistemático de recogida de datos, incorporado al sistema general de actuación educativa, que permite obtener información válida y fiable para formar juicios de valor acerca de una situación, Estos juicios, a su vez se utilizarán en la toma de decisiones consecuente con objeto de mejorar la actividad educativa valorada” 114 • Como un juicio : JAMES POPHAM, 1980: “La evaluación educativa sistemática consiste en un juicio formal del valor de los fenómenos educativos. Sistemática porque diferencia la evaluación educativa de la evaluación diaria informal. Formal, en el sentido de determinar el mérito de una actividad” JAVIER GARCÍA, 1989: “La evaluación es una actividad o proceso de identificación, recogida y tratamiento de datos sobre elementos y hechos educativos con el objetivo de valorarlos primero y sobre dicha valoración, tomar decisiones” • Como una investigación: JOINT COMMITTE, 1988: “Es la investigación sistemática del valor o mérito de algún objeto” Una vez leídas estas definiciones, parece claro que hay una tendencia mayoritaria, y que además se consolida con el tiempo, a considerar la evaluación como un proceso. Si seguimos analizando estas definiciones, también podemos constatar como estos autores consideran que el objetivo, la función o la finalidad de la evaluación sería, mayoritariamente, formular juicios y, sobre todo, tomar decisiones, como podemos comprobar en el siguiente cuadro: 115 Cuadro 6: Clasificación de definiciones según la finalidad que le otorgan a la evaluación. Mejorar el proceso educativo Juzgar o tomar decisiones Examinar procesos o resultados Determinar cambios en alumnos Juzgar el valor y el mérito Decreto de 1970 Coll, 1993 Comité Phi Delta Kappa, 1971. Escudero, 1980 De la Orden, 1982 Coll, 1983 Tembrick, 1988 Pérez Juste, 1986 Stufflebeam y Shinkfield, 1987 García, 1989 Casanova, 1992 Tuckman, 1975 Bloom, 1975 Pophan, 1980 JOINT COMMITTE 1988 Después de haber analizado estas definiciones de evaluación nos parece interesante presentar la definición de Carlos M. Vázquez Reyes (1995), que considera que la evaluación: "- Es un proceso sistemático en el que se han de especificar las decisiones a tomar y los criterios de valoración, la recogida de información, la comparación con el criterio y la emisión del juicio de valor. - Se trata de diagnosticar una situación para poder tomar decisiones. - Implica un juicio de valor y una comparación. - Evaluar es distinto a calificar o medir, es interpretar y valorar. - Requiere la participación de los que intervienen en el proceso que se evalúa. La autoevaluación y la coevaluación equilibran los procesos de heteroevaluación que nos son más familiares. La evaluación es un instrumento al servicio del proceso de enseñanza y de aprendizaje, su finalidad no es punitiva o represiva sino la información, la valoración y la toma de decisiones. No está descontextualizada ni es algo distinto a la actividad educativa, es una 116 parte esencial de la misma, una actividad integrada en el quehacer del aula y del centro. Al evaluar se está aprendiendo y enseñando. Aprenden tanto el profesorado como el alumnado, los primeros identifican las prácticas valiosas, reconducen los procesos y mejorar su actuación; los segundos, identifican sus errores, las dificultades de aprendizaje y pueden desarrollar y aplicar estrategias para superarlos. Es, asimismo, un punto de referencia para la planificación y el desarrollo de la intervención educativa (corrección y mejora del proceso de enseñanza y de aprendizaje), la aplicación de refuerzo educativo, la elaboración y aplicación de adaptaciones curriculares, programas de diversificación curricular, programas de garantía social, la toma de decisiones de permanencia, promoción y obtención de la titulación." De este modo, aunque leyendo distintas definiciones podemos darnos cuenta de que en ellas se adoptan perspectivas muy diversas y se aluden a dimensiones y aspectos muy variados de la evaluación, también nos percatamos de que la mayoría de ellas parecen tener algunas características en común, características que nos gustaría remarcar y que podrían ser consideradas como los componentes o aspectos que deben estar presente en cualquier evaluación para que pueda ser definida como tal. Nos referimos a considerar que la evaluación es un proceso sistemático, que implica un juicio de valor sobre el objeto o cuestión a evaluar y que está al servicio de una toma de decisiones: "Se considera que la evaluación constituye una tarea del mayor interés pedagógico y didáctico, articulada en una estructura de actividad educativa que abarca tres importantes fases relativas a: - la recogida de datos; - la valoración de los mismos; - la toma de decisiones." (Rosales, 1990: 13) Flor A. Cabrera y Julia V. Espín, en el primer capítulo de su obra: Medición y evaluación educativa (1986), lo especifican del siguiente modo: " De las definiciones anteriores se desprende que: a) El proceso evaluativo está al servicio de una toma de decisiones, ello implica el carácter instrumental de la evaluación, es un medio para un fin. b) Toda evaluación implica un juicio de valor sobre el objeto evaluado y por consiguiente un criterio de comparación. Estos dos componentes son los elementos nucleares del proceso evaluativo. 117 c) La evaluación es un proceso sistemático, no improvisado, en el cual pueden distinguirse tres pasos fundamentales: El primer paso implica una especificación de las decisiones a tomar con los resultados y una especificación de los criterios a través de los cuales van a ser valorados. El segundo paso es el momento propiamente de la recogida de información. En un tercer paso, se compara la información recogida con el criterio adoptado en orden a emitir un juicio de valor sobre el objeto evaluado." (Cabrera y Espín, 1986: 21-22) Esta forma de entender la evaluación llevaría implícita varias cuestiones: - Si la evaluación es un proceso sistemático, quiere decir que no es algo que se pueda realizar como una actividad aislada, que se lleva a cabo en un momento concreto, de una forma esporádica, puntual e improvisada: "Lo que pretendemos señalar es que cuando hablamos de evaluación no estamos hablando de un hecho puntual o un acto singular, sino de un conjunto de pasos que se condicionan mutuamente. Ese conjunto de fases se ordenan secuencialmente (son un proceso) y actúan integradamente (son un sistema)" (Zabalza, 1988: 239). - Si la evaluación implica un juicio de valor, quiere decir que no es una actividad neutra, que pueda hacerse de una forma “objetiva” al margen de todo posicionamiento. Al contrario, el implicar un juicio de valor exige que es necesario tener muy claros cuales son los criterios por los que vamos guiarnos para valorar ese aspecto, en base a que valores y con qué fines vamos a juzgar el objeto a evaluar. - Por último, si la evaluación está al servicio de una toma de decisiones, implica que ninguna evaluación estará acabada si no sirve para decidir algo con respecto al objeto de evaluación. Es decir, no basta con emitir un juicio de valor con respecto al aspecto en cuestión, sino que es necesario además que la evaluación nos muestre también que se puede hacer una vez que hemos constatado como es o como está ese aspecto a evaluar: “En su concepción actual, el punto de partida de la evaluación no son unos ‘objetivos previamente establecidos’, sino el tipo de decisión a la que pretende servir la evaluación. En consecuencia, el desafío al que se enfrenta hoy la evaluación es el que sea útil para tomar decisiones”. (Flor Cabrera, 1988, cit. por Calvo de Mora Martínez, 1991: 14). 118 Según esto, podemos sintetizar todo lo dicho hasta ahora en la siguiente definición de evaluación: La evaluación es un proceso de estimación, de atención selectiva, contextualizada y democrática que, en base al análisis reflexivo de la información obtenida a través de diversos procedimientos e instrumentos validados sobre los procesos y los resultados del quehacer educativo, posibilita la formación de un juicio y la consecuente toma de decisiones para la mejora de la práctica. Es decir, no se puede perder de vista que en nuestro campo la evaluación no puede olvidar su finalidad educativa, que implica conocer la calidad de los procesos y resultados que se están siguiendo u obteniendo en el proceso de enseñanza-aprendizaje, así como saber qué decisiones se deben adoptar para su mejora, algo que Bloom, Hasting y Madaus ya afirmaban en 1977: "Nuestra visión comprende la evaluación como: 1. Un método para adquirir y procesar la evidencia necesaria para mejorar el aprendizaje del estudiante y la enseñanza. 2. Algo que abarca una gran variedad de evidencias más allá del habitual examen final. 3. Una ayuda para aclarar las metas y objetivos más importantes de la educación y como un proceso para determinar el grado en que los estudiantes evolucionan en las formas deseadas. 4. Un sistema de control de calidad en que puede determinarse en cada etapa del proceso de enseñanza y aprendizaje si ese proceso es eficaz o no, y, si no lo es, qué cambios deben efectuarse para asegurar su eficacia antes que sea demasiado tarde. 5. Por último, un instrumento de la práctica educativa que permite establecer si ciertos procedimientos alternativos son igualmente eficaces o no para alcanzar un conjunto de metas educacionales." (Bloom, Hastings y Madaus, 1977: 22-23) Por su parte, el profesor Jesús Garato Alós lo expresa claramente en el prólogo de la obra de Joan Mateo (2000): La evaluación educativa: sus prácticas y otras metáforas, donde además hace hincapié en la necesidad de 119 que en este proceso se implique a todos los miembros de la comunidad educativa : "[...] como el propio Joan Mateo dice [evaluar] es un proceso de recogida y análisis de información relevante con el fin de describir cualquier realidad educativa de manera que facilite la formulación de juicios sobre la adecuación a un patrón o criterio de calidad debatido previamente, como base para la toma de decisiones. Así entendida se presenta como un mecanismo regulador para poder describir, valorar y reorientar la acción de los agentes que operan en el marco de una realidad educativa específica. Siendo también la evaluación un proceso generador de cultura evaluativa que implica ofrecer visiones y análisis no simplificadoras de las realidades educativas, interpretar la información desde todos los puntos de vista de los agentes implicados, establecer diálogos en profundidad entre las partes, ejercer una acción crítica, buscar el consenso, diseñar alternativas de acción, tomar decisiones y establecer compromisos" (Garato Alós, en Mateo, 2000: 13). A su vez, Juan Manuel Álvarez resume el carácter educativo de la evaluación en la siguiente cita: “Desde esta perspectiva, evaluar es conocer, es contrastar, es dialogar, es indagar, es argumentar, es deliberar, es razonar, es aprender. En términos generales, decididamente comprometido con la racionalidad práctica y crítica, quien evalúa quiere conocer, valorar, sopesar, discriminar, discernir, contrastar el valor de una acción humana, de una actividad, de un proceso, de un resultado. Evaluar es construir conocimiento por vías heurísticas de descubrimiento. Quien evalúa con intención formativa quiere conocer la calidad de los procesos y de los resultados" (Álvarez Méndez, 2001: 59). Ahora bien, una vez definido el concepto de evaluación, todavía caben interpretaciones y matices. • Acepción amplia y acepción estrecha de la evaluación: Félix Angulo (1994) presenta una distinción muy interesante entre evaluación en su acepción estrecha y evaluación en su acepción amplia: 120 "Podemos acordar dos acepciones del término evaluación: una acepción amplia que correspondería al proceso por el cual conocemos y valoramos la calidad del servicio y el papel de los distintos componentes en el mismo y otra acepción estrecha (o reducida) que señalaría al proceso o procedimiento por que averiguamos su 'calidad' únicamente a través de la 'repercusión' de dicho servicio en individuos o grupos de individuos receptores del mismo, restringiendo la comprensión de calidad a su incidencia sobre los receptores (alumnos/as). En ambos casos, repito, formulamos un juicio, pero con la importante diferencia de que en el segundo, el juicio es una atribución a individuos o grupos de individuos o, en todo caso, a las actividades (por ejemplo sus aprendizajes) que hayan realizado; mientras que en el primero la atribución se realiza sobre una actividad social o una institución compleja, incluyendo acciones, decisiones, propuestas, experiencias, circunstancias, opiniones, y juicios tanto individuales como colectivos" (Angulo Rasco, 1994: 285-286). Y centrándonos en la evaluación del alumnado: "teniendo en cuenta la acepción estrecha, la evaluación del alumnado supondría, casi exclusivamente, la recogida de información sobre su trabajo en clase: el contenido asimilado, los trabajos realizados, la participación, en el mejor de los casos, o simplemente sus respuestas a ciertas pruebas y exámenes, en el peor. Con la acepción amplia, sin embargo, su evaluación tendría que situarse en relación con la calidad del material (libros de texto, materiales curriculares, experiencias de laboratorio) seleccionado y con la calidad de la enseñanza misma y la atención pedagógica que el docente ha prestado al alumnado a lo largo del período de tiempo establecido. [...] Cuando evaluamos al alumnado pasamos por alto que la calidad de sus 'aprendizajes' está relacionada tanto con la calidad de nuestras decisiones, concepciones y acciones docentes como con la calidad del 'contexto escolar' en el que se realizan. Probablemente sin el conocimiento de dichas concepciones, decisiones y acciones y sin el conocimiento de las características del contexto, resulta difícil (si no imposible) explicar y situar dichos aprendizajes, o la información que sobre los mismos obtenemos" (Angulo Rasco, 1994: 287). Como vemos, de esta forma el autor defiende la utilización de la acepción amplia de la evaluación, ya que aunque pretendamos evaluar "únicamente" el aprendizaje de los alumnos, no debemos olvidar que éste se hace siempre en un contexto determinado, con una historia concreta y unas circunstancias propias, y que es necesario considerar todos estos aspectos para que la evaluación sea justa. 127 Nosotros en este trabajo nos centramos (con la matización hecha anteriormente) en la evaluación del alumnado. Vamos a estudiar qué y cómo se evalúa al alumnado, comparando lo que afirman diferentes autores que se debe o se está evaluando y lo que los propios alumnos y profesores perciben de sus evaluaciones. Para ello, la primera cuestión que se plantea es: ¿qué se evalúa/debe evaluar cuando se habla de la evaluación de alumnos?, y la respuesta más directa, pero no por ello menos compleja es: que lo que se debe evaluar son los aprendizajes de los alumnos. Ahora bien, ¿en qué consiste la evaluación de los aprendizajes de los alumnos? Quizás deberíamos comenzar por establecer las diferencias entre el aprendizaje, el rendimiento y el conocimiento, que si bien son tres conceptos relacionados, no se pueden hacer sinónimos a la hora de la evaluación de alumnos. Para establecer esta diferenciación seguimos fundamentalmente dos artículos del profesor Felipe Trillo (1996, 2001b), en los que se ofrece una diferenciación clara de estos tres conceptos. De este modo, se entiende que el rendimiento : "tiene que ver con la situación de un alumno respecto de un normotipo fijado previamente y que los profesores utilizan para hacer comparaciones. Este normotipo (establecido por los propios profesores o tomado de directrices externas) puede adoptarse de un modo deliberado y sistemático o, por el contrario, ser totalmente arbitrario: pudiendo encontrarnos con que un chico no tiene ni idea de una materia pero sin embargo aprueba porque es muy dócil y no plantea problemas a nivel de disciplina; en otros casos, una chica relaciona lo que escucha con su experiencia e interroga frecuentemente al profesor poniendo en evidencia las lagunas de éste, de suerte que al final suspende … por impertinente" (Trillo, 1996: 219). Por su parte, el conocimiento se define como: "una convención social y/o científica sobre cuáles son las explicaciones actualmente aceptables sobre la realidad" (Trillo, 1996: 220). 128 Mientras que el aprendizaje se considera sinónimo de comprender, “y supone relacionar la información entrante con la experiencia y los conocimientos previos a fin de extraer significados personales; pues aprender es abrirse a la experiencia y procurar su racionalización atribuyéndole sentido (Bruner, 1990, 1997)” (Trillo, 2001b: 87). Siendo así, como vemos el rendimiento no tiene por qué coincidir con el aprendizaje. Solamente si por aprendizaje entendiésemos "que el alumno dé, cuando se le autoriza o exige, una respuesta mimética de otro a una pregunta que para él nada significa, las probabilidades de que el aprendizaje y el rendimiento coincidan aumentan poderosamente" (Trillo, 1996: 219) , pero si, por el contrario, partimos de la concepción de aprendizaje antes expuesta, no cabe duda alguna sobre la diferencia entre estos dos conceptos: “Sobreestimar la evaluación en cuanto rendimiento distorsiona el conocimiento. Diferencia y divide artificialmente en partes insignificantes la información que se considera más importante para la puntuación, y termina confundiendo lo que merece la pena aprender con lo que se sospecha que va a ser objeto de evaluación: vale sólo aquello que "entra en el examen", aquello que "va para el examen". Lo que no es objeto de examen, carece de valor y por tanto de interés. Si acaso, valdrá en otro momento, en otras circunstancias, pero en el contexto de aula, sólo merece la pena dedicar tiempo y esfuerzo a aquello que se percibe como objeto de control. El interés por aprender es otra cuestión.” (Álvarez Méndez, 2001: 34). Por igual motivo, y porque la cantidad de conocimiento acumulado es hoy en día inabarcable, no tiene sentido tampoco pretender a la hora de evaluar controlar si se tiene o no el conocimiento, sino si el alumno sabe por qué, cómo y qué hacer con él: “Desde el punto de vista del “qué evaluar”, la prioridad pasa a ser, entonces, la planificación y organización de actividades de evaluación que permitan valorar el grado de significatividad del aprendizaje desarrollado por los alumnos, la evolución en el tiempo de ese aprendizaje y el progreso personal realizado, la funcionalidad del aprendizaje en distintos contextos y situaciones de uso, el sentido personal que los alumnos atribuyen a lo que están aprendiendo y al hecho de aprenderlo, el grado en que van adquiriendo autonomía en el uso del conocimiento, la capacidad progresiva para autorregular su propio aprendizaje; y también que permitan valorar todo ello en relación con el tipo y la calidad de las ayudas educativas que han ido recibiendo los alumnos y gracias a las cuales pueden avanzar en su aprendizaje. 129 En este sentido, la planificación de las actividades de evaluación pasa de estar presidida por el interés de medir el nivel de conocimiento de los alumnos a estarlo por el propósito de indagar cómo está organizado el conocimiento de los alumnos con relación a un contenido concreto y la manera en que pueden ponerlo en acción en un contexto determinado” (Coll y Onrubia, 2002: 52-53) Naturalmente, esto conlleva importantes modificaciones con respecto a la evaluación tradicional en la consideración de los aspectos que interesa evaluar: “Durante la última década se han producido una serie de cambios en las concepciones sobre la enseñanza y el aprendizaje que han tenido una serie de repercusiones importantes al presentar nuevas visiones y prácticas sobre la evaluación. Estos cambios se pueden configurar como sigue: -De la preocupación sobre cómo recordar información se ha pasado al interés sobre cómo transferirla a otras situaciones; -De destacar la importancia de saber aplicar fórmulas previamente aprendidas o memorizadas para resolver problemas, se ha pasado a la necesidad de plantearse problemas y encontrar estrategias para resolverlos; -La importancia de los resultados se ha transformado en el interés por los procesos del aprendizaje de los alumnos; -La valoración de la cantidad de información, la recitación memorística y la erudición está dando lugar a destacar la importancia del saber como capacidad para buscar de forma selectiva, ordenar e interpretar información, para darle sentido y transformarla en conocimiento” (Sancho Gil y Hernández, 1998: 463). En efecto, se ha dado un salto (por lo menos a nivel teórico) de considerar como objeto de evaluación las habilidades cognitivas básicas, a buscar el desarrollo de competencias y habilidades cognitivas de nivel superior y metacognitivas, tales como: apertura y flexibilidad en el aprendizaje, independencia de aprendizaje, sentido de responsabilidad, capacidad de analizar, sintetizar y pensamiento crítico, habilidad para interactuar con otros, razonamiento moral y ético, etc.: “A partir de las aportaciones de las teorías cognitivas y constructivistas del aprendizaje, los nuevos enfoques de la evaluación educativa se dirigen, no sólo a comprobar si el alumno ha asimilado unos determinados contenidos, sino sobre todo a valorar si esos contenidos han facilitado el desarrollo de una serie de capacidades. El término de <<capacidad>> es amplio y no está exento de una cierta dosis de ambigüedad. Podríamos decir que el desarrollo de una determinada capacidad lleva implícito que el alumno ponga en marcha una variedad de procesos cognitivos, conocimientos previos y estrategias que le 130 permiten procesar la información, realizar las tareas y resolver los problemas que se derivan del conjunto de contenidos a aprender” (Blázquez Entonado, González González y Montanero Fernández, 1998: 185) En este sentido, y en palabras de Menucha Birembaum (1995), ocurre que en esta era la idea de sujeto educado implica una persona autónoma, con gran capacidad de adaptación, que sea capaz de aprender por si misma, comunicarse y cooperar con otros personas: “Las competencias específicas que para ser tal persona se requieren incluyen: a) competencias cognitivas tales como resolución de problemas, pensamiento crítico, formulación de cuestiones, búsqueda de información relevante, realización de juicios fundamentados, uso eficiente de la información, observación crítica, investigación, invención y creación de nuevas cosas, análisis de datos, claridad en la presentación de datos, expresión oral y escrita; b) competencias metacognitivas tales como autorreflexión o autoevaluación; c) competencias sociales tales como conducir discusiones y conversaciones, persuasión, cooperación, trabajo en grupo, etc.; y d) disposiciones afectivas tales como perseverancia, motivación intrínseca, iniciativa, responsabilidad, autoeficacia, independencia, flexibilidad, o capacidad de sobreponerse a situaciones frustrantes. La necesidad de desarrollar esas competencias expande el ámbito de la educación y crea una cambiante empresa para los educadores” (Birembaum, 1995: 4) Y, por si fuera poco, no podemos obviar que esto es algo que se está reclamando hoy en día con la construcción del Espacio Europeo de Educación Superior, en el que se aboga por el paso a una “sociedad del aprendizaje”, en donde: “La necesidad de reconocer y valorar el aprendizaje también tiene una influencia en las aptitudes y en la construcción de programas educativos que finalicen en titulaciones basadas en competencias. En este contexto, la consideración de las capacidades junto al conocimiento ofrece una serie de ventajas que están en armonía con las demandas que surgen del nuevo paradigma” (Villa, 2003: 4). Naturalmente, esa apuesta por el aprendizaje requiere ampliar la tradicional y restrictiva concepción de los contenidos instructivos a los estrictamente conceptuales. Bien al contrario, no debemos olvidar tampoco que cuando hablamos de evaluar el aprendizaje de los estudiantes debemos hacer referencia a los tres tipos de contenidos curriculares (conceptuales, procedimentales y actitudinales) sobre los cuales se realiza el aprendizaje, ya 131 que la evaluación de cada uno de estos contenidos implica procedimientos y metodologías diferentes. Así, siguiendo a Alonso Tapia (1997) podemos establecer los siguientes “indicadores de conocimiento de los distintos contenidos curriculares” : Conceptuales -HECHOS: "si el recuerdo de un hecho muestra que el sujeto lo conoce, el hecho de no recordarlo no significa necesariamente lo contrario. En consecuencia, si se desea saber si determinados hechos son conocidos, es preciso proporcionar indicios que puedan facilitar su recuerdo. En cualquier caso, el conocimiento de hechos tiene sentido sólo en la medida en que contribuye a otros aprendizajes, como la comprensión de conceptos y procedimientos y la adquisición de las capacidades que constituyen los objetivos centrales de la educación dentro de cada etapa" (Alonso Tapia, 1997: 21-22). -CONCEPTOS: “Para evaluar el conocimiento conceptual es conveniente examinar las distintas implicaciones que los conceptos tienen para cada sujeto observando cómo los usan y, si es posible, preguntando las razones de porqué lo hacen del modo en que lo hacen. [...] es preferible evaluar el grado en que se comprende un concepto dado a través de tareas en las que se deba categorizar objetos, hacer predicciones o actuar frente a una situación a la que el concepto o conceptos en cuestión sean aplicables” (Op. cit.: 22-23) Procedimentales "La evaluación del grado en que los alumnos conocen los procedimientos que es preciso aprender en el contexto de cada una de las áreas curriculares debe hacerse atendiendo a las distintas facetas que definen el conocimiento de un procedimiento, esto es, preguntando qué sabe del mismo, observando si lo aplica siguiendo cada uno de sus pasos y si lo hace de forma precisa y automatizada, y examinando si es capaz de aplicarlo de forma generalizada a distintas situaciones" (Op. cit.: 25). Actitudinales "El indicador más válido de las actitudes parece ser el hecho de que alumnos y alumnas manifiesten determinados patrones de conducta - elección, iniciación, persistencia, reiteración, intensidad, etc.- en relación con el objeto o actividad que definen la actitud" (Op. cit.: 30- 31). Consecuentemente, todas estas modificaciones también implican cambios en la forma de evaluar esos aspectos, siendo necesario la utilización de procedimientos e instrumentos de evaluación más complejos que permitan evaluar estas competencias: “Que un modelo de evaluación de alumnos simplifique los procedimientos de evaluación en el sentido en que los haga más sencillos, llevaderos, económicos (en cuanto a tiempo y esfuerzos), etc., resulta excelente, pero ello si no implica también la simplificación de aquello que pretendemos evaluar. Y lo cierto es que, en el caso de los alumnos, lo que pretendemos evaluar habitualmente es el aprendizaje, esto es, el dominio o adquisición de determinadas capacidades. En 132 ocasiones, el ejercicio de tratar de redefinir muchas de esas posibles capacidades en forma de comportamientos observables y medibles para finalmente ser evaluadas nos hace ganar en la precisión de la medida, pero perder en cuanto a la significatividad (educativa), la relevancia o validez de ese aprendizaje medido” (Salinas, 2002: 42-43). En definitiva, se hace imprescindible romper con lo que Miguel Ángel Santos Guerra (1993a) denomina “las patologías de la evaluación”, en las que nos muestra algunas prácticas frecuentes que se hacen "pasar" por evaluación cuando en realidad son expresiones patológicas o reduccionistas de lo que en realidad se debe evaluar y la forma en que se debe desarrollar la evaluación. Mostramos a continuación las “patologías” enunciadas por Santos Guerra que hacen referencia al qué se evalúa: 1. Sólo se evalúa al alumno : A cada alumno se le asigna en el expediente un valor numérico (al menos cuantificado) que parece ser de su exclusiva responsabilidad. La calificación del alumno es resultado de su capacidad y de su falta o derroche de esfuerzos. En el caso de fracasar será él quien deberá pagar las "consecuencias". Sólo él deberá cambiar. Lo demás podrá seguir como estaba. La evaluación se convierte así en un proceso conservador. 2. Se evalúan solamente los resultados : Analizar sólo los resultados obtenidos es, cuando menos, parcial. Y la parcialidad suele ir acompañada de imprecisión y de tergiversaciones. 3. Se evalúan sólo los conocimientos : Existen otra serie de pretendidos logros (véase cualquier formulación curricular, véase incluso la legislación de cualquier rango que defina objetivos educativos del sistema) que no se contemplan debidamente en el proceso evaluador: actitudes, destrezas, hábitos, valores, … 4. Sólo se evalúan los resultados directos, pretendidos : La puesta en marcha de muchos proyectos curriculares que siguen un criterio de encadenamiento lineal no tiene en cuenta la evaluación de aquellos efectos laterales, secundarios, imprevistos. Estos efectos existen, casi inevitablemente. Y, en ocasiones, son mucho más importantes que los resultados buscados directamente en el proyecto. 133 5. Sólo se evalúan los efectos observables : Lo no observable no es equivalente a lo no existente. Ni a lo no relevante. Ni, por supuesto, a lo no evaluable. Al menos, desde una concepción del proceso evaluador que pretenda profundizar en la entraña educativa. 6. Se evalúa principalmente la vertiente negativa : El desequilibrio de perspectiva hace que la escuela esté más atenta a los errores que a los aciertos de los alumnos y que los equipos de evaluación externa se apresten más a describir problemas y deficiencias que a resaltar valores y logros 7. Sólo se evalúa a las personas : Es un error someter a los alumnos a una evaluación conclusiva (lo cual encierra juicios de valoración, no meras descripciones de actuación) sin tener en cuenta las condiciones, los medios, los tiempos, los contextos en que se mueven. En fin, cabe decir que las transformaciones que promueve son las que asumimos. A la luz de esta información, consideramos que las preguntas que realicemos a profesores y estudiantes de la Universidad de Santiago de Compostela con respecto al qué se evalúa deben incidir en la diferenciación entre aprendizaje, rendimiento y conocimiento; interrogar sobre si se está buscando el desarrollo de competencias y habilidades metacognitivas o si la evaluación sigue centrándose en habilidades básicas; comprobar en qué medida se atiende al aprendizaje de los tres tipos de contenidos curriculares en la evaluación de estudiantes; así como constatar si se siguen desarrollando las prácticas reduccionistas de la evaluación que Santos Guerra considera patológicas. 134 3.4. CÓMO EVALUAR: La siguiente cuestión que se nos plantea, teniendo en cuenta los interrogantes de David Nevo, es ¿qué debemos investigar sobre el cómo se evalúa?: “Decir que en la evaluación interesa recoger información no aclara mucho y compromete menos. Tal vez esto mismo justifique la tendencia al consenso en este punto. Lo importante a partir de aquí, y desde donde pueden surgir las diferencias, es saber: ¿Qué información interesa recoger, con qué fines, para desempeñar qué funciones? ¿Qué decisiones siguen a la recogida de información? ¿De qué modo y con qué método y técnicas se va a recoger la información? ¿A quién van destinadas las informaciones y las decisiones que se toman y quiénes son sus beneficiarios? ¿Quién/quiénes recoge(n) la información y quién decide a partir de ellas? ¿Sobre qué principios y sobre qué concepciones curriculares se van a resolver las cuestiones planteadas? ¿Qué usos se van a dar a los resultados de las evaluaciones, y quién conoce esos usos y quién se beneficia de ellos?” (Álvarez Méndez, 2001: 70-71) El estado de la cuestión nos exige, pues, optar entre los diferentes referentes de la evaluación, es decir, establecer en función de qué se va a juzgar lo que es evaluado; adoptar unos criterios para valorar los objetos de evaluación; y decidir “mediante qué” evaluar, es decir, qué técnicas o instrumentos se van a utilizar para recoger información sobre el aprendizaje de los estudiantes. A continuación vamos a sintetizar lo que nos dice la literatura especializada sobre estos aspectos, para poder así fundamentar la formulación de preguntas a profesores y estudiantes sobre cómo se evalúa en la Universidad de Santiago de Compostela. 3.4.1. Referentes de la evaluación : Como establecimos en la conceptualización de la evaluación, una de sus notas definitorias es el ser un juicio; pero hay que tener presente que siempre que se emite un juicio se hace (o así debería ser) en función de unos referentes claros y precisos. Por lo tanto, en este apartado pretendemos 135 conocer los diferentes tipos de referentes que se pueden utilizar cuando realizan una evaluación. En la obra de Elena Barberà (1999): Evaluación de la enseñanza, evaluación del aprendizaje, se recoge la experiencia de un centro de educación primaria y secundaria obligatoria de Barcelona que, tras la implantación de la LOGSE y al comenzar a impartir la ESO se preocupa por reflexionar sobre la evaluación de estudiantes, creando grupos de trabajo entre profesores para buscar fundamentación teórica a cómo debe desarrollarse este proceso y trabajando sobre los instrumentos o técnicas que les pueden ayudar a llevarlo a cabo. En relación a los referentes de la evaluación, una de las conclusiones a las que llegan es la siguiente: “En el momento de evaluar pueden existir dos grandes tipos de referentes: - Referente interno según nos basemos en una valoración que se centra en el alumno, concretamente en sus propias capacidades individuales. - Referente externo si nos basamos en una valoración que tiene su <<medida>> y sus directrices en un criterio común de tipo absoluto o relativo igual para todos los alumnos” (Barberà, 1999: 38). De esta forma, este grupo de profesores establecen tres tipos de evaluación en función del referente que se esté utilizando: evaluación normativa, evaluación criterial y evaluación centrada en el alumno: Referente externo al alumno Evaluación normativa Se valora a los alumnos según el nivel del grupo-clase. -Descripción: si el nivel de la clase es elevado, un alumno con unos resultados intermedios pero aceptables será valorado negativamente; y viceversa. De hecho, a la hora de evaluar es muy difícil mantenerse al margen de este tipo de evaluación, porque no es sencillo ignorar el nivel general de una clase y el clima de trabajo que tiene. -Efectos secundarios: normalmente, cuando corregimos aplicamos una mirada general que nos sirve para hacernos una idea vaga (por lo inconcreta), pero directriz (por su fuerza referencial) que guía nuestras correcciones. Puede suceder que las primeras correcciones de un trabajo, por ejemplo, sean estrictas y que a la vista de que los resultados aparezcan más bajos de lo esperado, se llegue a flexibilizar y cambiar el criterio en las correcciones sucesivas. 136 Referente externo al alumno Evaluación criterial Se valora a los alumnos según unos criterios predefinidos y bien determinados: -Descripción: el trabajo central es delimitar un ámbito de actuaciones deseables de los alumnos. Se establecen los objetivos de enseñanza y aprendizaje, y los criterios de evaluación. Primero, los objetivos (de área, etapa, ciclo ...) indican la meta a la que se pretende llegar; después, los criterios de evaluación han de detallar también cuando se considera que un alumno ha conseguido un objetivo determinado. Esta especificación supone una valoración uniforme para todos los alumnos. -Efectos secundarios: puede existir excesiva rigidez y segmentación en el momento de definir los comportamientos de los alumnos. Los criterios se deben definir con una cierta amplitud y en relación con las necesidades y el entorno del grupo y la escuela concreta. Los criterios son pautas para la evaluación y conviene compartirlos con otros profesores y establecerlos de antemano para no incurrir en desequilibrios . Referente interno Evaluación centrada en el alumno Se valora a los alumnos según las capacidades de cada uno de ellos. -Descripción: se realiza primero una evaluación inicial para conocer lo que sabe el alumno, así como una estimación de sus posibilidades de progreso en el tiempo que establezcamos. Pasado este período se evalúa el progreso y sus resultados. Si coinciden, la valoración se emitirá de manera positiva; de lo contrario, será negativa. -Efectos secundarios: se puede llegar a utilizar no como un recurso pedagógico al servicio de una necesidad puntual de conocer o valorar algún aspecto concreto, sino como una medida de promoción de los alumnos, creando desigualdades entre ellos. También puede suceder que la valoración del esfuerzo empleado supla la comprobación de si se han conseguido las metas que se habían establecido para cada uno de los alumnos. Según esto, podemos decir también que hay un amplio acuerdo en considerar que hay tres tipos o modalidades básicas de "normotipos" , entendiendo por normotipo el punto de referencia con el que se comparan los datos obtenidos en la recogida de información para, a partir de esta comparación, formular un juicio: a) Normotipo normativo o estadístico : la comparación se establece con respecto a un grupo de referencia, a lo que es «normal» en ese grupo: 143 “Si la pregunta que formula crea tensión, ansiedad, tensa desproporcionadamente los nervios de quien debe responder, altera en gran medida la vida escolar, debe reconocer que, antes de estimular el conocimiento, la misma pregunta se convierte en un obstáculo que actúa en contra de los intereses del sujeto que debe responder en un contexto ficticio, artificial” (Álvarez Méndez, 2001: 119). Se trata, por tanto, de priorizar un tipo de tareas o actividades en un ambiente tal que nos permitan obtener información del nivel de comprensión y significatividad que los estudiantes están desarrollando en sus aprendizajes: “Así, y pensando sobre todo en los estudiantes, es preciso centrarse en el tipo de tareas que se les presentan, desde la convicción de que éstas condicionan (provocan, activan) sus procesos cognitivos, pues hay una manera de evaluar, que plantea tareas complejas y abiertas, que reclaman del alumno un proceso de elaboración personal y que tiene en la comprensión su mejor exponente, y otra, que les propone apenas tareas simples y cerradas (de respuesta única), del tipo de las de repetición más o menos literal y/o mecánicas (algoritmos)” (Trillo, 2003: 675). Y en esta dirección, conviene recordar que la comprensión es "poder realizar una gama de actividades que requieren pensamiento en cuanto a un tema, por ejemplo, explicarlo, encontrar evidencias y ejemplos, generalizarlo, aplicarlo, presentar analogías y representarlo de una manera nueva" (Perkins y Blythe, 1994); a lo cual Trillo añade "y hacerlo de una manera reflexiva, y no pasiva o subordinada, reconociendo que no hay una respuesta definitiva pero que, en todo caso, aquella que alcance por sí mismo debe contar con suficiente evidencia o apoyo en el conocimiento anterior. Se trata, por tanto, de una actividad decididamente exigente porque pretende que los estudiantes puedan usar el conocimiento, y no que simplemente sepan cosas" (Trillo, 1997a: 85) . Ahora bien, si esto es lo que se exige, no debemos pasar por alto o subestimar la necesidad de que los estudiantes reciban una adecuada y pronta retroalimentación sobre su tarea, que les permita reflexionar sobre su progreso y, de este modo, mejorar su desempeño: “Si los estudiantes no obtienen feedback, ellos pueden continuar cometiendo repetidamente los mismos errores y fallos durante su proceso de formación. El aprendizaje no debería ser un juego de ajedrez en el cual los estudiantes tengan que estimar lo que puede 144 haber en la mente de sus profesores y luego actuar consecuentemente” (Brown y Knight, 1994: 34). Convencida de esto, Rebecca Simmons (1994) exige que los criterios por los que se reconoce un buen trabajo deben estar claros para todos: “En un salón donde los estudiantes y profesores se toman el tiempo para reflexionar sobre y evaluar las actividades de comprensión está implícito que los criterios para un buen trabajo son claros para todos” (Simmons, 1994: 22). Y en la misma línea, Felipe Trillo denuncia muy claramente la situación que viven alumnos y profesores al no explicitarse estos criterios: "Considérese en este sentido cuántos estériles esfuerzos por parte de los alumnos y conflictivas decisiones nos habríamos evitado entorno a la evaluación, si nos hubiéramos detenido a pensar que, a menudo, los llamados 'problemas de rendimiento' no vienen porque se ignore el resultado al que hay que llegar y ni tan siquiera el proceso que hay que seguir (que ambos pueden saberse), sino simplemente porque no se sabe lo que hay que hacer y por donde empezar. Y es que hasta tal punto de difíciles pueden ser nuestras pruebas de evaluación, por lo arbitrarias e incluso por lo misteriosas que llegan a resultar para los alumnos, quienes, renunciando a la significatividad y autonomía en su aprendizaje, se concentran en adivinar qué es lo que el profesor espera que hagan o digan en ese momento" (Trillo, 1995: 203). Por el contrario, la explicitación clara de los criterios de evaluación tendría como resultado una situación mucho más halagüeña, como la descrita por Rebecca Simmons (1994): “La presentación pública de los criterios también le confiere poder a los estudiantes. A medida que los estudiantes ven que sí son capaces de auto-evaluar y evaluar a sus compañeros, adquieren una nueva sensación de control sobre su trabajo. A medida que los profesores ven que los alumnos pueden involucrarse en la evaluación propia y la de los demás, también se emocionan de lo que sus estudiantes pueden lograr. También pueden sentir alivio al ver que la responsabilidad de la evaluación continua no recae exclusivamente sobre ellos” (Simmons, 1994: 23). Claro está que para explicitar y negociar estos criterios de evaluación puede ser necesario acabar previamente con algunas de las ideas implícitas de los profesores. Como nos dice Martha Stone Wiske (1994): “Proceder de esta manera parece ir en contra de las expectativas comunes tanto de profesores como de alumnos. Expresar claramente 145 las metas de comprensión y los criterios de evaluación desde un principio con los estudiantes puede ser tarea difícil por varias razones. Primero, puede que los profesores nunca se hayan formulado las metas de manera explícita. Segundo, pueden ser de la opinión que los estudiantes no podrán entender sus criterios hasta que hayan desarrollado una comprensión más profunda mediante su participación en la unidad. O bien los profesores pueden creer que sus criterios deben evolucionar como respuesta al trabajo de los estudiantes en un nivel de mayor profundidad, establecer objetivos y criterios desde un principio desafía el tipo de autoridad que deben representar los profesores” (Wiske, 1994: 20). En definitiva, quedan así un poco más claros los criterios que se deberían utilizar para realizar la evaluación; consecuentemente, en este trabajo de investigación también incluiremos cuestiones en los instrumentos de recogida de información para conocer cuáles son los criterios que se están utilizando en la evaluación de estudiantes en la Universidad de Santiago de Compostela. 3.4.3. INSTRUMENTOS DE RECOGIDA DE INFORMACIÓN : Una vez que hemos visto en los apartados anteriores los posibles tipos de referentes a los que se pueden recurrir en la evaluación de estudiantes, así como los criterios que se pueden utilizar para fomentar y valorar el desarrollo de aprendizajes significativos y autónomos, la siguiente dimensión a abordar es “mediante qué” evaluar. Es decir, ¿con qué método, técnicas o instrumentos se va a recoger la información? Daniel Stufflebeam y Anthony Shinkfield consideran que los evaluadores deben conocer a fondo las siguientes técnicas: "las entrevistas, los informes preliminares, el análisis de contenidos, la observación, el análisis político, el análisis económico, el examen investigativo, los informes técnicos, el estudio del caso, la evaluación sin metas, la escucha de opiniones contrapuestas, las asociaciones de defensa, las listas de control, la elaboración de pruebas, el análisis estadístico, el diseño de la investigación, el análisis sistemático, la teorización y la administración del proyecto" (Stufflebeam y Shinkfield, 1987: 25) . 146 Pero, a pesar de que los docentes deben poseer la competencia evaluadora, la realidad es que su formación en ella no suele ser muy completa: "Los maestros se ven a sí mismos como educadores y docentes por vocación, y evaluadores por necesidad, ya que la institución les exige administrar pruebas, poner notas, redactar boletines [...]. La importancia conferida a la enseñanza reaparece en la formación de los maestros. Se insiste en ella respecto a la manera de enseñar, de animar y de estar en clase, de fabricar o utilizar medios de enseñanza. Las técnicas de evaluación, la forma de poner notas, no están ausentes, pero ocupan un lugar marginal en los estudios de los futuros maestros" (Perrenoud, 1990: 96-97) Naturalmente, esto puede ser un grave inconveniente si estamos de acuerdo con Emilio Contreras en que: "sea cual sea la finalidad que se persiga con la evaluación (calificación, promoción, selección, orientación, etc.), ésta ha de basarse en una buena información que permita conocer el nivel de aprendizajes de los alumnos, establecer juicios de valor y tomar buenas decisiones educativas. [...] Una característica típica de la evaluación educativa es la necesidad de obtener información de los aprendizajes de los alumnos de una forma no ocasional, ni por azar. Pues bien, para poder lograr este requisito de la evaluación el profesor necesita de ciertos medios, instrumentos o pruebas en los que se solicita al alumno que nos demuestre su grado de aprendizaje" (Contreras Muñoz, 1990: 95-96). Siendo así, Francisco Blanco Prieto le concede un papel fundamental a los instrumentos de evaluación, ya que, en sus propias palabras: "Los instrumentos de recogida de información tienen gran importancia para la evaluación, ya que el juicio de valor derivado de ésta, así como la toma de decisiones posteriores, dependen de la información disponible, por lo que una evaluación será tanto más segura cuanto más completa, oportuna, veraz, fiable y relevante sea la información obtenida" (Blanco Prieto, 1994: 83). Sin embargo, debe tenerse en cuenta que la forma de recabar información sobre los aprendizajes de los alumnos debe ser acorde con la forma de enseñanza que se ha practicado en las clases, si es que estamos de acuerdo con que: "es un error practicar una enseñanza transmisiva en la que no tiene cabida la instrucción ni el desarrollo de la creatividad del alumno, y 147 pretender obtener información relacionada con el pensamiento creativo y divergente del alumno. Parece contradictorio resolver en clase ‘problemas tipo’ y luego pretender que el alumno resuelva en una prueba de papel y lápiz problemas abiertos o con errores y deficiencias premeditadas para que el alumno los resuelva satisfactoriamente, a partir de habilidades intelectuales no potenciadas ni desarrolladas". (Blanco Prieto, 1994: 85-86) Para este autor, los instrumentos de recogida de información en materia de evaluación educativa sobre el proceso de aprendizajes de los alumnos deben cumplir una serie de condiciones, como son las de: a) Variabilidad : Deben ser lo suficientemente variables como para poder recoger información de los tres campos de conocimientos (conceptuales, procedimentales y actitudinales). Además, los instrumentos deben ser lo suficientemente variables como para hacerlo no sólo del producto de los aprendizajes de estos conocimientos, sino también del proceso de aprendizaje que se está desarrollando. b) Concreción : Para poder proporcionar la información concreta y precisa que se necesite sobre lo que se pretenda evaluar. Es importante recordar que, como afirmábamos cuando hablábamos de los criterios de evaluación, ningún instrumento de evaluación puede proporcionar información sobre todo el aprendizaje que han realizado los alumnos, es decir, "los alumnos siempre aprenden mucho más de lo que somos capaces de captar con las actividades de evaluación en las que les proponemos participar" (Coll y Martín, 1994: 174). Por lo que debe tomarse con mucha prudencia lo de la "información precisa y concreta". c) Versatilidad : Los instrumentos deben ser lo suficiente versátiles como para adaptarse a las diferentes situaciones posibles. O bien, como se afirmaba anteriormente, es conveniente "utilizar una gama lo más amplia posible de actividades de evaluación que pongan en juego dicho contenido en contextos particulares diversos" (Coll y Martín, 1994: 175) cuando se procede a evaluar el aprendizaje de un contenido determinado. d) Transferibilidad : Deben poder informarnos sobre el grado de transferibilidad de los aprendizajes. 148 Condiciones que Dino Salinas (2002) concreta en utilidad y factibilidad: “La utilidad de un instrumento en el ámbito de la evaluación de alumnos radica fundamentalmente en su potencialidad para poner de manifiesto aquello que se pretende evaluar y en su posibilidad real de ser bien utilizado. Es decir, utilidad y factibilidad. Nuestra apreciación de la realidad a evaluar –conceptos, procedimientos, actitudes- puede verse distorsionada tanto si el instrumento utilizado no nos pone de manifiesto, no nos proporciona información, sobre lo que pretendemos evaluar, como si el instrumento es tan costoso de aplicar (por complejidad del instrumento o por falta de tiempo o por falta de formación) que su utilización implica más problemas y dificultades que otra cosa” (Salinas, 2002: 86). Por otra parte, y atendiendo a los tipos de instrumentos para recoger información sobre el proceso de aprendizaje de los alumnos, Blanco Prieto (1994) considera que los más básicos son los seis siguientes: A. Observación B. Monografías C. Cuaderno-diario D. Pruebas de papel y lápiz E. Intercambios orales F. Autoevaluación. Y el mismo autor afirma: "casi seguro que todos los instrumentos descritos son conocidos y aplicados en mayor o menor grado por los profesores, lo que ocurre es que tal vez falta una sistematización, una mayor profesionalización de la tarea y una valoración ponderada de las posibilidades de cada uno de ellos. No se puede negar que en nuestros centros predomina la cultura de que 'lo que cuenta' o 'lo que vale' es el examen, aunque éste tiene unas limitaciones evidentes" (Blanco Prieto, 1994: 84-85), limitaciones a las que nos referiremos más adelante. A continuación vamos a analizar cada uno de estos instrumentos en detalle, así como los portafolios -instrumento que actualmente está adquiriendo una considerable relevancia en el marco de la evaluación de estudiantes-, mostrando de cada uno de ellos la definición que presentan diferentes autores, las características que se le atribuyen, las ventajas e 149 inconvenientes que presentan y, en el caso de que dentro de cada instrumento o técnica se den diferentes tipos de pruebas, intentar establecer una clasificación de esas pruebas. Por supuesto no obviamos que la lista de instrumentos de recogida de información que se pueden utilizar para realizar la evaluación de los estudiantes podría ser mucho más amplia (mapas conceptuales, posters y presentaciones, ejercicios de simulación, etc.); pero consideramos que estos siete son los que tienen una mayor tradición en nuestro contexto y se utilizan más frecuentemente. A. Observación . "La observación, en general, representa un método de indagación que tiene por finalidad el conocimiento descriptivo y comprensivo de un entorno, un acontecimiento o una situación." (Blanco Prieto, 1994: 87). Entre las características que este autor le atribuye a la observación se encuentran: - Está limitada al campo de los comportamientos manifiestos, es decir, de aquellas actuaciones que son directamente observables. - Es un instrumento básico para recoger información sobre contenidos actitudinales y sobre algunos procedimentales. - Exige un tratamiento longitudinal. - Evita la subjetividad del informante. - Tiene un componente subjetivo difícil de evitar totalmente, si bien puede aliviarse mediante una triangulación de sujetos (aunque esto no sea nada fácil de llevar a cabo de forma diaria y sistemática en el aula). - El observador debe mantener una posición de equilibrio entre la complicidad con el alumno o el convertirse en un ser distante y extraño para él. - El profesor debe promover actitudes en los alumnos y observar permanentemente. 150 Para Miguel Ángel Zabalza: "La observación se <<especializa>> en la obtención de información sobre las conductas y los eventos <<normales>> de la clase. <<Conducta>> entendida como un amplio espectro de manifestaciones, actividades, situaciones plurifacéticas que reflejan la forma de ser y actuar de los sujetos a las que no es posible acceder a través de pruebas estandarizadas. En su modalidad más usual se realiza sobre <<situaciones naturales>> (por contraposición a exámenes y pruebas tipo test que se realizan en situaciones artificiales, esto es, creadas específicamente para la evaluación)" (Zabalza, 1988: 267). Para este autor, la observación permite acceder a: "- los objetivos afectivos, aspectos motrices, intereses, hábitos de trabajo y técnicas de estudio, sentimientos de satisfacción, adaptación, etc. - las actitudes que suelen aparecer de manera persistente en los objetivos - los efectos derivados de la situación específica, profesor específico y dinámica general del proceso didáctico seguido. Y los efectos del 'currículum oculto' " (Zabalza, 1988: 268). Por supuesto, "es imposible observar una actitud en una situación en la que no es posible realizar la observación de la misma porque no tiene posibilidades de expresarse. No es posible indagar la capacidad de un alumno para el trabajo en equipo si no se propician tareas grupales en las que él pueda demostrar las actitudes que tiene para ello" (Blanco Prieto, 1994: 88). Y posiblemente sea más adecuado realizar una observación holística que tenga en cuenta todos los aspectos que inciden en el proceso en vez de prestar atención sólo a alguno determinado y realizar la evaluación a partir de él: "En el aula no es difícil conciliar la observación sistemática con la abierta y libre si el profesor toma nota de todos aquellos aspectos que le ayuden a comprender la situación y a dar respuestas a las actitudes manifestadas por los alumnos" (Blanco Prieto, 1994: 88). Ya que, si bien hay un acuerdo bastante general en que debe ser sistemática en el sentido de "planeada convenientemente en sus líneas maestras, con un propósito didáctico-curricular general o específico: - qué se va a observar 151 - cómo, en qué condiciones se va a realizar la observación - en qué ocasiones se va a observar para organizar la representatividad de lo observado" (Zabalza, 1988: 267); también nos advierte este autor que se debe evitar la improvisación o desnaturalización de la información recogida, así como la imposibilidad de registrar también los fenómenos surgidos casualmente. Evidentemente, "cada profesor puede elegir los medios más adecuados para registrar la información pertinente objeto de observación, de acuerdo con los objetivos concretos a evaluar y con su propia experiencia" (Contreras Muñoz, 1990: 148); pero los medios o técnicas más comúnmente empleados son: a) Listas de control : "son listas de enunciados que indican los distintos componentes de una conducta o dimensión del aprendizaje. Se anota si el sujeto o la situación poseen o no cada uno de esos componentes que figuran en la lista. Son listas descriptivas de sí o no" (Zabalza, 1988: 268). Según Emilio Contreras, estas listas "se caracterizan por ser muy simples y fáciles de aplicar, aunque con el inconveniente de no recoger la persistencia del fenómeno -mayor o menor número de veces que se da- ni los matices cualitativos o de intensidad del hecho" (Contreras Muñoz, 1990: 148) . b) Escalas estimativas de valoración : "se diferencian de las escalas de control en que gradúan el nivel de consecución de la capacidad observada, incluyendo una serie progresiva de valoraciones que determinan el nivel en que el indicador específico correspondiente ha sido alcanzado por el alumno" (Blanco Prieto, 1994: 92). Las escalas de valoración pueden clasificarse en numéricas, gráficas y descriptivas, en función de la escala que se utilice para hacer la graduación valorativa. c) Anecdotarios : "Son registros de incidentes o anécdotas en breves descripciones que el profesor (como observador) considera interesante tener en cuenta en el momento en que suceden. Un conjunto registrado de 152 estos incidentes a lo largo del curso/ciclo puede servir como una buena evidencia, objetiva y longitudinal, de las actitudes y comportamientos mantenidos por el alumno, de las causas o motivaciones de su conducta, así como de si se ha producido algún cambio" (Bolívar Botía, 1995: 118). En ellas "se recogen anécdotas o episodios en función de un plan que puede ser longitudinal o transversal. Sus componentes son: identificadores (observador y observado), hecho o incidente recogido, contexto en que se produjo, interpretaciones o anotaciones del observador" (Zabalza, 1988: 268). Una última cuestión sobre la observación trata sobre la conveniencia o no de observar al alumno en situaciones en las que éste no sabe que lo observan: "Quienes defienden este tipo de observación lo hacen sobre la base de que todos los sujetos que se saben observados modifican sus pautas de conducta. A partir de este argumento defienden la conveniencia de hacer observaciones subrepticias que permitan obtener información fiable de los alumnos sobre sus verdaderas actitudes y no sobre las que fingen cuando se saben observados. Pero, ¿el fin justifica los medios? [...] Muchos evaluadores reprueban este tipo de prácticas, convencidos de que las normas de transparencia y honradez desaconsejan las observaciones subrepticias, aunque estén guiadas por las mejores intenciones. Los alumnos deben saber los aspectos que se van a observar, en qué momentos va a hacerse la observación y mediante qué instrumentos se va a realizar" (Blanco Prieto, 1994: 89). B. Monografías . Según Francisco Blanco Prieto: "las monografías hacen referencia, básicamente, a los trabajos bibliográficos que realiza el alumno a demanda del profesor. La finalidad fundamental de estos trabajos es profundizar en algún conocimiento específico, capacitar al alumno en la búsqueda de información, favorecer el desarrollo de la creatividad, mejorar capacidades relacionadas con la expresión escrita, fomentar su capacidad de autoformación y facilitar el conocimiento de criterios que desarrollen su capacidad para la evaluación de su propio aprendizaje". (Blanco Prieto, 1994: 97). 257 1. Medida en que se diferencia claramente en nues tras clases entre evaluación de seguimiento y evaluación de control de los aprendizajes alcanzados por nuestros estudiantes. 2. Coherencia entre nuestra actuación didáctica (objetivos, métodos, estilo de llevar la materia) y evaluación. 3. Variedad y gradualidad de las demandas (de conocimiento o habilidad) que les planteamos a los alumnos en la evaluación. 4. Nivel de presencia de fórmulas innovadoras de evaluación en nuestras clases. 5. Nivel de información previa y de feedback posterior suministrado a los alumnos en relación a la evaluación y a sus resultados en ella. 6. Incorporación de sugerencias u orientaciones ofrecidas a los estudiantes en función de los resultados de la evaluación con vistas a que puedan mejorarlos. 7. Existencia de oportunidad de revisión de ex ámenes y nivel de efectividad de los mismos. 8. Graduación de las modalidades de evaluación de los primeros años de la carrera a los últimos (medida en que nuestras evaluaciones se acomodan a la posición que les corresponde en esa graduación). 9. Nivel de incorporación de las nuevas tecnologías como recurso para la evaluación. 10. Medida en que se ofrece la posibilidad de valorar y reconocer (acreditar formalmente) conocimientos y experiencias adquiridos por los estudiantes fuera de nuestras clases pero que pertenecen a ámbitos de nuestra disciplina” (Zabalza, 2003: 213-214). Para concluir este apartado, podemos decir que la evaluación de alumnos en el ámbito universitario, además de definirse por las características de las que hablamos cuando nos referimos a la evaluación en general, debe ocuparse también de asegurarse que los alumnos estén adquiriendo una ética profesional al mismo tiempo que se forman como ciudadanos a todos los niveles. Así se establece en el “Manifiesto Universitario: por una Universidad dirigida hacia la libertad, el desarrollo y la solidaridad” (1999), manifiesto elaborado por catorce rectores de algunas de las universidades más prestigiosas 258 a nivel mundial (Oxfod, Cambridge, Harvard, La Sorbona, etc.) reunidos con motivo de la conmemoración de los 500 años de la creación de la Universidad Complutense de Madrid, en el que se recogen los principios que deben animar la educación universitaria haciendo especial hincapié en la formación integral, no sólo técnica, de los estudiantes: "Las universidades firmantes de esta Declaración ex presan su convicción de que el cumplimiento de su misión no se satisface con el mero incremento y transmisión de destrezas y recursos técnicos partic ulares, o con la especialización por determinadas tareas demandadas por el mercado. La tarea universitaria sólo encontrará su sentido último en el logro de una educación para la ciudadanía [...] Corresponde, pues, a la Universidad la tarea de formar ciudadanos y no sólo técnicos, recuperar la Atlántida sumergida de los valores que nos han hecho más lúcidos, más prósperos y más felices y que balizan los caminos que elevan al hombre a un mundo mejor." Debe quedar claro, además, que para conseguir esto hay que atender a las especiales características institucionales, de organización de espacios y recursos, etc., que presenta este ámbito. Pero esto no quiere decir que amparándose en estas circunstancias, así como en las "condiciones en las que llegan los alumnos" y en la falta de formación docente exigida al profesorado universitario, se concluya que es imposible conseguir una evaluación como la que se propone, manteniéndose las mismas prácticas evaluativas de siempre. "No poner en tela de juicio las prácticas nos lleva a repetirlas de manera mecánica. Asentarnos en las certezas de la práctica hace inviable su mejora" (Santos Guerra, 1999b: 386). Sólo en la medida en que se vayan introduciendo modificaciones en las prácticas docentes (tanto de enseñanza como de evaluación), que se corresponderán con cambios en sus creencias y en el uso de recursos y materiales -por supuesto condicionados por las circunstancias contextuales en que se encuentran- se estará avanzando hacia una nueva forma de entender la evaluación de estudiantes. 263 RECAPITULACIÓN DEL MARCO TEÓRICO Haciendo una recapitulación de lo que hemos visto en este Marco Teórico, podemos decir que a lo largo del mismo hemos situado nuestro objeto de estudio –la evaluación de estudiantes en la Universidad de Santiago de Compostela– en los cuatro grandes contextos de referencia en los que se enmarca: la Universidad, los estudios sobre la calidad de la docencia universitaria, la teoría general de la evaluación de estudiantes, y la investigación sobre evaluación de estudiantes en el contexto universitario. De esta forma, en el primer capítulo hemos contextualizado la evaluación de estudiantes en el ámbito institucional universitario en que se desarrolla, constatando la denuncia de importantes problemas para desarrollar o llevar a la práctica los objetivos y principios que se defienden para la Universidad española y el planteamiento de nuevos retos para los próximos años; problemas y retos que sin duda se pueden (y se deben) abordar desde múltiples perspectivas, una de las cuales podría ser, desde nuestro punto de vista, la forma en que se desarrolla la evaluación de los estudiantes. Sintetizando lo que hemos visto en este primer capítulo, podemos decir que la Universidad se constituye como una institución compleja en la que confluyen los intereses de muy diversos campos y ámbitos, lo que hace que en ocasiones se espera que responda a exigencias que son contrapuestas entre sí. El problema se hace mayor si tenemos en cuenta los grandes cambios que han experimentado las instituciones de educación superior en las últimas décadas, de forma que son muchos los problemas y retos que se le plantean actualmente, así como las denuncias y demandas que se realizan desde todos los colectivos de la sociedad (incluidos los más directamente relacionados con el funcionamiento de estas instituciones, como son profesores y estudiantes). Parece que en la actualidad, a pesar del acuerdo formal en las declaraciones legales, todavía se está intentando delimitar claramente cómo se han de concretar las finalidades que deben cumplir las instituciones 264 universitarias, lo cuál varía mucho en función de la perspectiva e ideología desde las que se lean estas finalidades. En cualquier caso, este panorama hace que sea fácil comprender que haya dificultades a la hora de llevar a cabo la evaluación de estudiantes y de establecer claramente qué funciones debe cumplir esta evaluación. Aunque teóricamente parece que están claros cuáles son los objetivos que se deben satisfacer con la evaluación de estudiantes, su puesta en práctica en el contexto universitario sigue encontrando graves dificultades. Como comentábamos anteriormente, creemos que el saber cómo se desarrolla el proceso de evaluación de los estudiantes universitarios nos puede ayudar a conocer mejor cuáles son los problemas y retos con los que se encuentra actualmente la enseñanza universitaria, al mismo tiempo que nos proporcionará algunas posibles líneas de actuación para su resolución. Lo que se nos plantea para nuestra investigación después de revisar la información sobre el contexto universitario en que se desarrolla la evaluación de estudiantes sería: - teniendo en cuenta cómo se realiza la evaluación de estudiantes: ¿qué modelo de Universidad se puede decir que se sigue en esta institución? ¿a qué idea de Universidad está sirviendo la evaluación de estudiantes? - ¿en qué medida está contribuyendo la evaluación de estudiantes a las funciones/misión de la educación superior? - ¿a qué exigencias responde la evaluación de estudiantes: rendimiento, capacitación profesional, especialización, o bien visión globalizadora, perspectiva crítica, ...? - ¿cómo responde o se está adaptando la evaluación a los nuevos retos que tiene actualmente planteada la institución universitaria? - ¿se está cumpliendo la normativa sobre evaluación?, ¿es esta normativa suficiente?, ¿deberían aparecer recogidos otros elementos en la normativa universitaria sobre evaluación de estudiantes? 265 A continuación , en el segundo capítulo de este Marco Teórico hemos situado nuestro objeto de estudio en la actual investigación sobre la calidad de la Universidad que está en auge en nuestro país, defendiendo la inclusión del análisis del proceso de evaluación de los estudiantes como uno de los indicadores de la calidad de la enseñanza de la Universidad, y justificando por qué este aspecto puede darnos valiosa información para conocer y comprender mejor como se desarrolla el proceso de enseñanza-aprendizaje en una institución universitaria. Como hemos visto en este capítulo, calidad es un término complejo, que tiende a confundirse con conceptos como eficiencia, relevancia y pertinencia, y que en cualquier caso se define como multidimensional y con multitud de factores interrelacionados. Aún así, la preocupación actual por la calidad de las Universidades es común a la práctica totalidad de los países desarrollados, considerándose actualmente que son tres los instrumentos básicos para llevar a cabo la evaluación de esta calidad: autoevaluaciones realizadas por la propia institución, evaluaciones externas por un comité de expertos, y la utilización de indicadores que informen sobre el funcionamiento de la institución. Centrándonos ya en el contexto español, hemos analizado el Plan Nacional de Evaluación de la Calidad de las Universidades, el II Plan de Calidad de las Universidades, así como el Catálogo de Indicadores publicado por el Consejo de Universidades y el Programa de Evaluación Institucional de la ANECA. Comprobamos como en las guías de evaluación aprobadas por los Comités Técnicos de estos Planes se establecen una serie de orientaciones metodológicas, indicadores a evaluar y procedimientos a emplear en relación con la enseñanza, investigación y servicios universitarios. Pero, si bien es cierto que en estas guías se incluyen varios apartados que hacen referencia al desarrollo de la enseñanza, sus resultados y al alumnado, cuando analizamos los indicadores que proponen para obtener información sobre la calidad de estos aspectos nos damos cuenta de que en ellos a menudo el estudiante se 266 considera únicamente en función de las horas que dedica al estudio y de la rapidez o facilidad con que supera los exámenes. Teniendo en cuenta que la evaluación de los alumnos es uno de los aspectos que más influencia tiene en la forma en que se desarrolla el proceso de enseñanza-aprendizaje, y que más condiciona las valoraciones que de este proceso hacen los estudiantes, nos parece relevante introducir esta dimensión como uno de los indicadores a considerar para evaluar la calidad de la enseñanza universitaria; incluyendo en este indicador no sólo los resultados que los alumnos han alcanzado, sino también la evaluación del conjunto de conocimientos y habilidades que se espera que los alumnos adquieran en su formación universitaria, las valoraciones que del proceso de evaluación hacen estudiantes y profesores, su grado de satisfacción respecto a cómo se desarrolla dicho proceso, las metodologías que se utilizan para llevarlo a la práctica, etc.; aspectos que parece que empiezan a considerarse a partir de la elaboración del Programa de Evaluación Institucional de la ANECA, aunque su finalidad se encuentra más cercana a la acreditación que a la mejora del proceso de enseñanza-aprendizaje que se desarrolla en las universidades. Comprobamos así como es necesario contemplar una gran diversidad de aspectos relacionados con la evaluación de estudiantes para que ésta realmente nos pueda servir como indicador de la calidad universitaria. Por ello, creemos que conociendo mejor cómo se defiende actualmente que debe realizarse esta evaluación (qué dimensiones hay que considerar, qué técnicas se pueden utilizar, cuáles son los criterios a tener en cuenta, etc.) y contrastando esta información con la práctica de evaluación que se está desarrollando en las diferentes universidades, podremos saber en qué medida la evaluación de los estudiantes está contribuyendo a la calidad de esas instituciones. El presente trabajo de investigación se enmarca fundamentalmente en la evaluación de la calidad de la enseñanza dentro de la evaluación de la calidad universitaria en general, ya que consideramos que es precisamente en este ámbito donde conocer cómo se realiza la evaluación de los estudiantes nos 267 puede ofrecer información muy relevante para mejorar la calidad de la enseñanza y de la Universidad en conjunto. Consecuentemente, uno de los objetivos que perseguimos con esta Tesis Doctoral es conocer, a partir de los datos que arroje la investigación empírica, cómo contribuye la forma en que se realizar la evaluación de estudiante a la calidad de la enseñanza en la Universidad de Santiago de Compostela. En el tercer capítulo de este Marco Teórico, realizamos una síntesis de las aportaciones más recientes o relevantes de diferentes autores sobre la evaluación, estableciendo así lo que denominamos una "aproximación a una Teoría de la Evaluación de Estudiantes", ya que nos pareció imprescindible plantearnos los dilemas que pueden estar presentes en la evaluación de estudiantes para que, a la hora de diseñar la investigación empírica, sepamos qué preguntar y cómo interpretar y valorar la información que obtengamos sobre el desarrollo de este proceso en la USC. Comenzamos dicha aproximación presentando diferentes definiciones de evaluación, distinguiéndola de otros términos afines, mostrando posibles desenfoques o reduccionismos de la evaluación, etc., llegando a la conclusión de que todas las definiciones de la evaluación parecen tener algunas características en común, y que podrían ser consideradas como los componentes o aspectos que deben estar presente en cualquier evaluación para que pueda ser definida como tal. Nos referimos a considerar que la evaluación es: un proceso sistemático, que implica un juicio de valor sobre el objeto o cuestión a evaluar y que está al servicio de una toma de decisiones. Con una definición de evaluación clara, pasamos a recoger las características que le atribuyen a la evaluación distintos autores, las cuales, sintéticamente, podrían enunciarse así: la evaluación realizada en el ámbito educativo: 268 • Forma parte del proceso de enseñanza-aprendizaje. • Tiene un sentido educativo/formativo. • Atiende o abarca a todos los participantes e integrantes del sistema educativo. • Es una evaluación negociada, dialogada y democrática. • Las conclusiones deben ser accesibles a todos los integrantes de la comunidad educativa. • Tiene su base en principios o valores éticos. • Es participativa/colaborativa. • Tiene como fin la mejora de los aspectos evaluados. • Utiliza instrumentos y métodos de recogida y análisis de datos apropiados y coherentes con su sentido y finalidades. A continuación, en este capítulo revisamos algunos conceptos importantes relacionados con las dimensiones de la evaluación de estudiantes, así: - a la hora de concretar cuál es el objeto de la evaluación educativa; abordamos algunos aspectos relacionados con cómo evaluar , constatando que se deberían utilizar distintos tipos de pruebas y asegurarse de que los aprendizajes a evaluar están bien representados en aquellas, ya que ninguna prueba sirve para recoger información sobre el aprendizaje de todas las clases de contenidos; - distinguimos las tres modalidades de evaluación tomando como referente el momento en que se realizan y la función que se les otorga, presentando su definición, finalidad y características según la opinión de varios autores; - expusimos, a continuación, algunas notas sobre quién evalúa y para quién se realiza la evaluación; volviendo a recoger la idea de que todos los implicados en el proceso de evaluación tienen derecho a participar en todas las fases de dicho proceso (desde su diseño hasta la elaboración de las conclusiones); 269 - y, seguidamente, recogimos las opiniones de algunos autores en relación a cuáles deben ser las funciones de la evaluación educativa. Consecuentemente, concluimos que éstas son las dimensiones sobre las que deberíamos preguntar a estudiantes y profesores universitarios para saber cómo se realiza la evaluación de estudiantes en la Universidad de Santiago de Compostela; aspectos que, por tanto, deberán quedar reflejados en los instrumentos que utilicemos para recoger información en la parte empírica de esta investigación. Nuestra pretensión es, por consiguiente, saber cómo se realiza la evaluación de estudiantes en nuestra Universidad en relación con cada una de estas dimensiones, para poder valorarla a partir de un contraste con lo que se establece en la literatura especializada que debería hacerse. Una vez visto esto, en el último capítulo de este Marco Teórico, nos pareció fundamental centrarnos en algunas de las características propias de la evaluación de estudiantes en el ámbito universitario, así como revisar otras investigaciones que se hayan realizado sobre el proceso de evaluación de estudiantes en este contexto, y conocer cuáles son las peculiaridades que se establecen en función del área de conocimiento en que se enmarque esta evaluación. De esta forma, pretendíamos conocer qué especificidades establece la literatura especializada para la evaluación de estudiantes en el nivel universitario, qué aspectos se han investigado hasta el momento sobre esta temática en nuestro contexto, y las orientaciones o cambios que teóricamente se argumenta que debe adoptar la evaluación de estudiantes para mejorar la calidad de los procesos de enseñanza-aprendizaje en la Universidad. En esta revisión comprobamos como, a pesar de contar este nivel educativo con características propias que lo hacen diferente de los niveles de educación infantil, primaria o secundaria, y que consecuentemente implican la necesidad de un modelo de evaluación en la Universidad específico y acorde con estas características, no existe actualmente una sistematización de dicho 270 modelo. De esta forma, son muy pocas las diferencias que se establecen con respecto a la Teoría General de la Evaluación, centrándose fundamentalmente en la especial atención que requiere el hecho de estar formando profesionales de nivel superior (tanto a nivel de funciones como de lo que se considera objeto de evaluación), la necesidad de ampliar los instrumentos y pruebas a emplear, y advirtiéndose que la información que este proceso ofrece debe tener en cuenta los intereses de los diferentes destinatarios: estudiantes, profesores, empresarios y sociedad en general. Aún así, constatamos en las publicaciones revisadas, como la evaluación de los estudiantes se erige como una dimensión crítica para la valoración de la calidad del proceso de enseñanza-aprendizaje también en la Universidad, si bien: a) se mantiene la confusión respecto al <<qué>> evaluar, y así, rendimiento, aprendizaje y conocimiento siguen empleándose como sinónimos cuando no lo son; b) apenas se ha escrito nada acerca de lo que debe ser adoptado como criterio en la evaluación -tal asunto pareciera darse por resuelto cual si se tratara de una obviedad que no precisa de más reflexión-; y, c) lo mismo ocurre respecto al <<cuándo>> evaluar y <<quién>> evalúa: ¿será acaso sólo el profesor, y sólo al final de la materia? Por otro lado, encontramos serias dificultades para poder conocer si el planteamiento curricular de las diferentes áreas de conocimiento establece diferencias a la hora de llevar a cabo la evaluación de estudiantes. Más bien, todo parece indicar que a pesar de contar cada área con una racionalidad epistemológica interna, al utilizar de hecho métodos estándares de evaluación hiciera que la peculiaridad del área no quede reconocida. Se nos plantea así la duda de si existe una reflexión epistemológica de profesorado y 281 Presentamos a continuación los capítulos referidos al Diseño de la investigación (capítulo 5), Análisis de la información recogida (capítulo 6) y Conclusiones generales de esta Tesis (capítulo 7). 282 285 5. DISEÑO DE LA INVESTIGACIÓN: La estructura de este capítulo se basa en tres grandes apartados. En el primero de ellos, sobre la naturaleza y objeto de estudio , se delimita el problema de investigación bajo el enunciado "La evaluación de los estudiantes universitarios: el caso de la Universidad de Santiago de Compostela". En el segundo apartado recogemos los objetivos formulados para la realización de esta investigación, y en el último apartado la metodología de la investigación , es decir, de que forma se realizó el estudio teniendo en cuenta que se trata de un estudio eminentemente descriptivo-interpretativo. En este punto se considera también la definición y selección de la muestra y los instrumentos utilizados para la recogida de datos. Buscando una guía que nos oriente sobre las principales preguntas que debemos formularnos y concretarlas para esta investigación, seguimos fundamentalmente los manuales de Fox (1981): El proceso de investigación en educación, y de Latorre, Del Rincón y Arnal (1996): Bases metodológicas de la Investigación Educativa. 5.1. NATURALEZA Y OBJETO DE ESTUDIO : Tal y como hemos establecido en el Marco Teórico, y teniendo en cuenta: - las investigaciones sobre evaluación de estudiantes en el ámbito universitario que se han realizado hasta el momento, - la asociación de la evaluación a la calidad de la enseñanza, - la creencia de que la metodología de evaluación de alumnos más habitual en la Universidad sigue reducida a una calificación basada en la información obtenida mediante un examen tradicional, 286 - y el hecho de que son escasos los estudios exhaustivos sobre lo que los propios profesores y alumnos universitarios piensan y perciben de la evaluación que realizan o de la que son objeto, consideramos importante realizar una investigación que tenga como objeto de estudio conocer cómo se realiza la evaluación de estudiantes en la Universidad , centrándonos en este trabajo en las percepciones de profesores y alumnos de la Universidad de Santiago de Compostela. El enunciado de nuestro objeto de estudio podría ser formulado también a través de las siguientes cuestiones: ¿cómo se lleva a la práctica en la Universidad de Santiago de Compostela la evaluación de los estudiantes?, ¿cómo perciben los profesores que se está realizando la evaluación de los alumnos?, ¿cómo ven y viven los estudiantes universitarios su proceso de evaluación?, ¿qué diferencias existen entre lo que nos dicen los profesores y lo que perciben los estudiantes? Cuestiones que además se irán desglosando en función de los diferentes aspectos que surgieron a lo largo del Marco Teórico y sobre los que esperamos poder obtener información relevante. La elección de este problema de investigación responde tanto a un interés existente en la comunidad científica por el tema, como a una preocupación de la comunidad universitaria (que debería ser especialmente relevante para los responsables de la calidad docente de esta Universidad). Pero, sobre todo, abordando este tema respondemos a un interés personal y profesional, dirigido a la optimización de la práctica educativa en la enseñanza universitaria. Latorre, Del Rincón y Arnal (1996) afirman que el objeto de estudio, o problema de investigación, puede ser considerado de distintas formas: "como una dificultad u obstáculo que desconcierta a los investigadores (Dewey, 1933), como una pregunta que el investigador se formula de cara a la comprensión y explicación de un fenómeno educativo (Bartolomé, 1983) o incluso como una situación educativa que el profesor o maestro considera como susceptible de cambio o mejora (Elliot, 1983). En sentido amplio, un problema es cualquiera situación sin una solución satisfactoria" 287 Desde esta perspectiva, consideramos que nuestro objeto de estudio se presenta como una pregunta que nos formulamos de cara a poder comprender mejor cómo se realiza la evaluación de estudiantes en nuestra Universidad, al mismo tiempo que lo percibimos como una situación susceptible de mejora y esperamos que la información que obtengamos nos oriente sobre algunas líneas posibles a seguir para optimizarla. En cualquier caso, para que una dificultad, pregunta o situación se convierta en problema de investigación ha de reunir una serie de condiciones, que Latorre, Del Rincón y Arnal (1996) concretan en las siguientes - Real: debe partirse de la existencia de un problema percibido o sentido. - Factible: que reúna las condiciones para ser estudiado, es decir, que esté al alcance del investigador. - Relevante: ¿tiene relevancia práctica?, ¿es interesante?, ¿importante?, ¿es actual?, ¿qué soluciones aporta? - Resoluble: ¿puede formularse una hipótesis como tentativa de solución? y ¿es posible comprobar dicha hipótesis determinando un grado de probabilidad? - Generador de conocimiento: la solución del problema ¿contribuirá a crear conocimiento pedagógico o cubrirá alguna laguna en el conocimiento actual? - Generador de nuevos problemas: la solución del problema debe conducir a nuevos problemas de investigación. Consideramos que nuestro objeto de estudio es: - Real: ya que se escuchan voces de protesta desde todos los sectores del ámbito universitario denunciando los problemas de la evaluación en la Universidad; - Factible: ya que en este caso tenemos acceso a los datos y la preocupación por estudiar esta problemática. 288 - Relevante: en la medida en que contribuimos a una mejora y optimización en el conocimiento de cómo se está evaluando a los estudiantes en la Universidad. - Resoluble: si bien nosotros, más que formular soluciones hipotéticas, consideramos que podemos establecer recomendaciones para la acción. - Generador de conocimiento: como ya hemos expresado anteriormente en este trabajo, creemos que son muy pocos o incompletos los trabajos que se ocupan de estudiar la evaluación en la Universidad desde la perspectiva de los principales implicados: profesores y alumnos, tomando a estos como fuente de información, por lo que consideramos que este trabajo puede cubrir esa “laguna” del conocimiento actual. - Generador de nuevos problemas: creemos que este es el caso de nuestra investigación, donde al abordar el problema de la evaluación de los estudiantes desde la perspectiva de su mejora como indicador de la calidad docente, indudablemente aparecerán otros aspectos condicionantes de la docencia universitaria con los que este proceso guarda estrecha relación y que se podrán reformular como nuevos problemas o líneas de investigación. Por tanto, basándonos en la aportación de estos autores, creemos que nuestro problema de investigación reúne un considerable número de las condiciones señaladas. 289 5.2. OBJETIVOS DE LA INVESTIGACIÓN : Bajo el título Evaluación de los estudiantes universitarios: el caso de la Universidad de Santiago de Compostela, se encuentra un gran objetivo general que anima nuestra investigación: "Saber cómo se realiza la evaluación de estudiantes desde las vivencias y percepciones de profesores y estudiantes de la Universidad de Santiago de Compostela". Para satisfacer este objetivo general, y recogiendo las preguntas que nos surgieron a lo largo del Marco Teórico, lo concretamos en los siguientes objetivos específicos , divididos en directos e inferidos : - Directos : objetivos que esperamos cumplir directamente a partir de la información obtenida de la muestra de estudiantes y profesores de la USC: 1. Describir las percepciones sobre la evaluación de los profesores y alumnos de las distintas áreas de conocimientos de la Universidad de Santiago de Compostela. 2. Analizar si existen diferencias y semejanzas entre las percepciones de los profesores y las de los alumnos. 3. Analizar si existen diferencias y semejanzas en las percepciones de profesores y estudiantes en función de las diferentes áreas de conocimiento. - Inferidos: objetivos que exigen un nivel mayor de interpretación o inferencia que los anteriores, ya que no se podrán extraer directamente de las respuestas de profesores y estudiantes: 4. Conocer qué modelo o idea de Universidad se está transmitiendo o fomentando con la actual forma de desarrollar el proceso de evaluación. 5. Analizar en qué medida esta contribuyendo la evaluación de estudiantes a las funciones/misión de la Universidad. 290 6. Conocer si la forma de realizar la evaluación de estudiantes se está adaptando a los nuevos retos que actualmente tiene planteados la Universidad española. 7. Comprobar si se está cumpliendo la normativa sobre evaluación de estudiantes, y establecer si esta normativa es suficiente o debieran aparecer otros elementos regulados en ella. 8. Conocer cómo están influyendo las especificidades propias del contexto universitario en el proceso de evaluación de los estudiantes. 9. Conocer hasta qué punto y cómo están recogidas las especificidades propias de cada área de conocimiento en el proceso de evaluación de los estudiantes. 10. Saber cómo está contribuyendo la forma de llevar a cabo la evaluación de estudiantes a la calidad docente de la Universidad de Santiago de Compostela. 291 5.3. METODOLOGÍA DE LA INVESTIGACIÓN : La Torre, Del Rincón y Arnal (1996) señalan tres grandes perspectivas metodológicas: a) Perspectiva empírico-analítica/cuantitativa (también denominada positivista o científica): el objetivo de la investigación es explicar, predecir y controlar los fenómenos educativos. b) Perspectiva constructivista/cualitativa: se interesa por los significados y las intenciones de las acciones humanas con el objetivo de lograr imágenes multifacéticas del fenómeno que hay que estudiar tal como se manifiesta en las distintas situaciones educativas y contextos implicados. c) Perspectiva orientada a la práctica educativa, toma de decisiones y cambio: La investigación se diseña, se realiza y se comunica con el propósito de proporcionar información para la toma de decisiones (a nivel político o dentro de la práctica escolar), de controlar la implantación de una determinada política o de examinar los efectos de la política existente. En un sentido amplio, esta perspectiva se extiende a los estudios diseñados con el propósito de comprender los procesos educativos y mejorar la praxis educativa. Considerando las características definitorias de las tres perspectivas de investigación señaladas anteriormente, podemos ubicar nuestro estudio entre las dos últimas. Nuestra intención es conseguir una mayor comprensión de cómo se produce el proceso de evaluación de estudiantes en la USC desde las diferentes “imágenes” que de este proceso nos pueden proporcionar estudiantes y profesores; y al mismo tiempo esperamos que este conocimiento nos sirva para poder aportar algunas posibles recomendaciones para la acción, sugerencias para optimizar la forma en que se desarrolla este proceso desde la perspectiva de la calidad docente. En cuanto al tipo de estudio que llevamos a cabo, diremos que esta investigación es básicamente descriptiva-interpretativa respecto a cómo 292 perciben los estudiantes y profesores de esta Universidad que se realiza la evaluación. Tal y como expresa Fox “la aproximación descriptiva está concebida para describir un conjunto determinado de fenómenos en sí mismos. El planteamiento lógico de la aproximación puramente descriptiva es que la información obtenida constituye en sí misma la respuesta de la pregunta de investigación formulada” (Fox, 1981: 478). Si bien debe tenerse en cuenta que en este tipo de estudios también hay un componente de interpretación de la información que se obtiene: “Además de la descripción, existe un elemento de interpretación del significado o importancia de lo que se describe. El conocimiento del estado actual es un primer paso necesario para la solución de los problemas. La investigación descriptiva puede ser utilizada también para identificar metas u objetivos y señalar los caminos por los que pueden ser alcanzados” (Best, 1978: 110) De acuerdo con este autor, la investigación descriptiva: “refiere minuciosamente e interpreta lo que es. Está relacionada a condiciones o conexiones existentes; prácticas que prevalecen, opiniones, puntos de vista o actitudes que se mantienen; procesos en marcha; efectos que se sienten o tendencias que se desarrollan. [...] El proceso de la investigación descriptiva rebasa la mera recogida y tabulación de los datos. Supone un elemento interpretativo del significado o interpretación de lo que se describe” ( Best, 1978: 91 ) Nos situamos así en un enfoque interpretativo, desde el cual entendemos que la realidad que intentamos explicar no es única ni uniforme, ni independiente de las percepciones de estudiantes y profesores o de los modos de interacción entre ellos, ni tampoco de las pautas socio culturales que entran en juego. Desde una concepción interpretativa, asumimos que el conocimiento que nos interesa se corresponde con el de los productos simbólicos del ser humano, como consecuencia de admitir que los sujetos se orientan en la realidad social a través del universo de significados que manejan y construyen; 299 En el caso de las entrevistas a los Directores de Departamento, como ya comentamos anteriormente ningún Director se negó a realizar la entrevista, si bien en este caso decidimos realizar de forma excepcional dos entrevistas en la Facultad de Medicina debido al alto número de estudiantes de esta titulación que había contestado el cuestionario. Consecuentemente, la muestra productora de datos quedó conformada por 15 entrevistas a Directores de Departamento. En el siguiente cuadro pueden verse más claramente el número de entrevistas y cuestionarios contestados por áreas de conocimiento y titulaciones: Cuadro 12: Distribución de la muestra productora de datos Área de Conocimiento Titulación Nº de cuestionarios contestados por alumnos % sobre el total de la muestra Nº de entrevistas realizadas a Directores de Dpto. % sobre el total de la muestra Derecho 43 1 Magisterio 48 1 Económicas 89 1 Psicología 83 1 Ciencias Sociales y Jurídicas Total: 263 34.42 4 26.67 Geografía 32 1 Filosofía 12 1 Historia 84 1 Filología 18 1 Humanidades Total: 146 19.11 4 26.67 Matemáticas 16 1 Biología 23 1 Químicas 17 1 Ciencias Experimentales Total: 56 7.33 3 20 Ing. Agrónomos 27 Explotaciones Agropecuarias 33 Hortofruticultura y Jardinería 50 Enseñanzas Técnicas Total: 110 14.40 1 6.67 Farmacia 23 1 Medicina 166 2 Ciencias de la Salud Total: 189 24.74 3 20 Total 764 15 300 Creemos así que si bien nuestra muestra no es representativa estadísticamente, sí lo es fenomenológicamente, al haber conseguido que la diversidad existente en cada una de las cinco grandes áreas de conocimiento que conforman nuestra Universidad esté presente en nuestra muestra de informantes. 5.3.2. INSTRUMENTOS UTILIZADOS PARA LA RECOGIDA DE DATOS : Los instrumentos de investigación utilizados para la recogida de información en este estudio: entrevistas y cuestionarios, nos permitieron acceder, respectivamente, a las percepciones de un gran número de estudiantes y profundizar en las concepciones y reflexiones que sobre este proceso hacen los principales responsables de la coordinación de la docencia en las instituciones universitarias. Estas técnicas de recogida de información se engloban dentro de la metodología de encuestas; metodología que nos pareció la indicada para esta investigación ya que: “La encuesta es muy útil cuando la investigación requiere datos descriptivos que los sujetos pueden proporcionar a partir de su propia experiencia personal” (Arnal, Del Rincón y Latorre, 1992: 178). Según Fox, este método de recoger información es adecuado “siempre que deseemos obtener cierta información que pensamos que tiene una persona, o que queramos conocer su opinión sobre un asunto [...] En la investigación descriptiva, es el método más adecuado para obtener información concreta acerca de las situaciones de investigación o de los sujetos que actúan en ellas” (Fox, 1981: 586). La recogida de información de la percepción de los estudiantes sobre su evaluación en la Universidad se hizo a través de la aplicación de un cuestionario , cuya versión original había sido construido por nosotros para la Tesina de Licenciatura que llevaba por título: “La percepción de los estudiantes sobre su evaluación en la Universidad”, y que fue repensado y actualizado para este estudio. 301 El cuestionario es un instrumento de recogida de información que se enmarca dentro del método de encuesta, el cual se considera adecuado en las investigaciones descriptivas "siempre que se pueda convencer al encuestado que se respetará su confianza y se utilizará correctamente el material" (Fox, 1981: 586). Con este propósito, en la presentación de nuestro cuestionario se les dice a los encuestados que la información que en él se recoge es absolutamente confidencial y será únicamente empleada para los fines de la investigación de la que forma parte; desde ese compromiso le pedimos que completen los datos que se solicitan. Por su parte, la recogida de información sobre las percepciones de los Directores de Departamento de la forma en que se está realizando la evaluación de estudiantes se realizó mediante entrevistas personales , ya que de acuerdo con diferentes autores, este es uno de los instrumentos más apropiados para obtener información en profundidad sobre un tema: “ Las entrevistas son un método muy útil para recabar datos [...]. La flexibilidad es uno de sus aspectos más sobresalientes. El “rapport” (relación personal) que se establece con los sujetos crea una atmósfera de cooperación en la que puede obtenerse información verídica. [...] El entrevistador puede explayarse sobre alguna pregunta y explicar su significado en caso de que a su interlocutor le parezca poco clara. Ninguno de los otros tipos de recopilación de datos ofrecen estas ventajas” (Ary, Jacobs y Razavich, 1990: 179). Kerlinger (1982: 338) le atribuye las siguientes funciones: - Instrumento de exploración que ayuda a identificar variables y relaciones, a sugerir hipótesis y a guiar otras fases de la investigación. - Instrumento de recogida de información de las variables de la investigación. - Función de complementación de otros métodos, sobre todo para la validación. 302 Las principales ventajas de las entrevistas frente a los cuestionarios es que permiten obtener mayor información cuando se trata de cuestiones comprometidas y existe menor riesgo de pérdida que con los cuestionarios y, aunque existe un porcentaje de fallidas, siempre es menor que la pérdida de cuestionarios. Además: “con un realizador experimentado, la entrevista es muchas veces superior a otros sistemas de obtención de datos. Una razón es que las personas, generalmente, prefieren hablar que escribir. Cuando el entrevistador ha obtenido el rapport o establece una relación segura y amistosa con el sujeto se pueden obtener ciertos tipos de información confidencial que un individuo se resistiría a expresar por escrito. El investigador puede explicar el propósito de la entrevista y especificar más claramente la información que necesita. Si el sujeto interpreta erróneamente la pregunta, el interrogador puede plantear una cuestión aclaratoria. [...] Es también posible buscar la misma información por distintos caminos en diversos estadios de la entrevista, obteniendo así una comprobación de la veracidad de las respuestas” (Best, 1978: 160). De hecho, nosotros pudimos comprobar la diferencia entre las primeras entrevistas realizadas, donde la falta de experiencia como entrevistadores hizo que estuviéramos más tensos, ciñéndonos al guión previsto; mientras que a medida que fuimos ganando confianza y habilidad en el desarrollo de esta técnica, las entrevistas fueron mucho más fluidas y nos permitieron obtener información más profunda sobre el desarrollo real del proceso de evaluación de estudiantes y los problemas que los Directores de Departamento detectan para su puesta en práctica. En cualquier caso, para la construcción de ambos instrumentos tuvimos en cuenta que, dentro del método de encuesta, Fox (1981) destaca seis elementos a considerar: 1. El contexto de la encuesta. 2. El contenido de la encuesta. 3. La pregunta. 4. La previsión de la respuesta. 5. La forma como se registrará la respuesta. 6. La naturaleza de la interacción investigador-investigado. 303 1. Contexto de la encuesta : Abarca desde el porqué el investigador plantea las preguntas, hasta por qué piensa el encuestado que se las plantean, ya que no se trata necesariamente de la misma razón. El contexto abarca por qué piensa el sujeto que se le está haciendo la pregunta, qué cree que se hará con los datos, y su percepción de la orientación del encuestador (la naturaleza o contenido, y el tono y forma de cada pregunta). La conclusión es que el encuestado piensa la pregunta y la respuesta, y si percibe algo como que no sabe nada sobre lo que se pregunta, que está sesgada, que no se utilizará correctamente, que se abusa de su tiempo, etc., no sólo puede no contestar, sino que incluso puede burlarse contestando cualquier cosa. Por tanto, debe tenerse cuidado con las intenciones y ser claros en la presentación de lo que se pretende con la encuesta. Consecuentemente, antes de fijar las entrevistas con los Directores de Departamento, les enviamos por correo la siguiente carta, que acompañamos de una hoja con los principales trabajos publicados sobre esta línea de investigación y un CD-ROM en el que se publicaron las actas de un congreso co-organizado por nosotros en los que también se incluyen temas relacionados con esta investigación: Santiago de Compostela, 3 de abril de 2002 Estimado Director y Compañero: Me dirijo a ti para solicitar tu colaboración en una investigación que dirijo. Se trata de una Tesis Doctoral, que lleva por título <<La evaluación de los estudiantes en la Universidad: el caso de la Universidad de Santiago de Compostela>>, y que realiza Mónica Porto Currás, Becaria de Investigación Pre-Doutoral de nuestra Universidad. El favor que te pedimos es doble: por una parte, que aceptes ser entrevistado por Mónica; y por otra, que nos facilites el acceso a un grupo numeroso de alumnos de alguna de las materias de tu Departamento, al objeto de aplicarles un cuestionario. En el primer caso, se trata de una entrevista de poco más de una hora, y que necesitamos poder grabar en audio; preservando, como es preceptivo, la confidencialidad. La entrevista debería realizarse antes del mes de julio. En el segundo caso, quisiéramos poder acceder a los alumnos de los últimos cursos de la titulación en XXX. El tiempo previsto de aplicación es de 30 minutos. 304 Es obvio que todo esto te causará alguna molestia, y por eso dije que se trataba de pedirte un favor. Naturalmente, te lo planteamos en tu calidad de Director de Departamento, pues hay cuestiones que van más allá de la docencia y que conciernen a la coordinación de programas (lo que, en principio, corresponde a los Departamentos). Con todo, apurados de tiempo como solemos todos andar es razonable que te resistas y quizás te preguntes - si me permites el tono en exceso coloquial-, por qué te <<tocó>> a ti, de entre los muchos directores que hay en esta Universidad. Bueno, eso tiene fácil respuesta: primero seleccionamos por áreas de conocimiento, después por titulaciones de mayor tradición, y ya ahí, y una vez conocidos los nombres, nos decidimos por las personas que consideramos "personalmente" más accesibles (porque os conocíamos o porque nos hablaron muy bien de vosotros en este sentido, sin prejuzgar claro a los demás), al tiempo que -y esto es lo más importante- por vuestra reconocida trayectoria de compromiso con la calidad de la enseñanza en la Universidad. Más allá de esto, es obligado que sepas de qué se trata nuestra investigación, que se inscribe en una línea de trabajo de varios años que referencio en hoja aparte para, a modo de "tarjeta de visita", someterla a tu valoración. Por cierto, que aprovecho para enviarte un Cd-Rom con las Actas del Congreso sobre la Calidad de la Docencia en la Universidad que tuve la oportunidad de co-organizar. En cuanto al contenido de la investigación, básicamente arranca de considerar que las diversas iniciativas llevadas a cabo hasta el momento en materia de calidad universitaria se han olvidado de la calidad de los aprendizajes de los estudiantes que, a su vez, están muy condicionados por el tipo de evaluación que se practica. Por ello, ya en 1998, en lo que fue la Tesina de Mónica, nos ocupamos de este tema en nuestra Facultad, y publicamos un artículo cuya copia también te enviamos. Los datos "muy inquietantes" que nos aportó aquella investigación nos llevaron a considerar la necesidad de hacer un diagnóstico de lo que ocurría a este nivel en nuestra Universidad. La novedad ahora es que queremos dar voz a los profesores para contrastar su visión con la de los estudiantes. Por todo esto nos gustaría mucho contar con tu colaboración, que desde ya agradecemos. Te llamaremos a partir del 15 de abril al objeto de concretar todo esto. Naturalmente, estoy a tu disposición para cualquier aclaración que precises. Muy cordialmente, Fdo. Felipe Trillo Alonso En cuanto al cuestionario para estudiantes, en todos los cursos lo aplicamos personalmente, pretendiendo ser lo más claros y sinceros posible, explicando su sentido y el objetivo de la Tesis, y aclarando las dudas que pudieran surgir durante su respuesta. Además, el propio cuestionario aparece presentado del siguiente modo: 305 ¿ CÓMO PERCIBEN LOS ESTUDIANTES LA EVALUACIÓN? Este cuestionario forma parte de una investigación de Tesis Doctoral sobre la evaluación de estudiantes y la calidad de la enseñanza universitaria en la Universidad de Santiago de Compostela. Necesitamos tu colaboración para conocer cómo percibes y valoras tu experiencia de evaluación en la Universidad. La información aquí recogida es absolutamente confidencial, y será empleada únicamente para los fines de la investigación de la que forma parte. Desde ese compromiso te pedimos que completes los datos que aquí se solicitan. Muchas gracias por tu colaboración. 2. Contenido de la encuesta : Pocas veces se puede preguntar todo, y hay que seleccionar, … pero con fundamento, pues de ello dependerá también la validez del instrumento. A tal fin, habrá que proceder a la identificación de todos los posibles temas de consulta (contemplando lo que se sabe del asunto, tanto de las publicaciones e investigaciones anteriores como de lo que uno piense), así como a la consideración de la distribución proporcional (en función de su relevancia y amplitud) del tiempo para cada tema. Reconocemos que nuestros instrumentos de recogida de información son bastante amplios y extensos, pero nos pareció la única forma de recoger la percepción de estudiantes y Directores de Departamento sobre todas las dimensiones de la evaluación, lo cual nos parecía de enorme importancia. En cualquier caso, nos aplicamos el siguiente consejo para la preparación de ambos instrumentos: “Obtenga toda la ayuda que pueda en el planteamiento y elaboración de su cuestionario. Estudie otros cuestionarios y someta sus propias pruebas a la crítica de otros miembros de su clase o de su Facultad, especialmente a quienes han tenido experiencia en la estructuración de cuestionarios ” (Best, 1978: 142). 306 Así, durante el diseño de esta investigación le pedimos asesoramiento sobre el cuestionario a varios especialistas en estadística de la Facultad de Psicología (Jesús Varela Mallou, Antonio Rial Boubeta) y de la Facultad de Ciencias de Educación (Xosé Rubal Rodríguez) de esta Universidad con la pretensión de economizar su extensión. Entre las posibilidades que estudiamos estaba la de hacer un análisis factorial general para reducir preguntas, pero sus consejos fueron que hacer un análisis factorial general de todos los ítems no tenía demasiado sentido, ya que nos saldrían demasiados factores y además nosotros ya tenemos nuestros propios factores o dimensiones extraídos de la teoría. Otra posibilidad estudiada fue hacer un análisis factorial de componentes principales por “bloques”. Así se vería que factores aparecen en cada uno de los bloques que nosotros construimos, y al mismo tiempo, ver cual es el peso de cada ítem en cada factor, para poder decidir si agrupamos algunos, si cambiamos su redacción o si podemos prescindir de algún ítem. Y también nos sugirieron que se podía hacer un análisis de correlaciones entre los ítems de cada bloque, para ver cuáles correlacionan entre ellos, de forma que si hay varios con una correlación muy alta también se podría ver la forma de eliminar alguno o agruparlos de algún modo. Después de hacer estos análisis y estudiar las diferentes posibilidades, creímos que eliminar ítems o agrupar algunos de los que presentaban correlaciones altas dentro de una dimensión eliminaba los matices entre los cuales nosotros queríamos que se movieran las respuestas de los estudiantes, por lo que finalmente fueron muy pocos los cambios efectuados a la redacción inicial que teníamos del cuestionario utilizado en la Tesina de Licenciatura. En cuanto al contenido de la entrevista, también pasó por varias pruebas pilotos, y con el asesoramiento de diferentes profesores de esta Facultad expertos en la metodología cualitativa de recogida de información, como son José Antonio Caride Gómez y Miguel Ángel Zabalza Beraza. 307 En un principio elaboramos un primer guión de entrevista para decanos, que se puso a prueba con un ex-decano de la Facultad de Ciencias de la Educación. En esta prueba comprobamos que la entrevista no ofrecía los resultados previstos y que era difícil obtenerlos tomando como informantes a este colectivo, ya que los decanos no conocen realmente como se realiza la evaluación de estudiantes en su Facultad. De hecho, en la prueba piloto con este ex–decano, se nos dice explícitamente que este sería un tema de instancias departamentales, aunque podría abordarse también en la Comisión Académica de la Facultad, pero sería una instancia de valoración, reconocimiento ... (no de toma de decisiones), y para eso las Comisiones de la Junta de Facultad deberían trabajar de una forma más eficiente. “En ningún momento de mi actividad como Decano se abordó en ninguna instancia de gobierno de la Facultad los aspectos técnicos relativos a la evaluación del estudiantado. Digamos que esa es una cuestión que en principio cae en la instancia departamental. No es menos cierto que la Comisión Académica de la Junta de Facultad podría ser una instancia que, no de toma de decisiones, pero sí de resonancia, de estudio, de balance, de valoración, de reconocimiento, efectivamente, de cómo en el conjunto de la Facultad, en la agrupación mismo del Departamento, esta cuestión se podría analizar. Pero hay que decir que las Comisiones de la Junta da Facultad funcionan, no voy a decir yo deficitariamente, pero a un ritmo más bien bajo, y de tal modo pues una cuestión que ya no toca directamente a los ámbitos y competencias de la Junta de Facultad, que están bajo la responsabilidad directiva del Decano, pues efectivamente ya es un asunto que no se abordó”. Del mismo modo, expresa que sería deseable que existiera una reflexión sobre esta temática en las Comisiones Académicas, y que es un tema escasamente considerado por los decanatos (excepto en los casos de conflictos, que es donde interviene por vía administrativa). Consecuentemente, viendo estos resultados elaboramos un guión de entrevista para Directores de Departamento, que también pusimos a prueba con un ex-director de nuestra Facultad, y a partir de ahí vimos que estos sí podían ser informantes valiosos y se procedió a hacer los ajustes necesarios en las preguntas de esta prueba. 308 En la prueba piloto con el ex–director de nuestra Facultad, comprobamos como la valoración de la entrevista fue muy positiva: “Muy interesante, es muy rica a la hora de plantear temas que son cruciales para la evaluación en el marco de un departamento, e incluso en la Universidad en general, en la Facultad, por supuesto, y que en sí misma introduce yo creo que cuestiones que son clave para saber más de la evaluación que se desarrolla en un centro, en un departamento, e incluso los profesores ¿no? Metodológicamente me parece que está bien planteada, es sugerente, gana en intensidad y en sentido conforme se avanza en ella, yo creo que sí. Contempla tanto aspectos formales como más de contenido, más de trasfondo de la evaluación. Plantea como mínimo dilemas entre los cuales la evaluación general se mueve, y yo creo que en líneas generales permite evaluar la evaluación ¿no?, que se entiende que es un objetivo básico de la entrevista como instrumento que permite recoger información, analizarla después e incluso ayudar a tomar decisiones. Yo la valoro como interesante; el tiempo razonable, es un tema complejo, y bueno quizás a lo mejor más asequible para quienes estamos en el mundo de las Ciencias de la Educación que para quienes están fuera ¿no?, que quizás comiencen por preguntarse sobre qué significa hablar de evaluación. Pero bueno, se entiende que un Director de Departamento por lo menos debe estar familiarizado con todos los conceptos y planteamientos que aquí se hacen. En la medida en que se pueden ir adelantando en algunas cuestiones que están al principio respuestas, algunas de las que vienen más tarde pueden ser reiterativas ¿no?, pero bueno, como tuviste la habilidad de decir, bueno esto ya se planteó ..., es decir, si se plantean de modo flexible, entendiendo que algunas de esas cuestiones ya habían sido abordadas, por lo que hay como una segunda oportunidad para repensar, para matizar lo que se había dicho antes. No sé si a lo mejor plantear cuestiones o alguna cuestión sobre si tendría sentido para los departamentos establecer algún tipo de proceso formativo, de mejora, orientado a que los profesores hagan una evaluación distinta. Es decir, en el sentido de situar la evaluación no sólo fundamentalmente en lo que está pasando, en lo que se está haciendo, en lo que hay, sino en cómo se puede ayudar a los profesores de un departamento universitario a mejorar esos procesos evolutivos. Son aspectos que en definitiva tienen que ver con la calidad de lo que puede ser en general la actividad docente o la propia Universidad.” Valoraciones y sugerencias que, obviamente, agradecimos e intentamos incorporar en la versión definitiva del guión de entrevista de esta investigación. 317 6.1. ANÁLISIS DE LOS CUESTIONARIOS : 6.1.1. INTRODUCCIÓN : Exponemos ahora el análisis de la información obtenida a través de la aplicación del cuestionario a estudiantes de las cinco áreas de conocimiento de la Universidad de Santiago de Compostela, para conocer sus percepciones sobre como son evaluados. Pero antes de empezar con el análisis propiamente dicho, en esta introducción queremos dar cuenta de: a) algunas incidencias ocurridas durante el proceso de recogida de datos, b) algunas decisiones adoptadas a la hora de codificar la información recogida, c) el proceso de análisis seguido, y d) la forma en que vamos a organizar y presentar el análisis de la información en los siguientes apartados. a) Incidencias : En primer lugar nos gustaría llamar la atención sobre algunos hechos que nos sorprendieron en la recogida de datos, como las grandes diferencias en el grado de motivación que mostraron los estudiantes al responder el cuestionario. Así, encontramos: • Grupos de alumnos muy motivados por realizar los cuestionarios, fundamentalmente en Derecho y Psicología. En Derecho los alumnos se quejaron de cómo son evaluados por sus profesores, comentándonos que casi el cincuenta por ciento de los alumnos van a terminar su carrera en otras universidades; mientras en Psicología las quejas vienen motivadas porque únicamente son evaluados con exámenes tipo test, y en donde además se preguntan los datos más insignificantes -fechas, frases de autores, ejemplos-, olvidándose de lo verdaderamente importante de los temas estudiados. En ambas titulaciones al acabar la aplicación del cuestionario varios alumnos se acercaron a preguntar cómo se iban a analizar los datos, la repercusión que iba a tener la investigación, etc, comentando sus casos particulares. 318 • Grupos de alumnos que respondieron el cuestionario sin ningún tipo de entusiasmo ni queja. • Grupos de alumnos que, al ser informados por el profesor correspondiente del día en que se iba a aplicar el cuestionario, faltaron masivamente a esa clase (si bien en esto pudo influir el hecho de que estaban próximas las fechas de exámenes finales). En este caso se encuentran especialmente la muestra de cuestionarios de Filología y Química. También es de destacar que en alguna titulación (Psicología, Química y Económicas) la aplicación del cuestionario coincidió con las encuestas de evaluación de la docencia por los alumnos, lo cual no sabemos si puede afectar a las respuestas o la forma en que se respondió este cuestionario, si bien después de haber realizado los análisis dudamos de que haya supuesto alguna interferencia en la investigación. Por último, también queremos comentar que el hecho de que el cuestionario estuviera redactado en castellano provocó que algún alumno no lo contestara, aunque sin quejarse explícitamente o decir que se negaba a cubrirlo por el idioma en que estaba escrito, sino simplemente haciendo comentarios al margen de las hojas del cuadernillo-cuestionario. Reconocemos que hubiera sido más correcto que el cuestionario estuviera redactado en ambos idiomas, o tener las dos versiones y ofrecer la posibilidad a los estudiantes de elegir la lengua en que querían leer las preguntas, pero fue una cuestión en la que no pensamos hasta que ya se había empezado a realizar las aplicaciones y solucionarlo encarecía sustancialmente los gastos de esta investigación, por lo que decidimos continuar con los cuestionarios en castellano. En cualquier caso, el número de cuestionarios perdidos por esta razón no superó los diez de una N total de 775 en el conjunto de todas las titulaciones encuestadas. 319 b) Decisiones adoptadas durante la codificación : En otro orden de cosas, al codificar las respuestas al cuestionario, comprobamos como muchos estudiantes dejan en blanco la pregunta 38, aunque después contestan las dos siguientes, que serían una especificación de esa misma, como puede comprobarse a continuación: ¿Qué crees tú que tus profesores/as consideran necesario evaluar?: 38.-El conocimiento adquirido por los estudiantes. 39.-De ese conocimiento: la solución de los ejercicios o la reproducción de la información, con independencia de que se haga memorísticamente. 40.-De ese conocimiento: la calidad de los procesos de razonamiento, creación, síntesis, etc. Esto posiblemente se deba a que al contestar las dos siguientes dan por contestada la anterior. Así, en el Análisis de Valores perdidos comprobamos como esta variable tiene 61 valores perdidos, si bien en porcentaje total no llega al 12%. La otra pregunta que tiene un alto número de valores perdidos es la 63, en la que los estudiantes tenían que responder si les gustaría que se utilizaran otros instrumentos de recogida de información, y en caso afirmativo especificar cuál o cuáles. Sabemos que en las preguntas en que se pide una respuesta abierta complementaria es en donde más posibilidades hay de pérdida de respuesta, lo cual puede ser la explicación de este número de valores perdidos, si bien también es cierto que el análisis de las respuestas dadas en esta pregunta puede ser muy enriquecedor al conjunto del cuestionario. Por esta razón, las dos preguntas con posibilidad de respuesta abierta (60.16 y 63 en el cuestionario) se analizan por separado para poder tener una visión más enriquecedora. Viendo el número de datos perdidos, decidimos eliminar un cuestionario, ya que tenía un 43% de valores perdidos (53 en números exactos). En este cuestionario con frecuencia se contestó únicamente a uno de los items dentro de la misma variable, lo cual podía distorsionar los resultados. 320 En principio optamos por mantener todos los demás cuestionarios, si bien encontramos alguno (tres en total) en el que se deja una hoja completamente en blanco, posiblemente porque se pasó sin darse cuenta pegada a la anterior. Asimismo hay una franja de cuestionarios que tiene entre 10 y 24 datos perdidos que nos hizo dudar, pero el porcentaje general de datos perdidos de este intervalo no llega en ningún caso al 20%, por lo que decidimos dejarlos igualmente. c) Proceso de análisis seguido : Consideradas estas incidencias, comenzamos a realizar el análisis de la información recogida, el cual según Latorre, Del Rincón y Arnal (1996), consiste en “organizar y tratar la información para que se pueda describir, analizar e interpretar”. Teniendo esto en cuenta, en nuestro estudio el análisis de los datos obtenidos mediante el cuestionario se realizó con técnicas que permiten los análisis descriptivos y correlacionales. Para ello se empleó el paquete estadístico SPSS para Windows. Los primeros análisis que efectuamos fueron análisis de frecuencias y descriptivos, para cada una de las variables y para el conjunto de los cuestionarios (sin discriminar por titulaciones ni áreas de conocimientos), obteniendo así una primera visión general. A continuación realizamos los primeros análisis descriptivos de cada variable en función de las titulaciones de nuestra muestra. De esta forma segmentamos la base de datos en función de la variable titulación, y obtuvimos frecuencias, tabla de frecuencias y descriptivos de cada variable en función de la titulación. Pero cuando empezamos a describir los resultados que obteníamos para cada una de las titulaciones, nos dimos cuenta que este trabajo podía hacer demasiado denso y oscuro el informe, y además debíamos tener en 321 cuenta que de acuerdo con los objetivos de nuestra Tesis era más coherente analizar la muestra por áreas de conocimiento. Consecuentemente, el siguiente paso fue agrupar los datos en función de las cinco grandes áreas de conocimiento (introduciendo esta nueva variable en la base de datos y segmentándola en función de ella) y obtener los estadísticos descriptivos (valores máximos y mínimos, media, desviación típica) y tablas de frecuencias para cada variable en función de las áreas de conocimiento. Una vez realizado el análisis descriptivo de todas las dimensiones del cuestionario por áreas de conocimiento, quisimos comprobar si había diferencias significativas entre las respuestas de las diferentes titulaciones que forman parte de una misma área. Para ello utilizamos las pruebas paramétricas para comparar medias de muestras independientes (t de Student para aquellas áreas de las que sólo tenemos dos grupos de alumnos, Análisis de Varianza para las áreas en las que hay más de dos titulaciones, y Chi Cuadrado para los casos en que queremos comparar variables dicotómicas); si bien, en aquellos casos donde se rozaba la significatividad comprobamos los resultados también con pruebas no paramétricas. Estas pruebas permiten verificar si las respuestas de los grupos origen, en los que se ha observado respectivamente sus medias aritméticas, son iguales o difieren entre sí, estudiándolo a un nivel de significación  = 0,05. El nivel de significación es la probabilidad de concluir que los grupos difieren cuando en realidad no lo hacen. Este tipo de error no puede ser eliminado, sin embargo tratamos de obtener su control estableciendo  = 0,05. De este modo existe sólo el riesgo del 5% de cometer este tipo de error. En los casos donde aparecen diferencias significativas entre las titulaciones que forman parte de un área de conocimiento, utilizamos la prueba “Tukey b” para saber entre qué titulaciones se encuentran esas diferencias y poder analizar cuál o cuáles son las titulaciones que muestran una media mayor en ese ítem y qué significa ese dato. De todas formas, debe tenerse en cuenta que esta prueba no es tan potente como el Análisis de Varianza, por lo 322 que en algunas ocasiones, después de haber confirmado con el AVAR la existencia de diferencias significativas, la prueba Tukey b no reflejaba esas diferencias. En esos casos, mostramos histogramas con las medias de las diferentes titulaciones para poder ver gráficamente entre qué titulaciones se situarían las diferencias significativas. En aquellos casos en los que los resultados obtenidos rozan la significatividad, comprobamos estos datos mediante la prueba no paramétrica H de Kruskal-Wallis, que nos indica si las diferencias existentes entre las muestras significan diferencias genuinas o sólo representan la clase de variaciones que pueden esperarse en muestras que se obtienen al azar. d) Presentación de los análisis efectuados : Hechas estas aclaraciones, presentamos a continuación el análisis de la información, organizado en función de las cinco áreas de conocimiento estudiadas. Así, para cada una de estas áreas organizamos la información siguiendo este esquema: • En primer lugar presentamos los datos de identificación de cada área, entre los que se encuentran los datos de titulaciones que conforman esta muestra, edad y sexo de los estudiantes. • En segundo lugar recogemos los datos obtenidos sobre las dimensiones señaladas en el Marco Teórico sobre la evaluación de estudiantes. Dichas dimensiones son: A. Definición de la evaluación (ítems 1 al 13): A.1. Percepción de la concepción de los profesores de la evaluación. A.2. Percepción de los alumnos de la evaluación. B. Funciones de la evaluación (ítems 14 al 29) C. Objetos de evaluación (ítems 30 al 47) C.1. Percepción de lo que consideran necesario evaluar los profesores. 323 C.2. Percepción de posibles reduccionismos de la evaluación. D. Criterios seguidos para evaluar (ítems 48 al 51). E. Para quién se evalúa (ítems 52 al 55): F. Cómo se evalúa (ítems 56 al 82): F.1. Instrumentos de evaluación que se emplean. F.2. Percepción de las condiciones de evaluación. F.3. Percepción de la forma de evaluar. G. Quién evalúa (ítems 83 al 95): G.1. Percepción de quién decide en la evaluación. G.2. Responsables de la forma de evaluar. H. Cuándo se evalúa (ítems 96 al 98). I. Evaluación versus Calificación (ítems 99 al 105). Para cada una de las dimensiones (y subdimensiones) estudiadas en este segundo apartado mostramos: 9 Un cuadro resumen en el que se recogen los valores máximos y mínimos, la media y la desviación típica de cada uno de los ítems de esa dimensión. 9 Una tabla resumen en la que se recogen los porcentajes de la muestra en cada una de las categorías de respuesta (nunca, algunas veces, aproximadamente en la mitad de los casos, frecuentemente, siempre o casi siempre) para cada ítem de esa dimensión. 9 Un gráfico de barras en los que se puede observar comparativamente las medias generales de la muestra en las variables de esa dimensión. • Finalizamos la descripción de cada área de conocimiento haciendo un análisis de las diferencias encontradas entre las titulaciones que conforman la muestra de ese área, y estableciendo un perfil general del área correspondiente sobre como perciben sus estudiantes la evaluación. 324 6.1.2. ÁREA DE CIENCIAS SOCIALES Y JURÍDICAS : 6.1.2.1. DATOS DE IDENTIFICACIÓN : En este apartado analizamos los datos pertenecientes a las variables de identificación que definimos en el capítulo anterior. Dichas variables recogen información relativa a la edad, el sexo y la titulación de origen de los estudiantes, y tienen su correspondencia con los tres primeros ítems del cuestionario que se presenta en el Anexo 1 de este informe. Así podemos decir que la muestra de estudiantes estudiada perteneciente a ésta área se distribuye entre las titulaciones de Derecho, Maestro (Especialidad de Educación Primaria), Económicas y Psicología, tal y como se recoge en la siguiente tabla: 43 16,3% 48 18,3% 89 33,8% 83 31,6% 263 100,0% Derecho Magisterio Económicas Psicología Total Recuento % Titulación El 76,8% de nuestra muestra se encuentra en el primer intervalo de edad, es decir, tienen entre 19 y 24 años. En la tabla que presentamos a continuación podemos ver cuál es su distribución entre los distintos intervalos de edad señalados. 202 76,8% 58 22,1% 1 ,4% 2 ,8% 263 100,0% 19-24 años 25-30 años 31-36 años + de 36 años Total Recuento % Edad Y los datos obtenidos nos indican que predomina el sexo femenino, con 202 mujeres (76,8%), frente al masculino: 325 61 23,2% 202 76,8% 263 100,0% Hombre Mujer Total Recuento % Sexo 6.1.2.2. VARIABLES DE CONTENIDO : Los datos que se presentan en esta apartado recogen la información sobre las dimensiones de la evaluación establecidas en el Marco Teórico. A. DEFINICIÓN DE EVALUACIÓN: A.1. Percepción de la concepción que los profesores tienen de la evaluación : Si analizamos los datos obtenidos en los ítems de esta dimensión a través de los estadísticos descriptivos: mínimo, máximo, media y desviación típica, obtenemos los siguientes resultados que nos dan una visión general de cómo se distribuyen las respuestas de los estudiantes: Estadísticos descriptivos a 262 1 5 4,00 1,019 258 1 5 3,95 1,024 260 1 5 2,75 1,311 261 1 5 1,54 ,777 257 1 5 1,75 ,927 262 1 5 3,87 1,165 253 Examinar Calificar Comparar logros con criterios Valorar progreso del alumno Valorar proceso de aprendizaje Decidir promoción N válido (según lista) N Mínimo Máximo Media Desv. típ. Área de Conocimiento = Ciencias Sociales y Jurídicas a. 326 Más detalladamente, quisimos saber como se distribuyen los porcentajes de la muestra en cada una de las categorías de respuesta (nunca, algunas veces, aproximadamente en la mitad de los casos, frecuentemente, siempre o casi siempre) para cada ítem de esa dimensión, lo cuál se puede ver en la siguiente tabla resumen: Examinar Calificar Comparar logros con criterios Valorar progreso del alumno Valorar proceso de aprendizaje Decidir promoción % % % % % % N unca 1,1% 1,6% 18,5% 58,2% 49,8% 4,2% Algunas veces 13,7% 10,9% 35,8% 33,7% 33,5% 13,0% En la mitad de los casos 3,4% 13,2% 8,8% 5,0% 8,9% 11,1% Frecuentemente 46,9% 40,3% 26,5% 1,9% 7,4% 35,5% Siempre o casi siempre 34,7% 34,1% 10,4% 1,1% ,4% 36,3% En esta tabla de frecuencias se puede ver claramente como la mayoría de los estudiantes de nuestra muestra perciben que sus profesores con gran frecuencia entienden la evaluación como examinar a los alumnos (ítem 1). Esto es afirmado por un 81,6% de la muestra (si sumamos los porcentajes de los alumnos que dicen que esta situación se produce frecuentemente o siempre). Sin embargo, con el análisis de varianza vemos como las diferencias entre las medias de las muestras de las diferentes titulaciones de estas áreas rozan la significatividad en las respuestas a este ítem (p = 0,069; F = 2,392), por lo que comprobamos los resultados con una prueba no paramétrica (H de Kruskal-Wallis), obteniendo como resultado que sí hay diferencias significativas. En el histograma realizado a partir de las medias de las respuestas a este ítem, podemos comprobar como estas diferencias significativas se encontrarían entre Psicología y Derecho, siendo los estudiantes de Psicología los que consideran que con menor frecuencia sus profesores identifican evaluar con examinar al alumno y los de Derecho los que afirman que esto sucede más frecuentemente: 333 B. FUNCIONES DE LA EVALUACIÓN: A continuación presentamos el cuadro resumen de los estadísticos descriptivos (mínimo, máximo, media y desviación típica) hallados con los datos obtenidos en esta dimensión: Estadísticos descriptivos a 262 1 5 3,11 1,182 261 1 5 2,90 1,198 263 1 5 3,06 1,184 262 1 5 2,89 1,269 260 1 4 2,10 ,923 262 1 5 2,85 1,053 262 1 5 2,04 ,946 262 1 5 2,23 ,976 263 1 5 1,95 ,952 262 1 5 1,77 ,737 260 1 5 2,01 ,805 262 1 5 2,27 1,183 263 1 4 1,52 ,698 262 1 4 1,63 ,715 262 1 5 2,12 ,897 262 1 4 1,95 ,870 252 Selección de alumnos Control administrativo Socializar alumnos Ejercer el poder Facilitar coordinación profesores Valoración de aprendizajes Refuerzo motivacional Reflexión Diagnosticar dificultades Remediar dificultades Tomar decisiones Informar al alumno Promover diálogo Ajustar proceso de e/a Perfeccionamiento alumnos Impulsar participación alumnos N válido (según lista) N Mínimo Máximo Media Desv. típ. Área de Conocimiento = Ciencias Sociales y Jurídicas a. Resultados que pueden verse más claramente si analizamos la distribución de las respuestas de los estudiantes en cada uno de los ítems que le planteábamos para conocer las funciones que adopta la evaluación de estudiantes en esta área de conocimiento. Esta distribución se presenta resumida en la siguiente tabla de frecuencias: Selección de alumnos Control administrativo Socializar alumnos Ejercer el poder Facilitar coordinación profesores Valoración de aprendizajes Refuerzo motivacional Reflexión % % % % % % % % N unca 8,0% 11,5% 9,5% 13,4% 28,1% 9,5% 31,7% 22,5% Algunas veces 28,6% 33,7% 27,8% 34,4% 44,2% 32,4% 43,5% 46,2% En la mitad de los casos 19,1% 16,9% 20,5% 14,9% 17,7% 24,0% 14,5% 18,3% Frecuentemente 32,4% 29,1% 31,6% 25,2% 10,0% 31,3% 9,9% 11,5% Siempre o casi siempre 11,8% 8,8% 10,6% 12,2% 2,7% ,4% 1,5% 334 Diagnosticar dificultades Remediar dificultades Tomar decisiones Informar al alumno Promover diálogo Ajustar proceso de e/a Perfec- cionamiento alumnos Impulsar participación alumnos % % % % % % % % N unca 36,5% 37,0% 26,2% 33,6% 57,8% 49,6% 25,2% 34,0% Algunas veces 43,0% 51,5% 52,3% 29,8% 34,2% 39,7% 46,6% 42,7% En la mitad de los casos 10,6% 9,2% 16,5% 15,6% 6,1% 9,2% 19,5% 17,2% Frecuentemente 9,1% 1,5% 4,6% 18,3% 1,9% 1,5% 8,4% 6,1% Siempre o casi siempre ,8% ,8% ,4% 2,7% ,4% Observando estos datos, podemos comprobar como los alumnos muestran percepciones muy divergentes sobre las primeras posibles funciones de la evaluación que le presentamos; de forma que, sobre si los profesores adoptan como funciones de la evaluación: la selección de alumnos (ítem 14), el control administrativo (ítem 15), la socialización de alumnos (ítem 16), ejercer el poder (ítem 17) o la valoración de los aprendizajes (ítem 19), un amplio porcentaje de la muestra cree que frecuentemente es así, mientras que otro importante porcentaje dice que sólo algunas veces. Lo que sí tienen mucho más claro la mayoría de los estudiantes son las funciones que no adopta la evaluación para sus profesores: • El 72,3% de la muestra percibe que en pocas ocasiones la evaluación se utiliza para facilitar la coordinación entre profesores (ítem 18), lo cual es afirmado sin diferencias significativas entre titulaciones (p = 0,122; F = 1,950). • El 75,2% considera que casi nunca o sólo algunas veces la evaluación tiene como función el refuerzo motivacional (ítem 20), si bien en este caso sí encontramos diferencias significativas entre titulaciones (p = 0,010; F = 3,877). Consideradas singularmente estas diferencias se encuentran entre las medias de las respuestas de los estudiantes de Magisterio y las de los estudiantes de Derecho y Económicas, tal y como vemos a continuación: 335 Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,84 Económicas 1,85 Psicología 2,18 2,18 Magisterio 2,31 Comprobamos, por tanto, como son los estudiantes de Magisterio los que consideran que con mayor frecuencia la evaluación tiene como función el refuerzo motivacional. • El 68,7% sólo algunas veces o casi nunca se utiliza la evaluación para reflexionar sobre lo que se hace (ítem 21). • El 79,5% afirma que con poca frecuencia se evalúa para diagnosticar las dificultades del proceso de enseñanza-aprendizaje (ítem 22). En este caso también encontramos diferencias significativas entre titulaciones (p = 0,000; F = 6,111), diferencias que se reducen a las siguientes: Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,67 Psicología 1,77 Económicas 2,00 Magisterio 2,40 Se comprueban, por tanto, diferencias entre las percepciones de los alumnos de Magisterio, y las de los alumnos de Derecho, Psicología y Económicas; de forma que mientras que los primeros opinan que sus profesores utilizan la evaluación con este fin algunas veces, los demás consideran que esto sucede en tan pocas ocasiones que ni siquiera o apenas llegan a categorizarlas como algunas veces. • El 88,5% cree que en pocas ocasiones se evalúa para remediar las dificultades encontradas en el proceso de enseñanza-aprendizaje (ítem 23), y esto es afirmado sin diferencias significativas entre titulaciones (p = 0,100; F = 2,107). • El 78,5% opina que algunas veces o casi nunca la evaluación tiene como función tomar decisiones racionales, justificadas y bien fundamentadas sobre el proceso de enseñanza-aprendizaje (ítem 24). Aquí volvemos a encontrarnos con diferencias significativas 336 entre titulaciones (p = 0,001; F = 6,061), siendo esas diferencias entre los estudiantes de Derecho (que son más taxativos en esta afirmación) y los del resto de las titulaciones de esta muestra de Ciencias Sociales y Jurídicas, tal y como se presenta en la siguiente tabla: Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,55 Económicas 2,03 Psicología 2,07 Magisterio 2,23 • El 63,4% percibe que nunca o sólo algunas veces se utiliza la evaluación para informar a los alumnos sobre su aprendizaje (ítem 25). En este caso encontramos diferencias significativas (p = 0,002; F = 5,126) entre la media de las respuestas de los estudiantes de Psicología (que consideran que esto sucede con una frecuencia ya próxima a la mitad de los casos) y los de Derecho y Económicas (que creen que sus profesores en muy pocas ocasiones adoptan esta función de la evaluación). Estas diferencias pueden apreciarse mejor en la siguiente tabla: Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,90 Económicas 2,06 Magisterio 2,35 2,35 Psicología 2,63 • El 92% afirma que prácticamente nunca se emplea la evaluación como recurso para promover el diálogo con los alumnos (ítem 26), y esto es afirmado por los estudiantes de todas las titulaciones de esta muestra sin diferencias significativas (p = 0,606; F = 0,615). • El 89,3% cree que nunca o sólo algunas veces se realiza con la función de ajustar el proceso de enseñanza-aprendizaje al desarrollo personal y social del alumno (ítem 27). Volvemos a encontrar diferencias significativas entre las medias de las respuestas de los diferentes grupos de alumnos (p = 0,015; F = 3,575), siendo de nuevo los estudiantes de Derecho los que más taxativamente hacen 337 esta afirmación con respecto a las demás titulaciones, tal y como se comprueba en la siguiente tabla: Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,33 Psicología 1,64 Económicas 1,67 Magisterio 1,79 • El 71,8% opina que sólo algunas veces o nunca se evalúa para ayudar al perfeccionamiento de los alumnos (ítem 28), opinión que comparten sin diferencias significativas los estudiantes de todas las titulaciones de esta muestra (p = 0,203; F = 1,548). • El 76,7% dice que sólo algunas veces o nunca se utiliza la evaluación para impulsar la participación de los alumnos en la mejora del proceso de enseñanza-aprendizaje (ítem 29), lo cual también es afirmado sin diferencias significativas entre titulaciones (p = 0,324; F = 1,163). Todos estos resultados pueden verse más gráficamente en el histograma que presentamos a continuación realizado a partir de las medias generales de la muestra de Ciencias Sociales y Jurídicas en los ítems de esta dimensión: Impu lsar pa r ticip ac. Per fe cc iona m . a l u m n o Aj u s tar pr o ceso e- a P r omove r diá lo go Informar al alumno Tomar decisione s Remedia r dif ic ult. Diagnostica r d if i c ul Reflex ió n Refu e rzo motivacio n a Valorac. aprendizaje Coordinación profs. Ej e rc e r el pod e r Socializa r a lu mn o s Con t ro l a dmi n istr a t. Selec ción d e alu m no s Media 5,0 4,0 3,0 2,0 1,0 1,9 2,1 1,6 1,5 2,3 2,0 1,8 1,9 2,2 2,0 2,9 2,1 2,9 3,1 2,9 3,1 338 C. OBJETOS DE LA EVALUACIÓN: C.1. Percepción de lo que los profesores consideran necesario evaluar : La tabla de estadísticos descriptivos que nos ofrecen estos resultados sería la siguiente: Estadísticos descriptivos a 263 1 5 4,01 1,077 263 1 5 1,72 ,889 263 1 5 2,71 1,194 262 1 5 2,51 1,027 261 1 5 2,09 1,037 262 1 5 2,22 1,153 263 1 5 2,22 1,107 259 1 5 2,01 1,114 242 1 5 3,76 1,132 262 1 5 3,87 1,117 262 1 5 2,61 1,065 236 Programa de la materia Condiciones de estudio Proceso de enseñanza Proceso o estrategia de evaluación Conocimientos previos Esfuerzo Actitud e interés Capacidades (madurez,formación) Conocimiento adquirido Reproducción de la información Procesos de razonamiento ... N válido (según lista) N Mínimo Máximo Media Desv. típ. Área de Conocimiento = Ciencias Sociales y Jurídicas a. Y podemos observar la distribución de las respuestas de los estudiantes de esta muestra a los ítems de este bloque de preguntas en la siguiente tabla de frecuencias: Programa de la materia Condiciones de estudio Proceso de enseñanza Proceso o estrategia de evaluación Conocimientos previos Esfuerzo % % % % % % N unca 2,3% 49,8% 14,1% 14,9% 32,6% 32,1% Algunas veces 12,2% 35,0% 38,8% 42,4% 41,4% 35,9% En la mitad de los casos 7,2% 9,9% 17,1% 21,4% 11,5% 13,4% Frecuentemente 39,2% 4,2% 21,7% 19,5% 13,4% 15,3% Siempre o casi siempre 39,2% 1,1% 8,4% 1,9% 1,1% 3,4% 339 Actitud e interés Capacidades (madurez, formación) Conocimiento adquirido Reproducción de la información Procesos de razonamiento ... % % % % % N unca 28,9% 41,7% 3,3% 4,6% 11,5% Algunas veces 40,3% 32,8% 15,3% 10,7% 43,5% En la mitad de los casos 14,1% 11,2% 13,2% 9,9% 22,5% Frecuentemente 13,3% 11,6% 38,8% 42,7% 17,2% Siempre o casi siempre 3,4% 2,7% 29,3% 32,1% 5,3% Con estos datos podemos comprobar como la mayoría de los alumnos de nuestra muestra del área de Ciencias Sociales y Jurídicas perciben que con gran frecuencia sus profesores consideran necesario evaluar: • La programación de la materia: objetivos, contenidos, metodología, evaluación (ítem 30), lo cual es afirmado por el 78,4% de los estudiantes sin diferencias significativas entre titulaciones (p = 0,232; F = 1,438); si bien ya hemos aclarado anteriormente que esta pregunta se prestó a diferentes interpretaciones, por lo que creemos sinceramente que a lo que se refiere este porcentaje es que sus profesores consideran necesario evaluar a sus alumnos de aquello que dan como programa de la materia, no a sí mismos sobre su programación. • El conocimiento adquirido por los estudiantes (68,1%, ítem 38), si bien en este caso si aparecen diferencias significativas entre titulaciones (p = 0,000; F = 10,652). Consideradas singularmente, las diferencias significativas se reducen a las que citamos a continuación: Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 3,60 Psicología 3,76 3,76 Económicas 3,96 3,96 Magisterio 4,15 Es decir, se encuentran diferencias significativas entre las titulaciones de Derecho y Magisterio, siendo los estudiantes de Magisterio los que con más frecuencia perciben que sus profesores evalúan el conocimiento adquirido por los alumnos. 340 • Y de ese conocimiento: el 74,8% considera que con mucha frecuencia se evalúa la solución de los ejercicios o la reproducción de la información, con independencia de que se haga memorísticamente (ítem 39); mientras que el 66% percibe que sólo algunas veces o aproximadamente en la mitad de los casos se evalúa la calidad de los procesos de razonamiento, creación, síntesis, etc. (ítem 40). Ambas afirmaciones son efectuadas sin diferencias significativas entre titulaciones (p = 0,078; F = 2,301 y p = 0,063; F = 2,463 respectivamente). Por otro lado, la mayoría de los alumnos coinciden en la percepción de que sus profesores nunca o sólo algunas veces consideran necesario evaluar: las condiciones de estudio de los alumnos (ítem 31), los conocimientos previos (ítem 34), el esfuerzo (ítem 35), la actitud e interés del alumnado (ítem 36) o sus capacidades (ítem 37); mientras que un 63,8% de la muestra afirma que sólo algunas veces o aproximadamente en la mitad de los casos sus profesores consideran necesario evaluar el propio proceso o estrategia de evaluación (ítem 33). Comprobamos que existen diferencias significativas entre titulaciones en las frecuencias con las que los estudiantes afirman que sus profesores consideran necesario evaluar la actitud y el interés del alumnado (p = 0,004; F = 4,483); siendo de nuevo los estudiantes de Magisterio los que perciben que con más frecuencia sus profesores consideran necesario evaluar estos aspectos: Subconjunto para alfa = 0.05 Titulación 1 2 Económicas 1,97 Derecho 2,14 Psicología 2,28 2,28 Magisterio 2,67 . También existen diferencias significativas entre titulaciones en la percepción de la frecuencia con la que los profesores consideran necesario evaluar las capacidades de cada estudiante (p = 0,027; F = 3,120); diferencias 341 que, como refleja el gráfico que presentamos a continuación, aparecen entre los estudiantes de Derecho y Económicas (que consideran que este aspecto se evalúa con menor frecuencia), y los de Magisterio y Psicología. Titulación Psicología Económicas Magisterio Derecho Media de Capacidades (madurez,formación) 5,0 4,0 3,0 2,0 1,0 2,2 1,8 2,2 1,8 Hay más divergencias de percepciones en las respuestas a si sus profesores consideren necesario evaluar el proceso de enseñanza seguido por ellos mismos (ítem 32), de forma que aunque un 52,9% de la muestra considera que esto sólo sucede algunas veces o casi nunca, un 38,8% opina que es así frecuentemente o en la mitad de los casos. Se pueden ver reflejadas gráficamente las medias de estas respuestas en el histograma que presentamos a continuación: Procesos razonam i ent R e pr o ducc ió n inf. C o noc. adquirido C a pacidad es Actitud e interés E s f u er zo C o nocimi e nto s p r ev i o P roces o evalu ac i ón Proceso d e enseña nz a C o ndi c i ones es tudio Programa mate r ia Media 5,0 4,0 3,0 2,0 1,0 2,6 3,9 3,8 2,0 2,2 2,2 2,1 2,5 2,8 1,7 4,0 342 C.2. Posibles reduccionismos en la evaluación : En la tabla siguiente se reflejan los valores mínimos y máximos, así como las medias y desviaciones típicas de las respuestas de los alumnos a las preguntas sobre los posibles reduccionismos de la evaluación: Estadísticos descriptivos a 263 1 5 4,43 ,788 263 1 5 4,12 ,957 263 1 5 4,24 1,003 261 1 5 3,59 1,040 261 2 5 4,01 ,837 261 1 5 2,82 1,067 261 1 5 2,38 1,036 261 Resultados (solamente) Resultados buscados,pretendidos,ob servables Personas (no condiciones, ni medios) Errores más que aciertos Conocimientos de hechos y conceptos Capacidad para resolver problemas Identificación con valores del área N válido (según lista) N Mínimo Máximo Media Desv. típ. Área de Conocimiento = Ciencias Sociales y Jurídicas a. Resultados que pueden analizarse más detalladamente a través de la distribución de las respuestas de los estudiantes en cada uno de los ítems de esta dimensión: Resultados (solamente) Resultados buscados, pretendidos, observables Personas (no condiciones, ni medios) Errores más que aciertos Conocimientos de hechos y conceptos Capacidad para resolver problemas Identificación con valores del área % % % % % % % N unca 0,4% 1,1% 3,8% 1,5% 8,0% 18,4% Algunas veces 3,4% 8,7% 4,9% 18,8% 8,0% 36,8% 47,1% En la mitad de los casos 6,1% 7,2% 3,4% 17,2% 10,3% 26,1% 14,9% Frecuentemente 32,7% 42,6% 39,5% 44,1% 54,4% 23,0% 17,6% Siempre o casi siempre 57,4% 40,3% 48,3% 18,4% 27,2% 6,1% 1,9% Con estos datos podemos comprobar como la mayoría de los alumnos perciben que frecuentemente o siempre la evaluación se reduce a los resultados (ítem 41) y de éstos sólo los resultados buscados, pretendidos y observables (ítem 42); a las personas (ítem 43), a los contenidos conceptuales (ítem 45), y que se presta más atención a los errores que a los aciertos (ítem 44). Los estudiantes consideran por tanto que casi nunca se evalúan las 349 Subconjunto para alfa = 0.05 Titulación 1 2 Derecho 1,84 Magisterio 2,04 2,04 Económicas 2,18 2,18 Psicología 2,46 En las respuestas a los ítems de si se evalúa para la sociedad o para el sistema, el Análisis de Varianza nos dice que la probabilidad de que estas respuestas se den por azar roza la significatividad (p = 0,055 en ambos casos), por lo que comprobamos esta posibilidad aplicando la prueba no paramétrica H de Kruskal-Wallis. Con esta prueba comprobamos como sólo en el primer caso se puede considerar que hay diferencias significativas entre titulaciones (p = 0,042), siendo esas diferencias entre Derecho y Económicas por un lado y Magisterio y Psicología por otro, tal y como se puede advertir en el gráfico de barras que presentamos a continuación: Titulación Psicología Económicas Magisterio Derecho Media de Para la sociedad 5,0 4,0 3,0 2,0 1,0 3,7 3,3 3,6 3,1 Es decir, son los estudiantes de Magisterio y Psicología los que perciben que con mayor frecuencia se evalúa para la sociedad, para seleccionar a los mejores. Presentamos ahora el histograma de las medias generales de la muestra en estas preguntas. [Document text truncated for crawler view.]