Evaluación de la calidad, un reto para profesores y alumnos

VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 EVALUACIÓN DE LA CALIDAD, UN RETO PARA PROFESORES Y ALUMNOS Concha Pérez–Curiel Universidad de Sevilla Introducción Dentro del proceso de aprendizaje el perfil del profesor y del alumno juega un papel de suma importancia, ya que los dos son los elementos claves e indispensables del mismo. La propuesta docente realizada por el profesor debe ajustarse a las características del alumno y plantear unos objetivos y una metodología dirigida a conseguir los mejores resultados. Pero, ¿es posible en el contexto universitario actual plantearse un código de calidad educativa? ¿Con qué inconvenientes se encuentran el profesor y el alumno, precisamente en un momento de cambio y adaptación al Espacio Europeo de Educación Superior? El objetivo de nuestra investigación se plantea analizar el perfil de ambos como parte activa de un proyecto de excelencia que impulsa la Universidad de Sevilla pero que por encima de todo debe buscar la excelencia de los equipos, de las personas. En 2007, la Universidad de Sevilla puso en marcha un ambicioso “Plan para la renovación de las Metodologías Docentes”. Este plan vino a significar el interés de la Institución por la calidad y la innovación en el proceso de aprendizaje, como una de las piezas clave del proceso de convergencia en el EEES. La renovación y el cambio no pueden aniquilar sino muy al contrario, deben apoyarse en un profesor que ha de estimular, orientar y controlar el aprendizaje de los alumnos, abriendo espacios para la participación mediante la observación, la comparación, el análisis, la comprobación y la propuesta. Porque al alumno ni antes, ni ahora con la revolución metodológica, debe ser un mero receptor de conocimientos. La institución universitaria debe pues proporcionar a la sociedad profesionales con una sólida formación, creativos y capaces de explotar y dirigir los dispositivos del sistema socioeconómico. A pesar de todo, la Universidad no ha de limitarse meramente a servir a la sociedad proporcionando profesionales cualificados, sino que tiene a su vez la función fundamental de ser referente en el crecimiento y desarrollo cultural y tecnológico. Ha de actuar, por lo tanto, como generadora de ciencia, vanguardia de la creación del conocimiento y vehículo para su posterior transmisión a la sociedad que la acoge, además de constituir el archivo de la cultura y ser punto de referencia obligado para cualquier intercambio de conocimiento con el entorno. 390 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 Objetivos El I Plan Propio de Docencia de la Universidad de Sevilla”55, se estructura en torno a seis objetivos estratégicos: 1. Disponer de una oferta formativa de grado y posgrado atractiva. 2. Universalizar el acceso y la difusión de la oferta académica. 3. Disponer de la metodología adecuada. 4. Disponer de los mejores recursos. 5. Disponer de un profesorado formado al máximo nivel. 6. Disponer de herramientas de evaluación y mejora continua de la docencia. Parece claro, por tanto, que, más allá de la elaboración de las propuestas de las nuevas titulaciones, se encuentra un aspecto de crucial importancia, y es el hecho de que la nueva organización de las enseñanzas universitarias impulsa un cambio fundamental en las metodologías docentes. Dicho de otro modo, no bastan cambios superficiales para cumplir formalmente con el proceso de Bolonia; son necesarias reformas pedagógicas mucho más profundas. Riesgo y Reto, una doble R para enfrentar un paso adelante hacia la CALIDAD con mayúsculas. Metodología Una determinada metodología en un momento concreto es una opción que toma el profesor, en la que se han tenido en cuenta todos los elementos de la programación: objetivos, contenidos, tareas, recursos, evaluación, etc. En el marco concreto del aula, más que atenerse a un método determinado, podría decirse que lo importante es asumir que no hay una respuesta única ni óptima para cada problema docente sino que el profesor escoge de entre un repertorio de soluciones (que es importante que sea amplio) aquellas que mejor se ajusten a su personalidad, a la asignatura y a los alumnos en una determinada circunstancia y posteriormente evaluar los resultados obtenidos. La característica fundamental que debe distinguir a los buenos profesores universitarios es la capacidad para llegar a involucrar a sus estudiantes en el “aprendizaje profundo”56, entendido como aquél que les permite asumir el desafío de dominar la materia, captando su lógica y tratando de comprenderla en toda su complejidad. Los estudiantes que alcanzan este nivel de compromiso pueden llegar a ser pensadores independientes, críticos y creativos. Y para ello es necesario que la enseñanza suponga algo más que la recepción pasiva de conocimientos. El profesor debe inducir a los estudiantes hacia la reflexión, hacerles pensar. De ahí el fuerte impulso que desde el ámbito institucional se proyecta hacia las metodologías docentes basadas en el autoaprendizaje, pues las teorías más recientes potencian el proceso de aprendizaje como el resultado de la práctica o experiencia reforzada, lo que implica una actitud más activa del alumnado en el proceso. 55 http://www.institucional.us.es/vdocencia/vd/iplanpropdoc.htm 56 Ken Brain, “Lo que hacen los mejores profesores universitarios”, Ed. Universitat de València, 2006. 391 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 En lo que a la adaptación de la Universidad a las nuevas tecnologías se refiere, la evolución actual de internet sugiere una futura “virtualización” progresiva del proceso educativo, haciendo uso de los recursos que se ponen en nuestras manos para mejorar la calidad de la enseñanza universitaria y para poder ofrecer una mejor atención al alumno. Es de prever que el profesor pierda gradualmente presencia física en las aulas para fomentar así un papel más de tutor y guía que de transmisor de conocimientos tal como marcan los distintos documentos de adaptación al Espacio Europeo de Enseñanza Superior. El proceso de convergencia europea y la nueva concepción de la estrategia de enseñanzaaprendizaje llevan implícitos un incremento notable del tiempo dedicado a la docencia por parte del profesor universitario. Ahora bien, este cambio del enfoque tradicional tampoco va a ser “gratuito” en el caso de los estudiantes, para quienes el EEES conlleva una participación más activa en el proceso (autoaprendizaje), un tipo de aprendizaje más conceptual y menos memorístico, una intensa búsqueda de información en diversas fuentes documentales, la necesidad del trabajar en equipo, el perfeccionamiento de habilidades de comunicación y, sobre todo, la adquisición del hábito del trabajo diario sistemático. El desarrollo de las Nuevas Tecnologías de Información y Comunicación (TIC) ha incidido, sin duda, en la metodología de los procesos de enseñanza-aprendizaje. La adaptación a las nuevas formas de enseñanza-aprendizaje requiere de un esfuerzo considerable por parte del profesorado que, en numerosas ocasiones, carece de la apropiada formación en las diversas herramientas informáticas. En la Universidad de Sevilla, estas carencias se están intentando subsanar con la oferta de numerosos cursos de formación y el apoyo técnico por parte de personal especializado. Además, se ha facilitado a todo el profesorado y alumnado de nuevo ingreso la adquisición de un ordenador portátil, existiendo asimismo cobertura inalámbrica de acceso a Internet (Wi-Fi) en todos los campus. En la Universidad de Sevilla se ha puesto a disposición de toda la comunidad universitaria una plataforma de enseñanza virtual, el sistema de aprendizaje Blackboard, más conocido como WebCT (Web Course Tools). Cabría reseñar en este apartado otros formatos de innovación metodológica más desarrollados en las universidades españolas en los últimos años: 1. Aprendizaje basado en problemas –ABP (Problem-based learning –PBL) 2. Aprendizaje cooperativo (Cooperative learning) 3. Método de casos (Case method) 4. Aprendizaje orientado en proyectos (Project-oriented learning) 5. Contrato de aprendizaje (Learning contract) 392 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 Resultados y Conclusiones Tomando como base asignaturas del ámbito del Periodismo como Periodismo Especializado, Periodismo Político Local y Periodismo Político Internacional impartidas en la Facultad de Comunicación de la Universidad de Sevilla se pueden definir algunos resultados obtenidos con la aplicación del sistema de aprendizaje WEBCT. Frente a la clase magistral en torno a un conjunto de sesiones presenciales en las que se presentan al alumno los fundamentos teóricos de la asignatura, las sesiones prácticas y las tutorías personalizadas, se posibilita gracias a las redes, una metodología que permite la conexión directa e inmediata entre profesor y alumno. Se trata de la Plataforma de Enseñanza Virtual. Gracias a esta herramienta, con la que trabajan cada vez más los equipos docentes universitarios es posible presentar los contenidos, de forma que en el aula se pregunten las dudas, se genere el debate y se hagan propuestas desde el propio alumnado que previamente debe haber hecho una lectura en profundidad del tema, debe haber consultado bibliografía específica y sobre todo debe haber extraído conclusiones al respecto. La Plataforma Virtual se convierte pues en un sistema interactivo entre profesor y alumno con acceso a herramientas como tutorización virtual, foros de debate, correo, anuncios, lista de tareas, evaluación de prácticas y exámenes, entre otras opciones. Se evidencia cómo una vez que profesores y alumnos han aprendido a acceder a la Plataforma y saben sacar partido de todas sus posibilidades, se dinamiza la clase presencial, se deja mayor tiempo para la investigación de otros temas relacionados con el que se trabaja en ese momento, se potencia la participación directa en el aula, se favorece el trabajo en equipo y se optimizan recursos tan importantes como el tiempo, para muchos alumnos que por su situación laboral tienen inconvenientes para una asistencia continuada a clase. Referencias Alcoba, A. (1973). El Método: noción, clasificación y requisitos. Enciclop. de Didáctica aplicada, Barcelona: Ed. Labor. Aparicio, J.J. (1991). Criterios de Calidad en la Investigación y Enseñanza en la Universidad, Cádiz: Actas I Congreso Internacional sobre la Calidad de la Educación Universitaria. Arbizu, F. (1992). La Función Docente del Profesor Universitario. Tesis Doctoral, Bilbao: UPV/EHU. Brain, K. (2006). Lo que hacen los mejores profesores universitarios. Valencia: Ed. Universitat de València. Friedmann, H.C. (1990). Fifty-six laws of good teaching. Journal of Chemical Education, 67, 413. Martínez, F. (1999). El perfil de profesor universitario en los albores del siglo XXI. Ponencia del primer encuentro Iberoamericano de perfeccionamiento integral del profesor universitario. Venezuela. Ortega y Gasset, J. (1968). Misión de la Universidad. Madrid: Editorial Revista de Occidente. Yanes, C., Pérez de Guzman, M.V. y Muriel, M. (1998). Una formación reflexiva y crítica para la profesionalización del docente universitario. Sevilla: Revista de Enseñanza Universitaria. I Jornadas Andaluzas sobre Calidad de la Enseñanza Universitaria. 393 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 EL EFQM, UNA APLICACIÓN PARA EVALUAR LA CALIDAD DOCENTE Manuel Octavio del Campo-Villares y Esther Barros-Campello Universidad de A Coruña Introducción La OCDE define la educación de calidad como aquella que “asegura a todos los jóvenes la adquisición de los conocimientos, capacidades, destrezas y actitudes necesarias para equipararles para la vida adulta”. Es por ello que, la calidad se configura como un factor trascendente en el logro de la eficiencia en la prestación del servicio público de “educación superior”. Y ello más, en un momento donde esta se encuentra inmersa en una serie de retos cuyo tamaño crece exponencialmente, y que podemos resumir en: Universalidad, en contenidos y niveles. Actualización continua, exigida por el avance tecnológico de la sociedad de la información y los nuevos métodos de aprendizaje. Homogeneización al espacio de referencia. Y todo, en un contexto de baja natalidad y gran oferta educativa, situando a los centros educativos en un estadio competitivo. Por todo, la calidad del servicio educativo superior es factor estratégico tanto presente como futuro. La pregunta será: ¿cuál es el cliente a satisfacer por la educación superior? En nuestro caso y como el beneficio de los estudios superiores es básicamente privado, el alumno matriculado en las aulas universitarias es el cliente básico, por lo tanto agente evaluador prioritario en clave de satisfacción. Siendo pues la institución formadora más exitosa aquella que mejor satisfaga sus expectativas durante su tránsito universitario. Siendo este el contexto en que se enmarca nuestro trabajo → identificar la capacidad del alumno universitario al evaluar la calidad de la titulación cursada. Ahora bien, evaluar la calidad educativa exige identificar los logros y deficiencias de la organización docente así como visualizar sus soluciones, debemos conocer aspectos como: el plan de estudios; el conocimiento y capacidad pedagógica del docente; la organización del aprendizaje; los sistemas de evaluación; o la implicación de los agentes implicados. El Modelo EFQM, un instrumento de medida para la Gestión de la Calidad. En 1988, distintas entidades funda la European Foundation for Quality Management (EFQM), siendo misión principal de esta impulsar la excelencia. A tal objeto, la EFQM crea su propio modelo hacia la excelencia empresarial, un instrumento de ayuda a la hora de identificar en qué punto del camino hacia la excelencia nos encontramos. El EFQM se configura como un modelo autoevaluador que guiara a las organizaciones hacia la “calidad total”. Situándose la diferencia de este modelo de control y medida de la calidad 394 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 respecto a sus precedentes en que no profundiza en los aspectos de respuesta rápida del mercado, sino que hace hincapié en los agentes y funcionamiento global de la organización, al objeto de asegurar el resultado de esta al medio/largo plazo. El diagnóstico se efectúa sobre una serie de aspectos globales de la organización denominados criterios, los cuales deben quedar definidos de antemano por todos los agentes implicados. A su vez, todo ello se mide y puntúa gracias a lo cual se podrán hacer comparaciones dentro de la propia organización o con otras que ya lo emplearon. El EFQM analiza a la organización, en base a conceptos básicos en gestión de la calidad: la implicación personal como elemento de valor; el reconocimiento, el personal participe de los logros alcanzados; gusto por lo bien hecho; trabajo con datos rigurosos y contrastados; orientación hacia resultado y cliente, fin y objetivo de toda organización. Metodología y muestra Si nuestro objetivo es conocer la capacidad evaluadora del alumno universitario sobre la calidad percibida por este en la titulación cursada, iniciamos el trabajo con dos grandes limitaciones: 1º la mínima formación en materia de evaluación con la que cuenta el alumno-cliente, además de evaluador en nuestro caso y 2º la complejidad y amplitud de variables objeto de evaluación o medida a veces incluso capaces de entrar en colusión. Así pues y dentro de este marco, nos propusimos desarrollar una experiencia práctica sobre evaluación de la calidad educativa superior de la titulación de Economía en la UDC. Al objeto recurrimos a una muestra de alumnos de 5º curso de la titulación de Economía, las características de esta muestra evaluadora se recogen en la tabla 1. Tabla 1. Características de la muestra evaluadora empleada - Alumno matriculado en la asignatura de “Servicios Públicos”. Cursos 2009-10 y 2010-11 - Materia optativa, situada en el 5º curso de la titulación de Economía en la Facultad de Economía y Empresa de la universidad de A Coruña - Alumnos integrantes de la muestra empleada en el trabajo 38. Matricula de la asignatura 41 - Estancia media en el centro 6,6 años: mínimo 5 años y máximo 9 años - Edad media 24,9 años: menor 22 años y mayor 33 años - Conocimiento/experiencia en evaluación de la calidad, sólo su participación aleatoria en el programa oficial “Avaliamos” de la UDC, donde anualmente se evalúa la docencia recibida por docente/asignatura. Alumnos de la muestra que dijeron participar al menos una vez en el programa 16 (42% de la muestra). Este alumnado “medirá” la calidad de su “educación superior”, evaluando su titulación adoptando al respecto como referente el modelo EFQM. Si bien antes y como elemento factor de contrate a esa misma muestra se le paso un cuestionario en donde de forma directa se le pregunto por su satisfacción con la titulación cursada y casi concluida. Por otra parte y para hacer frente a los dos inconvenientes reseñados, al alumno integrante 395 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 de la muestra se le facilito una intensa formación en evaluación de la calidad docente, distribuida esta en: 15 horas dedicadas a la formación y 5 a la evaluación: Formación: 4 sesiones en formulación y medición del modelo EFQM; 4 en contenido y significado de cada criterio ↔ subcriterio ↔ áreas capaces de identificar el progreso de la organización hacia la excelencia; y por último 6 donde a través de la técnica de brainstorming se fijo el contenido de cada una de las áreas y subcriterios que definirán los criterios del EFQM. Evaluación: 1 sesión para la encuesta directa y 4 para el EFQM. La tabla 2, muestra algunas de las principales preguntas contenidas en la encuesta directa de satisfacción docente y pasada previamente a la población evaluadora y cuyo resultado será contrastado posteriormente con el obtenido al aplicar el modelo EFQM: Tabla 2. Muestra de preguntas básicas contenidas en la encuesta de directa pasada a la muestra evaluadora seleccionada al objeto de evaluar su nivel de satisfacción docente 1- En que medida considera que sus objetivos se han visto satisfechos en su paso por la universidad. 2- Sus aspiraciones y/o deseos profesionales sean visto modificados debido a su paso por la universidad. 3- Considera su paso por la universidad determinante en el resto de su vida: personal y/o profesional. 4- Si volviera a empezar sus estudios superiores, ¿volvería a elegir: misma carrera, facultad, universidad? 5- Los cambios administrativos y de organización docente contribuyeron al logro de sus objetivos. 6- Cual es su visión del grado de integración del centro en su entorno socioeconómico. 7- Califique la evolución de la competencia e interés docente en su estancia en el centro. 8- La evolución de los contenidos impartidos cree que le permitirá una mejor integración laboral. Y así hasta un total de 30 preguntas de respuesta única y 8 doble. El resultado de cada una se midió con arreglo a una escala del 1…5, donde la puntuación otorgada crece a medida que la satisfacción docente también lo hace, la escala del EFQM fue 0…5. Como expusimos la mitad del período formativo se empleo en el diseño de las áreas capaces de identificar y medir el estado y posición de cara a la consecución del objetivo de excelencia de la titulación analizada. Tras ello, se plasmaran en un documento todas las variables recogidas, definitorias estas de las distintas áreas que integraran cada subcriterio y estos los criterios generales que fija el modelo de excelencia, y donde la suma de estos últimos nos dará la puntuación de cada criterio final del modelo EFQM. Siendo 9 los criterios base del modelo EFQM, divididos en dos grandes grupos. El 1º integrado por: el liderazgo, la política/estrategia, el personal, colaboradores/recursos y los procesos; y el 2º por: el resultado para el cliente, para el personal, para la sociedad y el rendimiento final de la organización. Los primeros se define como “agentes facilitadores”, y tratan sobre lo que la organización analizada hace y como lo hace. Mientras que los “resultados”, valoran lo que la organización ha conseguido para sus actores tanto generales como particulares. Siendo la distribución de las variables reconocidas por áreas y clasificadas atendiendo al 396 VIII Foro sobre Evaluación de la Calidad de la Investigación y de la Educación Superior: Libro de Capítulos. ISBN-978·84·694·3489·5 criterio básico del modelo EFQM la siguiente: Liderazgo, 50. Política y estrategia, 27. Personal, 53. Recursos-colaboradores, 42. Procesos, 43. Resultado del cliente, 31. Resultado del personal, 34. Resultado social, 29. Rendimiento de la organización, 25. Siendo ello el fruto del esfuerzo por parte de la población evaluadora y que parte de un sin fin de variables desconocidas o cuya posibilidad de medición apenas si es percibida. La tabla 3ª, muestra un ejemplo de variable identificada y evaluada, clasificada esta atendiendo al criterio global del modelo EFQM de pertenencia. Tabla 3ª. Muestra de variable identificada y clasificada en atención al criterio EFQM de pertenencia por la población muestral al revaluar su satisfacción docente - Liderazgo, “la dirección docente del centro participa de forma activa en iniciativas de innovación y mejora: presencia e impulso de debates, seminarios, proyectos de innovación”. -Política y estrategia, “existe un seguimiento sobre la utilidad de los contenidos impartidos en su relación con el mercado laboral, se reconoce la utilidad del conocimiento impartido”. - Personal, “los cambios de profesor/asignatura se ven como un ajuste calidad/experiencia docente o un mero ajuste interés horario/profesor”. - Colaboradores, alianzas y recursos, “es una línea de actuación del centro la externalidad e integración respecto a su entorno socio-económico, la presencia social del centro es un referente”. - Procesos, “las tutorías se relacionan en horario y forma con la docencia/horario del alumno o según interés del profesorado, relación horario clase/tutoría”. - Resultado en el cliente, “se ofrece la alumno información adicional útil de cara a su futuro personal”. - Resultado en el personal, “los cambios asignatura/docentes incrementan o disminuyen la competencia/capacidad revelada por el docente”. - Resultados en la sociedad vs impacto social, “presencia de servicios complementarios de apoyo y asesoramiento: gestión de CV, practicas en empresas”. - Rendimiento final en la organización o resultados clave, “existe un reconocimiento de la institución a través del resultado de su producto: artículos, asesorías, revistas”. Resultados La tabla 4ª resume el resultado obtenido tanto en la encuesta directa como al aplicar el modelo de calidad total, mostrando además la diferencia tanto en caso de la ponderación propia del EFQM (sistema REDER) como la media libre obtenida en cada criterio. Tabla 4. Percepción comparada del nivel de satisfacción docente en la titulación de Economía de la Universidad de A Coruña, mediante el modelo EFQM de Excelencia en la gestión. Criterios EFQM 1.Enc.No Ponder. 2.Enc. Ponder. 3. EFQM no Ponder. 4. EFQM Ponder. (1)/(4) (2)/(4) C1. Liderazgo 2,233 2.233 1,117 1,117 1,116 1,116 C2. Política/Estrategia 2,256 1,792 0,861 0,689 1,567 1,103 C3. Personal 2,415 2,155 0,896 0,806 1,609 1,349 C4. Recursos 2,299 1,998 0,975 0,878 1,421 1,120 C5. Procesos 2,641 3,559 1,027 1,438 1,203 2,121 Suma.Ag.Facilitadores 11,844 11,737 4,876 4,928 6,916 6,809 C6. Satisf.del Cliente 2,542 4,950 0,908 1,816 0,726 3,134 C7. Satisf.del Personal 2,393 2,153 0,951 0,856 1,537 1,297 C8. Satisf. Sociedad 2,594 1,516 1,055 0,633 1,961 0,883 C9. Satisf. Organizac. 2,640 3,825 0,909 1,364 1,276 2,461 Suma Resultados 10,168 12,444 3,823 4,669 5,499 7,775 Media Ag.Facilitadores 2,369 2,347 0,975 0,986 1,383 1,362 Media Resultados 2,542 3,111 0,956 1,167 1,375 1,944 Media Global 2,455 2,729 0,965 1,076 1,379 1,653 397