La Mejora de los Planes de Estudio en la Universidad. Modelo de Seguimiento para la Calidad

1 LA MEJORA DE LOS PLANES DE ESTUDIO EN LA UNIVERSIDAD Modelo de Seguimiento para la calidad Gonzalez, T Mayor, C. INTRODUCCIÓN En la actualidad, las políticas universitarias están envueltas en un amplio debate sobre las funciones y objetivos de la enseñanza superior en la que confluyen orientaciones políticas diversas y ámbitos científicos plurales. En este debate, la evaluación de la calidad de los servicios que prestan las instituciones universitarias se ha convertido en un tema prioritario de la política universitaria en numerosos países. El creciente interés por la calidad ha derivado en una preocupación generalizada por la evaluación que ha generado una situación caracterizada por Neave (1988) como el estado evaluativo de las universidades europeas. Este espíritu se ha traducido en acciones más o menos directas, en orden al control de calidad y a la eficiencia de las instituciones públicas a partir de la estimación de indicadores de rendimiento o de mecanismos autoevaluativos que han dado como resultado un panorama definido por muy diferentes tipos de evaluación. Esta situación, ha llevado a la mayoría de los países desarrollados, a poner en marcha sistemas de evaluación institucional. España es uno de los países europeos que en la actualidad está evaluando sus universidades, a través del Plan Nacional de Evaluación de la Calidad. La evaluación en este contexto, tiene sentido en la medida en que contribuye a mejorar la calidad, aunque no es suficiente para ello, ya que una buena calidad supone entre otras cosas, recursos suficientes y mecanismos apropiados de gestión (Martínez, 2000). Por tanto, la evaluación no se utiliza sólo para verificar el funcionamiento de la institución universitaria y los resultados obtenidos, sino que se concibe como un instrumento para mejorarla. El proceso que se está siguiendo en la mayoría de los países europeos, combina la autoevaluación y la evaluación externa, con el objetivo de detectar las fortalezas y debilidades de la institución y, llevar a cabo acciones de mejora. 2 . LA MEJORA DE LA CALIDAD EN LA ENSEÑANZA SUPERIOR Aunque al término calidad se han referido muchos autores, ya sea dirigido al campo educativo o bien a otros campos científicos imperantes en nuestra sociedad, coincidimos con Barrios y otros (1995) cuando afirman que "la calidad de la educación se asienta actualmente en dos pilares fundamentales: la organización del sistema educativo con especial atención a la configuración de los centros, y el desarrollo profesional de los docentes" (p.335). Así, por un lado las tendencias organizativas van decantándose hacia el proceso más que hacia los resultados, apareciendo la perspectiva cultural como una forma de vida que integra y articula la práctica en las instituciones educativas; y por otro, se aprecia un claro compromiso ideológico que trata de vincular las prácticas educativas con un trío de relaciones entre el profesorado que fomente principios de colaboración, coordinación, discusión y negociación, autonomía, reflexión y crítica de tal forma que se vaya articulando un tipo de cultura colaborativa que impregne el diseño y desarrollo de las organizaciones. Con estas premisas entendemos que desde todos los ámbitos y normativas que hemos consultado, la responsabilidad de una educación de calidad recae en todos los elementos que la conforman, y en sus compromisos de cambio y perfeccionamiento. La creación del INCE en 1993 como organismo encargado de velar por la calidad del sistema educativo es un exponente más de las relaciones que existen entre calidad y educación. Sin embargo, hay autores con planteamientos más restrictivos que hacen recaer toda la responsabilidad en un solo elemento, como Mager y Myers (1982: 100), quienes señalan que "la calidad de una institución depende de la calidad de su profesorado”. Observamos que existe una estrecha vinculación entre los conceptos de calidad, cambio y evaluación. Desde cualquiera de los enfoques sobre la calidad se puede percibir la necesidad de analizar la realidad existente para llegar a un grado en el que el fenómeno, sujeto u objeto sea aceptable. La evaluación por tanto, desde estos planteamientos de calidad, debe considerar algunos principios que hasta ahora habíamos ignorado; tales como la Eficacia, Eficiencia y Efectividad. 3 Desde estas perspectivas la calidad, para ser determinada y para lograr alcanzarla, necesita de la evaluación, ya que como hemos visto estos conceptos de efectividad, eficiencia y eficacia de un proyecto, fenómeno o sujeto requiere del análisis, contraste y valoración de sus rasgos y características. Actualmente el interés no reside tanto en la evaluación como en la gestión de la calidad educativa, de tal manera que la evaluación se convierte en la herramienta para gestionar la calidad educativa. Desde estas perspectivas la calidad, para ser determinada y para lograr alcanzarla, necesita de la evaluación, ya que como hemos visto estos conceptos de efectividad, eficiencia y eficacia de un proyecto, fenómeno o sujeto requiere del análisis, contraste y valoración de sus rasgos y características. Actualmente el interés no reside tanto en la evaluación como en la gestión de la calidad educativa, de tal manera que la evaluación se convierte en la herramienta para gestionar la calidad educativa. En este entramado aparece una cuestión de difícil respuesta, a nuestro entender, ya que depende del enfoque por el que se opte. Desde una de las perspectivas, es evidente que la calidad de la educación depende de la efectividad de esta, mientras que desde otro punto de vista, más contextual, la calidad de la educación no sólo depende de esta variable, sino que es necesario atender a otras muchas; es en esta vertiente donde, a nuestro entender, interviene la evaluación, desde sus tres vertientes, diagnóstica, sumativa y formativa. LA EVALUACIÓN INSTITUCIONAL EN ESPAÑA: AVANCES Y RETOS PENDIENTES La Ley de Reforma Universitaria supuso en España un punto de inflexión importante para el establecimiento de un nuevo modelo de relación de la universidad con el estado basado en la autonomía de aquella; la filosofía de la autonomía universitaria como factor de mejora del sistema, toma en consideración que la autonomía generará diversificación y que esta supuesta variabilidad llevará al incremento de la calidad. Sin embargo, la contrapartida exigida por los gobiernos ha sido la de una rendición de cuentas (accountability) a fin de demostrar que las decisiones tomadas y las acciones ejecutadas están dirigidas a la mejora de la calidad de la institución. Esta correspondencia estuvo y está en 4 entredicho aunque cada vez resulta más difícil contrarrestarla. El inequívoco interés de los gobiernos en la exigencia de un sistema de evaluación institucional es una clara expresión de la creciente atención a la dimensión extrínseca de la calidad y a la vez puede ser un claro síntoma de que los modernos sistemas de enseñanza superior han entrado en la edad del desencanto. Señala Barnett (1992) que parece necesario que las universidades no sólo se autojustifiquen sino que es necesario conocer las actividades que desarrollan. la naturaleza de las funciones y actividades de las instituciones universitarias reclama la existencia de procesos internos y externos de evaluación como procedimiento para garantizar la pertinencia, eficacia y eficiencia de las mismas. Coincidimos con Rodriguez Espinar en que la evaluación debe ser una fase naturalmente necesaria en todo proceso de intervención; pero además en el caso de la institución universitaria está justificada por los siguientes motivos (Rodriguez Espinar, 1998: 134): a) La fase de expansión de los sistemas de Enseñanza Superior ha puesto de manifiesto significativas debilidades de los mismos. b) Los costes se han disparado como consecuencia de la masividad de acceso y las restricciones económicas fuerzan a una mayor eficiencia c) La sociedad exige al sistema universitario una mayor aportación al desarrollo nacional d) La internacionalización de la producción y de la formación superior reclaman niveles de calidad contrastados y contrastables. e) Todo usuario tiene derecho a exigir datos y especificaciones acerca de la calidad ofrecida por la institución en la que ingresa y desarrolla su formación. f) Las universidades, al igual que todo servicio público han de ofrecer evidencia a la sociedad de la calidad de su acción y gestión. La tabla que mostramos en la página siguiente (Tabla Nº3) ilustra cómo ha ido evolucionando en nuestro país la política de evaluación en el sistema universitario. TABLA Nº3 SISTEMA POLÍTICO SISTEMA UNIVERSITARIO Actividades Consejo de Actividades 5 Universidades Unión Europea 1978- 1985 Constitución Ley de Reforma Universitaria. Creación del Consejo de Universidades. 1986- 1989 Estudios previos a definir un standar 1990- 1991 Debate sobre el alcance de la evaluación (estudios, seminarios, publicaciones) orientados a mejorar la calidad. 1992- 1993 Programa Experimental de Evaluación 1994- 1995 Valoración del Programa Experimental. Acuerdo del Consejo de Universidades por el que se propone un plan de Evaluación Coordinación del Proyecto Piloto Europeo. Proyecto Piloto Europeo Conferencia final del Proyecto Europeo 1996- 1997 1ª Convocatoria del Plan Nacional. 1ª Convocatoria de Comunidades Autónomas Coordinación del Plan de Evaluación 1º Informe de Evaluación Propuesta de 2ª Convocatoria Propuesta de recomendación de la Comisión... de garantia de calidad en la enseñanza superior 1998 Dictamen del Consejo Económico y Social. Modelo Europeo de Evaluación. Tabla 3. Cronología de la política de evaluación (De Luxan, 1998) 1.1.1. El Plan Nacional de Evaluación de la Calidad de las Universidades El 25 de septiembre de 1995, el pleno del Consejo de Universidades acuerda proponer al Gobierno un Plan Nacional de 6 Evaluación de la Calidad de las Universidades. El Real Decreto 1947/1995 de 1 de Diciembre (B.O.E. 9-12-95) eleva a texto normativo dicha propuesta. Las características más destacables del plan desde el punto de vista de la política de la evaluación son las siguientes: - La propuesta evaluativa que se realiza supera la controversia entre rendición de cuentas versus mejora de la calidad; la finalidad de la evaluación desde las orientaciones que propone el plan es hacía la mejora de la calidad. - Un concepto evaluativo que se desarrolla a partir de la contextualización de los procesos evaluativos y del desarrollo en ese contexto de una cultura evaluativa. - La concesión de ayudas económicas para llevar a cabo el proceso de evaluación acorde con los proyectos presentados por las propias universidades. La primera convocatoria se realizó en 1996 y hubo una respuesta masiva de las distintas universidades. - La creación de un marco de referencia único dentro de todo el territorio español consensuado con todas las comunidades autónomas que tienen competencia en educación.El objetivo es la consolidación de un modelo de evaluación del sistema universitario español. Desde la metodología de la evaluación es de destacar: - El objeto de la evaluación tal y como propuso el Plan Experimental de Evaluación 92-94 se extiende no sólo a la enseñanza sino que se hace extensivo a la investigación, servicios y gestión de la propia universidad. - El establecer como unidades básicas de análisis la titulación (programa de formación) y el departamento (área/s de conocimiento) en relación a la enseñanza y la investigación. Desde una orientación a la mejora de la calidad para el usuario (alumno) el referente evaluativo es la titulación que cursa; para el profesor desde la perspectiva organizativa de su trabajo científico el departamento es su referente. - El modelo evaluativo que se adopta es homologable con el que se viene trabajando en las universidades extranjeras con más experiencia 7 evaluadora: Autoestudio y evaluación externa realizada por un comité de expertos. - Se asume distintos niveles de complejidad en la realización de los proyectos de las universidades así como la adopción de ritmos de ejecución también distintos. Esta diversidad contrasta con la rigidez de los modelos europeos y está ligada al planteamiento de la evaluación con la financiación de las universidades. - La gestión del Plan se articula en torno de la Secretaría General del Consejo de Universidades a través de una oficina de gestión y con la asistencia de un Comité Técnico compuesto por miembros natos y desigandos. Esta peculiar organización contrasta con la generada en otros paises en los que la creación de un Comité o Agencia de Evaluación ad hoc ha sido la vía mas frecuente de poner en marcha la evaluación institucional. Los retos que tiene planteado en nuestro país la evaluación institucional universitaria a juicio de Rodriguez Espinar (1998) y de los cuales nos hacemos partícipe son los siguientes: - En cuanto a la organización y gestión del proceso: Se ve la necesidad de la creación de una Agencia o Comité Nacional de Evaluación independiente en su funcionamiento y estructura del gobierno y de las universidades. Por otra parte es necesario articular no sólo la participación de las Comunidades Autonómas sino también las demandas de la sociedad, expresadas juridicamente a través de los respectivos Consejos Sociales de las universidades. - Sobre los requisitos previos al inicio de la evaluación institucional: En relación a este punto parece necesario por una parte que el comité de evaluación interna tenga entre sus funciones la de recopilar todos los datos estadísticos del centro evaluado; sería aconsejable disponer de un perfil de estadísticas y datos de gestión que posibilitara la comunicación y el diálogo entre los diferentes agentes. De otra parte parece importante emprender una serie de acciones que se destinen a expandir la cultura de la evaluación; las universidades deben proporcionar medios para crear un clima favorecedor de la mejora de la calidad y de la evaluación como una estrategia pertinente para conseguir tal fin. 8 - En relación a la metodología: Globalmente es conveniente mantener el modelo actual propuesto. Es posible mejorar los instrumentos técnicos desarrollados, pero sólo la generalización del modelo propuesto hace posible acumular evidencia y a partir de ahí plantear alternativas que posibiliten plantear alteraciones significativas. Dentro de este planteamiento se impone la necesidad de introducir de manera progresiva el estudio de indicadores de rendimiento. Además para ir en la dirección de la homologación metodológica también parece pertinente crear Comités de Grandes Áreas disciplinares alrededor de los cuales se realizarían las adaptaciones específicas del modelo y finalmente la experiencia desarrollada también desvela como aconsejable la acreditación de los expertos externos. - Sobre los resultados de la evaluación: Para evitar un mal uso de los resultados de la evaluación se debería elaborar un prototipo de informe de evaluación que satisfaga y se dirija a la sociedad en general para que conozca cuáles son sus principales aportaciones. De otra parte es necesario buscar un modelo de financiación universitario que posibilite la mejora de la calidad. No tenerlo es un claro indicador negativo de la calidad de la gestión del sistema. 1.1.2. La Unidad de Evaluación de la Calidad en las Universidades Andaluzas (UCUA) Las Universidades Andaluzas participaron a través del Consejo Andaluz de Universidades en la primera convocatoria del Plan Nacional de Evaluación de la Calidad de las Universidades con un proyecto del tipo acción conjunta, consistente en estudiar la necesidad y viabilidad de la organización y puesta en funcionamiento de una estructura a nivel autonómico que permitiera abordar los procesos de evaluación y mejora de la calidad de la educación superior. Los resultados de la ejecución del referido proyecto establecieron la conveniencia de constituir una estructura bajo la forma jurídica de consorcio administrativo. Con la denominación de Unidad para la Calidad de las Universidades Andaluzas se constituye un consorcio a propuesta del Consejo Andaluz de Universidades integrado por el conjunto de las diez 9 universidades andaluzas 1 y la Consejería de Educación y Ciencia (Resolución de 8 de Noviembre de 1998, BOJA de 16 de Febrero de 1999). Para la puesta en marcha de este proyecto como hemos indicado anteriormente se contemplan cuatro acciones de lo que se denominan las vías del proceso de la calidad (Proyecto de Creación de una Unidad de Evaluación de la Calidad de las Universidades Andaluzas, 1996: 7). . La Universidad de Sevilla y la Unidad Técnica de Evaluación La Universidad de Sevilla participa, al igual que el resto de las Universidades Andaluzas, en el Plan Nacional de Evaluación de la Calidad de las Universidades con la creación de una Unidad de Evaluación. Para la Universidad Hispalense, esta Unidad servirá de soporte técnico para cuantos procesos de evaluación, institucionales o referidos al personal, se lleven a cabo en la misma. Debemos tener presente que ésta Universidad cuenta con cierta experiencia en procesos de evaluación, tanto realizados por la propia universidad como por entidades externas. La puesta en marcha de esta Unidad en sus inicios dispuso de recursos humanos y materiales consistente en dos efectivos de personal y el material y equipamiento mínimo imprescindible para realizar sus funciones adecuadamente. Con estos recursos se pusieron en marcha las siguientes actuaciones:  Dar soporte técnico-administrativo y tramitar el proyecto de Evaluación de la calidad de la Universidad, previsto en la convocatoria de 1997 del Plan Nacional.  Ser la Unidad responsable de la estadística de suministro interno y externo de la universidad  Dar soporte técnico-administrativo a cuantas evaluaciones, realizadas internamente o por entidades externas, se lleven a cabo en la Universidad de Sevilla. La Unidad deberá ser capaz de satisfacer de forma autónoma la demanda mínima que requiere una organización con la dimensión que posee la Universidad de Sevilla. La Unidad para la Calidad de las Universidades Andaluzas identifica el proceso de evaluación como: mejora, universalidad, compromiso social, transparencia y responsabilidad 1 U. de Almería, U. de Cádiz, U. de Córdoba, U. de Granada, U. de Huelva, U. de Jaén, U. de Málaga, U. de Sevilla, U. Internacional de Andalucía, U. Pablo de Olavide 16 - ¿Qué utilidad tienen los programas de formación diseñados en nuestro centro?. - ¿Es correcta la adecuación temporal prevista?. - ¿Cómo percibe el profesorado, los alumnos y los organos de gestión su desarrollo?. - ¿Cómo se está conduciendo el proceso de implantación? - ¿Qué factores están afectando a su funcionamiento?. - ¿Es el profesor un elemento clave en los resultados del proceso de implantación?. En cuanto a la evaluación de resultados hasta hace poco tiempo era el único tipo de evaluación que se llevaba a cabo tras la finalización del proceso. Conocer el impacto de la evaluación, su eficacia en satisfacer las necesidades para las que fue concebido el estudio, o su éxito en el logro de los objetivos propuestos, son todas cuestiones necesarias para el plan formativo. Las cuestiones evaluativas que guían la evaluación de resultados en nuestro estudio son las siguientes: - ¿Qué grado de consecución tienen los objetivos propuestos en cada una de las titulaciones a evaluar? - ¿Qué resultados ofrecen los programas de formación diseñados?. - ¿Qué repercusión tiene el proceso de implantación en la práctica profesional de los implicados?. - ¿Ha generado el proceso un cambio de actitud en el profesorado?. - ¿Qué impacto tiene el programa de formación en los alumnos? 2. PLANTEAMIENTO DEL ESTUDIO 2.1. Finalidad del Estudio y Objetivos de la Evaluación Con el presente proyecto pretendemos abordar el diseño y análisis del proceso de implantación de las nuevas titulaciones en la Facultad de Ciencias de la Educación de la Universidad de Sevilla en lo referente a las Nuevas Titulaciones que se ponen en funcionamiento durante el curso 1998-1999. Nuestro principal objetivo es captar la significatividad, la singularidad de la situación objeto de estudio, y las características que definen esta situación. El valor fundamental de un análisis de este tipo estriba en la adecuada identificación y especificación de los elementos facilitadores y distorsionadores que se han encontrado durante el proceso de implantación, con el propósito fundamental de incidir en la mejora de los Nuevos Planes de Estudio. Los principales destinatarios del autoestudio realizado son los integrantes de las unidades de referencia: titulación, departamentos, centros y servicios. Son objetivos generales de este estudio los siguientes: - Sensibilizar al profesorado y al alumnado con el proceso de evaluación 17 - Aceptación de un concepto de evaluación asociado a la mejora y la calidad - Conocer la opinión de todos los sectores implicados en el proceso - Identificar factores que dificultan y favorecen el proceso de implantación - Seleccionar aspectos formales susceptibles de mejora, modificación o cambio de los Nuevos Planes de Estudio (asignaturas, créditos, cuatrimestres...) - Recoger propuestas de diferentes sectores que incidan en la calidad de los Nuevos Planes de Estudio para hacerlas llegar a las instancias oportunas. - Generar en nuestro Centro una cultura evaluativa propicia para la puesta en marcha del Plan Nacional de Evaluación de la Calidad de las Universidades. 2.2.La Titulación como unidad de evaluación de la enseñanza Una vez precisados los objetivos de evaluación, entendemos que en nuestro trabajo la titulación se convierte en la unidad de evaluación y por tanto en el contenido de la misma. La Titulación, entendida como referente de formación para el alumno, constituye la unidad significativa en la que pueden analizarse el conjunto de procesos y actividades conducentes a la obtención de un título universitario. El programa de formación atendiendo al diseño, organización, desarrollo y resultados, constituirá el núcleo central del contenido que se va a evaluar. Este análisis tendrá un carácter comprensivo y globalizador, de ahí que situemos el mismo en relación a los siguientes aspectos:  Contexto institucional en el que se desarrollan las distintas titulaciones  Metas, objetivos y planificación de las distintas titulaciónes  El programa de formación  Desarrollo de la enseñanza  Los Departamentos  Alumnado  Profesorado y personal investigador  Recursos, medios e instalaciones  Gestión de la Calidad (mecanismos de seguimiento y evaluación de la enseñanza)  Relaciones externas: Proyección de la Facultad en la sociedad y en la comunidad universitaria. En nuestra facultad se han implantado ocho titulaciones y el modelo de implantación adoptado ha sido diferente para ellas. En las titulaciones de Pedagogía y Psicopedagogía, se ha procedido desde un modelo progresivo y por tanto atenderemos a los primeros cursos en ambas titulaciones. Sin embargo, para las titulaciones de Maestro la implantación ha sido global, lo cual implica que participan en este trabajo los tres cursos de las seis especialidades 18 (Educación Infantil, Primaria, Musical, Lenguas extranjeras-inglés y francés-, Educación Física y Educación Especial). 2.3. Diseño de la investigación Teniendo en cuenta el modelo de evaluación adoptado, los objetivos propuestos y el objeto a evaluar hemos optado por un diseño descriptivo tipo '"survey" (Colás y Buendía, 1994). En este sentido se hace necesario recoger información factual que describa una determinada situación, que a su vez posibilitará realizar comparaciones, valoraciones y planificar futuros cambios y tomas de decisiones. En la siguiente exposición vamos a presentar en primer lugar las distintas fuentes de obtención de información para explicitar de esta forma las diferentes partes de que consta este trabajo, así más tarde será posible estructurar para cada una de ellas la muestra que se ha contemplado. 2.3.1. Técnicas de recogida de datos y fuentes de obtención de información El gráfico que exponemos a continuación resume los distintos agentes que han intervenido en el proceso evaluativo y las técnicas de recogida de información utilizadas. Se han establecido básicamente tres ámbitos para la recogida de información: Los Programas de Formación, los Foros de Debate y los Cuestionarios dirigidos a Profesores, Alumnos y Órganos de Gestión. GRAFICO Nº9 Gráfico 9. Procedimientos para la obtención de información CUESTIONARIOS FOROS DE DEBATE ANALISIS DE PROGRAMAS Criterios de Aplicación Escala de Observación Criterios de Selección Profesores, Alumnos y Órganos de Gestión Profesores y Alumnos Programas 19 2.3.1.1. Los Programas de Formación Son los Programas de las asignaturas pertenecientes a los Nuevos Planes. Para tal fin se ha diseñado un Cuestionario para el Análisis de los Programas (Anexo I) que consta de 37 ítems. Los 10 primeros hacen referencia a los datos de identificación de la materia a impartir (Denominación, Curso, Departamento al que pertenece, carácter de la asignatura –troncal, obligatoria, optativa, cuatrimestral, anual-, créditos teóricos y prácticos, número de profesores implicados en el diseño y grupos para el que se hace el programa). Un segundo bloque de 18 preguntas está dirigido a conocer la presencia o no de determinados elementos en dichos programas (descriptores, objetivos, contenidos, metodología, evaluación, referencias bibliográficas, horario de tutorías, fechas previsibles de las pruebas y normas de exámenes). Finalmente el tercer conjunto de cuestiones está indicado para indagar con más profundidad e identificar las características de aspectos relacionados con las referencias bibliográficas –tipo de referencias, idioma en el que se presentan, diferenciación para créditos teóricos y prácticos, años de las referencias-, tipología de las prácticas de enseñanza –problemas numéricos, casos, de laboratorio, de campo-, organización temporal de las prácticas, las metodologías propuestas para créditos teóricos y prácticos –ordenador, seminarios, trabajo en grupo, exposición, trabajo individual-, los trabajos propuestos –obligatorios, de intervención, de investigación, monografías, jornadas, mesa redonda-, y la evaluación contemplada en los programas –examenes, escritos, orales, abiertos, trabajos, evaluación contínua, parciales, convocatorias ordinarias, pruebas esporádicas, etc.-. Se recoge por último una cuestión sobre ‘observaciones’ con objeto de recoger aquellas cuestiones que puedan ser de interés en el análisis de los programas de formación 2.3.1.2. Los Foros de debate realizados con profesores y alumnos Se denominan así a las reuniones que periódicamente se han mantenido con profesores y alumnos de las distintas titulaciones. Los objetivos que nos marcamos para las distintas sesiones realizadas fueron los siguientes: 1. Objetivos al inicio del proceso de implantación - Explorar las primeras impresiones sobre el proceso de implantación una vez iniciado el curso. 2. Objetivos durante el proceso de implantación - Analizar todos aquellos factores que estaban incidiendo en el proceso de implantación 3. Objetivos al final del primer año de implantación - Analizar al término del proceso todos aquellos factores que habian incidido en el proceso de implantación 20 Para recopilar las aportaciones de estas sesiones se elaboró un Protocolo para la identificación de los Foros (Anexo IV) con el objetivo de determinar las características de cada una de las sesiones y que aspectos se trataban en el desarrollo de cada una de ellas. Las preguntas van dirigidas a identificar los temas que se tratan, el número y las personas que intervienen, la duración de las sesiones, el sentido de las intervenciones, el papel que adopta el moderador, el cumplimiento del guión previsto y el ambiente en el que se desenvuelven las mismas. Completa esta información un Guión Semiestructurado para el seguimiento de las sesiones (Anexo III) que consta de cuatro apartados: Sobre el programa de formación de la materia –grado de cumplimiento de los programas, valoración sobre el desarrollo de los mismos, dificultades encontradas, logros fundamentales, variaciones realizadas con respecto a los previsto-, sobre el alumno –evolución desde el inicio del curso y logros en cuanto a rendimiento-, sobre el profesor – vivencias respecto al proceso de implantación, preocupaciones, grado de interacción con el alumno, necesidades sentidas, motivaciones, interrelación con los colegas- y sobre recursos e infraestructura -necesidades, problemas de uso, disponibilidad, aportaciones de los recursos al desarrollo de los programas-. Cada una de estas sesiones se grabaron en audio y más tarde se transcribieron las diferentes cintas para proceder a un análisis cualitativo del contenido de las mismas. La codificación del material se ha realizado tomando como unidad de registro, la unidad de contexto. Esta unidad corresponde al segmento del mensaje cuyo tamaño es óptimo para captar la significación exacta de la unidad de registro. (Bardin, 1986). Atendiendo a este criterio, elaboramos una sistema de categorías que nos permitió aglutinar de una forma temática las valoraciones que sobre el proceso de implantación de las nuevas titulaciones realizaban profesores y alumnos. El sistema de categorías elaborado responde a la estructura siguiente: A) SOBRE EL PROGRAMA DE FORMACIÓN  GRADO DE CUMPLIMIENTO DEL PROGRAMA EN RELACIÓN A: - Objetivos: - Contenidos: - Metodología: - Temporalización: - El programa en su globalidad:  VALORACIÓN SOBRE EL DESARROLLO DEL PROGRAMA: - Objetivos: - Contenidos en créditos teóricos: - Contenidos en créditos prácticos: - Metodología en créditos teóricos: - Metodología en créditos prácticos: - Actividades previstas: - Evaluación para créditos teóricos: - Evaluación para créditos prácticos: - El desarrollo del programa en su globalidad:  VARIACIONES REALIZADAS CON RESPECTO A LO PREVISTO 21 2.3.1.3. Los Cuestionarios a los Agentes implicados en el proceso de elaboración y desarrollo de los Nuevos Planes Estimamos que los tres sectores relacionados con la implantación son profesores, alumnos y órganos de gestión. Los cuestionarios (Anexo II) utilizados han sido tanto para profesores, alumnos como órganos de gestión una escala de estimación diseñada para los propósitos del estudio, con cinco opciones de respuesta que varían de B) ASPECTOS VIVENCIALES DEL PROCESO DE IMPLANTACIÓN  SOBRE EL ALUMNO - Complejidad del hecho educativo: - Formación personal: - Autonomía de estudio: - participación en la tarea educativa: - Cohesión del grupo clase: - Sentimientos/valoración del programa: - Propuestas de los alumnos:  SOBRE EL PROFESOR - Cómo está viviendo el proceso de implantación: - Preocupaciones vinculadas al proceso: - Cobertura institucional para el desarrollo del programa: - Grado de interacción con los alumnos: - Necesidades sentidas: - Motivaciones: - Apoyo e intercambio con colegas: - Propuestas de los profesores: C) SOBRE RECURSOS E INFRAESTRUCTURA - Necesidades: - Problemas de uso: - Disponibilidad: - Aportaciones de los recursos al desarrollo del programa: - Apoyo institucional para el proceso de implantación: D) PRINCIPALES LOGROS Y DIFICULTADES DURANTE EL PROCESO DE IMPLANTACIÓN: - Dificultades encontradas para el desarrollo del programa: - Logros fundamentales conseguidos hasta ahora: - Logro en cuanto a rendimiento de los alumnos: - Elementos facilitadores del proceso de implantación: - Elementos que dificultan el proceso de implantación: E) EFECTOS NO ESPERADOS O COLATERALES: - Positivos: - Negativos: 22 completamente de acuerdo (CA) a completamente en desacuerdo (CD). Los tres cuestionarios se han elaborado en relación a las siguientes dimensiones: a) datos descriptivos de identificación, b) estructura del Plan de Estudio, c) Infraestructura, d) El proceso de enseñanza, e) Mecanismos de seguimiento del Plan de Estudio y f) Proyección de la facultad en la sociedad y en la comunidad universitaria. La especificidad que cada una de estas dimensiones adquiere en el cuestionario en función de los agentes implicados la pasaremos a describir a continuación. 1) Cuestionario de Profesores: Este instrumento consta de 54 ítems dividido en tres grandes apartados. El primero dirigido a obtener datos descriptivos del profesor que responde –materia que imparte, grupo en el que imparte docencia, categoria profesional, si es doctor, años de experiencia docente, Departamento al que pertenece y si ha participado en el diseño de alguna titulación-. El segundo bloque está dirigido a que el profesor aporte su visión sobre la estructura del Plan de Estudio –número de materias, titulos de las materias, ubicación en los cuatrimestres y año de impartición, carácter, modelo de implantación, ubicación del prácticum, finalidades del plan-. Un tercero sobre la infraestructura destinada al desarrollo del mismo –condiciones de las aulas, disponibilidad de medios, nivel de las instalaciones, condiciones de los despachos, funcionamiento de la biblioteca-. El cuarto bloque está destinado al proceso de enseñanza – coordinación con otros profesores, calendario de exámenes, distribución de créditos, ajuste al programa previsto, incorporación de sugerencias de alumnos, dedicación de las tutorías, peso de los contenidos, proyección de la materia que se imparte, utilización de diferentes metodologías, nivel de contenidos, utilización de recursos didácticos, criterios y pruebas de evaluación, relaciones con los alumnos, ambiente del aula, etc.-. Y finalmente el último bloque está destinado a los mecanismos de seguimiento del propio plan –reuniones entre profesores, conocimiento de los problemas académicos de los alumnos, atención de los órganos de gestión a los problemas de la implantación del Plan-. 2) Cuestionario de Alumnos: Consta de 48 preguntas divididas en 5 apartados. El primero para determinar las características del alumno -edad, sexo, prioridad de la titulación, compatibilización de estudios, conocimiento de los perfiles profesionales-. 23 Un segundo bloque sobre la estructura del Plan – número de materias, modelo de implantación, duración y momento del practicum, aprendizajes obtenidos, percepción del plan, respuesta a expectativas-. El tercero sobre infraestructura –condiciones de las aulas, disponibilidad de recursos didácticos, nivel de matenimiento de las instaciones, funcionamiento de la biblioteca-. El penúltimo sobre el proceso de enseñanza –coodinación entre asignaturas, disponibilidad de los programas de las asignaturas, nivel de exigencia, accesibilidad de la bibliografía, adecuación del calendario de exámenes, cumplimiento de los programas, proyección profesional de las asignaturas, utilización de diferentes metodologías,, criterios de evaluación, relaciones entre profesores y alumnos, ambiente de clase, motivaciones de profesores y alumnos, comunicación con el profesorado-. El último sobre la proyección que la Facultad tiene en el entorno socioeconómico en el que se sitúa –actividades que organiza la facultad, presencia de los diferentes campos profesionales, imagen de la tuitulación, imagen de los graduados-. 3) Cuestionario para Órganos de Gestión: Este instrumento está compuesto por 6 dimensiones que engloban a un total de 44 items. En la primera de ellas se recogen los Datos descriptivos del sujeto que responde, atendiendo fundamentalmente a cuestiones referidas a cargos de gestión que desempeña y órganos en los que participa. El segundo bloque está referido a la Estructura del plan –número de materias,adecuación del modelo de implantación, curso para desarrollar el prácticum y su duración, tipo de aprendizajes que pueden adquirir los alumnos, ajuste a los objetivos previstos, distribución de créditos teóricos y pácticos-. En tercer lugar se atiende a cuestiones de Infraestructura – condiciones de las aulas y lugares de estudio, disponibiidad de medios y recursos, nivel de las instalaciones, despachos, funcionamiento de la Secretaría del centro, recursos disponibles en los departamentos, etc.-. Seguidamente se pregunta sobre el Proceso de enseñanza –en cuanto a los aspectos relacionados con la planificación, con el desarrollo de la enseñanza y con la evaluación de los aprendizajes-. En quinto lugar aparecen los Mecanismos de seguimiento del plan de estudio –preocupación por los problemas surgidos en el proceso de implantación, estrategias utilizadas para solventar esos problemas con colegas, con alumnos y con otros cargos de gestión-. 24 La última dimensión que aparece es sobre la Proyección de la facultad en la sociedad y comunidad universitaria –actividades que organiza la Facultad, presencia de campos profesionales, vinculación con el mundo profesional, convenios, programas de formación en el extranjero, impacto en el entorno e imagen de las titulaciones en el exterior-. 2.3.2. Población, muestra y procedimientos de muestreo La presentación sobre la muestra que hacemos a continuación se divide en función de las distintas fuentes de información que hemos utilizado. 2.3.2.1. Los Programas de Formación Para la muestra de esta parte del estudio se han analizado la totalidad de los programas de formación de que disponiamos en la Secretaría de la Facultad, es decir todos aquellos que a principio de curso los profesores de las distintas asignaturas habían entregado en el plazo demandado por dicha Secretaría. En la siguiente tabla se especifican por titulaciones. MUESTRA 1º 2º 3º Total PEDAGOGIA 12 12 PSICOPEDAG OGIA 18 18 E.PRIMARIA 13 10 12 35 E.INFANTIL 9 8 12 29 E,FISICA 13 10 11 34 E.MUSICAL 11 0 0 11 E.ESPECIAL 9 6 10 25 LENGUA EXTRANJERA 20 18 22 58 TOTAL 222 2.3.2.2. Los Foros de Debate Los foros de debate son reuniones en las que son invitados a participar todos los profesores que imparten docencia en algún grupo de las Nuevas Titulaciones y representantes de alumnos de esos mismos grupos. Se espaciaron en el tiempo en función del objetivo que se pretendía cubrir con cada una de ellas. En todas, el foro discurría a partir de la guía semiestructurada elaborada para tal fin. 25 A continuación presentamos una tabla con los datos aproximados de asistentes. MUESTRA Sesion es Profesores Asistentes Alumnos asistentes PEDAGOGIA 4 De 3 a 10 1 PSICOPEDAGO GIA 5 De 5 a 15 De 1 a 7 MAGISTERIO 3 De 9 a 23 3 TOTAL 12 2.3.2.3. Los Cuestionarios La población de referencia para este estudio se circunscribe, en primer lugar, a la totalidad de alumnos que, desde el curso 98-99, están matriculados en cada uno de los cursos en los que se están implantando los Nuevos Planes (primero de Pedagogía, y Psicopedagogía y los tres cursos de las distintas titulaciones de maestros). En segundo lugar, los profesores que imparten docencia en esos cursos. Y finalmente una muestra de cargos de gestión que durante el proceso de elaboración han estado implicados de una u otra forma en la toma de decisiones. La tabla que exponemos a continuación recoge el total de la población tanto para profesores y alumnos en las distintas titulaciones de nuestro centro durante el curso 98/99: Nº Alumnos curso 98/99 Nº Profesores curso 98/99 TITULACIÓN 1º 2º 3º 1º 2º 3º Ed. Infantil 218 212 280 24 28 17 Ed. Musical 16 - - 13 - - Ed. Primaria 139 136 180 20 21 20 Ed. Especial 234 221 253 31 23 21 Ed. Física 129 118 199 25 23 14 Lengua Ext. 82 51 81 6 15 9 Pedagogía 395 - - 23 - - Psicopedagogía 152 - 15 32 B) ASPECTOS VIVENCIALES DEL PROCESO DE IMPLANTACIÓN  SOBRE EL ALUMNO - Complejidad del hecho educativo: - Formación personal: - Autonomía de estudio: - participación en la tarea educativa: - Cohesión del grupo clase: - Sentimientos/valoración del programa: - Propuestas de los alumnos:  SOBRE EL PROFESOR - Cómo está viviendo el proceso de implantación: - Preocupaciones vinculadas al proceso: - Cobertura institucional para el desarrollo del programa: - Grado de interacción con los alumnos: - Necesidades sentidas: - Motivaciones: - Apoyo e intercambio con colegas: - Propuestas de los profesores: C) SOBRE RECURSOS E INFRAESTRUCTURA - Necesidades: - Problemas de uso: - Disponibilidad: - Aportaciones de los recursos al desarrollo del programa: - Apoyo institucional para el proceso de implantación: D) PRINCIPALES LOGROS Y DIFICULTADES DURANTE EL PROCESO DE IMPLANTACIÓN: - Dificultades encontradas para el desarrollo del programa: - Logros fundamentales conseguidos hasta ahora: - Logro en cuanto a rendimiento de los alumnos: - Elementos facilitadores del proceso de implantación: - Elementos que dificultan el proceso de implantación: E) EFECTOS NO ESPERADOS O COLATERALES: - Positivos: - Negativos: 33 2.3.2.6. Los Cuestionarios a los Agentes implicados en el proceso de elaboración y desarrollo de los Nuevos Planes Estimamos que los tres sectores relacionados con la implantación son profesores, alumnos y órganos de gestión. Los cuestionarios (Anexo II) utilizados han sido tanto para profesores, alumnos como órganos de gestión una escala de estimación diseñada para los propósitos del estudio, con cinco opciones de respuesta que varían de completamente de acuerdo (CA) a completamente en desacuerdo (CD). Los tres cuestionarios se han elaborado en relación a las siguientes dimensiones: a) datos descriptivos de identificación, b) estructura del Plan de Estudio, c) Infraestructura, d) El proceso de enseñanza, e) Mecanismos de seguimiento del Plan de Estudio y f) Proyección de la facultad en la sociedad y en la comunidad universitaria. La especificidad que cada una de estas dimensiones adquiere en el cuestionario en función de los agentes implicados la pasaremos a describir a continuación. 4) Cuestionario de Profesores: Este instrumento consta de 54 ítems dividido en tres grandes apartados. El primero dirigido a obtener datos descriptivos del profesor que responde –materia que imparte, grupo en el que imparte docencia, categoria profesional, si es doctor, años de experiencia docente, Departamento al que pertenece y si ha participado en el diseño de alguna titulación-. El segundo bloque está dirigido a que el profesor aporte su visión sobre la estructura del Plan de Estudio –número de materias, titulos de las materias, ubicación en los cuatrimestres y año de impartición, carácter, modelo de implantación, ubicación del prácticum, finalidades del plan-. Un tercero sobre la infraestructura destinada al desarrollo del mismo –condiciones de las aulas, disponibilidad de medios, nivel de las instalaciones, condiciones de los despachos, funcionamiento de la biblioteca-. El cuarto bloque está destinado al proceso de enseñanza – coordinación con otros profesores, calendario de exámenes, distribución de créditos, ajuste al programa previsto, incorporación de sugerencias de alumnos, dedicación de las tutorías, peso de los contenidos, proyección de la materia que se imparte, utilización de diferentes metodologías, nivel de contenidos, utilización de recursos 34 didácticos, criterios y pruebas de evaluación, relaciones con los alumnos, ambiente del aula, etc.-. Y finalmente el último bloque está destinado a los mecanismos de seguimiento del propio plan –reuniones entre profesores, conocimiento de los problemas académicos de los alumnos, atención de los órganos de gestión a los problemas de la implantación del Plan-. 5) Cuestionario de Alumnos: Consta de 48 preguntas divididas en 5 apartados. El primero para determinar las características del alumno -edad, sexo, prioridad de la titulación, compatibilización de estudios, conocimiento de los perfiles profesionales-. Un segundo bloque sobre la estructura del Plan – número de materias, modelo de implantación, duración y momento del practicum, aprendizajes obtenidos, percepción del plan, respuesta a expectativas-. El tercero sobre infraestructura –condiciones de las aulas, disponibilidad de recursos didácticos, nivel de matenimiento de las instaciones, funcionamiento de la biblioteca-. El penúltimo sobre el proceso de enseñanza –coodinación entre asignaturas, disponibilidad de los programas de las asignaturas, nivel de exigencia, accesibilidad de la bibliografía, adecuación del calendario de exámenes, cumplimiento de los programas, proyección profesional de las asignaturas, utilización de diferentes metodologías,, criterios de evaluación, relaciones entre profesores y alumnos, ambiente de clase, motivaciones de profesores y alumnos, comunicación con el profesorado-. El último sobre la proyección que la Facultad tiene en el entorno socioeconómico en el que se sitúa –actividades que organiza la facultad, presencia de los diferentes campos profesionales, imagen de la tuitulación, imagen de los graduados-. 6) Cuestionario para Órganos de Gestión: Este instrumento está compuesto por 6 dimensiones que engloban a un total de 44 items. En la primera de ellas se recogen los Datos descriptivos del sujeto que responde, atendiendo fundamentalmente a cuestiones referidas a cargos de gestión que desempeña y órganos en los que participa. El segundo bloque está referido a la Estructura del plan –número de materias,adecuación del modelo de implantación, curso para desarrollar el prácticum y su duración, tipo de aprendizajes que pueden adquirir los alumnos, ajuste a los objetivos previstos, distribución de créditos teóricos y pácticos-. 35 En tercer lugar se atiende a cuestiones de Infraestructura – condiciones de las aulas y lugares de estudio, disponibiidad de medios y recursos, nivel de las instalaciones, despachos, funcionamiento de la Secretaría del centro, recursos disponibles en los departamentos, etc.-. Seguidamente se pregunta sobre el Proceso de enseñanza –en cuanto a los aspectos relacionados con la planificación, con el desarrollo de la enseñanza y con la evaluación de los aprendizajes-. En quinto lugar aparecen los Mecanismos de seguimiento del plan de estudio –preocupación por los problemas surgidos en el proceso de implantación, estrategias utilizadas para solventar esos problemas con colegas, con alumnos y con otros cargos de gestión-. La última dimensión que aparece es sobre la Proyección de la facultad en la sociedad y comunidad universitaria –actividades que organiza la Facultad, presencia de campos profesionales, vinculación con el mundo profesional, convenios, programas de formación en el extranjero, impacto en el entorno e imagen de las titulaciones en el exterior-. 2.3.3. Población, muestra y procedimientos de muestreo La presentación sobre la muestra que hacemos a continuación se divide en función de las distintas fuentes de información que hemos utilizado. 2.3.3.1. Los Programas de Formación Para la muestra de esta parte del estudio se han analizado la totalidad de los programas de formación de que disponiamos en la Secretaría de la Facultad, es decir todos aquellos que a principio de curso los profesores de las distintas asignaturas habían entregado en el plazo demandado por dicha Secretaría. En la siguiente tabla se especifican por titulaciones. MUESTRA 1º 2º 3º Total PEDAGOGIA 12 12 PSICOPEDAG OGIA 18 18 E.PRIMARIA 13 10 12 35 E.INFANTIL 9 8 12 29 E,FISICA 13 10 11 34 E.MUSICAL 11 0 0 11 E.ESPECIAL 9 6 10 25 36 LENGUA EXTRANJERA 20 18 22 58 TOTAL 222 2.3.3.2. Los Foros de Debate Los foros de debate son reuniones en las que son invitados a participar todos los profesores que imparten docencia en algún grupo de las Nuevas Titulaciones y representantes de alumnos de esos mismos grupos. Se espaciaron en el tiempo en función del objetivo que se pretendía cubrir con cada una de ellas. En todas, el foro discurría a partir de la guía semiestructurada elaborada para tal fin. A continuación presentamos una tabla con los datos aproximados de asistentes. MUESTRA Sesion es Profesores Asistentes Alumnos asistentes PEDAGOGIA 4 De 3 a 10 1 PSICOPEDAGO GIA 5 De 5 a 15 De 1 a 7 MAGISTERIO 3 De 9 a 23 3 TOTAL 12 2.3.3.3. Los Cuestionarios La población de referencia para este estudio se circunscribe, en primer lugar, a la totalidad de alumnos que, desde el curso 98-99, están matriculados en cada uno de los cursos en los que se están implantando los Nuevos Planes (primero de Pedagogía, y Psicopedagogía y los tres cursos de las distintas titulaciones de maestros). En segundo lugar, los profesores que imparten docencia en esos cursos. Y finalmente una muestra de cargos de gestión que durante el proceso de elaboración han estado implicados de una u otra forma en la toma de decisiones. La tabla que exponemos a continuación recoge el total de la población tanto para profesores y alumnos en las distintas titulaciones de nuestro centro 37 durante el curso 98/99: Nº Alumnos curso 98/99 Nº Profesores curso 98/99 TITULACIÓN 1º 2º 3º 1º 2º 3º Ed. Infantil 218 212 280 24 28 17 Ed. Musical 16 - - 13 - - Ed. Primaria 139 136 180 20 21 20 Ed. Especial 234 221 253 31 23 21 Ed. Física 129 118 199 25 23 14 Lengua Ext. 82 51 81 6 15 9 Pedagogía 395 - - 23 - - Psicopedagogía 152 - 15 El procedimiento utilizado para la selección de la muestra de profesores y alumnos ha sido estratificado, estableciendo el tamaño de cada estrato mediante un procedimiento de afijación óptima que resulta de aplicar el porcentaje que representa cada estrato dentro del universo. Para los profesores estará en función de las distintas titulaciones, categoría profesional, años de experiencia docente y departamento al que pertenece. Para los alumnos el criterio ha sido la titulación, y para los cargos de gestión el nivel de implicación en el proceso de elaboración de los planes. En este sentido la muestra de alumnos y profesores que definitivamente ha participado en este estudio se presenta por titulaciones en la siguiente tabla: MUESTRA Alumnos Profesores PEDAGOGIA 198 7 PSICOPEDAGOGIA 124 6 E.PRIMARIA 154 5 E.INFANTIL 249 6 E,FISICA 116 3 E.MUSICAL 24 2 E.ESPECIAL 213 5 LENGUA EXTRANJERA 62 4 TOTAL 1141 38 En cuanto a los Órganos de Gestión la participación ha sido de 13 profesores de los 25 seleccionados, entre los que estaban incluidos el Decano de la Facultad, 2 Vicedecanos (Ordenación Académica y Asuntos Generales) que desempeñaron sus funciones durante el mandato en el que se elaboraron los Planes, los 7 Directores de los Departamentos de la Facultad y 15 profesores que 38 durante el proceso de elaboración estuvieron muy implicados en dicha elaboración. Acebillo Marín, P. (1992). La planificación de la Formación Ocupacional. En A. Ferrández Arenaz (Dir.). La Formación Ocupacional. Realidad y Perspectivas, Madrid, Diagrama, pp. 121-134 Álvarez, M. (1998). El liderazgo de la calidad total. Madrid: Escuela Española. Alvira, F. (1991). Metodología de la Evaluación de Programas. Centro de Investigaciones Sociológicas. Cuadernos metodológicos, nº2. Madrid. Apodaca, P, y Lobato, C. (Eds.) (1997). Calidad en la universidad: orientación y evaluación. Barcelona: Laertes. Asenjo, M. (1993). Mercado Unico: Las Reformas educativas hipotecadas por la crisis económica. ABC, Dominical del 2 de Mayo, p. 74-77. Asenjo, M. (1993). Mercado Unico: Las Reformas educativas hipotecadas por la crisis económica. ABC, Dominical del 2 de Mayo, p. 74-77. Ballantine, J. (1989). University Teaching around the world. Teaching Sociology, 17 291-296. Ballantine, J. (1989). University Teaching around the world. Teaching Sociology, 17 291-296. Bardin, L. (1986). Análisis de contenido. Akal Universitaria: Madrid. Barnett, R. (1990).The Idea of Higher Education.Buckingham, Open University Press. Barnett,R. (1992). Improving Higher Education, total quality care. London. Srhe&The Open University Press. Barrios, R. Y Otros (1995). “Análisis del proceso interno de una investigación cualitativa”. En A. Medina y L.M. Villar. Evaluación de programas educativos, centros y profesores. Universitas. Madrid. Benedito, V. (Coor.) (1991).El professorat de primaria i secundaria a Catalunya: Necessitats i perspectives en la seva formacion permanent.Barcelona, ICE de la Universidad de Barcelona. Benedito, V. (Coord) (1992). La Formación del profesorado universitario.Madrid. MEC. Benedito, V.; Ferrer, V. y Ferreres, V. (1995).La Formación universitaria a debate.Barcelona. Publicaciones Universitat de Barcelona. Bordás, I. Cabrera, F. Fortuny, M. y Rodriguez-Lajo, M. (coord.) (1995). Las salidas profesionales del licenciado en Pedagogía. Laertes. Bordás,I.; Millán,D. y Torre, S D. (1994). Las salidas Profesionales del título de Pedagogía. Boletín del Colegio Oficial de Doctores y Licenciados en Filosofía y Letras y Ciencias de Cataluña. Nº88, Gener, 4650. Bosch Font, F. (1989). Proyectos de una nueva universidad. En A. Jimenez y M A. Lou (eds):Actas II Congreso educción y sociedad Colegio Oficial de Doctores y Licenciados. Granada. 59-63. 39 Calleja, T. (1990). La universidad como empresa: Una revolución pendiente. Colección Empresa y Humanismo. Rialp S. A. Madrid. Cano García, E. (1998). Evaluación de la Calidad Educativa. Madrid: La Muralla. Centra, J. (1980). “Determining Faculty Effectiveness”. Citado por De la Orden (1987) Formación, selección y evaluación del profesorado universitario Bordón, 266 5-29. Centro de Investigación y Documentación Educativa (C.I.D.E.) (1995). El Sistema Educativo Español. Ministerio de Educación y Ciencia. Madrid. Colás, M.P. y Buendía,L.(1992). Investigación Educativa. Alfar: Sevilla. Colás, M.P. y Rebollo, M.A. (1994, 2ª Ed.). Evaluación de programas. Una guía práctica. Kronos: Sevilla. Colás, P. y García, R. (1993). Situación laboral de los Pedagogos: un estudio empírico. Revista Profesiones y Empresas, 2, 55-80. Consejo de Universidades. (1993). Programa Experimental de la Calidad del Sistema Universitario. Madrid: Consejo de Universidades. Secretaria General. Consejo de Universidades. (1998). Plan Nacional de Evaluación de la Calidad de las Universidades. Guía de Evaluación. Madrid: Consejo de Universidades. Secretaría General. De La Orden, A. (1987). “Formación, selección y evaluación del profesorado universitario”. Bordón, 266, 5-29. De la Torre de la Torre, S. (1992). Proyecto Docente de Acceso a Cátedra, Barcelona, Universidad Central De Luxán, J. M. (1998). La evaluación de la universidad de España. Revista de Educación, 315, 11-28. De Luxán, J. M. (Ed.) (1998). Política y reforma universitaria. Barcelona: Cedecs. De Miguel Díaz, M. (1991). Indicadores de calidad de la docencia universitaria. Congreso Internacional sobre Calidad de la Enseñanza Universitaria, Cádiz. De Miguel, M. et al. (1994). Evaluación para la calidad de los institutos de educación secundaria. Madrid: Escuela Española. De Miguel, M., Mora, J. G., y Rodríguez, S. (1991). La evaluación de las instituciones universitarias. Madrid: Consejo de Universidades. Secretaría General. Donald, J. G. (1985). “The State of research on University Teaching Effectiveness”. En J. G. Donald and A. M. Sullivan (ed), Using research to improve teaching. Jossey-Bass, Publishers. San Fco. p. 7-21. Dunham, J. (1995). Developing Effective School Management. Routledge Estebaranz, A. (1994). Didáctica e Innovación curricular. Servicio de Publicaciones de la Universidad de Sevilla. 40 Fernández Fernández, L. M. y Nuñez Valdés, J. (1992). “Algunas reflexiones sobre la enseñanza universitaria”. Revista de Enseñanza Universitaria, 2 y 3, Instituto de Ciencias de la Educación, Universidad de Sevilla, p. 125-133. Ferreres, V. (1991). Incentivos en el desarrollo profesional del docente universitario. Ponencia presentada al III Jornadas de didactica universitaria "Evaluación y desarrollo profesional". Las Palmas de Gran Canarias. Frabboni, F. (1984) (ed.) Linnovazione nella scuola elementare. La Nuova Italia. Florencia. Fullan, M.G. (1992). Successful school improvement:The implementation perspective and beyond. Open University Press. Buckinham Gairín, J. y otros (1996) Grupos de mejora en la Universidad Autónoma de Barcelona.. En Actas II Congreso Internacional sobre Dirección de Centros Docentes: Dirección participativa y Evaluación de Centros. ICE. Universidad de Deusto. Bilbao.183-202 García, J.L. (1998). “La formación de los maestros en Europa”, en La Formación de los maestros en los países de la Unión Europea. Madrid: Narcea, pp. 21-37. Garreta, N. (1994). “El acceso a la mujer a los estudios universitarios en la década de los ochenta”, en European Access News, nº 1. Gellert, C. (1992). “Faculty Research”. In B. R. Clark and G. Neave (eds) The Encyclopedia of Higher Education, Pergamon Press, Oxford, Vol. 3, Sec. IV, p. 1634-1641. Gento Palacios, S. (1996) Instituciones educativas para la calidad total. Madrid. La Muralla. Gimeno, J. y Fernández,M. (1980). La formación del profesorado de E.G.B. Análisis de la situación española. Madrid: Ministerio de Universidades e Investigación. González Ramírez, T. (1999). “Los nuevos Planes de Estudio de Pedagogía y Psicopedagogía en la Facultad de Ciencias de la Educación de la Universidad de Sevilla: Avances y retos pendientes”. Fuentes. Revista de la Facultad de Ciencias de la Educación. Vol 1.pp. 69-82. Universidad de Sevilla. González, T. Y Mayor, C. (1999) Evaluación de los Nuevos Planes de Estudio en la Facultad de Ciencias de la Educación de la Universidad de Sevilla en un marco de calidad y mejora. Comunicación presentada en el IX Congreso de Modelos de Investigación Educativa. Málaga. González, T. Y Mayor, C. (2000) Modelo de Seguinmiento para la implantación de los Nuevos Planes de Estudio en la Facultad de Ciencias de la Educación de la Universidad de Sevilla. Comunicación 41 presentada a las II Jornadas Andaluzas para la calidad en la universidad. Sevilla Jiménez Remedios, J.C. (1996) Función gerencial y calidad de servicios.En Actas IV Congreso Interuniversitario de Organización Escolar. Tarragona Jofre, L. y Vilalta, J. (1998). El Plan Nacional de Evaluación de la Calidad de las Universidades. Los objetivos del Plan: Evaluación para mejorar. Revista de Educación, 315, 97-108. Jones, P. (1987). Organizational ineffectiveness and effectiveness in Colleges and Universities. AERA. ASHE Annual Meeting Paper. Lawrence, J. H. and Blackburn, R. T. (1985). Faculty Creers: Maturation, Demographic and Historical Effects. Citado por Ferreres, V. (1991) Incentivos en el desarrollo profesional del docente universitario. Ponencia presentada a las III Jornadas de Didáctica Universitaria. Las Palmas de Gran Canarias. Lombardi, J. V. (1991). University mission, purpose and performance: The Florida Quality evaluation project. Documento policopiado. López Yañez, J. (1992). “La metodología de estudio de casos en la enseñanza universitaria: Una experiencia”. Revista de Enseñanza Universitaria, 2 y 3, Instituto de Ciencias de la Educación, Universidad de Sevilla, p. 71-83. Lovett, C. M. and others. (1984). Vitality without mobility: The Faculty opportunities audit. American Association for Higher Education, 4 2-43. Machado Santiago, R. y Soto Navarro, E. (1989). Eficacia docente y evaluación en la universidad. Diseño, experiementación y análisis de un modelo activo. En A. Jimenez y M A. Lou (eds): Actas II Congreso educción y sociedad Colegio Oficialde Doctores y Licenciados. Granada. 311-324. Mager, G. M. and Myers (1982). “If First Impressions Count: New Professors' Insights and Problems”. Peabody Journal of Education 106-110. Marcelo, C. (1994). “La dimensión personal del cambio: Aportaciones para una conceptualización del desarrollo profesional de los profesores”. Innovación educativa, 3, 33-57. Tórculo Edición. Marcelo, C. Y Mayor, C. (1997) Modulo Evaluación Educativa. Proyecto Prometeo. Formación para el desarrollo de la Formación. Grupo IDEA. Consejería de Educación y Ciencia, Junta de Andalucía Martín Delgado, J. M. (1989). “Reforma universitaria: Nuevas titulaciones. Situación actual”. En A. Jimenez y M A. Lou (eds):Actas II Congreso educción y sociedad Colegio Oficialde Doctores y Licenciados. Granada. 41-50.