Investigación evaluativa de un título propio: Máster educar en la diversidad

INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD Evaluative research of a Master’s Degree in Diversity La recherche évaluative d’un titre propre: Máster Élever dans la Diversité Luis Miguel Vi l l a r an g u l o * y Olga María al e g r e d e l a ro s a ** *catedrático de Didáctica y Organización Escolar. Departamento de Didáctica y Organización Educativa. Facultad de ciencias de la Educación. Universidad de Sevilla. c/ camilo José cela, s/n. 41018 Sevilla. correo-e: [email protected] ** catedrática de Didáctica y Organización Escolar. Departamento de Didáctica e Investigación Educativa. Facultad de Educación. Universidad de La Laguna. España. campus central, Módulo B. Avda. Universidad, s/n. 38204 La Laguna. tenerife. correo-e: [email protected] bIbLID [0212-5374 (2009) 27, 2; 17-44] Ref. bibl. LUIS MIGUeL VILLAR ANGULO y OLGA MARÍA ALeGRe De LA ROSA. Investigación evaluativa de un título propio: Máster educar en la Diversidad. Enseñanza & teaching, 27, 2-2009, 17-44. ReSUMeN: Una dimensión importante de la calidad de los programas de postgrado es la calidad de los resultados obtenidos por los graduados. en el estudio de investigación presente, el resultado sometido a investigación es el desarrollo de competencias en los graduados del Máster «educar en la Diversidad». Se han definido las medidas empíricas de las competencias referenciadas al modelo genérico ampliado de la fundación europea para la Gestión de Calidad (e.f.Q.M.). La meta del estudio consistió en examinar el grado en que el desarrollo de competencias de diversidad en graduados predecía sus percepciones de la calidad global del postgrado «educar © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 ISSN: 0212-5374 18 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 en la Diversidad», y el ajuste del propósito de este postgrado para entrar en el mercado laboral. el modelo evaluativo estima la valoración de distintos beneficiarios de la calidad del Máster «educar en la Diversidad». Palabras clave: utilización evaluativa, resultados de graduados, impacto, eficacia institucional, medición de la actuación, indicadores, criterios de calidad. SUMMARY: An important dimension of quality postdegree programs in higher education is the quality of the outcomes achieved by graduates. In the current research study, the outcome under investigation is the development of competencies in Master graduates of «educating in Diversity». empirical measures for the competencies are defined by reference to the expanded generic european foundation for Quality Management model (e.f.Q.M.). The aim of the study was to examine the extent to which the development of diversity competencies in graduates predicted their perceptions of the overall quality of their postdegree «educating in Diversity»; and fitness for purpose of their postdegree for entry into the workplace. The evaluation model estimates the stakeholders’ assessment of the quality of their Master «educating in Diversity». Key words: evaluation use, graduate outcomes, impact, institutional effectiveness, performance measurement, indicators, quality criteria. RÉSUMÉ: Une dimension importante de la qualité des programmes de postdegré est la qualité des résultats obtenus par les diplômés. Dans l’étude de recherche présente, le résultat soumis à une recherche est le développement de compétences dans les diplômés du Máster Élever dans la Diversité. Les mesures empiriques des compétences ont été référencées au modèle générique agrandi de la fondation européenne pour la Gestion de Qualité (e.f.Q.M.). Le but de l’étude a consisté à examiner le degré dans lequel le développement de compétences de diversité chez des diplômés prédisait ses perceptions de la qualité globale du postdegré Élever dans la Diversité, et l’ajustement du propos de ce Postdegré pour entrer sur le marché de travail. Le modèle evaluatif estime l’évaluation de bénéficiaires distincts de la qualité du Máster Élever dans la Diversité. Mots clés: utilisation évaluative, résultats de diplômés, impacte, l’efficacité institutionnelle, mesure du comportement (rôle), indicateurs, critères de qualité. 1. in t r o d u C C i ó n esta investigación evaluativa ha constatado aprendizajes, percepciones y opiniones de estudiantes y profesores de cinco promociones universitarias. La investigación ha afrontado la evolución del Máster Universitario Educar en la © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 19 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD Diversidad (MUED) –título propio– sobre la base de criterios de calidad que explicitamos en la planificación, implantación y en los informes bianuales. Nos habíamos comprometido con el aseguramiento y el acrecentamiento de la calidad, habíamos estimulado la capacidad de autorregulación de los programas de postgrado y habíamos sostenido la responsabilidad pública de mostrar los resultados de los programas de postgrado. Tomamos la calidad como eje de indagación del presente trabajo y exploramos dentro de su amplio concepto algunos de los modelos de medición de la calidad, conforme había apuntado Tam (2001: 49-50) en su estudio sobre el aseguramiento y evaluación de la calidad. Desde el inicio de MUeD mantuvimos una preocupación de carácter científico-evaluativo y por ello planificamos el aseguramiento de la calidad de la titulación con los mismos criterios y subcriterios, y en la mayoría de los casos, con los mismos instrumentos evaluativos para las diferentes promociones. esto ha significado mantener una metodología para la comparabilidad interna del programa como un estudio de benmarking institucional subjetivo (Altbach, 2002: 163) o una herramienta para conocer las tendencias de inclinación hacia la mejora. en nuestro trabajo de investigación definimos la calidad del postgrado como las formas de actuación que ha adoptado para satisfacer las necesidades y expectativas de estudiantes, profesorado, egresados, compañeros y beneficiarios. Así lo habían establecido los australianos warn y Tranter (2001: 193) en su estudio correlacional de las competencias de estudiantes con las titulaciones y con el grado de ajuste de propósito a puestos de trabajo. Representaron los datos de satisfacción del personal el retorno a la auto y heterorreflexión de los agentes que se hilvanan recíprocamente confiriéndoles de este modo a los estudios el carácter de espejo de calidad; además, el MUeD asumió para su calidad interna estándares de acreditación profesional, como metas explícitas sobre dimensiones de la enseñanza (Delaney, 1997: 244 y 250), escuchar la voz de los estudiantes (Martínez y Sauleda, 2006: 10-11) y la gestión anual de la protección de la calidad, porque el control y medida de la satisfacción estudiantil operó como un viaje exploratorio a la renovación, mejora y responsabilidad institucional (harman, 1998: 348-349). Y no menos importante, a la responsabilidad académica por parte de los gestores del programa. La responsabilidad de las universidades por sus intervenciones ante los estudiantes ha generado el concepto de responsabilidad o rendición de cuentas (accountability) que sirve de alternativa al modelo de análisis de los efectos de las intervenciones de las titulaciones, en la opinión de folsom y Reardon (2003). Desde el punto de vista social, esta investigación evaluativa ha puesto a disposición de usuarios y otras personas afectadas por las actividades del postgrado (stakeholders, en terminología de Randall, 2002), un informe evaluativo que muestra el apoyo y servicio prestado en la práctica a los estudiantes, así 20 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 como también la tipología de empleabilidad alcanzada por los egresados que nos han permitido modelar módulos de contenidos o competencias estudiantiles para un postgrado. en efecto, esta investigación permitió obtener datos de seguimiento de un postgrado con cinco promociones, cada una con dos años y 1.500 horas de formación, siguiendo los mismos criterios y subcriterios. De este modo, nos inscribíamos en el modo de indagación análisis causal, según Mark, henry y Julnes (1999: 177), donde no sólo considerábamos cada bienio como un estudio de caso, sino que buscábamos los efectos subyacentes de factores programáticos del título. Así, la precisión de la información previa a la matriculación en el postgrado no sólo fue una estrategia para reflejar la misión del programa sino también una variable predictora de la satisfacción (Thomas y Galambos, 2004: 256). La revisión de la literatura que hicieron Cabrera, Colbeck y Terenzini (2001) reflejó el mandato de los gobiernos para que se exteriorizaran indicadores de actuación de los estudiantes en sus políticas educativas. el estudio de las ganancias de competencias profesionales de los estudiantes mediante indicadores educativos, según Scheirer y Newcomer (2001: 65), resultó prometedor por el análisis de regresión empleado. Complementando esta metodología en la evaluación del postgrado, también indagamos las competencias aprendidas por los estudiantes egresados a través de una metodología cualitativa (grupos de discusión) conforme habían preconizado Mark, henry y Julnes (1999) en su momento. La serie de cuestionarios que cumplimentaron anónimamente los participantes aumentaron una base de datos que se ensayaba y depuraba bianualmente indicándonos aspectos del contexto, entrada, proceso y resultados, enmarcando así la intrahistoria de la evaluación como se había hecho en otras universidades, caso de la Universidad de Adelaida, según referencia de Cargill (2004: 88). Calcular el valor del impacto de los egresados en la sociedad fue una de las fases más complejas de completar en el análisis del postgrado. en otros estudios se ha procedido por fases evaluativas (Darabi, 2002: 224), y así lo entendimos también para el caso de MUeD. el alcance evaluativo del postgrado estuvo determinado por el concepto de unidad de diseño y función de MUeD en el tiempo, frente a otros estudios que otorgan trascendencia evaluativa a la variabilidad interna en cursos o programas de corta duración (folsom y Reardon, 2003: 444). entendimos que para averiguar los efectos del título era necesaria la utilización de una metodología distinta para someter a consideración ese propósito. Recurrimos al magisterio de Stufflebeam (2001: 40) como prueba de la voluntad de nuestra tarea evaluativa: Se emplean métodos cualitativos y cuantitativos de forma combinada para asegurar la profundidad, alcance y dependencia de los hallazgos. Consecuentemente, afianzamos el carácter híbrido de nuestro modelo evaluativo obteniendo información cuantitativa y cualitativa, como © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 21 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD hicieron los holandeses edelenbos y Van buuren (2004: 608), resaltando, de este modo, con los métodos mezclados la tendencia creciente hacia el pragmatismo en la práctica evaluativa (McConney, Rudd y Ayres, 2002: 122). en este estudio, como ya apuntaron wong y Yeung (2003: 64) en su investigación, opinamos que algunas herramientas necesitaban la incorporación de nuevas variables predictoras, como Thomas y Galambos (2004: 253) habían incluido con género y clase universitaria. Asimismo, subrayamos que las ocupaciones sociales y la diversidad de situaciones educativas a las que se enfrentan los evaluadores han trazado sus preferencias por los modelos evaluativo, coincidiendo así con el pensamiento expresado por Patton (2003). Los propósitos, la acumulación de evidencias, el tamaño y representación de los sujetos, las herramientas metodológicas de análisis de datos, la utilización de la evaluación (instrumental, conceptual, procesual y simbólica), según Johnson (1998: 93-94), fueron algunas de las situaciones apuradas de carácter evaluativo ante las cuales se enfrenta responsablemente un evaluador para dar su definición. Son muchos los evaluadores que se han decantado por ensayar definiciones y exponer modelos de evaluación. También, nosotros debíamos aportar la nuestra antes de proponer el modelo evaluativo. Y es aquí donde entra la autoridad de Patton (2003: 89): Si se define la evaluación como un juicio del mérito y valor… haga eso y solo eso. Admitida esta definición como guía para la evaluación del postgrado, revisamos ideas que son estimables para la diversidad en educación. Así, la mayoría de los cambios curriculares en las titulaciones de pregrado relacionados con la diversidad tienen como propósito incorporar innovaciones que son lentas y que requieren el concurso de muchas voluntades para conocer cómo impacta la mejora en los estudiantes. Así aconteció, por ejemplo, en el estudio de Lindman y Tahamont (2006: 295) de talleres sobre diversidad e inclusión. Atractivos y estimables son igualmente los conceptos de participación y deliberación en educación que, además, subyacen en el modelo evaluación democrática deliberativa de house y howe (referenciado en Stufflebeam, 2001: 74-76). Nuestro postgrado avaló los principios democráticos de participación de los agentes, diálogo con los aspirantes para conocer sus niveles de entrada en el postgrado y deliberación con ellos hasta llegar a mostrar éticamente la valía y utilidad del programa. estos principios no eran nuevos. estuvieron en los escritos de Northedge (2003: 31) cuando recomendó que se tratara a estudiantes de distintos orígenes sociales y culturales como agentes que debían participar en los problemas curriculares y organizativos de clase de titulaciones de pregrado para constituir comunidades de conocimiento. La investigación participativa supone un importante cambio en las culturas escolares y una mejora en el aprendizaje del alumnado (Ainscow, 2002) y como tal la ejecutamos en el culturas académica de la Universidad de La Laguna (ULL) y de los centros educativos tinerfeños. De igual modo, destacamos la aportación del Índice para la Inclusión 22 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 (Vaughan, 2002) que está compuesto por un proceso de autoevaluación de los centros educativos en tres dimensiones, referidas a la cultura, las políticas y las prácticas de una educación inclusiva. Tener en cuenta la diversidad del alumnado es, pues, un indicador sustantivo de calidad de enseñanza, que envuelve un proceso de inclusión y mejora continua centrado en las capacidades de las personas (Alegre, 2004: 98). Por todo lo dicho anteriormente, nos planteamos los objetivos de investigación que originaron los problemas y declaraciones hipotéticas: 1) Aseguramiento de la calidad de los criterios del programa de postgrado título propio: MUeD. 2) La comparación de los grupos de estudiantes, egresados y profesores para modelar la actuación en las tareas. 3) Las proposiciones sobre la actuación de egresados por compañeros y otras personas afectadas por las actividades del postgrado como resultado del compromiso afectivo con el alumnado del programa de postgrado. 4) La identificación y resolución de problemas asociados con percepciones exógenas que pueden iluminar u oscurecer procesos y resultados del programa de postgrado. el modelo evaluativo original y propio de MUeD lo presentamos en la figura 1 y supone la representación gráfica o esquemática de la realidad compleja del edificio del estudio. en el panorama del primer objetivo de este estudio, basado en el aseguramiento de la calidad, subrayamos algunas variables clave facilitadoras y de resultados del modelo de la fundación europea para la Gestión de la Calidad (e.f.Q.M.). esta actuación, aunque en otros campos disciplinares, la habían hecho Go y Govers (2000: 81) recalcando los resultados empresariales en destinos turísticos y westerveld (2003: 415) reduciendo dos grupos de variables en su Modelo de Proyecto de Excelencia. Conforme proseguimos en las declaraciones de objetivos, el modelo evaluativo acentuó asuntos del proceso por cuanto cuestionamos la evaluabilidad del programa, el cambio en las actuaciones de los agentes y la preocupación por la mejora. Con la sucesión de fases y decisiones aludíamos a estudios de evaluadores que habían propuesto modelos evaluativos sobre procesos implícitos, como Stake (2006), que, refiriéndose a estudios de caso, planteó su conocida evaluación responsiva (Stufflebeam, 2001: 63-71) y que Johnson (1998: 96) ilustró gráficamente. Otros estudios evaluativos sobre procesos implícitos se refirieron a actividades de profesores y estudiantes que originaban rendimientos iniciales, intermedios y a largo plazo, y así Cooksy, Gill y Kelly (2001: 122) representaron las cinco grandes variables de su estudio. el objetivo cuatro se refirió a medir el impacto de MUeD, que tiene plurales significados, como huella causada por las calificaciones en la representación de competencias, indicios de adaptación a la cultura de la inclusión o emoción © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 23 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD y turbación en la interacción social de contextos desfavorecidos. Un ejemplo de impacto aparece en el estudio de Lennie (2005: 404) que había advertido cómo el impacto del programa Learners estuvo asociado con el concepto de enriquecimiento o prosperidad en ámbitos tecnológicos, sociales, psicológicos y políticos. Otro estudio de impacto más discreto fue el de holsapple y Lee-Post (2006: 69) en el que midieron la influencia de un sistema informativo en los cambios individuales y organizativos. en este repaso de estudios de impacto, Ryan y cols. (2001: 137) trazaron las señales de impacto a través de indicios en la participación y colaboración de las instituciones sociales y empresariales. Las declaraciones de objetivos y subsiguientes preguntas dos y tres de investigación de MUeD revistieron los enfoques correlacional y predictivo. La descripción de la retroacción dada a estudiantes en cursos supuso la comprobación de la metodología de aprendizaje mediante solución de problemas como ya habían hecho hendry, Cumming, Lyon y Gordon (2001: 330). Más complejos son los análisis de la satisfacción y del rendimiento cuando funcionan como constructos que se tienen que operativizar como variables criteriales en estudios empíricos. Por ejemplo, en el estudio de eom, wen y Ashill (2006: 217) se aplicó un modelo de ecuaciones estructurales, proponiendo como variables independientes, entre otras, la estructura del curso, la retroacción del tutor, la interacción, etcétera, y como dependientes el rendimiento y la satisfacción estudiantil con los cursos en línea. Por su parte, McConney, Rudd y Ayres (2002: 131) aplicaron métodos mezclados para medir la eficacia de un programa de educación especial (Save Our Schools) a través de un modelo predictivo de regresión. La descripción del modelo evaluativo de MUeD aparece en la figura 1. Los estándares evaluativos de utilidad, viabilidad, propiedad y precisión presidieron nuestro estudio (Comité Conjunto de estándares para la evaluación educativa, Sanders, 1998), como lo había hecho previamente Darabi (2002). Las fases evaluativas fueron indicativas del estándar de precisión: análisis del programa y de su evaluabilidad, diseño de la evaluación, desarrollo de la metodología, administración y comunicación. Los criterios seleccionados: programa formativo, organización de la enseñanza, recursos humanos, recursos materiales, proceso formativo y resultados del modelo e.f.Q.M. (flood, 1993) se refirieron a los problemas de investigación 1 (PI 1) estudiados en los cinco bienios de MUeD. Situamos los problemas de investigación 2 (PI 2) en recursos humanos y resultados por cuanto las relaciones y predicciones se establecieron entre los grupos de sujetos profesores y estudiantes. Ubicamos los problemas de investigación 3 (PI 3) en resultados, por cuanto los grupos de sujetos (compañeros y beneficiarios) fueron agentes que explicaron los efectos o impacto de MUeD. finalmente, las opiniones y creencias de los problemas de investigación 4 (PI 4) aludieron a todos los criterios del programa formativo así como a las fases y estándares evaluativos del título. 24 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 Fi g u r a 1 Modelo de investigación evaluativa © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 25 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD 2. Hi P ó t e s i s h1. existe una asociación y una diferencia significativa entre las características demográficas de los estudiantes, egresados y profesores y su representación de las tareas en MUeD. h2. Se puede explicar y predecir la satisfacción de egresados y profesorado de MUeD por medio de un conjunto finito de factores. h3. existe una asociación significativa entre las características demográficas de los compañeros de trabajo y beneficiarios de los egresados y su representación de las tareas en MUeD. h4. existen diferencias significativas entre las opiniones de compañeros y beneficiarios respecto al mantenimiento de las competencias de MUeD aprendidas por los egresados en el mercado laboral, según un conjunto de variables seleccionadas: edad, género, bienio, centro de trabajo, relación profesional y relación personal. h5. Se pueden reducir a factores explicativos, y, al tiempo, construir un modelo a través de una regresión múltiple de la imagen social de egresados y de MUeD a partir de las valoraciones de compañeros y beneficiarios de los egresados. 3. Me t o d o l o g í a 3.1. contexto MUeD se impartió en la Universidad de La Laguna donde participaron más de 113 instituciones y asociaciones. La amplitud de conceptos y de acciones prácticas a desarrollar por esta titulación supone un número global de 150 créditos, un total de 1.500 horas distribuidas en Contenidos, Prácticum y Proyecto fin de Máster (PfM). 3.2. Sujetos – Estudiantes. La muestra referida al alumnado estuvo compuesta por un total de 208 estudiantes de las cinco promociones durante once años. Los estudiantes fueron mayoritariamente mujeres (88,5%; N = 184), y tenían menos de 25 años (69,7%; N = 145). Procedían de Tenerife (60,1%; N = 125) y de otras islas de Canarias, así como de la Península y del extranjero. el 61,1% (N = 127) eran licenciados y al iniciar MUeD eran estudiantes el 73% (N = 152), y con trabajo, el 26% (N = 54). – Profesores. esta muestra (N = 235) estaba formada por profesores universitarios (N = 94; 38,4%) o profesionales afines a los diferentes ámbitos de la diversidad (61,6%; N = 151). equilibrada la proporción de hombres (52,2%; N = 128) y mujeres (47,8%; N = 117). La edad media del profesorado estaba 32 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 modelo para predecir la satisfacción de los egresados en función de la Utilidad, Interés y los Siete componentes derivados del análisis factorial. ese modelo definió los diferentes aspectos valorativos de MUeD (sus posibles predictores), actuando como variable criterio la satisfacción autoinformada por los egresados. Realizamos todos los análisis bajo el procedimiento Regresión (SPSS.13.1). Optamos por introducir paso a paso los siete factores de primer orden obtenidos como fruto de la factorización previa, precedidos por las variables Utilidad e Interés definidas en su momento. el resultado del análisis de los diferentes modelos sucesivos obtenidos, atendiendo al principio de parsimonia, condujo a un modelo de predicción estructurado sobre seis dimensiones, cuyas características descriptivas esenciales presentamos en la Tabla 2. ta b l a 2 Modelo de predicción de seis dimensiones sobre la satisfacción general con el MUeD de los egresados SATISfACCIóN GeNeRAL MUeD: egresados R R2f gl Sig beta t Sig DIMeNSIONeS PReDICTIVAS De SATISfACCIóN Factor 1: facilitación del acceso al mundo laboral de los egresados de MUeD. ,733 ,538 19,022 6 98 ,000 ,456 6,426 ,000 Factor 2: Adquisición de competencias relevantes en la ejecución del rol profesional. ,312 4,474 ,000 UtILIDAD: Utilidad percibida de los contenidos (módulos) y actividades formativas del MUeD. ,174 2,290 ,024 Factor 5: Ampliación de perspectivas en relación a la atención a la diversidad. ,216 3,038 ,003 Factor 6: estructura del programa formativo. ,180 2, ,011 Factor 3: Adquisición de la formación adecuada en relación a la atención a la diversidad (relevancia del programa formativo). ,179 2,564 ,012 Como elementos de juicio para determinar la bondad del modelo de predicción obtenido, además del coeficiente de determinación (R2) que permite afirmar con capacidad de predicción del 53,8% de la varianza observada y la diferencia, estadísticamente significativa (f(6,98) = 19,022; p <,000) entre las sumas cuadráticas de la varianza explicada por el modelo de predicción obtenido y los residuales, analizamos el histograma de frecuencias de los residuales y el gráfico de regresión de los residuos tipificados del V.e.U.S., acomodándose el ajuste a la normalidad de los residuales, lo que contribuyó a reforzar la idea de la bondad estadística del modelo de predicción obtenido. Las dimensiones que apuntan a cierta capacidad predictiva sobre la variable criterio fueron: © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 33 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD – Factor 1: facilitación del acceso al mundo laboral de los egresados de MUeD. – Factor 2: Adquisición de competencias relevantes en la ejecución del rol profesional. – Utilidad: Utilidad percibida de los contenidos (módulos) y actividades formativas de MUeD. – Factor 5: Ampliación de perspectivas en relación a la atención a la diversidad. – Factor 6: estructura del programa formativo. – Factor 3: Adquisición de la formación adecuada en relación a la atención a la diversidad (relevancia del programa formativo). Profesorado. el mismo análisis se realizó a partir del cuestionario V.P.c.D. (cuestionario Valoración Profesorado sobre calidad Docente de MUED) (N = 245). Como resultado de la extracción se obtuvieron 11 factores de primer orden que explicaron el 82,34% de la varianza observada en las respuestas a dicho cuestionario y que condujo a un modelo de predicción estructurado sobre siete dimensiones, cuyas características descriptivas esenciales fueron las que mostramos en la Tabla 3. ta b l a 3 Modelo de predicción de seis dimensiones sobre la satisfacción general del profesorado con el MUeD SATISfACCIóN GeNeRAL CON eL MUe: profesorado R R2f gl Sig beta t Sig DIMeNSIONeS PReDICTIVAS De SATISfACCIóN Factor 2: flujo de información entre profesorado y la organización del MUeD. ,757 ,574 43,243 7 225 ,000 ,453 10,399 ,000 Factor 5: Impacto y efectos del programa formativo. ,366 8,419 ,000 Factor 7: Valoración de las condiciones, temporalización, recursos y materiales disponibles. ,305 7,007 ,000 Factor 8: Recursos didácticos y de comunicación. ,281 6,379 ,000 Factor 4: Relación con el alumnado del MUeD. ,187 4,299 ,000 Factor 1: Relevancia y pertinencia percibida del programa formativo. ,132 3.031 ,003 Factor 3: Relaciones con la dirección y coordinación del MUeD. –,110 –2,518 ,012 34 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 ta b l a 4 Modelo de predicción de tres dimensiones sobre la imagen social de los egresados a partir de las opiniones de sus compañeros IMAGeN SOCIAL De LOS eGReSADOS: compañeros de trabajo R R2f gl Sig beta t Sig DIMeNSIONeS PReDICTIVAS IMAGeN SOCIAL Factor 1: Competencia general percibida en el campo de la diversidad. ,775 ,571 132,454 3 299 ,000 ,613 16,174 ,000 Factor 3: Percepción del egresado como profesional reflexivo. ,405 10,680 ,000 Factor 2: Percepción de dinamismo, colaboración y compromiso en el egresado. ,177 4,658 ,000 Las dimensiones siguientes apuntan cierta capacidad predictiva sobre la variable criterio para el caso de los profesores: – Factor 2: flujo de información entre profesorado y la organización de MUeD. – Factor 5: Impacto y efectos del programa formativo. – Factor 7: Valoración de las condiciones, temporalización, recursos y materiales disponibles. – Factor 8: Recursos didácticos y de comunicación. – Factor 4: Relación con el alumnado de MUeD. – Factor 1: Relevancia y pertinencia percibida del programa formativo. – Factor 3: Relaciones con la dirección y coordinación de MUeD. 4.3. Proposiciones sobre la actuación de egresados por compañeros y beneficiarios como resultado del compromiso afectivo con el alumnado de MUED A juicio de compañeros y beneficiarios de los egresados, se mantuvieron las capacidades aprendidas en MUeD por parte de los egresados de manera muy elevada en todas las competencias. Además seguimos un proceso de análisis similar al explicado anteriormente empleando la variable imagen social que actuaba como criterio en el nuevo modelo de regresión. compañeros. el resultado del análisis condujo a un modelo de predicción estructurado sobre tres dimensiones, cuyas características descriptivas esenciales mostramos en la Tabla 4. Una vez realizado un análisis de regresión lineal sobre la variable imagen social de los egresados, utilizando como predictores la percepción de competencias de los egresados por los compañeros con los que interactúan © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 35 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD (obtenida como resultado de la factorización de las opiniones vertidas en el cuestionario V.c.E.P. (cuestionario Valoración de compañeros de los Egresados del Postgrado), con la finalidad de responder a la hipótesis de partida acerca de la posibilidad de construir un modelo explicativo de la imagen social de los egresados, obtuvimos las dimensiones siguientes que registran cierta capacidad predictiva sobre la variable criterio: – Factor 1: Competencia general percibida en el campo de la diversidad. – Factor 3: Percepción del egresado como profesional reflexivo. – Factor 2: Percepción de dinamismo, colaboración y compromiso en el egresado. Beneficiarios adultos. el resultado del análisis llevó a un modelo de predicción estructurado sobre dos dimensiones, cuyas características descriptivas esenciales son exponemos en la Tabla 5. ta b l a 5 Modelo de predicción de dos dimensiones sobre la imagen social de los egresados a partir de las opiniones de los beneficiarios adultos vinculados a los mismos IMAGeN SOCIAL De LOS eGReSADOS: beneficiarios adultos R R2f gl Sig beta t Sig DIMeNSIONeS PReDICTIVAS IMAGeN SOCIAL Factor 1: Competencia general percibida en el campo de la diversidad. ,712 ,507 92.537 2 180 ,000 ,684 13,074 ,000 Factor 3: Percepción del egresado como profesional reflexivo. ,197 3,761 ,000 Una vez realizado un análisis de regresión lineal similar al anterior (cuestionario V.C.e.P. adultos), alcanzamos las dimensiones siguientes que registraron cierta capacidad predictiva sobre la variable criterial: – Factor 1: Competencia general percibida en el campo de la diversidad. – Factor 3: Percepción del egresado como profesional reflexivo. Beneficiarios niños. el resultado del análisis de los diferentes modelos sucesivos obtenidos, atendiendo al principio de parsimonia, formalizó un modelo de predicción estructurado sobre los dos factores (predictores), cuyas características descriptivas esenciales mostramos en la Tabla 6: 36 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 Una vez realizado un análisis de regresión lineal similar al anterior (cuestionario V.C.e.P. niños), obtuvimos las dimensiones siguientes que registran cierta capacidad predictiva sobre la variable criterial: – Factor 2: Percepción de compromiso y capacidad para atender a la diversidad. – Factor 1: Metodología docente que favorece la atención a la diversidad. ta b l a 6 Modelo de predicción de dos dimensiones sobre la imagen social de los egresados a partir de las opiniones de los beneficiarios niños vinculados a los mismos IMAGeN SOCIAL De LOS eGReSADOS: beneficiarios niños RR2f gl Sig beta t Sig DIMeNSIONeS PReDICTIVAS IMAGeN SOCIAL Factor 2: Percepción de compromiso y capacidad para atender a la diversidad. ,816 ,666 510.386 2 512 ,000 ,693 27,120 ,000 Factor 1: Metodología docente que favorece la atención a la diversidad. ,431 16,891 ,000 Fi g u r a 2 Impacto de los Contenidos de los Módulos de los Programas formativos según las percepciones de los egresados del MUeD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 37 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD Fi g u r a 3 Competencias docentes del profesorado del MUeD en todos los Módulos, según las percepciones de los estudiantes 4.4. Identificación y resolución de problemas asociados con percepciones exógenas que pueden iluminar u oscurecer procesos y resultados de un programa de postgrado Creados dos grupos de discusión con egresados, conocimos sus opiniones, actitudes y valores sobre el valor y mérito de MUeD. Las dimensiones valorativas que surgieron del análisis de los grupos fueron subpreguntas y para cada una de las dimensiones valorativas surgió una red conceptual que representó el conjunto de expresiones y manifestaciones realizadas por los diferentes integrantes del grupo, que mantuvieron relación entre sí o que contribuyeron a comprender mejor la valoración realizada (figura 5). Los datos del grupo de discusión revelaron satisfacción de los egresados destacando aspectos ya indicados en los cuestionarios relativos a algunos asuntos teóricos de contenidos o profesorado, alta valoración de ponentes y contenidos de MUeD, así como una valoración de las prácticas y de su grado de inserción en el mundo laboral. Del grupo de discusión con los profesores surgieron también dimensiones valorativas que se esquematizaron en una nueva red conceptual representativa del conjunto de expresiones y manifestaciones realizadas por los diferentes 38 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 integrantes del grupo y que mantuvieron relación entre sí o que contribuyeron a comprender mejor la valoración realizada (figura 6). Los datos manifestaron la satisfacción de los profesores acentuando aspectos ya adoptados en los cuestionarios relativos al valor y mérito de MUeD en su carácter profesionalizador, alto nivel de exigencia, compromiso con el profesorado, con el alumnado y con las instituciones colaboradoras. 5. di s C u s i ó n La primera pregunta de esta investigación se vinculaba al aseguramiento de la calidad del programa formativo. Los estudiantes y egresados valoraron el impacto que los contenidos tuvieron para su práctica profesional. Siguiendo el estudio fenomenológico de Samuelowicz y bain (2001: 307), los egresados creyeron en el control de los contenidos aproximándose así a una concepción didáctica de MUeD centrada en el profesor. enunciaron básicamente puntos fuertes vinculados a aspectos organizativos, como le sucedió a Díaz (1998) en su innovación curricular de la Universidad de Sevilla. Los estudiantes y egresados destacaron competencias del profesorado, congruentes con Fi g u r a 4 Metodología docente del Profesorado del MUeD, según las percepciones de los estudiantes durante el Máster © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 39 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD Fi g u r a 5 Dimensiones de la red conceptual valorativa de los egresados respecto al MUeD los encontrados por García-Valcárcel (1992). el profesorado autoevaluó sus competencias coincidiendo sus percepciones con los atributos de profesores excelentes subrayados en el estudio de Kane, Sandretto y heath (2004: 292). el profesorado informó de la idoneidad de las condiciones docentes, mientras que los estudiantes indicaron en la adecuación metodológica, tutorial y evaluativa, hallazgo concominante con el de Penberthy y Millar (2002: 252). Asimismo, destacaron los Proyectos fin de Máster por su nivel y difusión en publicaciones (Alegre, 2002; Alegre y cols., 2002; Alegre, 2006b). el grado de satisfacción y mantenimiento de capacidades lo ratificaron estudiantes, egresados y profesores, como hallaron Randall (2002) o Jongbloed (2003). La segunda pregunta comparaba las características demográficas de estudiantes, egresados y profesores y su representación de las tareas, así como la búsqueda de factores predictivos de satisfacción, obteniéndose entre los hallazgos relaciones entre la situación laboral al inicio del Postgrado, Prácticum y 40 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 Fi g u r a 6 Dimensiones de la red conceptual valorativa del profesorado respecto al MUeD Proyecto fin de Máster, como ocurrió en el estudio de bean y bradley (1986: 410). Obtuvimos comparaciones entre el profesorado que reflejaron su diversidad, como indicamos previamente en estudios teóricos (Villar y Alegre, 2003) y empíricos (Alegre, 2006a). Los factores predictivos de satisfacción para los egresados fueron que MUeD facilitó el acceso al mundo laboral y que permitió la adquisición de competencias profesionales relevantes, asuntos que habían destacado en sus estudios por Caro y cols. (2000) y Thomas y Galambos (2004). en el caso del profesorado, la satisfacción tuvo como elementos predictores: la relevancia y pertinencia percibida del programa formativo, el flujo de información o el impacto y efectos del programa formativo, y estos elementos forman parte de la autoevaluación de la docencia, como señalan huberty (2000) o Villar (2004). La tercera pregunta buscaba la asociación existente entre las características demográficas de los compañeros y beneficiarios de los egresados y su © ediciones Universidad de Salamanca enseñanza & Teaching, 27, 2-2009, pp. 17-44 LUIS MIGUeL VILLAR ANGULO Y OLGA MARÍA ALeGRe De LA ROSA 41 INVeSTIGACIóN eVALUATIVA De UN TÍTULO PROPIO: MáSTeR eDUCAR eN LA DIVeRSIDAD representación de las tareas así como los factores que contribuyen a explicar la imagen social que compañeros y beneficiarios tienen de los egresados. Para el caso de los compañeros, hallamos diferencias para las siguientes competencias: analiza críticamente las posibilidades para atender la diversidad y buena actitud ante el trabajo en grupo en función del centro de trabajo. en el caso de los beneficiarios, la competencia demuestra las destrezas adquiridas fue destacada por los beneficiarios adultos, y mi profesor es un buen maestro la enfatizaron los niños, que tienen relación con el centro de trabajo. Los egresados conservaron las capacidades aprendidas en el mundo laboral a juicio de compañeros y beneficiarios como un importante criterio de calidad y de excelencia de un programa formativo (Villar y Alegre, 2004). Derivamos un modelo predictivo de la imagen social de los egresados. en el caso de compañeros y beneficiarios adultos este modelo predictivo reflejó un peso importante de los factores como: competencia general percibida en el campo de la diversidad, percepción de dinamismo y compromiso en el egresado, o percepción del egresado como profesional reflexivo. en el caso de niños, los factores con mayor peso predictivo fueron: competencia general percibida en el campo de la diversidad y percepción del egresado como profesional reflexivo. La cuarta pregunta buscaba las diferencias en las opiniones, actitudes y valores de los egresados y profesores que confrontan sus ideas y sentimientos para llegar a una conclusión sobre el valor y mérito de MUeD. Los datos de grupos de discusión reflejaron de manera cualitativa la elevada satisfacción respecto al valor y mérito de MUeD. 6. Co n C l u s i o n e s Primera. Se ha realizado el aseguramiento de la calidad MUeD a lo largo de los cinco bienios que lo constituyen. Segunda. existen relaciones entre las competencias aprendidas por los estudiantes en MUeD y las desarrolladas como egresados en el mercado laboral. es decir, se ha confirmado h1. Tercera. Se puede explicar y predecir la satisfacción de egresados y profesorado de MUeD comprobándose, por tanto, h2. Cuarta. existen relaciones entre las características demográficas de los compañeros de trabajo y beneficiarios de los egresados y su representación de las tareas en MUeD. es decir, se ha verificado h3. Quinta. existen diferencias significativas entre las opiniones de compañeros y beneficiarios respecto al mantenimiento de las competencias de MUeD aprendidas por los egresados en el mercado laboral. es decir, se ha probado h4. Sexta. Se pueden reducir a factores explicativos, y, al tiempo, construir un modelo a través de una regresión múltiple de la imagen social de egresados de MUeD a partir de las valoraciones de compañeros y beneficiarios de los egresados. es decir, se ha confirmado h5.