Evaluación de innovaciones y enfoques de aprendizaje. Presentación preliminar de un instrumento de medida

214 EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA INNOVATIONS ASSESSMENT AND APPROACHES TO LEARNING. PRELIMINAR PRESENTATION OF A QUESTIONNAIRE Carmen Fernández Polvillo José Luis Arquero Montaño 28 Departamento de Contabilidad y Economía Financiera Universidad de Sevilla arquer[email protected] RESUMEN El modelo educativo actual exige que los docentes actúen como gestores de entornos estimulantes de aprendizaje, eligiendo las metodologías y recursos adecuados de entre un amplio abanico de recursos didácticos. Los instrumentos de análisis de los enfoques de aprendizaje pueden ser una herramienta útil para realizar un diagnóstico previo del grupo de alumnos así como para valorar los resultados de programas de mejora de enseñanza. En este sentido nos planteamos comprobar la validez de un instrumento de medida corto (N-SPQ-3F) en comparación con los resultados obtenidos con un cuestionario más largo y ya validado (CEPEA). Los resultados indican que el instrumento propuesto tiene unas cualidades aceptables para su uso. Palabras clave: evaluación, enfoques de aprendizaje, SPQ, CEPEA ABSTRACT Present education model demands from the teaching staff to act as managers of the learning context, selecting resources and the appropriate pedagogy among several alternatives. The questionnaires that measure the approaches to learning of students could be a valuable tool in order to make an initial diagnosis of students’ characteristics, as well as to assess the impact of pedagogical innovations. In this line the main aim of the paper is to assess the validity of a short questionnaire (N- SPQ-3F) in comparison of those obtained with a previously validated instrument (CEPEA). Results suggest that the proposed instrument presents adequate characteristics to be used as an assessment tool. Keywords: assessment, approaches to learning, SPQ, CEPEA 28 Escuela Universitaria de Osuna, Universidad de Sevilla. Proyecto parcialmente financiado por la Junta de Andalucía. Proyecto de Excelencia P07- SEJ 02670 (Junta de Andalucía- FEDER). EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 215 1. INTRODUCCIÓN. ANTECEDENTES El modelo educativo actual exige que los docentes actúen como gestores de entornos estimulantes de aprendizaje, sobre ellos recae la responsabilidad de elegir las metodologías y recursos adecuados, así como la de hacer del contexto de enseñanza en el que se va a desenvolver el alumno el apropiado para que éste desarrolle al máximo sus competencias y aprenda a aprender (MEC, 2005). Para ello, el docente cuenta con un amplio abanico de metodologías y recursos didácticos orientados hacia que el alumno desarrolle la capacidad de autorregular su propio aprendizaje, así como a que éste adquiera las competencias, habilidades y destrezas que les facilitarán la adquisición de conocimientos en el futuro (ejemplos de éstas pueden ser el aprendizaje cooperativo y el aprendizaje basado en problemas), no cabe duda que esa elección de una o unas metodologías frente a otras estará condicionada por sus propias percepciones respecto a cómo afrontan los alumnos sus tareas de aprendizaje. En este sentido, desde nuestra perspectiva, el docente puede encontrar en los instrumentos de análisis de los enfoques de aprendizaje una herramienta útil para realizar un diagnóstico previo del grupo de alumnos que debe guiar y formar, obteniendo un conocimiento relevante de las características de los discentes (cómo se enfrentan a su proceso de aprendizaje), lo que le puede ayudar en la elección de las metodologías adecuadas para guiar a los alumnos hacia la consecución de aprendizajes significativos, y una herramienta útil para evaluar si dichas metodologías han dado lugar a los resultados previstos, es decir, pueden ser utilizados tal como indica Kember et al (1997) como herramientas para valorar los resultados de programas de mejora de enseñanza. 1.1. Marco conceptual de los enfoques de aprendizaje Entre las características principales del marco teórico de los enfoques de aprendizaje, debemos destacar que desde las primeras investigaciones llevadas a cabo por Marton y Säljö (1976a), existe un consenso entre los investigadores en considerar que los alumnos pueden optar por adoptar un enfoque superficial o bien un enfoque profundo, a la hora de enfrentarse a sus tareas de aprendizaje. De este modo, se define a los alumnos que adoptan un enfoque profundo como aquellos que tienden a mostrar una intención clara de comprender los contenidos, relacionando las nuevas ideas con los conocimientos previos, mostrando un interés intrínseco en lo que están aprendiendo y por tanto una actitud activa en su proceso de aprendizaje, siendo los mejor posicionados para llevar a cabo, lo que desde las teorías constructivistas se ha denominado, un aprendizaje significativo (Ausubel, 1968). Mientras que aquellos que adoptan un enfoque superficial se caracterizan por adquirir los conocimientos mínimos necesarios para aprobar el examen, confiar en la memorización y por no tratar de conectar los nuevos conocimientos con los aprendidos previamente, mostrando una actitud pasiva y una baja motivación en su proceso de aprendizaje, tendiendo a desarrollar un aprendizaje memorístico o superficial. Con posterioridad, autores como Entwistle & Ramsden (1983) y Biggs (1987) definen otro enfoque de aprendizaje, el enfoque de logro, que describe a un alumno con EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 216 una marcada motivación externa, que tiene como principal objetivo lograr el éxito académico, no el aprendizaje per se. Los alumnos que adoptan este enfoque pueden llevar a cabo un aprendizaje por comprensión, cercano a la definición de aprendizaje significativo, ó por memorización en función de las características del curso, es decir, en función de los objetivos y métodos de evaluación. Por otro lado, los modelos centrados en el estudio de los enfoques de aprendizaje, consideran que los factores que determinan la actitud que muestra el alumno ante nuevas situaciones de aprendizaje y que definen su enfoque de aprendizaje, interactúan en un sistema dinámico que se retroalimenta de las nuevas experiencias posibilitando cambios de actitud en el alumno. Este sistema dinámico aparece reflejado en el Modelo de Enseñanza-Aprendizaje 3P de Biggs (1987). Mediante el cual este autor señala cómo los factores personales de los alumnos, es decir, los conocimientos y experiencias previas que poseen, sus propias motivaciones hacia el estudio y sus percepciones sobre el contexto de enseñanza, interactúan con factores relacionados con el contexto educativo, entre los que se encuentran los objetivos formativos, las metodologías y sistemas de evaluación empleados por los docentes, haciendo que los discentes muestren cierta preferencia por adoptar un enfoque de aprendizaje determinado en el desarrollo de sus tareas de aprendizaje, lo que influirá en el resultado escolar final, configurándose como una nueva experiencia que influirá en la actitud del alumno en situaciones de aprendizaje futuras. En este sentido, siguiendo a Buendía y Olmedo (2003), cabe destacar que autores como Marton & Säljö (1976a,b) concluyen que “los enfoques que el alumnado adopta ante una tarea son variables en función del contenido de la misma y del contexto en el que se produce”; de hecho, se definen como la relación entre alumno, el contexto y la tarea (Biggs et al, 2001). Así, los enfoques de aprendizaje no son una característica personal inmutable; aunque los estudiantes puedan mostrar una cierta preferencia por adoptar un enfoque determinado al menos en un nivel amplio de análisis. Esta posibilidad de cambio, unida a la preferencia, que indica una cierta estabilidad a corto plazo, implica que los enfoques de aprendizaje pueden describir la forma en la que un alumno se enfrenta a una tarea de aprendizaje determinada en un momento determinado, o bien, puede referirse a la forma en la que el estudiante de manera consistente se enfrenta a la mayoría de las tareas de aprendizaje (Biggs, 1991). Así, partiendo de que los alumnos suelen mostrar cierta preferencia por adoptar un enfoque de aprendizaje determinado al enfrentarse a la mayoría de sus tareas de aprendizaje, consideramos que los instrumentos de evaluación que nos ofrecen las distintas teorías de esta línea de investigación, pueden ayudar a los docentes a realizar un diagnóstico inicial del grupo de alumnos a los que debe guiar y formar, obteniendo un conocimiento relevante de las características de los discentes, lo que les facilitará la elección de las metodologías docentes más adecuadas para guiarlos hacia la consecución de aprendizajes significativos. Esta función de diagnóstico justifica la relevancia de conocer, de forma comparativa, los enfoques de los distintos grupos de estudiantes. Además, los instrumentos de evaluación de enfoques de aprendizaje se configuran como una herramienta útil para evaluar si dichas metodologías han dado lugar a los resultados previstos, es decir, pueden ser utilizados como indica Kember (1997) como herramientas para valorar los resultados de programas de mejora de enseñanza. En este EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 217 sentido, realizar un análisis comparativo de los enfoques de aprendizaje y resultados obtenidos por los alumnos, puede ser una medida indicativa de la eficacia de las metodologías empleadas, una eficacia entendida como la consecución por parte de los alumnos de un aprendizaje significativo a través de un enfoque profundo. 2. OBJETIVOS El objetivo principal de nuestra investigación es determinar si el cuestionario N- SPQ-3F (18 ítems), considerablemente más corto que el que cuestionario CEPEA (42 ítems), muestra unas propiedades psicométricas adecuadas, lo que permitiría su uso conjunto con otras escalas (por ejemplo, en un cuestionario más amplio sobre el impacto de una innovación) sin que la fatiga cognitiva sea una limitación seria. Para cumplir con el objetivo descrito, consideramos analizar comparativamente las propiedades psicométricas de los cuestionarios seleccionados, centrándonos en: 1. Análisis de fiabilidad (consistencia interna) 2. Evidencias de validez convergente. Determinar si los cuestionarios nos permiten obtener para una misma muestra, resultados comparables 3. Evidencias de estabilidad temporal. Evaluar si en el caso de realizar estudios en distintos momentos en el tiempo, podríamos asumir que la aplicación repetida de los cuestionarios produce iguales resultados 3. METODOLOGÍA 3.1. Instrumento Para llevar a cabo nuestro estudio elaboramos un cuestionario que de forma agregada contiene dos instrumentos de evaluación de enfoques de aprendizaje. Estos dos instrumentos comparten la estructura de escalas que se obtienen de ellos y la puntuación en la que se responden sus ítems, existiendo, asimismo elementos comunes entre los dos. - El cuestionario New Study Process Questionnaire (N-SPQ-3F), compuesto por 18 items, elaborado por Arquero Montaño, J.L. a partir de dos cuestionarios, el cuestionario Shortened Study Process Questionnaire elaborado por Fox et al (2001), y el cuestionario Revised Two-factor Study Process Questionnaire elaborado por Biggs et al (2001). - El Cuestionario de Evaluación de Procesos de Estudio y Aprendizaje (CEPEA), compuesto por 42 items, que es la adaptación española (Barca, 1999) del cuestionario Study Process Questionnaire (SPQ-3F) elaborado por Biggs (1987). Ambos instrumentos son cuestionarios de autoinforme que se cumplimentan en una escala de likert (1-5), con una estructura de 3x2 (enfoques superficial, profundo y logro x motivo y estrategia). En la tabla 1 se describen de forma resumida los constructos del cuestionario CEPEA, que son coincidentes con los del cuestionario N-SPQ-3F. EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 218 Subescala Escala Motivo Estrategia Enfoque profundo • Interés intrínseco en lo que está aprendiendo. Ve las tareas como interesantes y con implicación personal. • Interés en la materia y otros temas o áreas relacionados. • Hay una intención clara de comprender. • Intención de examinar y fundamentar la lógica de los argumentos. • Se trata de descubrir el significado subyacente, discutir y reflexionar, leyendo en profundidad y relacionando los contenidos con los conocimientos y experiencias previas, a fin de extraer significados personales. • Fuerte interacción con los contenidos, relacionando los datos con las conclusiones. • La estrategia consiste en comprender lo que se está aprendiendo a través de la interacción de ideas y lectura comprensiva. Enfoque superficial  Cumplir los requisitos mínimos de la tarea, trabajar nada más que lo necesario.  Miedo al fracaso.  Motivación extrínseca.  Objeto pragmático y utilitarista: obtener las mínimas calificaciones para aprobar.  Las tareas se abordan siempre como una imposición externa.  Estrategia de simple reprodu cción, es decir, memorización de temas/hechos/procedimientos, sólo para pasar los exámenes.  Focalización de la atención en los elementos sueltos, sin la integración en un todo. Se centra en la tarea de forma aislada.  No extracción de principios a partir de ejemplos. Enfoque de logro • Necesidad de rendimiento: la intención es obtener las notas más altas. • Incrementar el ego y la autoestima. • Intención de sobresalir y de competitividad. • La estrategia está basada en organizar el tiempo y espacio de trabajo, uso de cualquier técnica para conseguir notas más altas. • Uso de exámenes previos para predecir preguntas. • Atención a las pistas sobre criterios de calificación. • Aseguramiento de los materiales adecuados y unas buenas condiciones de estudio. Tabla 1. Constructos del cuestionario CEPEA Fuente: González et al 2002: 172-173. EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 219 3.2. Participantes Los datos para este estudio se han obtenido mediante dos muestras que hemos denominado muestra inicial y definitiva, ambas formadas por alumnos de la Escuela Universitaria de Osuna (centro adscrito a la Universidad de Sevilla). La muestra inicial estaba formada por 70 estudiantes matriculados en Empresariales, distribuidos en dos grupos, alumnos de primer curso y tercer curso, que representan el 61’4% y el 38’6% respectivamente. Por otro lado, la distribución de estos 70 alumnos por sexo es del 70% mujeres y el 30% varones. En cuanto a la muestra definitiva estuvo formada por 325 participantes distribuidos entre las tres titulaciones (Empresariales, Enfermería y Relaciones Laborales) y cursos (1º, 2º y 3º) impartidos en el centro universitario citado. La distribución de los participantes de esta muestra atendiendo a la variable titulación indica que los alumnos de Enfermería representan el 54% de la misma, seguido de los alumnos de Empresariales cuya participación supone el 29% y los alumnos de Relaciones Laborales que representan el 17%. Mientras que si atendemos a la variable sexo, el 69% de la muestra son mujeres y el 31% varones, siendo esta proporción estadísticamente similar para las distintas titulaciones. 3.3. Procedimiento En este punto describimos los procedimientos seguidos para la recogida de datos y para el análisis estadístico realizado. 3.3.1. Recogida de datos El trabajo de campo se realizó en dos fases distintas (estudio piloto y definitivo). El estudio piloto, realizado mediante la muestra inicial, nos permitió evaluar el tiempo necesario para contestar el cuestionario agregado sin dificultad, así como evaluar la validez aparente (face validity) de los ítems y, en su caso modificar la redacción de aquellos que presentasen problemas de interpretación. Se realizaron escasas modificaciones, meramente formales, que no alteraron de forma sustancial la redacción de los ítems. En una segunda fase utilizamos la muestra definitiva y el cuestionario mejorado. Los datos obtenidos de este estudio son los que nos han permitido responder a la mayor parte de las cuestiones de investigación que han guiado este trabajo. 3.3.2. Análisis estadístico Para cumplir con el objetivo principal de este trabajo, es decir, determinar las bondades del cuestionario N-SPQ-3F como instrumento de evaluación corto (18 items) frente al cuestionario CEPEA (42 items), para la evaluación de los enfoques de aprendizaje de los alumnos, realizamos un análisis comparativo de las propiedades psicométricas de ambos instrumentos, siguiendo el siguiente procedimiento. EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 220 En primer lugar, realizamos un análisis de fiabilidad mediante métodos de consistencia interna, concretamente mediante el Coeficiente Alpha de Cronbach, con los datos obtenidos de la muestra definitiva. En segundo lugar, para determinar la existencia de evidencias de validez convergente, analizamos las correlaciones existentes entre las medidas proporcionadas por ambos cuestionarios mediante el Coeficiente de Correlación de Pearson. En tercer lugar, y para concluir el análisis, centramos nuestra atención en la estabilidad temporal de los cuestionarios que se analizó estudiando las correlaciones de las medidas obtenidas sobre un mismo grupo de alumnos en dos momentos temporales (muestra inicial y definitiva). Estos análisis se realizaron mediante el cálculo del Coeficiente de Correlación de Pearson. 4. RESULTADOS Para presentar los resultados obtenidos de nuestro estudio, seguiremos el mismo orden de presentación que las cuestiones de investigación que han guiado nuestro trabajo. Los dos enfoques clave para evaluar el impacto de una innovación son el enfoque profundo y el superficial. Así, una innovación que consiga mejorar el aprendizaje de los alumnos debería provocar un acercamiento al aprendizaje significativo (enfoque profundo) y un alejamiento del aprendizaje superficial (enfoque superficial). Por ello, nos centramos en las escalas correspondientes a estos dos enfoques. 4.1. Análisis de fiabilidad El análisis de fiabilidad realizado (Tabla 2) con los datos obtenidos mediante la muestra definitiva, indican que el cuestionario CEPEA muestra una consistencia interna aceptable en la medición de las escala enfoque profundo (Alpha de Cronbach = 0,746), mientras que muestra una baja fiabilidad en la medición de la escala enfoque superficial (Alpha de Cronbach = 0,440). Este resultado es consistente con los de la investigación publicada (Richardson, 2000; Zeegers, 2002) que indican sistemáticamente niveles de fiabilidad más bajos para el enfoque superficial. Sin embargo, los coeficientes Alpha de Crombach obtenidos para el cuestionario N- SPQ-3F indican que este cuestionario cuenta con unos coeficientes de fiabilidad aceptables para el enfoque profundo y superficial (Tabla 2), pese a ser sustancialmente más corto. EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 221 Alpha de Cronbach CEPEA N-SPQ-3F ENFOQUE PROFUNDO 0,746 0,691 SUPERFICIAL 0,440 0,703 Tabla 2. Análisis de fiabilidad. Comparativa entre cuestionarios 4.2. Evidencias de validez convergente Una vez analizada la fiabilidad de los dos cuestionarios elegidos, nos planteamos el estudio de las correlaciones existentes entre ambos, con el objetivo de determinar si los resultados obtenidos a partir de cada uno de estos cuestionarios son comparables. En la Tabla 3 se muestran las correlaciones entre las escalas de los cuestionarios. N-SPQ-3F PROFUNDO SUPERFICIAL CEPEA PROFUNDO 0,855 (1%) SUPERFICIAL 0,524 (1%) Tabla 3. Correlaciones entre cuestionarios a nivel de escalas. Coeficiente de Correlación de Pearson y nivel de significación de la prueba. En relación a las correlaciones existentes entre las escalas podemos destacar que estas son todas positivas, por lo que los resultados obtenidos a partir de cada uno de estos cuestionarios son comparables, es decir, están orientados hacia un mismo objetivo de medición. 4.3. Estabilidad temporal de los cuestionarios La realización del Estudio Piloto (muestra inicial) y el posterior Estudio Definitivo (muestra definitiva), con un intervalo de un mes, nos permitió realizar un análisis sobre la estabilidad temporal de los cuestionarios CEPEA y N-SPQ-3F. Para evaluar cual era el nivel de confiabilidad de la estabilidad temporal de los cuestionarios se correlacionó los datos obtenidos en el Estudio Piloto con los obtenidos del Estudio Definitivo, para la muestra de alumnos que habían participado en ambos (un EVALUACIÓN DE INNOVACIONES Y ENFOQUES DE APRENDIZAJE. PRESENTACIÓN PRELIMINAR DE UN INSTRUMENTO DE MEDIDA 222 total de 50). Así, aplicando la fórmula de Pearson obtuvimos las siguientes correlaciones para cada escala en cada uno de los cuestionarios analizados (tablas 3 y 4). ESTUDIO DEFINITIVO ENFOQUE ESTUDIO PILOTO PROFUNDO II SUPERFICIAL II ENFOQUE PROFUNDO I 0,843 0,000 -0,209 0,145 Correlación Sig. (bilateral) SUPERFICIAL I -0,377 0,007 0,591 0,000 Correlación Sig. (bilateral) Tabla 3. Estabilidad temporal del cuestionario CEPEA. Coeficiente de correlación de Pearson Los dos cuestionarios muestran correlaciones positivas para las escalas enfoque profundo y superficial, lo que indica que los cuestionarios permiten obtener resultados comparables para mediciones sucesivas. No obstante es preciso indicar que, en ambos casos, la estabilidad temporal de la escala enfoque superficial es más baja que la del enfoque profundo. ESTUDIO DEFINITIVO ENFOQUE ESTUDIO PILOTO PROFUNDO II SUPERFICIAL II ENFOQUE PROFUNDO I 0,739 0,000 -0,266 0,062 Correlación Sig.(bilateral) SUPERFICIAL I -0,364 0,009 0,486 0,000 Correlación Sig. (bilateral) Tabla 4. Estabilidad temporal del cuestionario N-SPQ-3F. Coeficiente de correlación de Pearson.