Innovación y evaluación en el marco del Espacio Europeo de Educación Superior: Una experiencia piloto utilizando herramientas Web 2.0

educade Revista de Educación en Contabilidad, Finanzas y Administración de Empresas The Spanish Journal of Accounting, Finance and Management Education educade, nº 2, 2011, p. 85 Nº 2· 2011· ISSN 2173-478X pp. 85 – 111 Innovación y evaluación en el marco del Espacio Europeo de Educación Superior: Una experiencia piloto utilizando herramientas Web 2.0 Innovation and assessment in the EHEA: A pilot experience using Web 2.0 tools Miriam Garandillas Iglesias ([email protected]) Francisco M. Somohano Rodríguez ([email protected]) Francisco Javier Martínez García ([email protected]) Universidad de Cantabria (España) http://dx.doi.org/10.12795/EDUCADE.2011.i02.06 RESUMEN: El Espacio Europeo de Educación Superior (EEES) fomenta el cambio en la metodología docente desde un modelo de instrucción hacia otro de aprendizaje. Este cambio promueve la enseñanza basada en el alumnado y el seguimiento continuo de su aprendizaje, medido a través de las habilidades y competencias alcanzadas por el estudiante, lo que ha supuesto la necesidad de introducir nuevas metodologías de enseñanza. El seguimiento continuo en una asignatura resulta una tarea compleja para el profesorado en la medida en que aumentan el número de pruebas y la cantidad de alumnos y alumnas, de manera que son necesarios procedimientos y herramientas que la faciliten. En este trabajo se muestra la experiencia piloto de mejora en la evaluación de la docencia para la adaptación a los criterios establecidos en el Plan Bolonia desarrollada en la Universidad de XXX con la asignatura de Contabilidad General y Analítica de 3º de la Licenciatura en Administración y Dirección de Empresas para el curso 2009/2010 con 262 alumnos y alumnas matriculados. En esta experiencia piloto, con la utilización de Herramientas Web 2.0 que posibilitan que los estudiantes interactúen, bases de datos y lectores de código de barras, se consiguió gestionar toda la información derivada del seguimiento diario del alumnado, y de la carga de trabajo distribuida entre clases magistrales, prácticas y ejercicios, tanto individuales como en grupo, y tanto dentro como fuera del aula. Toda esta información permite la evaluación y comparación de resultados con cursos anteriores, así como la valoración de la satisfacción del alumnado a partir de sus respuestas en el cuestionario de evaluación de la asignatura. PALABRAS CLAVE: Evaluación, Seguimiento, Información, Plan piloto, Web 2.0., Base de datos ABSTRACT: The European Higher Education Area (EHEA) encourages the change in educational methodology from a teaching model to a learning one. This change stimulates a teaching model based on the student and on a continuous monitoring of their learning, measuring the skills and competences achieved by the student; which involves the need to introduce new teaching methodologies. Continuous monitoring in a subject, becomes a complex task for the lecturers as the number of test and students increases, so tools and procedures to make it easier are necessary. This paper shows the pilot experience of education assessment improvement to be adapted, during 2009/2010 in the University of XXX in the subject of General and Analytical Accounting in the third year of the Business Administration Degree that had 262 students, to the new criteria established in the Bologna Process. All this information allows us to evaluate and compare the results to prior years and assess the students‟ satisfaction from their responses in a questionnaire to evaluate the course. Experiencia docente. Recibido: 25-02-11 – Versiones revisadas: 13-05-11, Aceptado: 20-09-11 Licencia Creative Commons (CC) BY-NC-ND · Asociación Española de Contabilidad y Administración de Empresas - AECA Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 86 During the pilot experience, Web 2.0 tools, which allow students to interact, databases and barcode readers and were used to manage all theinformation derived from students‟ daily monitoring, and the workload was distributed between lectures, practices and exercises, both individually and in groups, and both within and outside the classroom. KEYWORDS: Assesment, Monitoring, Information, Pilot experience, Web 2.0, Database. 1. INTRODUCCIÓN Este artículo es el resultado de la evolución en los procesos de valoración y seguimiento que forman parte de un estudio piloto aplicado en una asignatura troncal, Contabilidad General y Analítica con una dedicación de 7 créditos ECTS (90 horas de clase), de la Licenciatura en Administración y Dirección de Empresas. Esta asignatura consta de tres partes: el análisis de la situación económico y financiera de las empresas, la elaboración y el análisis del Estado de Cambios en el Patrimonio Neto y la elaboración y el análisis del Estado de Flujos de Efectivo en el marco del Plan General de Contabilidad (R.D. 1514/2007 y R.D. 1515/2007). En línea con los objetivos de la asignatura se presta una especial atención al aprendizaje de las competencias de Pensamiento Práctico y de Comunicación Escrita, competencias identificadas por la sociedad como necesarias para un economista (Periánez, 2010). El Pensamiento Práctico “es el comportamiento mental que facilita seleccionar el curso de acción más apropiado, atendiendo a la información disponible y a establecer el proceso a seguir para alcanzar los objetivos con eficacia y eficiencia” (Villa y Poblete, 2007: 114). El mismo se trabaja durante el desarrollo de la parte correspondiente al análisis económico y financiero de la empresa, en el que siguiendo el método del caso, los alumnos y alumnas deben: identificar los objetivos concretos del análisis a realizar en función de las circunstancias que lo rodean; utilizar correctamente la información económica, financiera y de otro tipo que se les suministra o tienen que encontrar; tener claro la importancia del informe de auditoría (cuando existe) y comprender las posibles incidencias que recoja; preparar y aplicar correctamente los procedimientos para procesar esta información mediante la aplicación de ratios y periodos medios interpretando correctamente los resultados obtenidos; y en último lugar, identificar los puntos fuertes y débiles de la empresa pudiendo, en su caso, proponer acciones concretas, que deben elaborarse en función de los objetivos que se recogen en la documentación que se les entrega. La otra competencia que se trabaja intensamente es la Comunicación Escrita. Nuestro objetivo es que los alumnos y alumnas sean capaces de recoger los resultados y las conclusiones de los análisis en un documento breve o de media extensión. Éste debe ser redactado correctamente, estructurado, sin faltas de ortografía, e incorporar las tablas y/o los gráficos necesarios para facilitar la comprensión y el interés del lector (Villa y Poblete, 2007; 193). La aplicación del método del caso refuerza esta competencia mediante la utilización de diferentes estilos de redacción: financierointerno (elaborado por el Departamento Financiero de la empresa), periodístico, financiero-técnico (elaborado por un consultor), o jurídico-pericial. En el curso 2009/2010 la asignatura, impartida por tres profesores y con 262 alumnos y alumnas matriculados y organizados en tres grupos, se ha incorporado al Plan Piloto para la Adaptación de los Estudios al EEES de nuestra Facultad, lo que significa que aquellos que lo deseen pueden adherirse al procedimiento de evaluación continua que supone un cuarenta por ciento de la nota final. Uno de los primeros retos en la gestión de la asignatura se refiere a la coordinación de los tres grupos, lo que se realiza a través de un programa diario de actividades centralizado gracias a las herramientas Web 2.0. en el que también se establecen de Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 87 antemano las fechas de las pruebas obligatorias para aquellos alumnos y alumnas que sigan la evaluación continua. La misma supone un compromiso de asistencia regular a las clases, realizar cuatro pruebas presenciales e individuales sobre conocimientos teórico-prácticos formativos de la asignatura (treinta por ciento de la nota final) y tres prácticas de elaboración de informes basados en casos reales (diez por ciento de la nota final). El examen escrito de la convocatoria correspondiente constaba de dos partes. La primera, común para todo el alumnado, equivalía al sesenta por ciento de la nota final. La segunda parte, con el cuarenta por ciento restantes, era realizada por aquellos alumnos y alumnas que no se adhirieron a la evaluación continua, y por aquellos que aún habiéndola seguido deseaban mejorar su nota. El 70,23 por ciento de los alumnos y alumnas prefirieron la evaluación continua, frente a la tradicional. Adicionalmente, como actividades de seguimiento optativas, se ofrecieron nueve test de repaso de libre acceso on-line (de corrección automática), tres informes breves en el aula de informática y se recogieron distintas prácticas en clase a aquellos que voluntariamente desearon su revisión. En total, y sin tener en cuenta los registros individuales de asistencia ni las repeticiones de la elaboración de los test de libre disposición, se realizaron más de 2.000 operaciones de seguimiento y evaluación (OSE) 1 , entendiendo como tal cualquier operación de revisión o evaluación de las tareas de los alumnos y alumnas realizadas sobre soporte electrónico o de papel; esto supone que se han realizado 11,13 OSE/estudiante. El aumento de las OSE, cuando sus resultados son transparentes, pueden ayudar en los procesos de evaluación institucional, puesto que el aprendizaje y la docencia, presentan distintas facetas que tienen como resultado la percepción de la creación de valor añadido por parte de los diferentes stakeholders. Aunque en cursos anteriores se venían realizando este tipo de operaciones, el aumento de alumnos y alumnas que eligieron la evaluación continua planteaba un problema de gestión de los recursos disponibles. Estos se limitan principalmente, al tiempo dedicado a la asignatura por parte del profesorado de la asignatura (teniendo en cuenta que uno de los profesores era asociado). En previsión del aumento de la carga de trabajo se desarrollaron e implementaron una serie de soluciones basadas en Herramientas Web 2.0, lectores de código de barras y bases de datos que facilitaron la gestión de toda la información permitiendo mejorar y ampliar el feedback hacia el alumnado, y aumentando la productividad de los docentes. Como se muestra a continuación el resultado es, en líneas generales, muy positivo. 2. ENSEÑANZA, APRENDIZAJE Y EVALUACIÓN EN LA EDUCACIÓN SUPERIOR 2.1. EL PROCESO DE BOLONIA: SU EFECTO SOBRE LA EVALUACIÓN En las últimas décadas se observa una corriente muy importante de revisión de conceptos tan básicos como el aprendizaje o la enseñanza. Las propias teorías han evolucionado produciéndose cambios, como el que supone la sustitución del enfoque psicométrico en la valoración del alumnado por otro social (Shay, 2008: 160) y la consideración de la orientación del aprendizaje, en un sentido amplio, como todas las actitudes y objetivos que expresa cada estudiante individualmente en su relación con un programa formativo seguido en la universidad. Se trata de un conjunto de metas que forman el contexto personal y que afectan a su actitud, por lo que el éxito o fracaso se mide en términos de consecución de dichas metas. Además, la propia 1 Parte de estas OSE se realizan de manera automática. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 88 concepción del conocimiento, aprendizaje y orientación del aprendizaje van evolucionando y desarrollándose durante el proceso en entornos que cambian (Entwistle y Peterson, 2004: 412). El Proceso de Bolonia se apoya en estas ideas y está forzando a un cambio muy importante en una parte de las estructuras formativas y de la universidad en su conjunto. El papel de los stakeholders, especialmente el Consejo de Europa, ha sido determinante en el impulso de políticas que consoliden a la Unión, también en el ámbito universitario, y en particular en el tema de la cualificación de los ciudadanos. En este sentido, se asigna a la formación universitaria cuatro propósitos básicos (Parlamento Europeo y Consejo de la Unión Europea, 2006: L394/13): - preparación para el mercado de trabajo, - preparación para la vida como ciudadanos en una sociedad democrática, - el desarrollo personal, y - el desarrollo y el mantenimiento de una base de conocimiento amplia y avanzada. Para ello, se establecen ocho competencias básicas con una serie de temas que son comunes a todas ellas: el pensamiento crítico, la creatividad, la capacidad de iniciativa, la resolución de problemas, la evaluación del riesgo, la toma de decisiones, y la gestión constructiva de los sentimientos. En este sentido, se vienen realizando investigaciones en el campo de la educación sobre la interrelación entre estas competencias y los conceptos que las soportan, teniendo en cuenta las diversas concepciones del conocimiento, del aprendizaje, de las percepciones del alumnado y la preferencia de distintos entornos de aprendizaje, que a su vez, suponen diferentes comportamientos de los estudiantes. Uno de los proyectos que se pueden destacar en este ámbito es el de Mejora de los Entornos de Enseñanza-Aprendizaje en los Programas de Grado (Enhancing TeachingLearning Environments in Undergraduate Courses – ETL Project). Este proyecto explora las diferencias en los entornos de enseñanza y aprendizaje a lo largo de cuatro disciplinas de conocimiento (ciencias biológicas, económicas, ingeniería electrónica e historia). Su objetivo es medir e identificar las características que facilitan el aprendizaje más eficientemente en los distintos entornos determinados por diferencias en las instituciones, en calificaciones requeridas para el acceso, o en las propias asignaturas de las disciplinas (Entwistle, 2004: 2). El Proyecto aporta un marco conceptual que explica cuáles son las variables que influyen en la calidad lograda en el aprendizaje (Figura 1). El conocimiento con el que acceden al programa, su capacidad de comprensión, habilidades, motivaciones y el concepto y estilo de aprendizaje, resultado también de su experiencia formativa previa, explican cómo los estudiantes enfocan el estudio y perciben el entorno de enseñanza. Dependiendo de cómo se seleccione, organice, presente y evalúe el contenido del programa y cómo se diseñe y desarrolle el entorno de la enseñanza, que dependerá del conocimiento y estilo pedagógico de los docentes, y todo ello generará unas expectativas en los alumnos y alumnas de lo que aprenderán y comprenderán. La evaluación del contenido de los programas es un tema crucial para el alumnado, en términos de aprobado o suspenso, y también para las propias instituciones docentes e incluso para el propio Proceso de Bolonia (Working Group on Qualifications Frameworks – M.S.T.I., 2005, p. 38). Las prácticas de valoración están cambiando, ya Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 89 sea utilizando portfolios, autoevaluación o evaluación por pares y se ha puesto de manifiesto cuáles son sus ventajas e inconvenientes en relación con el aprendizaje. FIGURA 1. MARCO CONCEPTUAL DE LOS ELEMENTOS QUE INFLUYEN EN EL APRENDIZAJE DEL ALUMNADO Conocimientos previos, autoconfianza, habilidades y motivos Percepciones del entorno de enseñanza-aprendizaje Aproximaciones al aprendizaje y el estudio Concepciones didácticas Concepciones de conocimiento y aprendizaje Cómo el entorno de enseñanzaaprendizaje es diseñado e implementado Cómo el contenido del curso es seleccionado, organizado, presentado y valorado Qué se espera que aprendan y entiendan los estudiantes Influencias de la comunidad académica y órganos de evaluación Conocimiento de la materia e ideas pedagógicas de los profesores Experiencia previa de enseñanza y aprendizaje Influencia de los departamentos/escuelas e instituciones Calidad del aprendizaje alcanzado Pedagogía de la enseñanza y el aprendizaje de la materia Principios generales del diseño del curso Alineamiento Constructivo Entorno Enseñanza-Aprendizaje Características de los Estudiantes Conocimientos previos, autoconfianza, habilidades y motivos Conocimientos previos, autoconfianza, habilidades y motivos Percepciones del entorno de enseñanza-aprendizaje Percepciones del entorno de enseñanza-aprendizaje Aproximaciones al aprendizaje y el estudio Aproximaciones al aprendizaje y el estudio Concepciones didácticasConcepciones didácticas Concepciones de conocimiento y aprendizaje Concepciones de conocimiento y aprendizaje Cómo el entorno de enseñanzaaprendizaje es diseñado e implementado Cómo el entorno de enseñanzaaprendizaje es diseñado e implementado Cómo el contenido del curso es seleccionado, organizado, presentado y valorado Cómo el contenido del curso es seleccionado, organizado, presentado y valorado Qué se espera que aprendan y entiendan los estudiantes Qué se espera que aprendan y entiendan los estudiantes Influencias de la comunidad académica y órganos de evaluación Influencias de la comunidad académica y órganos de evaluación Conocimiento de la materia e ideas pedagógicas de los profesores Conocimiento de la materia e ideas pedagógicas de los profesores Experiencia previa de enseñanza y aprendizaje Experiencia previa de enseñanza y aprendizaje Influencia de los departamentos/escuelas e instituciones Influencia de los departamentos/escuelas e instituciones Calidad del aprendizaje alcanzadoCalidad del aprendizaje alcanzado Pedagogía de la enseñanza y el aprendizaje de la materia Principios generales del diseño del curso Alineamiento Constructivo Entorno Enseñanza-Aprendizaje Características de los Estudiantes Fuente: Entwistle y Peterson, 2004: 421. Una de las conclusiones es que la evaluación debe orientarse hacia el aprendizaje, en vez de la tradicional evaluación de lo aprendido. Sin embargo, se necesitan ambas orientaciones puesto que de otra forma no estaríamos ante un sistema fiable de evaluación de lo aprendido, particularmente si se quiere que el conocimiento adquirido sea certificado. Las evaluaciones deberían alcanzar los objetivos específicos e inmediatos del programa, así como establecer las bases para que los estudiantes aumenten su habilidad para realizar evaluaciones de su propio aprendizaje. Ahora bien, la práctica de la evaluación debe ser estable con el paso del tiempo para que se perciba, tanto por el profesorado como por el alumnado, que el resultado del proceso de aprendizaje es creíble porque es merecedor de confianza. Sin esta estabilidad, la evaluación es muy vulnerable y requiere la protección social a diferentes niveles. Por tanto, se puede afirmar que hay una resistencia al cambio y estos procesos no pueden transformarse tan rápidamente como podía esperarse según el ritmo oficial del Proceso de Bolonia (Lindberg-Sand y Olsson, 2008: 166). Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 90 2.2. LA ACTIVIDAD DE LA EVALUACIÓN La evaluación se conforma en una actividad clave en el proceso de aprendizaje puesto que supone la validación del esfuerzo empleado por ambas partes, docente y estudiante, pero también debe dar continuidad al proceso formativo evitando su carácter finalista (Coats y Stevenson, 2006). Ahora bien, asumida la complejidad de la tarea (de la Orden, 2011) existen múltiples circunstancias que afectan a diseño y a su correcto funcionamiento y al final, sus efectos son perjudiciales “porque la evaluación es tratada como un mal necesario, la parte mala de enseñar y aprender, que se debe realizar al final de todo lo bueno. Los alumnos adivinan en qué consiste la evaluación y hacen de ella su plan de estudios” (Biggs y Tang, 2007; 190). Esto, junto con el coste en tiempo, lleva a que intencionada o inconscientemente se limiten o simplifiquen los procesos evaluadores, circunscribiéndolos en la comprobación de lo aprendido. Ante la necesidad de hacer frente al cambio, hemos elegido la estrategia de basarnos en la ampliación de los procesos de evaluación que veníamos utilizando para hacer una transición progresiva hacia una estrategia de „evaluar para aprender‟ (Coats y Stevenson, 2006). En nuestro caso no estamos planteando un cambio de modelo de evaluación, sino una mejora en la gestión de los procedimientos y resultados de evaluación (Castro, 2011; Villa y Poblete, 2011), es decir, en mejorar el cierre del „ciclo de aprendizaje‟ de manera que aumenta la calidad del aprendizaje y en consecuencia la motivación y el refuerzo del hábito de estudio. Esto implica que hemos ampliado la tipología de las pruebas y su frecuencia, con la principal restricción del coste percibido en función del tiempo tanto de docentes como de estudiantes. En este sentido, la selección de las pruebas y su ubicación en el calendario escolar son cuestiones importantes. En el primer caso, porque debe haber una selección de los indicadores de aprendizaje de los alumnos y alumnas contenidos en dichas pruebas que deben estar alineados con los contenidos, a la vez que están sometidos a los aspectos formales de las pruebas. Por otra parte, la progresión es un elemento importante en el diseño e implementación de los programas. Se pueden producir desajustes en la correspondencia entre el instrumento de medición y el resultado esperado del aprendizaje (Daugherty, et al., 2008). Un factor cada vez más importante es la conexión de la actividad de la evaluación del aprendizaje con la evaluación de los distintos niveles organizativos (departamentos, escuelas y facultades) e institucionales (universidades). Un ejemplo es el modelo del Teaching & Learning Laboratory del MIT 2 . En la Figura 2 se muestra la estructura de los métodos para medir el resultado del aprendizaje y el valor añadido. Debido a que cada uno tiene sus propias limitaciones y prejuicios, y ningún método puede considerarse completamente libre de errores, las mejores prácticas en la investigación educativa recomiendan la triangulación de los datos. De este modo, los programas más exigentes de evaluación utilizarán una combinación de medidas directas e indirectas. Las medidas indirectas incluyen datos de encuestas al alumnado, tasas de permanencia, graduación, tasas de avance de los programas, etc. Estas medidas permiten estimar el valor percibido por los estudiantes en sus años en la universidad, pero no pueden mostrar con precisión qué han aprendido y qué son capaces de hacer. Las medidas directas son las que muestran la evidencia del avance del alumnado en el conocimiento y en las habilidades a lo largo del tiempo. Los instrumentos de recogida de datos son, entre otros, el análisis de los resultados de la enseñanza 2 http://web.mit.edu/tll/ Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 91 (exámenes, ensayos, presentaciones orales, etc.), test estandarizados sobre un conocimiento específico o habilidades generales, entre otros. FIGURA 2.MÉTODOS PARA MEDIR EL RESULTADO DEL APRENDIZAJE Y EL VALOR AÑADIDO •Encuestas a alumnos de primer y último año •Encuestas a ex-alumnos •Ratio de egresados •Número de estudiantes que pasan a posgrados •Encuesta de actitudes de estudiantes sobre la nueva pedagogía, currículum, etc.; encuestas preguntando a los estudiantes por las impresiones sobre su aprendizaje •Entrevistas de salida •Cursos •Evaluaciones del curso (durante el semestre o al final del semestre) •Cuestiones de concepto, „muddy cards‟ (feedback al final de la clase), y otras técnicas didácticas •Test estandarizados de conocimientos generales (p.e. evaluaciones nacionales de títulos) •Comités de evaluación conjunta •Pre-Post tests •Evaluación de las pruebas de comprensión de conceptos (p.e. mapas de conceptos, cuadrantes de pros y contras) •Observación directa de las tareas de los estudiantes •Análisis de los resultados del trabajo de los estudiantes (p.e. exámenes, redacciones, presentaciones orales) •Proyectos de fin de carrera •Carpetas recopilatorias con los trabajos del curso de los pregraduados •Cursos •Test estandarizados de conocimiento disciplinario (p.e. test de valoración de conceptos específicos) Investigadores de Educación Facultad (Profesorado) Medidas Indirectas Medidas Directas NOTA: Los métodos del eje vertical pueden ser usados por investigadores externos o profesores •Encuestas a alumnos de primer y último año •Encuestas a ex-alumnos •Ratio de egresados •Número de estudiantes que pasan a posgrados •Encuesta de actitudes de estudiantes sobre la nueva pedagogía, currículum, etc.; encuestas preguntando a los estudiantes por las impresiones sobre su aprendizaje •Entrevistas de salida •Cursos •Evaluaciones del curso (durante el semestre o al final del semestre) •Cuestiones de concepto, „muddy cards‟ (feedback al final de la clase), y otras técnicas didácticas •Test estandarizados de conocimientos generales (p.e. evaluaciones nacionales de títulos) •Comités de evaluación conjunta •Pre-Post tests •Evaluación de las pruebas de comprensión de conceptos (p.e. mapas de conceptos, cuadrantes de pros y contras) •Observación directa de las tareas de los estudiantes •Análisis de los resultados del trabajo de los estudiantes (p.e. exámenes, redacciones, presentaciones orales) •Proyectos de fin de carrera •Carpetas recopilatorias con los trabajos del curso de los pregraduados •Cursos •Test estandarizados de conocimiento disciplinario (p.e. test de valoración de conceptos específicos) Investigadores de Educación Facultad (Profesorado) Medidas Indirectas Medidas Directas NOTA: Los métodos del eje vertical pueden ser usados por investigadores externos o profesores Fuente: http://web.mit.edu/tll/assessment-evaluation/types.html Como resultados se consideran tanto las evaluaciones formativas que se utilizarán en los procesos de formación y revisión del esfuerzo educativo, y cuya finalidad es mejorar los programas; como las evaluaciones acumulativas, que se utilizan para suministrar un feedback a los instructores sobre la calidad de una asignatura o titulación, informar a los stakeholders, a las agencias de acreditación o, simplemente, promocionar los atributos de un programa o una asignatura. Finalmente, la evaluación de los procesos comienza con la identificación de las etapas a cumplir por el proyecto formativo, resultados a presentar y/o los costes previstos; y el éxito del proyecto será medido a partir de la relación entre lo previsto y los resultados alcanzados. 3. DISEÑO DE UN MODELO DE SEGUIMIENTO DE LA EVALUACIÓN DEL RESULTADO DE LA DOCENCIA 3.1. ESTABLECIMIENTO DE LOS OBJETIVOS Y DISEÑO DEL MODELO Los objetivos de este primer trabajo son dos: el diseño de un sistema que permita el seguimiento de la evolución del aprendizaje de los alumnos y alumnas durante el cuatrimestre según los contenidos que forman parte del programa y evaluar el resultado de la acción formativa al final del cuatrimestre. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 92 Para ello se utilizan dos tipos de información; en primer lugar, la producida en las distintas pruebas de evaluación, ya sean voluntarias u obligatorias; individuales o en grupo. Este tipo de pruebas tienen la finalidad de comprobar que se han adquirido los conocimientos económico-financieros propios de la disciplina; que se han desarrollado las habilidades necesarias para el tratamiento de los datos y su comprensión; y que se ha mejorado su actitud frente al trabajo realizado. En segundo lugar, se utilizaron dos encuestas complementarias de valoración del proceso y resultado de la asignatura: la establecida en los procedimientos de nuestra universidad que se realiza en la segunda mitad del cuatrimestre y otra, diseñada por los investigadores que se realiza antes de comenzar el examen de la convocatoria ordinaria. En el apartado 3.2 nos referimos a los indicadores utilizados para el primero de los objetivos. 3.2. SELECCIÓN DE LOS INDICADORES Como se ha puesto de manifiesto con anterioridad, se trata de una experiencia piloto inmersa en un proceso evolutivo de cambio, por lo que durante el curso centramos nuestros esfuerzos en el desarrollo de dos competencias en distintos niveles, el pensamiento práctico y la comunicación escrita. En la Tabla 1 se muestran los indicadores, que siguiendo el trabajo de Villa y Poblete (2007) fueron utilizados en la medición de los resultados del aprendizaje de dichas competencias. Los indicadores se transforman en las preguntas, cuestiones y trabajos que realizan los estudiantes en cinco tipos de OSE: (1) nueve Test de opción múltiple de tipo teóricopráctico 3 a los que se accede libremente a cualquier hora del día en el blog de la asignatura (http://analisiscontableunican.blogspot.com); (2) cuatro pruebas Parciales presenciales también consistentes en test con preguntas de opción múltiple teóricas y prácticas; (3) tres Prácticas de estudios de caso; (4) tres Informes breves a realizar en clase basados en casos; y (5) el Examen final. Todas estas OSE fueron realizándose en consonancia con el progreso de las tres líneas de desarrollo de la asignatura: el análisis de la situación económico y financiera de las empresas, la elaboración del Estado de Cambios en el Patrimonio Neto y la elaboración del Estado de Flujos de Efectivo en el marco del Plan General de Contabilidad (R.D. 1514/2007 y R.D. 1515/2007). En la Tabla 2 se muestra la relación de los indicadores correspondientes al Pensamiento Práctico trabajados con cada OSE. Debemos aclarar que en este curso solo hemos trabajado el primer nivel consistente en “utilizar sus capacidades y los recursos de que dispone para alcanzar los objetivos en situaciones habituales y siguiendo instrucciones” (Villa y Poblete, 2007: 115). Para el próximo curso, apoyándonos en los resultados del finalizado, está proyectado avanzar en el segundo nivel de esta competencia en el apartado de las Prácticas. En la Tabla 3 se muestra la relación entre las distintas OSE y los indicadores de la competencia de Comunicación Escrita, en este caso, en los dos niveles. El primer nivel es la realización de informes breves, mientras que el segundo se refiere a informes de extensión media. Existe un tercer nivel que no hemos utilizado que es la elaboración de comunicaciones escritas en grupo, que también está previsto empezar a trabajar el próximo curso. Por la propia mecánica de las OSE, esta competencia no es trabajada 3 Todas las preguntas tenían cuatro posibles respuestas, en las que se debe marcar la correcta ya sea de concepto o de resultado de cálculo. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 93 en los Test ni en las pruebas Parciales. También es importante destacar que en esta competencia, en ocasiones, resulta difícil separar los indicadores del primer y segundo nivel, ya que en ocasiones la diferencia es únicamente la extensión, como en el caso de los indicadores CA3 y CB3. TABLA 1. INDICADORES DE LAS COMPETENCIAS DE PENSAMIENTO PRÁCTICO Y COMUNICACIÓN ESCRITA UTILIZADOS Competencia Pensamiento Práctico Comunicación Escrita Primer nivel PA1: Identifica los objetivos concretos a lograr en las tareas que se le encomiendan. PA2: Utiliza correctamente los elementos de información de que dispone. PA3: Tiene en cuenta criterios claros para evaluar la calidad de los elementos de información que se le facilitan. PA4: Utiliza correctamente los procedimientos de la información correspondientes a la materia. PA5: Traduce en decisiones o acciones concretas su análisis de la situación. CA1: Expresa claramente sus ideas, conocimientos o sentimientos. CA2: Escribe de un modo gramaticalmente correcto. CA3: Usa un lenguaje apropiado para el tipo de documento y su destinatario. CA4: Usa los recursos adecuados para facilitar la lectura y comprensión del escrito. Segundo nivel PB1: Establece objetivos concretos en relación con la situación que se le plantea. PB2: Identifica los elementos de información necesarios para hacer frente a la situación. PB3: Establece sus propios criterios para evaluar la validez de la información. PB4: Selecciona los procedimientos adecuados para procesar la información. PB5: Elabora un plan coherente para resolver la situación. CB1: Relaciona varios elementos (datos, opiniones, etc.) para llegar a conclusiones. CB2: La estructura del escrito ayuda a la comprensión. CB3: Usa un lenguaje apropiado para transmitir los contenidos. CB4: Capta el interés del lector. CB5: Incluye tablas y gráficos adecuados al contenido y al lector. Fuente: Villa y Poblete, 2007. Una consideración importante es que en la corrección de las prácticas de elaboración de Informes, en el segundo nivel de la competencia de Comunicación Escrita, participan los alumnos y alumnas mediante una revisión anónima en clase. El procedimiento es el siguiente: (1) Se entrega a los alumnos y alumnas el archivo con la información relativa al trabajo a realizar consistente en la elaboración de un informe en un entorno determinado que puede ser financiero-interno (elaborado por el Departamento Financiero de la empresa), periodístico, financiero-técnico (elaborado por un consultor), o jurídico-pericial. (2) Se realizan los trabajos de búsqueda-recogida de datos, análisis, obtención de resultados y conclusiones, y elaboración del informe.(3) Se envían los archivos con los informes identificados con un número (que Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 100 objetivo primordial de muchos alumnos y alumnas es superar la asignatura, y con este modo de evaluación este objetivo es más fácil de alcanzar. Esto se debe a que a lo largo del curso van acumulando puntuación, además, frente al examen final con todo el temario, los parciales se centran en partes concretas, y por tanto resulta más sencillo abordar su preparación. Esto enlaza con una tercera razón, y es que los parciales obligan a los estudiantes a estudiar progresivamente. De hecho, en la pregunta abierta de lo que más ha gustado de la asignatura, aparecen los parciales como positivos ya que así no se deja la asignatura para estudiar a “última hora”. Los trabajos también son valorados positivamente como elementos que favorecen el aprendizaje y acercan los problemas y situaciones reales a los estudiantes, y el nivel de satisfacción con la asignatura en su conjunto es relativamente alto, como muestra la puntuación del ítem “Valoración de la asignatura en global” con 3,82 puntos. De esta batería de ítems, únicamente “Los trabajos facilitan el aprendizaje de la asignatura” presenta diferencias estadísticamente significativas entre los que han seguido la evaluación continua y los que no, siendo la valoración de estos últimos de 2,75 puntos. Esta mejor puntuación por parte de los que siguieron la evaluación continua, puede interpretarse como que las tareas y actividades realizadas se adecúan a los objetivos de aprendizaje propuestos. También las valoraciones medias del ítem “Los parciales ayudan a llevar al día la asignatura” presentan diferencias estadísticamente significativas pero entre aquellos que superaron la asignatura y los que no, siendo la puntuación de estos últimos de 3,94. TABLA 7. VALORACIÓN DE LA UTILIDAD PERCIBIDA (valoración con una escala de 1 a 5) Sí E.C. Los parciales ayudan a llevar al día la asignatura Media 4,4578 Desv. típica 0,8711 Los trabajos ayudan a contrastar los conocimientos aprendidos en el aula con su aplicación en situaciones reales Media 3,6220 Desv. típica 0,9800 Los trabajos ayudan a salvar la distancia entre teoría y práctica Media 3,5427 Desv. típica 0,9422 Los trabajos facilitan el aprendizaje de la asignatura Media 3,5488 Desv. típica 0,9739 Los trabajos han hecho que me implique en mi propio aprendizaje Media 3,6280 Desv. típica 0,9793 Los trabajos han aumentado mi actitud de participación activa Media 3,6074 Desv. típica 1,0449 Valoración de la asignatura en global Media 3,8209 Desv. típica 0,5861 Fuente: Elaboración propia Estos resultados positivos también aparecen recogidos en las respuestas abiertas de la encuesta relativas a lo que más les ha gustado de la asignatura, en la que los alumnos y alumnas expresan opiniones como: “Al final he sabido aplicar cada una de las partes de la asignatura a los distintos ejercicios y casos que se plantearon, sacando conclusiones”; o “Sacar conclusiones a partir de estudios de ratios financieros, etc. para luego poder tomar decisiones y el Estado de Cambios en el Patrimonio Neto.”. También se valora de forma positiva la utilización de las herramientas Web 2.0 como elemento diferenciador con otras asignaturas “Como se ha llevado la asignatura y el esfuerzo notable de los profesores a la hora de preparar la asignatura, Web CT, link con Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 101 noticias a comentar. etc.”, y el acercamiento a la realidad en los casos “Aplicación de la asignatura a ejercicios prácticos y reales (ej. El Bulli)”. Por supuesto, también hubo comentarios negativos y/o propuestas para mejorar la asignatura. Uno de los problemas fue la falta de tiempo, otro los horarios, pero sin duda lo más repetido como la peor parte de la asignatura, o lo que menos les había gustado fue el Estado de Flujos de Efectivo (o EFE), que fue identificado como tal por 57 de los 115 alumnos y alumnas que contestaron a esta pregunta. Sin embargo, estos resultados no son suficientes para poder valorar el proceso seguido de evaluación continua, ya que es necesario comprobar hasta qué punto se cumplieron los objetivos previstos en relación a las competencias a desarrollar. En la encuesta realizada al alumnado por parte de los investigadores, se pidió que valorasen de 1 a 5 el listado de competencias técnicas desarrolladas. En la Tabla 8, se muestran las valoraciones medias otorgadas, todas ellas superiores a los 3 puntos. En la misma destaca el ítem “Trabajo en equipo” que recibe una puntuación de casi 4 puntos a pesar de que no se planteó como objetivo prioritario, sino que se desarrolló en paralelo con los índices del segundo nivel de la competencia de Pensamiento Práctico. TABLA 8. DESCRIPTIVOS DE LA VALORACIÓN DE LAS COMPETENCIAS DESARROLLADAS (ESCALA 1-5) (valoración con una escala de 1 a 5) Sí E. Continua Trabajo en equipo Media 3,9045 Desv. típica 1,0364 Resolución de problemas Media 3,6975 Desv. típica 0,7967 Comunicación escrita Media 3,5714 Desv. típica 0,8420 Planificación Media 3,5342 Desv. típica 0,8517 Toma de decisiones Media 3,5031 Desv. típica 0,7994 Organización del tiempo Media 3,4110 Desv. típica 0,9278 Fuente: Elaboración propia Al mismo le siguen los ítems: “Resolución de problemas”; “Planificación”; “Toma de decisiones”, todos ellos con puntuaciones superiores a 3,5 puntos, y relacionados con la competencia de Pensamiento Práctico. Por tanto, los estudiantes consideran que la asignatura les ha hecho evolucionar en dicha competencia, aunque en ninguna de ellas aparezcan diferencias estadísticamente significativas entre aquellos que han seguido una evaluación continua y los que no. Con respecto a la Competencia de Comunicación Escrita, el alumnado la puntúa con 3,57 puntos, por lo que también podemos comprobar que consideran que han mejorado en la misma. Además, en este caso la U de Mann-Whitney y la W de Wilcoxon muestran que la valoración media de aquellos que han seguido la evaluación continua y los que no presenta diferencias estadísticamente significativas 5 , por lo que podemos afirmar que, al menos desde su perspectiva, el proceso de 5 La puntuación media de aquellos alumnos que no siguieron la evaluación continua es de 2,33 puntos. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 102 evaluación continua con informes y trabajos ha conseguido mejorar esta competencia. Cabe destacar que a pesar de no haberse planteado como objetivos prioritarios en la valoración media de los ítems “Uso de ordenadores”; “Creatividad”; y “Delegación” también aparecen diferencias estadísticamente significativas entre los estudiantes que siguen la evaluación continua y los que no. Aquellos que siguieron la evaluación continua valoraron el “Uso de ordenadores” con 3,44 puntos, frente a los 2,00 puntos de los que no siguieron la evaluación continua. En el caso de la “Creatividad” las puntuaciones fueron 3,48 puntos y 2,20 puntos, respectivamente, y la “Delegación” 3,13 puntos y 2,00 puntos. Esto significa que perciben que las actividades realizadas han ayudado a mejorar estos aspectos. Respecto a las medidas directas del resultado, en la Tabla 9 se muestra la relación entre la asistencia a clase y la calificación final de la asignatura y en la Figura 3, los resultados obtenidos en la primera parte del examen de la convocatoria de junio (común a todos los alumnos) en función de su asistencia y si era la primera vez que se matriculaban o no en la asignatura. En la primera se observa que, como indica la prueba Chi-Cuadrado, ambas están relacionadas y que la asistencia a clase tiene un efecto positivo a la hora de superar la asignatura. Esto es indicativo de que las actividades realizadas durante el curso están alineadas con los objetivos planteados en las tres líneas de desarrollo de la asignatura. En segundo lugar, en el examen de la convocatoria ordinaria había una parte obligatoria para todos los estudiantes que suponía el 60% de nota, por lo que a efectos comparativos en la Figura 3 se muestran los resultados de los alumnos y alumnas que siguieron la evaluación continua obtenidos en esta parte en función del nivel de asistencia a las clases y si era la primera vez que se matriculaban o no. Quedan fuera de este análisis aquellos que no siguieron la evaluación continua y/o no asistieron a ninguna clase, ya que suponen grupos demasiado pequeños para comparar, por lo que en la figura se recogen los resultados de los 167 alumnos y alumnas que siguieron la evaluación continua y asistieron a clase. Para dividirlos en grupos se consideró como asistencia regular cuando el alumno o alumna había asistido a más de la mitad de las clases, condición que cumplieron 52 estudiantes de primera matrícula y 19 de segunda matrícula y sucesivas. Este es un primer resultado a destacar, cómo el alumnado de primera matrícula es más propenso a asistir a las clases. Otro aspecto a destacar en la Figura 3, es la gran dispersión de las notas en esta primera parte del examen, por lo que los valores medios deben interpretarse con cautela. En cualquier caso, también podemos comprobar cómo aquellos que han asistido de manera regular a las clases tiene una nota media más alta que los que no. Así, los alumnos y alumnas de primera matricula que asistieron de manera regular a las clases tienen una nota media de 3,93 frente al 3,32 de aquellos que en primera matricula no asistían de manera regular. En el caso de estar en segunda matrícula y sucesivas, aunque la nota media de quienes asistieron regularmente a clase es ligeramente superior la diferencia entre ambas es mucho menor (3,14 frente a 3,10). Esto puede deberse a que en general la asistencia de estos estudiantes es mucho menor debido a que ya han cursado la asignatura y en caso de solapamiento en el horario eligen asistir a aquellas asignaturas en las que se han matriculado por primera vez ese año, o a aquellas en las que la asistencia es obligatoria. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 103 TABLA 9. RELACIÓN ENTRE LA ASISTENCIA A CLASE Y LA SUPERACIÓN DE LA ASIGNATURA Asistencia en clases Baja** Media-Baja Media-Alta Alta Tota l Calificación Suspenso 20 6 2 1 29 % Calificación 68,97% 20,69% 6,90% 3,45% 100, 00% % Asist.clases 25,97% 13,64% 6,06% 2,63% 15,1 0% % del total 10,42% 3,13% 1,04% 0,52% 15,1 0% Superado 57 38 31 37 163 % Calificación 34,97% 23,31% 19,02% 22,70% 100, 00% % Asist.clases 74,03% 86,36% 93,94% 97,37% 84,9 0% % del total 29,69% 19,79% 16,15% 19,27% 84,9 0% Total Presentados 77 44 33 38 192 % Calificación 40,10% 22,92% 17,19% 19,79% 100, 00% % Asist.clases 100,00% 100,00% 100,00% 100,00% 100, 00% % del total 40,10% 22,92% 17,19% 19,79% 100, 00% No Presentados 62 6 2 0 70 Total Matrícula 139 50 35 38 262 *Significación de la X2 para la primera parte de la tabla relativa a los presentados con p < 0,01 ** Se considera asistencia “Baja” la de aquellos estudiantes que han venido 10 veces o menos a clase (de las 41 sesiones que conforman el programa), entre 10 y 20 asistencias se considera como “Media-Baja”; entre 20 y 30 asistencias como “Media-Alta” y más de 30 se considera como asistencia “Alta”. Fuente: Elaboración propia Con respecto a la dispersión de las notas, cabe destacar que ésta es menor en el caso de una asistencia regular a las clases, por lo que puede intuirse que entre los que no asisten de manera regular a las clases hay dos perfiles, quienes acuden a las academias y quienes no lo hacen. Tras los análisis con la prueba Chi-Cuadrado se realizaron una serie de modelos de regresión logística univariantes que se definen para cada una de las variables analizadas con la siguiente ecuación: SUPERADO=0+ 1X1+i Donde la variable dependiente SUPERADO se define como una variable dicotómica que toma valor 1 cuando el estudiante ha superado la asignatura y 0 en caso contrario. Por su parte, la variable independiente X1, corresponderá en cada modelo estimado a las distintas variables analizadas: - ASISTENCIA: Variable continua en la que se recogen el número de veces que ha asistido un estudiante a clase. - Nº VECES MATRICULADO: Variable continua en la que se recoge el número de matrícula de cada estudiante. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 104 FIGURA 3: DISTRIBUCIÓN DE LAS NOTAS DE LOS ALUMNOS EN FUNCIÓN DE SU ASISTENCIA Y NÚMERO DE VECES MATRICULADO 52 57 19 39 5,47 5,56 4,68 4,60 1,35 0,00 1,93 0,68 3,93 3,32 3,14 3,10 0 10 20 30 40 50 60 Asiste Regularmente (1ª Matrícula) No Asiste Regularmente (1ª Matrícula) Asiste Regularmente (2ª Matrícula y posteriores) No Asiste Regularmente (2ª Matrícula y posteriores) Nº Alumnos 0,00 1,00 2,00 3,00 4,00 5,00 6,00 Nota Obtenida Primera Parte Obligatoria (max. 6) Nº Alumnos Nota Máxima Nota Mínima Nota Media Fuente: elaboración propia. Con el primer modelo estimado se confirma la relación positiva entre la asistencia a clase y la probabilidad de superar la asignatura. En la Tabla 11 se muestran los resultados de la regresión logística univariante, en el que la probabilidad de superar o no la asignatura se explica en función de la asistencia a clase como variable cuantitativa, es decir, sin dividir en categorías. TABLA 11. RESUMEN DE LOS RESULTADOS DE LA REGRESIÓN LOGÍSTICA Variable Signo esperado Coeficiente Test Wald Sig. Estadística Constante 0,621 4,593 0,032 ASISTENCIA (métrica) + 0,094 14,787 0,000 Contraste G 21,8372 (0) Pseudo R2 0,1080 Porcentaje clasificación correcta 84,8168 Fuente: Elaboración propia Otro resultado a destacar, es el relacionado con los alumnos y alumnas de segunda matrícula y sucesiva. Suele ser habitual, que si un estudiante no supera la asignatura la primera vez que se matricula deje de asistir a las clases y en cierto modo se desvincule de la asignatura hasta la convocatoria del examen, o incluso que ni siquiera se presente, aspecto que quedaba patente en la Tabla 5 y en la Figura 3. Esto, puede deberse a una falta de implicación o de motivación por la asignatura que se reflejaría en unos peores resultados. Esta idea, nos llevó a relacionar con un modelo de regresión logística univariante el número de veces matriculado como variable explicativa de la probabilidad de Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 105 superar o no la asignatura. En la Tabla 12 se muestran los resultados en los que, a pesar de que el modelo no presenta un Pseudo R2 alto, aparece una relación entre ambas variables es estadísticamente significativa y negativa. Por tanto, hemos comprobado que la evaluación continua con sus distintas actividades y la asistencia a las clases, tienen una influencia positiva sobre la probabilidad de superar la asignatura. Del mismo modo, el alumnado considera que estas actividades han desarrollado algunas de sus capacidades. Para confirmarlo, hemos realizado análisis de correlaciones bivariadas no paramétricas entre las distintas variables. Observamos que existe una correlación positiva y alta (superior al 0,5 en la mayoría de los casos) entre las notas de los distintos Test propuestos en el blog 6 . Por tanto, el resultado lo que muestra es que aquellos que empezaron a hacer los Test por lo general mantienen el hábito, es decir, estos Test son un elemento motivador para ellos. Además, su realización supone un apoyo en el aprendizaje de la asignatura porque existen correlaciones significativas y positivas entre las notas de estos Test y la nota obtenida en la evaluación continua. Estas correlaciones son especialmente altas (superiores a 0,5) en el caso de los Test relativos a la Memoria; el Tema 2; el Tema 4; y el Tema 5. Pese a que se detecta una correlación positiva y estadísticamente significativa entre las notas de los Test propuestos en el blog con los que pretendíamos desarrollar la competencia de Pensamiento Práctico, y la “Resolución de Problemas” y la “Toma de Decisiones”, éstas son bajas (en torno a 0,2). Resultado que se repite en el caso de los Parciales. TABLA 12. RESUMEN DE LOS RESULTADOS DE LA REGRESIÓN LOGÍSTICA Variable Signo esperado Coeficiente Test Wald Sig. Estadística Constante 2,642 41,278 0,000 Nº VECES MATRICULADO - -0,543 7,826 0,005 Contraste G 7,4693 (0,006) Pseudo R2 0,0384 Porcentaje clasificación correcta 83,7696 Fuente: Elaboración propia Esto significa que la influencia de los Test y los Parciales, aunque positiva para desarrollo de la competencia del Pensamiento Práctico, es baja, por lo que se prevén cambios en la planificación del próximo curso en aras de una mejora. Entre otros aspectos a modificar estará la identificación con el alumnado de las competencias de desarrollo prioritario en la asignatura a principio de cuatrimestre. Con las Prácticas, donde aparecen los trabajos realizados por parejas, se trató de desarrollar tanto la competencia de Pensamiento Práctico como la de Comunicación Escrita. Sin embargo, los resultados obtenidos en los trabajos no aparecen correlacionados con estos aspectos. Esto puede deberse a que al suponer un 10% de la nota final, no existen grandes diferencias en la puntuación de las Prácticas entre los 6 Recordamos que estas calificaciones no sirven para la nota final y que los Test podían repetirse tantas veces como se quisiera, por lo que en general las notas finales de estos test para todos los estudiantes que los han realizado son altas. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 106 distintos grupos. Este será otro aspecto a valorar para mejorar en este proceso de evolución. Los Informes realizados en el aula y valorados por los propios compañeros, al igual que los pequeños ejercicios voluntarios no se incluyeron en el análisis de correlaciones. El dejar fuera de este análisis a los Informes, que no formaban parte de la evaluación final, está motivado por la aparición de incidencias cuando los estudiantes cambiaban las identidades de los Informes elaborados en la revisión de los mismos; esto produjo diferencias que sin ser importantes distorsionaban los resultados. El curso que viene será necesario revisar el procedimiento informático de cálculo de las calificaciones medias y de sus desviaciones estándar, si fuera posible, procediendo a su informatización elaborando un software específico. En cuanto al Examen, las calificaciones presentan correlaciones positivas y estadísticamente significativas con la “Resolución de Problemas”, la “Comunicación Escrita” y con la percepción positiva de la evaluación continua como procedimiento que facilita y mejora el aprendizaje. Sin embargo, nuevamente los coeficientes son inferiores al 0,3. 5. CONCLUSIONES Y CONTINUIDAD DE LOS TRABAJOS DE DOCENCIA E INVESTIGACIÓN El Proceso de Bolonia se apoya en la evolución y el desarrollo de conceptos como conocimiento, aprendizaje y orientación del aprendizaje y ha llevado a introducir cambios en las estructuras formativas. Estos cambios están orientados a la formación de ciudadanos y ciudadanas mejor preparados, para lo que se busca el desarrollo de una serie de competencias. Sin embargo, lo que en un plano teórico podría considerarse un cambio relativamente rápido, genera controversia tanto por las distintas concepciones de conocimiento, aprendizaje, evaluación, etc. como por las dificultades propias de un cambio profundo que afecta a las rutinas y estructuras subyacentes. Una transición progresiva, minora la oposición y a la vez permite ir corrigiendo y adaptando las nuevas reglas y rutinas. Precisamente, este paper es el resultado de la experiencia piloto con la que se inicia este proceso de transición en la asignatura Contabilidad General y Analítica, en el que el cambio está encaminado hacia la orientación de „evaluar para aprender‟. En este sentido, nuestros objetivos son el diseño de un sistema que permita un seguimiento de la evolución del aprendizaje del alumnado durante el cuatrimestre según los contenidos que forman parte del programa y evaluar el resultado de la acción formativa al final del mismo. Para ello, frente a un cambio en el modelo de evaluación, en esta primera etapa se siguió una estrategia basada en aumentar el número de operaciones de seguimiento y evaluación (OSE) e informar de ello al estudiante, de manera que el ciclo de aprendizaje se cerrase. En grupos con un número elevado de alumnos y alumnas el aumento de estas operaciones supone aumentar de manera exponencial la carga de trabajo para el profesorado. Por tanto, la gestión se realizó de manera centralizada con un sistema apoyado en la utilización de las herramientas Web 2.0 y una base de datos que recoge toda la información procedente de las OSE y los registros de asistencia. Las innovaciones no sólo han sido en la gestión de información, sino también en la recogida de datos, mediante Test abiertos (en un blog) y lectores de código de barras. Adicionalmente para la evaluación del resultado final del aprendizaje se ha utilizado la encuesta de valoración de la propia universidad y una encuesta específica de investigación, realizada justo antes del examen, de manera que las respuestas no estaban condicionadas por la dificultad o la calificación obtenida. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 107 A la vista de los resultados obtenidos, y aunque éste sea un trabajo asociado a una experiencia piloto, nuestra primera reflexión está relacionada con el efecto positivo de la evaluación continua en la actitud del alumnado frente a la asignatura. Mediante la misma pretendíamos captar la atención de los estudiantes desde el inicio del cuatrimestre con herramientas que los ayudaran a trabajar la asignatura, en otras palabras, motivarlos. Esta motivación se vio reflejada en las actividades voluntarias, como los Test propuestos en el blog, que fueron un elemento de captación para el alumnado desde principio del cuatrimestre. Otro elemento clave en esta motivación fueron los Parciales, ya que siguiendo la filosofía de „evaluar para aprender‟, permitieron el seguimiento continuo y el refuerzo de aquellos conceptos que resultaban más problemáticos. Este mayor compromiso se ve reflejado en las tablas y contrastes anteriormente descritos, donde hemos podido comprobar como aquellos que se comprometieron a seguir el procedimiento de evaluación continua están más motivados, de manera que en la convocatoria ordinaria de junio tanto las tasas de presentados sobre matriculados, como de aprobados sobre presentados, fueron superiores La segunda reflexión se centra en las competencias fijadas como prioritarias. En este sentido, la mayor valoración media de la consecución de la competencia Comunicación Escrita por parte de aquellos que siguieron la evaluación continua, puede considerarse como una señal positiva de que las actividades y tareas propuestas son las adecuadas. Del mismo modo, el feed-back de los Informes y Prácticas, muestra resultados positivos en la evolución de esta competencia. Por su parte, el Pensamiento Práctico no presenta diferencias en su valoración media entre los distintos grupos de estudiantes, sino que todos ellos valoran que la asignatura ha fomentado el desarrollo del mismo. Sin embargo, como en cualquier proceso de cambio no todo ha sido positivo, sino que aparecieron problemas que en algunos casos deberán tenerse en cuenta en el diseño de la actividad docente del próximo curso, de cara a su mejora. Un primer aspecto importante es la asistencia del alumnado, ya que a pesar de haber aumentado, continúa siendo una cuestión controvertida. Debe de tenerse en cuenta de que la situación de partida se caracterizaba por la voluntariedad en la asistencia. Durante esta experiencia, y aunque se fomentó, se mantuvo el criterio de no obligatoriedad al objeto de medir el aumento de interés. El efecto fue positivo, ya que ésta aumentó, sin embargo, las conversaciones informales al finalizar las clases con parte de los alumnos y alumnas ponen de manifiesto la existencia de algunos problemas de tipo estructural (cultural) por los que un porcentaje importante del alumnado prescinde sistemáticamente de asistir cuando no es obligatorio. Por otra parte, las correlaciones entre las distintas tareas realizadas y competencias a desarrollar fueron relativamente bajas. De modo que, por un lado será necesario adaptar las tareas, y por otro se deberá poner de manifiesto explícitamente a los alumnos y alumnas cuáles son las competencias prioritarias a desarrollar durante la asignatura. Durante este curso no se informó a los estudiantes específicamente de la asociación entre cada tarea y el desarrollo de las competencias, por lo que pensamos que pudo haber algunos problemas de identificación que pudieron producir sesgos en las valoraciones de las mismas. En resumen, a pesar de que al ser una primera experiencia deben depurarse ciertos aspectos, la aproximación a la realidad del propio alumnado, junto con el aumento del feed-back apoyado por las herramientas para el seguimiento de la evaluación, han demostrado tener un efecto positivo sobre el rendimiento de los estudiantes. De este modo, de cara al próximo curso continuaremos con la experiencia y además de corregir los aspectos anteriormente señalados está previsto introducir más actividades Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 108 encaminadas a la consecución del segundo nivel de la competencia de Pensamiento Práctico, en las que los alumnos y alumnas tengan que utilizar su propio criterio; así como, continuar incorporando trabajos en grupo, que fueron valorados positivamente y resultan clave en el tercer nivel de las competencias consideradas como prioritarias en la asignatura. BIBLIOGRAFÍA BIGGS, J. Y TANG, C. (2007): Teaching for Quality Learning at University: What the Student Does, 3ª Edición, McGraw-Hill. BOLOGNA WORKING GROUP ON QUALIFICATIONS FRAMEWORKS - MINISTRY OF SCIENCE, TECHNOLOGY AND INNOVATION (2005): A Framework for Qualifications of the European Higher Education Area, Dinamarca. CARRASCO GALLEGO, A; DONOSO ANES, J.A.; DUARTE ATOCHE, T. HERNÁNDEZ BORREGUERO, J.J.; LÓPEZ GAVIRA, R. Y NÚÑEZ GARCÍA C. (2010): La utilización de metodologías activas de aprendizaje en la enseñanza de la contabilidad. XIV Encuentro ASEPUC. A Coruña, junio 2010. CASTRO MORERA, M. (2011): ¿Qué sabemos de la medida de las competencias? Características y problemas psicométricos en la evaluación de competencias, Bordón. Revista de Pedagogía, vol. 63, núm. 1: 109-123. COATS, M. Y STEVENSON, A. (2006): Towards outcomes-based assessment: an unfinished story of triangulation and transformation. In: Association for the Study of Evaluation and Assessment in Education in Southern Africa (ASEASA) Conference on Evaluating Assessment: Reflecting on Outcome-Based Education and Assessment, July 2006, Johannesburg, South Africa. DAUGHERTY, R., BLACK, P., ECCLESTONE, K., JAMES, M. Y NEWTON, P. (2008): Alternative perspectives on learning outcomes: challenges for assessment, Curriculum Journal, vol. 19, núm. 4: 243-254. DE LA ORDEN HOZ, A. (2011): El problema de las competencias en la educación general, Bordón. Revista de Pedagogía, vol. 63, núm. 1: 47-61 ENTWISTLE, N. (2004): Teaching and Learning in Diverse University Settings: Analytic Frameworks for Integrating Different Data Sources, Teaching and Learning Research Programme Annual Conference Papers, 5th Annual Conference, 2224 november, University of Edinburgh. ENTWISTLE, N. Y PETERSON, E.R. (2004): Conceptions of learning and knowledge in higher education: Relationships with study behaviour and influences of learning environments, International Journal of Educational Research, vol. 41: 407-428. HAIR, J.F.; BLACK, W.C.; BABIN, B.J. Y ANDERSON, R.E. (2010): Multivariate Data Analysis. A Global Perspective, Pearson Prentice Hall. LINDBERG-SAND, A Y OLSSON, T. (2008): Sustainable assessment? Critical features of the assessment process in a modularised engineering programme, International Journal of Educational Research, vol. 47: 165-174. PEÑA SÁNCHEZ DE RIVERA, D. (2001): Fundamentos de Estadística. Ciencias Sociales Alianza Editorial, Madrid. PERIÁÑEZ CAÑADILLAS, I; LUENGO VALDERREY, M.J.; PANDO GARCÍA, J.; DE LA PEÑA GARCÍA , J.I. Y FRANCISCO JAVIER VILLABA MERLO, F.J. (2010): Competencias demandas en los nuevos economistas, EDUCADE Revista de Educación en Contabilidad, Finanzas y Administración de Empresas (The Spanish Journal of Accounting, Finance and Management Education), vol. I, núm. 1: 59-77. REAL DECRETO 1514/2007, DE 16 DE NOVIEMBRE, POR EL QUE SE APRUEBA EL PLAN GENERAL DE CONTABILIDAD. Plan General de Contabilidad. Miriam Garandillas, Francisco M. Somohano, Francisco Javier Martínez Innovación en la gestión de la docencia educade, nº 2, 2011, p. 109 REAL DECRETO 1515/2007, de 16 de noviembre, por el que se aprueba el Plan General de Contabilidad de Pequeñas y Medianas Empresas y los criterios contables específicos para microempresas. RECOMENDACIÓN DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 18 de diciembre de 2006 sobre las competencias clave para el aprendizaje permanente (2006/962/CE). SHAY, S. (2008): Researching assessment as social practice: Implications for research methodology, International Journal of Educational Research, vol. 47: 159-164. VILLA SÁNCHEZ, A. Y POBLETE RUIZ, M. (DIRECTORES) (2007): Aprendizaje basado en competencias. Una propuesta para la evaluación de las competencias genéricas, Universidad de Deusto, Bilbao. VILLA SÁNCHEZ, A. Y POBLETE RUIZ, M. (2011): Evaluación de competencias genéricas: Principios, oportunidades y limitaciones, Bordón. Revista de Pedagogía, vol. 63, núm. 1: 147-170. FUENTES ELECTRÓNICAS: http://analisiscontableunican.blogspot.com http://web.mit.edu/tll/ http://web.mit.edu/tll/assessment-evaluation/types.html