El cuestionario como herramienta de autoevaluación en el proceso de aprendizaje de la asignatura Contabilidad Financiera y Analítica

educade Revista de Educación en Contabilidad, Finanzas y Administración de Empresas The Spanish Journal of Accounting, Finance and Management Education educade, nº 2, 2011, p. 51 Nº 2 · 2011· ISSN 2173-478X pp. 51 – 66 El cuestionario como herramienta de autoevaluación en el proceso de aprendizaje de la asignatura Contabilidad Financiera y Analítica Interactive questionnaires as self-assessment tool for accounting subjects Carmen Pilar Martí Ballester ([email protected]) Neus Orgaz Guerrero ([email protected]) Universitat Autónoma de Barcelona (España) http://dx.doi.org/10.12795/EDUCADE.2011.i02.04 RESUMEN: El objetivo del presente trabajo es analizar el impacto del uso de cuestionarios interactivos, como herramienta de autoevaluación, en los rendimientos obtenidos por los alumnos. Para ello, disponemos de datos correspondientes a 593 alumnos matriculados en la asignatura de contabilidad financiera y analítica en la Universidad Autónoma de Barcelona. Sobre dichos datos aplicamos el análisis de varianza (ANOVA) así como la prueba T para muestras independientes. Para aportar mayor robustez en los resultados obtenidos a través de dicho análisis se han implantado diversos contrastes no paramétricos. Los resultados obtenidos indican que, en el primer semestre, existen diferencias significativas entre los rendimientos promedio obtenidos por el grupo piloto que ha utilizado el cuestionario interactivo y el grupo de control con una calidad académica inicial similar. Conforme avanzamos en el desarrollo de la asignatura y aumenta la complejidad de la misma, el uso de cuestionarios interactivos pierde eficacia y no se encuentran diferencias significativas en los rendimientos promedios de los dos grupos considerados. PALABRAS CLAVE: Cuestionario, Autoevaluación, Espacio Europeo de Educación Superior, Proceso de aprendizaje, Contabilidad Financiera y Analítica. ABSTRACT: The aim of this study is to analyze the impact of using interactive questionnaire, and self-assessment tool in students’ performance. In this sense, we have data corresponding to 593 students enrolled in the subject of financial and analytical accounting at the Autonomous University of Barcelona. Over this data we apply the analysis of variance (ANOVA) and the independent samples T test. To provide more robustness in the results obtained through this analysis, different non-parametric tools have been implemented. The results show that in the first semester there are significant differences between the average performance obtained by the pilot group that used the interactive questionnaire and the control group with a similar initial academic quality. As we move on into the subject increasing the complexity of it, the use of interactive questionnaire is less effective and no significant differences in average performance of the three groups are found. KEYWORDS: Questionnaire, Self-evaluation, European Higher Education Area, Learning process, Financial Accounting. 1. INTRODUCCIÓN El trabajo que se presenta se contextualiza dentro de la innovación docente que se ha producido en la enseñanza universitaria como motivo del acceso en el Espacio Europeo de Educación Superior (EEES). Artículo. Recibido: 26-01-11 – Versiones revisadas: 03-05-11, Aceptado: 30-06-11 Licencia Creative Commons (CC) BY-NC-ND · Asociación Española de Contabilidad y Administración de Empresas - AECA Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 52 El EEES se ha ido creando en los acuerdos tomados en las diversas reuniones de Bolonia (1999), Praga (2001), Berlín (2003), Bergen (2005), Londres (2007). Con el EEES se pretende llegar a una convergencia europea llevada a la enseñanza universitaria, adoptando un marco de titulaciones compatibles y comparables entre los países que forman este espacio siguiendo unos estándares internacionales recomendados por la European Association for Quality Assurance in Higher Education (ENQA). Una de las consecuencias más importantes de la unificación de los planes de estudio incentivado por EEES ha sido el cambio en la estrategia de enseñanza-aprendizaje en las universidades. De la tradicional clase magistral se pasa a incorporar en la docencia universitaria nuevas metodologías activas y participativas. Estas nuevas metodologías han provocado un cambio sustancial tanto en el rol del profesor como en el rol del estudiante. El estudiante participa y se responsabiliza de su proceso de aprendizaje de forma dinámica y activa. Por otra parte, el profesor ha tenido que formarse en estas nuevas metodologías activas, la docencia tradicional se ha visto sustituida por sesiones con una mayor participación del estudiante, un seguimiento del aprendizaje del alumno, incorporación de nuevas tecnologías, etc. Si se cambia la forma de enseñar, como es lógico también se cambia la forma de evaluar. Siguiendo las premisas del espacio europeo, el sistema de evaluación ha optado por una “opción formativa” donde no solo se evalúa el dominio de los contenidos de un temario por parte del estudiante sino que además, ha de evaluar y garantizar que los estudiantes sepan aplicar todo lo que han aprendido. Ruiz (2005) afirma que la evaluación tiene dos funciones, la formativa y la sumativa. Considera que los dos enfoques no tienen por qué ser excluyentes y destaca la necesidad de potenciar la evaluación formativa utilizando las diversas herramientas que dispone el docente. En el nuevo marco, como dice Benito y Cruz (2005), las formas de evaluar deben, igualmente evolucionar con respecto a los enfoques más tradicionales (con frecuencia, el examen final). En este contexto, exponen que el proceso de evaluación debe ser transparente y formativo. La transparencia hace referencia a que los criterios de evaluación deben hacerse públicos. Y formativos, ya que la evaluación debe proporcionar una retroalimentación a profesores y alumnos, quienes podrán ajustar su enseñanza o aprendizaje en función de la información recibida. En este proceso de cambio ocupa un papel fundamental las TICs (Tecnologías de la Información y la Comunicación) que ayudan a fomentar el autoaprendizaje y el seguimiento de los alumnos. Una de estas herramientas son las plataformas e-learnig, que permiten planificar el aprendizaje virtual de tal forma que los alumnos encuentran en ellas todo los recursos y actividades necesarias para desarrollar su aprendizaje, y el profesor dispone de lo necesario para evaluar todo el proceso formativo del estudiante. Correa (2005) describe en su artículo las nuevas experiencias docentes que ha podido realizar con la plataforma de e-learning Moodle, y como ha mejorado aspectos didácticos de la asignatura, así como ha posibilitado el trabajo con otros colegas. Por tanto, en base a todo lo comentado, podemos concretar que el trabajo que se presenta tiene como objetivo analizar la incidencia del uso de cuestionarios formativos sobre los rendimientos obtenidos por los alumnos de la asignatura de Contabilidad Financiera y Analítica impartida en la Universidad Autónoma de Barcelona (UAB). Los cuestionarios se diseñaron utilizando la plataforma digital Moodle que ofrece la misma universidad, como apoyo a la docencia presencial que se realiza en la asignatura. Con la utilización de la plataforma Moodle se pretende incentivar el trabajo no Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 53 presencial continuo, y la capacidad de aprendizaje autónomo del estudiante. En este sentido, Huon et al. (2007) analizan si la utilización de recursos docentes como cuestionarios repercute en la obtención de cualificaciones más altas en los estudiantes, mientras Buckles y Siegfried (2006) analizan la utilidad de las preguntas de respuesta de elección múltiple en los cuestionarios. Los cuestionarios en un entorno virtual de aprendizaje desempeñan diversas funciones, la más conocida es la función de evaluación de los estudiantes. En este estudio, se utilizan los cuestionarios tanto como herramienta de evaluación final como herramienta de evaluación formativa de los alumnos. Esta evaluación formativa pretende fomentar la motivación del estudiante en su proceso de aprendizaje, para que tengan conocimiento de su progreso o la falta de él. Es decir, favorecer la capacidad de aprendizaje autónomo de forma progresiva para que reflexionen sobre su propio trabajo y puedan actuar a tiempo en el caso de que no alcancen las competencias específicas previstas, aprendiendo de sus errores. Se puede añadir a las funciones en la elaboración de cuestionarios autocorrectivos de la asignatura de Contabilidad Financiera y Analítica la de desarrollar la capacidad lógica y mecánica de los estudiantes para la realización de pruebas tipo test que tendrán que realizar en la evaluación de la parte teórica de la asignatura. Por parte del profesor, también hay ventajas para elaborar cuestionarios formativos: se puede evaluar el progreso en el aprendizaje de los estudiantes, detectando los errores más frecuentes y de esta forma seleccionar los temas y aspectos que requieren un tratamiento más intenso, tarea que se puede desarrollar en las clases presenciales. Dado todo lo comentado anteriormente, el trabajo se estructura como sigue: tras esta breve introducción, comentaremos el diseño e implantación de los cuestionarios en el aula, para posteriormente describir los datos y la metodología utilizada. Finalmente se expondrán las conclusiones alcanzadas. 2. DISEÑO E IMPLANTACIÓN DE LOS CUESTIONARIOS EN EL AULA Diversos autores, Becker y Watts (2001) y Buckles y Siegfried (2006), afirman que los cuestionarios se utilizan con frecuencia como herramienta de evaluación y autoevaluación en grupos que presentan un elevado número de estudiantes matriculados. En este sentido, según Becker y Johnston (1999) el tipo de pregunta a incluir en el cuestionario dependerá de la dimensión de conocimiento que se pretenda evaluar. Sin embargo, existe evidencia empírica, Wainer y Thissen (1993), donde se demuestra que las preguntas de respuesta de elección múltiple, verdadero/falso y las preguntas de respuesta corta pueden medir las mismas habilidades cognitivas de los distintos niveles propuestos por Bloom et al. (1956). Por ello, los cuestionarios realizados e implantados en nuestro grupo piloto de Contabilidad Financiera y Analítica de la UAB integra preguntas de respuesta multiple (75%) dónde sólo una de las cuatro posibles respuestas es correcta, preguntas de respuesta verdadero/falso (1,5%), preguntas de respuesta calculada (5,5%), preguntas de emparejamiento (2%) y preguntas de respuesta breve (16%), tal y como se puede observar en la Tabla 1, con el propósito de que el alumno adquiera y demuestre que ha adquirido los conocimientos, competencias y habilidades descritas en el programa de la asignatura. Esto nos permite disponer de una base de preguntas amplia, formada por 600 preguntas, que nos ayuda a evaluar y autoevaluar las habilidades de distintos niveles siguiendo la taxonomía de Bloom et al. (1956) en cada uno de los 12 temas en los que se divide la asignatura de Contabilidad Financiera y Analítica en la Licenciatura de Administración y Dirección de Empresas de la UAB. Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 54 A partir de la mencionada base de preguntas se ha procedido a elaborar los cuestionarios en la plataforma virtual moodle. En este sentido, moodle nos permite TABLA 1. CLASIFICACIÓN DEL TIPO DE PREGUNTAS DEL CUESTIONARIO Tipo de preguntas Tema Número preguntas Elección múltiple Calculadas Emparejamiento Respuesta Breve Verdader o/Falso Tema 1 24 14 8 2 Tema 2 46 35 9 2 Tema 3 109 31 2 73 3 Tema 4 54 44 9 1 Tema 5 90 87 3 Tema 6 10 9 1 Tema 7 78 62 1 1 14 Tema 8 67 57 1 9 Tema 9 45 43 1 1 Tema 10 30 23 2 5 Tema 11 27 26 1 Tema 12 20 19 1 Total 600 450 33 12 96 9 clasificar las preguntas en categorías, determinar el número de preguntas que debe incluir cada cuestionario, la puntuación que se otorga a cada una de ellas, limitar el número de intentos y el tiempo que debe transcurrir entre uno y otro, barajar preguntas y respuestas, determinar el tiempo que dispone el alumno para completar el cuestionario, la fecha en la que está disponible para el alumno, el momento en que deja de estarlo y la posibilidad de comunicar al alumno la nota obtenida, la respuesta correcta, retroalimentación y el momento en que se concede dicha información. Teniendo en cuenta el abanico de posibilidades que ofrece moodle, se ha optado por clasificar las preguntas en doce categorías, una para cada tema tal y como se observa en la Tabla 1. En cuanto a la programación del cuestionario, éste está compuesto por diez preguntas, normalmente disponen de 40 minutos para contestarlo, se abre finalizada la lección magistral y ejercicios individuales en cada tema y se cierra siete días más tarde salvo la existencia de días festivos que disponen de un poco más de tiempo. Los alumnos disponen de intentos ilimitados y se tiene en cuenta la nota obtenida más alta, se barajan las respuestas y las preguntas por lo que difícilmente pueden hacer dos cuestionarios iguales, se informa de las respuestas correctas, de la puntuación obtenida y de los errores cometidos al finalizar el cuestionario. La mencionada implantación de la herramienta de cuestionarios interactivos invita al alumno a leer y/o repasar el material de clase al finalizar cada tema lo que repercute en una mejor comprensión del contenido de temas posteriores que normalmente están relacionados entre sí, permite que el alumno adquiera la capacidad para organizar y planificar su trabajo de forma autónoma, mide en cada momento el progreso en el proceso de aprendizaje a lo largo del curso, y aumenta su motivación hacia la asignatura pues al dedicarle más tiempo tiene menos incentivo para abandonarla. Sin embargo, para incentivar la participación del alumno se le comunica que se tendría en cuenta la elaboración de cuestionarios en la nota final, sin que ésta junto con la nota de los trabajos individuales entregados semanalmente supere un punto estipulado en el programa de la asignatura. 3. DATOS Respecto a los datos, nuestra muestra está integrada por datos pertenecientes a 593 alumnos referentes a: grupo matriculado (7 grupos diferentes), estudios que cursan Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 55 (Licenciatura en Económicas, Licenciatura en Administración y Dirección de Empresas y doble Licenciatura de Administración y Dirección de Empresas más Derecho), genero (hombre o mujer), nota de acceso a la universidad, número de veces matriculado en la asignatura y obtención o no de ayudas estatales o autonómicas para financiar sus estudios, facilitados por los servicios centrales de la Universidad Autónoma de Barcelona. Así mismo, disponemos de datos relativos a la realización de cuestionarios interactivos y las notas correspondientes a los alumnos presentados a los diferentes parciales de teoría de la asignatura de Contabilidad Financiera y Analítica realizados en noviembre, enero, abril y mayo del curso 2009/2010 proporcionados por los diferentes profesores de la asignatura. La nota final de la parte teórica de la asignatura se ha obtenido calculando la media aritmética de los cuatro parciales realizados. Para calcular dicha nota final se ha eliminado de la muestra los datos de aquellos alumnos que a lo largo del curso han cambiado de grupo, así como los de aquellos que han abandonado la asignatura o han faltado a algún parcial, por lo que podría existir sesgo de supervivencia. Así mismo, siguiendo un procedimiento similar a Marcenaro y Navarro (2007), se han eliminado de la muestra los datos de los alumnos del grupo 7 pues existe una alta tasa de repetidores. Respecto al resto de grupos, presentan características iniciales diferentes por lo que nuestra muestra final está integrada por 188 alumnos adscritos a dos grupos con características iniciales similares. 4. METODOLOGÍA Y RESULTADOS Previo al análisis que nos permita determinar la efectividad del uso de cuestionarios interactivos en la asignatura de contabilidad financiera y analítica, realizaremos un análisis estadístico de los datos que componen nuestra muestra. En este sentido, la Tabla 2 resume las variables consideradas en este estudio ofreciendo información estadística. Así, la asignatura de Contabilidad Financiera y Analítica está imparte en 7 grupos, cada grupo está formado entre 70 y 100 alumnos. Como podemos observar, estamos ante grupos grandes, donde el grupo 2 es el que menos alumnos tiene, mientras el grupo 1 es el grupo más numeroso con 100 alumnos adscritos. A su vez, este último grupo es el que presenta menos repetidores, el 1% de los matriculados, dato que contrasta con el del grupo 7 dónde casi la mitad de los alumnos se han matriculado en la asignatura en más de una ocasión. Este dato posiblemente influya en el porcentaje de alumnos becados en cada grupo, así los grupos 6 y 7 donde existe un mayor número de repetidores presenta un menor porcentaje de alumnos que reciben subvenciones públicas para financiar sus estudios universitarios. Por el contrario, el grupo 1 presenta un importante porcentaje de alumnos, 40%, a los que se les ha concedido una beca de estudios. Otra diferencia evidente entre los grupos presentados en la Tabla 2 hace referencia a la nota media de acceso. En este sentido, los grupos 1, 2 y 3 reflejan una nota media de acceso más elevada que el resto de grupos siendo ésta de notable. Esto podría condicionar los rendimientos del grupo en la asignatura, pues como se puede observar en la Tabla 2, dichos grupos son los que obtienen mejores resultados promedio en los cuatro parciales teóricos realizados a lo largo del curso 2009/10. En cuanto al número de alumnos presentados, en términos generales más del 50 por cien de los alumnos se han presentado a todos los parciales teóricos realizados. Sin embargo, el porcentaje de presentación varía en función del grupo considerado. A este respecto, en los grupos 1, 2 y 3 la participación de los alumnos supera el 80%, mientras en el grupo 6 no alcanza el 50%. Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 56 TABLA 2. ESTADÍSTICOS DESCRIPTIVOS Grupo 1 Grupo 2 Grup o 3 Grupo 4 Grupo 5 Grupo 6 Grupo 7 Global Nº alumnos matriculados 100 70 88 86 90 81 78 Nº alumnos presentados 84 58 76 50 72 40 52 Becados 40 18 29 15 26 11 11 Repetidores 1 9 2 3 2 15 37 Hombres 37 17 37 33 38 29 26 Mujeres 47 41 39 17 34 11 26 Nota media de acceso 7,03 7,49 7,11 6,35 5,95 5,93 6,35 Nota contabilidad teoría:  Media 7,05 6,97 6,54 5,76 5,72 5,00 5,44  Mediana 7,15 7,15 6,68 5,84 5,63 5,10 5,48  Desviación típica 1,42 1,22 1,44 1,43 1,31 1,27 1,26  Mínimo 2,99 4,14 2,64 2,58 2,82 1,54 2,34  Máximo 9,53 9,32 9,48 8,99 8,86 7,82 7,85 Resultados Noviembre Nº alumnos presentados 95 66 87 86 89 53 67 Media 6,99 6,70 5,88 5,39 5,72 4,67 5,34 Mediana 6,70 6,80 6,00 5,30 5,50 4,50 5,50 Desviación típica 1,79 1,27 1,71 1,86 1,51 1,70 1,84 Mínimo 0,89 3,30 1,00 0,20 2,00 0,00 0,00 Máximo 10,00 9,30 9,30 10,00 9,50 7,50 8,80 Resultados Enero Nº alumnos presentados 90 67 85 77 82 53 64 Media 6,93 6,52 5,94 4,86 5,88 4,78 5,44 Mediana 7,20 6,70 6,30 4,60 6,30 5,00 5,60 Desviación típica 2,04 2,00 2,18 2,04 2,01 1,58 2,15 Mínimo 0,00 0,90 0,60 0,60 0,90 0,60 0,00 Máximo 10,00 10,00 10,00 10,00 10,00 8,80 9,40 Resultados Abril Nº alumnos presentados 88 63 79 61 74 49 56 Media 6,26 6,13 6,29 4,29 4,20 4,00 4,43 Mediana 6,67 6,17 6,67 4,17 4,00 3,83 4,33 Desviación típica 2,09 2,00 2,04 2,09 2,13 1,92 1,88 Mínimo 0,00 0,50 0,67 0,17 0,00 0,00 0,67 Máximo 10,00 9,33 10,00 8,00 8,83 8,67 9,33 Resultados Mayo Nº alumnos presentados 87 61 77 53 73 43 55 Media 7,52 7,94 7,40 6,84 6,66 5,46 6,07 Mediana 8,00 8,00 7,50 7,00 7,00 5,30 6,50 Desviación típica 1,76 1,34 1,59 1,79 1,82 1,90 1,48 Mínimo 1,80 4,00 3,00 1,50 0,70 0,30 1,20 Máximo 10,00 10,00 10,00 10,00 9,30 9,30 8,80 Respecto a la distribución de hombres y mujeres a nivel global es bastante similar alcanzando la cifra de 217 y 215, respectivamente. Sin embargo, no se encuentran homogéneamente distribuidos entre los diferentes grupos existentes, así en el grupo 6 Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 57 únicamente se han matriculado 11 mujeres, mientras en el grupo 2 sólo hay inscritos 17 varones. Tras el análisis estadístico realizado, procederemos a contrastar si la utilización de cuestionarios interactivos en el proceso de enseñanza-aprendizaje contribuye a mejorar los rendimientos obtenidos por los alumnos al igual que ocurre en otras áreas como psicología según Huon et al (2007). Para contrastar si dicha hipótesis se cumple en nuestro caso, compararemos el rendimiento promedio de los alumnos que han utilizado cuestionarios interactivos a través de la plataforma educativa de la UAB con el de aquellos alumnos que no las han utilizado, implantando la prueba T para muestras independientes al cumplirse la hipótesis de normalidad (estadístico K-S (292)=0.044 con un nivel de significación observado de 0.2 y K-S(84)=0.065 con un nivel de significación observado de 0.2) y homocedasticidad en la distribución poblacional (estadístico F de Levene=0.268, p-value=0.605). El resultado de dicho contraste (estadístico t = -5,378; p-value: 0,000) indica que existen diferencias significativas en los rendimientos promedios obtenidos por los alumnos que han utilizado el cuestionario y aquellos que no lo han hecho. Sin embargo, dicha evidencia debe interpretarse con cautela pues diversos autores, García-Díez (2000), Dolado y Morales (2009), Mortenson y Miller (1997), Johnes y Taylor (1990), encuentran en el mercado español, estadounidense y británico, respectivamente, que los alumnos con notas de acceso a la universidad más elevadas obtienen rendimientos académicos significativamente mejores en la universidad que aquellos con notas de acceso más bajas, por lo que nuestro encuentro podría deberse a la existencia de una concentración de alumnos de gran calidad académica (notas de acceso altas) en el grupo que ha utilizado la herramienta docente objeto de estudio en el presente trabajo. Por ello, para contrastar la mencionada hipótesis calculamos el coeficiente de correlación de Spearman cuyo resultado (Rho de Spearman=0,627; p-value= 0,000) es consistente con la literatura previa anteriormente comentada, indicando existencia de correlación significativa entre las variables notas de acceso a la universidad y resultados obtenidos por los alumnos en la parte teórica de la asignatura de contabilidad financiera y analítica. Además de la calidad académica de un individuo concreto, otro factor puede condicionar los resultados obtenidos, la calidad académica del grupo al que está adscrito un alumno. A este respecto, estudios internacionales Sacerdote (2001) y Zimmerman (2003) muestran que la calidad del grupo (considerando como grupo los compañeros de piso/habitación) en el que está integrado un alumno influye en el rendimiento académico de éste. Sin embargo, Carrell et al (2009) exponen que los trabajos previos podrían estar subestimando el impacto del efecto grupo sobre los rendimientos obtenidos por un alumno particular, pues según Stinebrickner y Stinebrickner (2006) los compañeros de piso son un subconjunto del grupo real al que pertenece un individuo. Considerando que los alumnos interactúan y se relacionan también con sus compañeros de clase, Ost (2010) aporta evidencia de la existencia de un efecto grupo positivo en los rendimientos de un alumno concreto, según el cual, la toma de decisiones académicas de un individuo podría estar más influenciada por la calidad de los compañeros de clase que por el tipo de compañeros de piso/habitación. 4.1 ANÁLISIS DE LA HABILIDAD PREVIA DEL ESTUDIANTE Por ello, para detectar si el efecto calidad del grupo (utilizando como proxy la nota de acceso a la universidad) puede estar presente en nuestra muestra efectuamos un análisis de varianza (ANOVA) que nos permitirá contrastar si las notas de acceso promedio de los grupos en los que se imparte docencia en contabilidad en la UAB, y Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 58 para los que disponemos de datos, son iguales. La Tabla 3 muestra los resultados obtenidos, indicando que no podemos aceptar la hipótesis nula de igualdad de medias, por lo que existen diferencias significativas en las notas medias de acceso a la universidad entre algún/os grupo/s. TABLA 3. RESUMEN DE CONTRASTES PARAMÉTRICOS Y NO PARAMÉTRICOS CORRESPONDIENTES A LA NOTA DE ACCESO A LA UNIVERSIDAD Contraste Nota entrada Paramétricos Valor p-value F snedecor (2,213) 51.363 0.000 Levene (2,213) 0.462 0.805 No paramétrico Kruskal-Wallis (2) Mediana (2) 139.528 0.000 Sin embargo, esta prueba no permite determinar qué grupo/s presenta/n una puntuación media significativamente distinta al resto, por lo que aplicamos la prueba a posteriori de Scheffé (1959) pues dicho contraste aporta resultados robustos ante un escenario como el nuestro, caracterizado por la falta de normalidad en las distribuciones poblacionales (Scheffé (1959) y Khan et al (2010)) como se observa en la Tabla 4, y por la necesidad de efectuar comparaciones con más de dos grupos de distintos tamaños controlando la tasa de error tipo I 1 (Ruxton y Beauchamp, 2008). La Tabla 5 resume los resultados obtenidos al aplicar el contraste de Scheffé utilizando un nivel de confianza de 90% siguiendo las recomendaciones de Martínez (1988) y Escotet (1980) para suavizar el conservadurismo de la mencionada técnica. De este modo, podemos observar que el grupo 1 (grupo piloto) presenta una nota media de acceso a la universidad significativamente mayor que los grupos 4, 5 y 6, y significativamente menor que el grupo 2. Por otra parte, no encontramos diferencias significativas con el grupo 3. TABLA 4.PRUEBA DE NORMALIDAD CORRESPONDIENTE A LA NOTA DE ACCESO A LA UNIVERSIDAD Estadístico Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Grupo 6 Kolmorov-Smirnov a 0.143*** 0.119** 0.137*** 0.201*** Shapiro-Wilk 0.877*** 0.879*** TABLA 5. COMPARACIONES A POSTERIORI RELATIVAS A LAS NOTAS DE ACCESO Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Contraste de Scheffé Grupo 2 -0.46154** Grupo 3 -0.08613 0.37541 Grupo 4 0.67316*** 1.13470*** 0.75929*** Grupo 5 1.07331*** 1.53485*** 1.15944*** 0.40016* Grupo 6 1.09711*** 1.55865*** 1.18324*** 0.42395 0.02379 Contraste mediana Grupo 2 9.443** Grupo 3 0.915 7.873* Grupo 4 28.714*** 40.752*** 30.162*** Grupo 5 58.089*** 78.818*** 64.049*** 12.164*** Grupo 6 27.623*** 38.017*** 30.195*** 8.820*** 0.021 (***) (**) y (*) denotan significatividad al 1%, 5% y 10% respectivamente. 1 Dicho error se comete cuando no se acepta una hipótesis nula que en realidad debería haber aceptado. Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 59 Para aportar mayor robustez a los análisis anteriormente comentados implantamos la prueba no paramétrica de la mediana (Siegel, 1988) que aporta resultados más robustos que: (1) el estadístico F de ANOVA, cuando se incumplen los supuestos de normalidad y/o homogeneidad de las varianzas poblacionales, y (2) la prueba Kruskal- Wallis, cuando la forma de las distribuciones de las distintas submuestras difieren (Garret y Nash, 2001), como es nuestro caso según podemos observar en la Tabla 6 al implantar el test de Li (1996) sobre los datos objeto de estudio, para contrastar si las diferencias observadas en las funciones de densidad son estadísticamente significativas. TABLA 6. TEST DE LI SOBRE LAS NOTAS DE ACCESO A LA UNIVERSIDAD t-student Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Grupo 2 6.088*** Grupo 3 -0.792 3.900*** Grupo 4 9.807*** 17.912*** 11.398*** Grupo 5 29.309*** 27.053*** 28.804*** 4.660*** Grupo 6 17.196*** 18.590*** 17.419*** 3.513*** -0.789 (***) (**) y (*) denotan significatividad al 1%, 5% y 10% respectivamente. De este modo, el estadístico de la mediana con cinco grados de libertad alcanza un valor de 139,528 con un nivel de significación observado del 1% por lo que existen diferencias entre alguna/s de la/s mediana/s de las notas de acceso a la universidad de los diferentes grupos analizados. Para determinar qué grupo/s difiere/n del resto implantamos el procedimiento a posteriori de comparaciones múltiples dos a dos propuesto por Zar (1996) y utilizado por Capeleti y Petrere (2006) y Diáz-Agudo y Martínez (2006). Los resultados obtenidos a través del mencionado procedimiento indican que no existen diferencias significativas entre las distribuciones de los grupos 1 y 3, así como en las distribuciones de los grupos 5 y 6 como podemos observar en la Tabla 5. Los análisis anteriormente realizados ponen de manifiesto la similitud existente entre las características iniciales, y en concreto la habilidad inicial, de los alumnos de los grupos 1 y 3. Dichos grupos se caracterizan por integrar alumnos matriculados en primero de la licenciatura en administración y dirección de empresas. En ambos grupos se utiliza el mismo material docente (a excepción de los cuestionarios interactivos), esto es, diapositivas y cuaderno de prácticas, con lo que el contenido de la asignatura no varía entre un grupo y otro. Además, la estrategia de evaluación es similar, los exámenes son idénticos en ambos grupos, coincidiendo en día y franja horaria. Esto permite minimizar el efecto profesor, tal y como señalan Arias y Walker (2004). 4.2 ANÁLISIS DEL USO DE CUESTIONARIOS SOBRE EL RENDIMIENTO ACADÉMICO DEL ESTUDIANTE De este modo, para controlar los efectos de la habilidad inicial del alumno seleccionaremos los mencionados grupos 1 y 3, quedando nuestra muestra final integrada por información relativa a 188 alumnos, con el propósito de contrastar el efecto del uso de cuestionarios en el proceso de aprendizaje de los alumnos de contabilidad financiera y analítica. De este modo, comparamos los rendimientos finales promedios alcanzados entre los alumnos del grupo 1, que han utilizado regularmente cuestionarios interactivos en la asignatura de contabilidad financiera y analítica, y los del grupo 3, que no han dispuesto de la mencionada herramienta. Para contrastar la mencionada hipótesis implantamos la prueba T para muestras independientes, cuyos resultados, resumidos en la Tabla 7, indican que existen diferencias significativas entre los rendimientos finales de la parte teórica de la asignatura de contabilidad financiera y analítica, en promedio, de los dos grupos Carmen Pilar Martí, Neus Orgaz El cuestionario como herramienta de autoevaluación educade, nº 2, 2011, p. 66 WAINER, H. Y THISSEN, D. [1993]: “Combining multiple-choice and constructed-response test scores: toward a Marxist theory of test construction”. Applied Measurement in Education, 6, 103-118. ZAR, J. [1996]: “Biostatistical Analysis”. Prentice Hall, 2nd ed. UJ. ZIMMERMAN, D.J. [2003]: “Peer effects in academic outcomes: evidence from a natural experiment”. The Review of Economics and Statistics, 85, 1, 9-23.-