Validación de un test para verificar si el alumno posee concepciones científicas sobre calor, temperatura y energía interna

VALIDACI~N DE UN TEST PARA VERIFICAR SI EL ALUMNO POSEE CONCEPCIONES CIENTÍFICAS SOBRE CALOR, TEMPERATURA Y ENERGÍA INTERNA* LANG DA SILVEIRA, F. y MOREIRA, M. A. Instituto de Física, UFRGS. Caixa Postal, 15051, Campus. 91501-970 Porto Alegre, RS, Brasil. SUMMARY This study is a continuation of the task of validating a paper and pencil test to check whether the student has scientific conceptions about heat, temperature and internal energy in which we are working since 1989. The third version of this instrument is presented here. Previous versions (Silveira, Moreira and Axt, 1990,1991) were modified after an analysis of internal consistency carried out with additional data provided by 168 students of introductory physics at UFRGS. The present version is constituted by 23 items, which might be divided into three groups, each one corresponding to one of the three concepts: heat, temperature and internal energy. This division is based on a logical content analysis as well as on an empirical analysis of students' responses. La razón de construir y validar tests escritos para verificar, específicamente, si los alumnos poseen concepciones científicas sobre determinado tópico se basa en la hipótesis de que esa información es muy relevante para la enseñanza y su obtención no es trivial. Hoy se reconoce, independientemente del referencia1 teórico adoptado, que el conocimiento previo de los alumnos, sea éste científico o no, tiene gran influencia en el aprendizaje de nuevos conocimientos. Existe también una cierta aceptación generalizada de que la entrevista clínica es la mejor manera de detectar el verdadero conocimiento previo de un aprendiz. Pero la entrevista clínica no es viable para la práctica diaria en el aula, pues es preciso mucha experiencia y tiempo. Por esta causa, la salida que nos pareció viable fue la confección de tests escritos, a partir de indicadores obtenidos con entrevistas, y su validación a través de sucesivas aplicaciones. En este sentido ya construimos y validamos instrumentos de este tipo en las áreas de mecánica y de electricidad. En esta comunicación presentamos la tercera versión de un test para verificar si el alumno posee concepciones científicas sobre calor, temperatura y energía interna. Escogimos estos tres conceptos, ya que, según el análisis conceptual que hicimos sobre termodinámica, son éstos, juntamente con la entropía, los conceptos claves de esta área. Dado que nos pareció excesivo enfocar cuatro conceptos en un único test, dejamos fuera la entropía. Por otro lado, aquí no hacemos referencias a investigaciones ya realizadas en torno a esos conceptos, dado que nuestro objetivo no es el de comparar nuestros resultados con los de otros autores. Lo que pretendemos es relatar el proceso de validación de un instrumento para detectar si el alumno tiene concepciones alternativas en ese área. EL TEST El test que presentamos en el anexo es la tercera versión ya que las versiones anteriores fueron modificadas desENSEÑANZA DE LAS CIENCIAS, 1996, 14 (l), 75-86 pués de realizar análisis de consistencia interna, cuya base son las respuestas de más de un centenar de alumnos (Silveira, Moreira y Axt, 1990 y 1991). Esta última versión está constituida por 25 ítems; los ítems 7 y 17 fueron eliminados en el análisis de consistencia interna que presentamos más adelante, quedando finalmente 23 ítems. Los ítems poseen tres afirmaciones, identificadas por los números romanos 1,II y 111. Se ofrecen 7 alternativas de respuesta en cada ítem (véanse instruciones en el anexo). Esas 7 alternativas permiten que quien responde opte por una de las afirmaciones, por cualquier combinación de dos afirmaciones o por las tres al mismo tiempo. Los contenidos del test son los conceptos de calor, teinperatura y energía interna. Dentro de las alternativas de respuesta siempre existe una que es compatible con las concepciones científicas sobre tales conceptos; las otras alternativas intentan que quien responde exprese concepciones alternativas. La forma de cuantificar la respuesta que un determinado sujeto da en cada ítem tiene el objetivo principal de detectar si posee o no la concepción científica; en caso negativo, no se pretende detectar cuál o cuáles son las concepciones alternativas que él posee. A excepción de los ítems 16 y 24, esta cuantificación es efectuada atribuyendo la puntuación de uno si la alternativa escsgida fuese la que es compatible con la concepción científica, y la puntuación de cero en cualquier otra alternativa. Los ítems 16 y 24, que son los únicos que tienen como alternativa correcta dos afirmaciones (afirmaciones 11 y 111), son cuantificados de la siguiente manera: la puntuación de uno para la alternativa F; la piintuación de 0,5 para la alternativa B o C; la puntuación de cero Tabla 1 Distribución de frecuencias por ítem a través de las alternativas. 76 ENSEÑANZA DE LAS CIENCIAS, 1996, 14 (1 ) ítem 1 2 3 4 5 6 7 8 9 1 O 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 A 22 29 54" 25 52 103:" 14 123% 13 8 130" 27 9 120* 1 13 125" 51* 32 67 99" 17 66 3 1 18 B O 136 ::: 2 70 X: 104 " 21 3 1 1 28 88 * O 27 49 6 23 85 36 17 83 * 12 21 92 " 79 " 39 34 C 131 :c 1 52 23 9 44 121 " 37 126 * O 3 8 107 * 104 * 7 69 * 5 4 9 48 65 " 35 53 5 33 110" D O 0 3 19 2 O 1 1 O 72 O 6 2 17 6 29 O 38 O 5 4 1 O O 1 Alternativa E 13 0 5 1 14 1 O 1 1 O O O O 1 8 4 2 O 7 1 14 3 O O 2 O F 2 2 2 4 O O O 2 O O O O O 2 34 18" 1 1 O O O O O 9 58" O G O 0 3 12 O O O 3 O O O O O 7 29 13 O 32 O O O O 1 O O Omisiones O 8 1 1 0 O O O 1 O O 1 3 1 2 3 2 4 4 5 6 5 8 5 5 para cualquier otra alternativa (esta manera de cuantifiEs posible también obtener un total único si se suman car determinó un pequeño incremento en la consistencia las puntuaciones en todos los ítems. interna del test en comparación con la forma que atribuía sólo la puntuación de cero y uno). Los ítems pueden ser divididos en tres grupos, cada uno de ellos designando uno de los tres conceptos: calor, temperatura y energía interna. La reunión de los ítems en grupos fue realizada a través de un análisis lógico del contenido de los ítems y de un análisis empírico a partir de las respuestas de 168 alumnos de Física General (ver a continuación el análisis de consistencia interna). Se obtiene una puntuación total (suma de una puntuación en los ítems) en cada uno de los tres grupos de ítems; cada una de las puntuaciones totales se constituye en una medida del dominio que un individuo tiene de la concepción científica acerca del concepto respectivo. El análisis de consistencia interna del test fue llevado a cabo sobre las respuestas de 168 alumnos de Física General de la UFRGS. La mitad de la muestra, aproximadamente, no había estudiado Termodinámica y la otra mitad sí. Las respuestas de estos alumnos, ítem a ítem, están sintetizadas en la tabla 1, donde se presentan las frecuencias absolutas por alternativa. La frecuencia en la alternativa compatible con las concepciones científicas en Tabla 11 Carga de los ítems en los factores *' Estadísticamente significativo a nivel igual o inferior a 1%. + Estadísticamente significativo a nivel igual o inferior a 5%. EKSEIL'ANZA DE LAS CIENCIAS, 1996, 14 (1) 77 Test Calor Temperatura Energía interna Eliminados Ítem 1 2 3 4 1 O 14 15 16 18 23 5 8 9 12 13 25 6 11 19 20 2 1 22 24 7 17 FACTOR Calor 0,53*: 0 4 1 :I: 0,61 0,73+ 0,63* 0 , 4 8 :!: 0,53* 0,53'" 0,58* 0,53* 0,36* 0,22$: 0,26* 0,18+ 0,22:" 0,29$: 0,16+ 0,07 0,27* O, 18+ 0,15+ 0,05 0,02 0,11 0,11 Temperatura 0,09 0,16+ 0,16+ 0,32:t 0,35* 0,13 0,20* 0,24* 0,17+ 0,244' 0 , 6 2 :i: 0 , 6 0 ::: 0,7 1 * 0,79+ 0,71* 0,63* 0,09 - 0,07 0,18+ 0,09 O, 16+ - 0,Ol O, 18+ O, 16 0,09 Energía interna 0,04 O ,2 1 :': 0 , 2 2 ::: 0,12 0,13 o, 19+ 0,06 0,15+ O, 11 0,22 0,15+ 0,03 0,17+ 0,09 0,07 O, 19+ O ,5 5 :': 0 , 4 6 :i: 0 , 6 0 ::: 0 , 5 3 :i: 0,56:g 0,44*: 0.42*' - 0,Ol 0,07 cada ítem está indicada con un asterisco. No discutiremos en cada ítem las dificultades presentadas por los alumnos, pues solamente un ítem es un indicador débil de cada concepto. Las inferencias realizadas sobre cada ítem individualmente están sujetas a más errores que las realizadas sobre la puntuación total en el grupo de ítems. Fue realizado posteriormente un análisis factorial de estas respuestas a través del «método de los grupos múltiples de Thurstonen (Nunnally, 1967; Wherry, 1984). Este método, contrariamente a otros métodos de análisis en los cuales los factores aparecen a posteriori, parte de postular a priori la existencia de factores en grupos de variables (ítems), testando empíricamente (corroborando o no) la inclusión de cada ítem como indicador del concepto identificado a través del análisis lógico del contenido. El método permite concluir también si un ítem es indicador de un concepto diferente de aquel postulado a priori o si debe ser eliminado del test. Cada factor es una combinación linear de las variables (en general, la suma con igual peso) previamente designadas como indicadores del mismo. Luego, para cada variable, es calculado el coeficiente de correlación de ésta con cada uno de los factores, dando origen a la carga factorial de cada variable en cada factor. En nuestro caso, como postulamos la existencia de tres factores (calor, temperatura y energía interna), tenemos tres cargas factoriules por ítem (Tabla 11). Se observa que los ítems 7 y 17 presentam cargas factoriales irrelevantes y sin significancia estadística en cualquiera de los tres factores. Se decidió entonces eliminar estos dos ítems de la versibn «definitiva» del test. Es posible constatar también que diversos ítems poseen una carga factorial razonable en más de un factor, lo que indica que los tres factores no son independientes en laestructuracognitiva de los alumnos. La tabla 111 presenta los coeficientes de correlación entre los tres factores, evidenciando un moderado grado de relación entre ellos. Tabla 111 Matriz de correlaciones entre los factores. * Estadísticamente significativo a nivel I 1%. Tabla IV Características de la puntuación en cada test y en todo el test. Energía interna 0,26* 0,17* Factor Calor Temperatura Temperatura 0,37* La interdependencia de los factores constituye un apoyo empírico para la confección de una única puntuación total en el test a partir de la suma de las puntuaciones de los 23 ítems. Se puede aún observar que algunos ítems, como por ejemplo el ítem 16, presentan una carga factorial importante en un factor que está en conflicto con el del anhlisis lógico del contenido. El ítem 16 fue originalmente delineado para verificar si el alumno posee o no el concepto científico de energía interna; sin embargo, su carga factorial más importante se encuentra en el concepto de calor y fue por esta razón que quedó así finalmente clasificado. Test Calor Temperatura Energía interna Total El análisis de consistencia interna es complementado a través de las estimaciones de fiabilidad de las 3 puntuaciones totales y de la puntuación total en todo el test. La tabla IV presenta, además del promedio y de la desviación típica de las puntuaciones totales, las estimaciones Coef. alfa O, 7 5 0,76 0,52 0,8 1 ENSEÑANZA DE LAS CIENCIAS, 1996, 14 (1) Coef. beta 0,78 0,8 1 0,60 0,84 Medida 5,13 4,Ol 3,96 13,lO Desviación típica 2,52 1,90 1,67 4,4 3 Tabla V Estabilidad temporal de las puntuaciones en cada test y de la totalidad. * Estadísticamente significativo a nivel inferior a 1%. Test Calor Temperatura Energía interna Total de fiabilidad realizadas a través de los coeficientes alfa (Cronbach, 195 1) y beta (Silveira, 1985). La puntuación total menos fiable se refiere al concepto de energía interna y muestra que, aun en esta versión, el test deja que desear en cuanto a ser una medida precisa del dominio de tal concepto en un individuo determinado. Las otras puntuaciones de fiabilidad son razonables, sobre todo si el test fuese utilizado para comparar grupos de individuos respecto a valores promedios (Silveira, 1993). Se verifica nuevamente que la puntuación total menos confiable se refiere al concepto de energía interna. ca). Los coeficientes de correlación entre las puntuaciones obtenidas en las dos aplicaciones se constituyen también en estimaciones de fiabilidades de esas puntuaciones (Nunnally, 1967); los coeficientes de consistencia interna (alfa y beta) estiman a partir de presupuestos diferentes. La teoría de la medida piscológica permite suponer que ambas estimaciones (consistencia interna y estabilidad temporal) puedan ser coherentes. De manera más precisa, la media geométrica de los coeficientes de consistencia interna en las dos aplicaciones debe ser semejante al coeficiente de correlación entre las dos aplicaciones. La tabla V presenta los resultados obtenidos. Coeficiente de correlación entre las dos aplicaciones 0,76* 0,66* 0,55* 0,74* Medida geométrica de las dos aplicaciones ESTABILIDAD TEMPORAL DE LAS PUNTUACIONES TOTALES Alfa O, 6 9 0,60 0,56 0,70 En una muestra de 24 alumnos de FIS, 183 de la UFRGS, P@EDICTIVA DE LA el test fue aplicado y reaplicado, espaciados aproximaPUNTUAC1oN EN EL TEST SOBPE EL damente en 45 días. Las aplicaciones fueron realizadas EN TERMoDINAMICA después del término de las unidades de Termodinámica en aquella disciplina (los contenidos de,la disciplina son: Sin duda, 10s conceptos de calor, temperatura y energía Termodinámica, Ondas Mecánicas y Optica Geométriinterna Son importantes en el estudio de la termodinámiBeta 0,73 0,67 0,63 O, 7 4 Tabla VI Validez predictiva de la puntuación total en el test sobre el rendimiento en termodinhmica. * Estadísticamente significativo a nivel inferior a 1%. ENSEÑANZA DE LAS CIENCIAS, 1996, 14 (1) Disciplina FIS 183 (n = 33) FIS 183 (n = 30) FIS 183 (n = 42) Rendimiento en termodinámica Alfa 0,84 0,76 0,77 Coeficiente de correlación entre el rendimiento y la puntuación total 0,59* 0,69* 0,46* Beta 0,86 0,80 0,80 Puntuación total en el test Alfa 0,78 0,61 0,78 Beta 0,81 0,67 0,81 Tabla VI1 Rendimiento en cada test y en la totalidad, antes y después de la disciplina. Estadísticamente significativo a nivel inferior a 1%. + Estadísticamente significativo a nivel inferior a 5%, ca. Es de esperar que la puntuación total en todo el test tenga algún valor predictivo sobre el desempeño de los alumnos en disciplinas de termodinámica. t 6,74:2 2,O 1 + 1,78+ 6 , 7 9 ::: En tres grupos de FIS 183 fue investigada la relación entre la puntuación total en todo el test y el promedio total de los alumnos en termodinámica. Este promedio fue obtenido a través de dos pruebas parciales de verificación del aprendizaje. El test fue aplicado después que los conceptos de calor, temperatura, energía interna habían sido estudiados. Se tuvo el cuidado de investigar también los coeficientes de fiabilidad de ambas medidas (rendimiento en termodinámica y puntuación total en el test) en los tres grupos de alumnos, pues «el máximo coeficiente de correlación observable entre dos variables es menor o igual a la raíz cuadrada de los coeficientes de fiabilidad de ambas variables» (Silveira, 1993, p. 76). La tabla VI presenta esos resultados. Media en el postest 7,23 4,88 4,88 16,99 Se verifica en la tabla VI que, en acuerdo con nuestra hipótesis, existe correlación entre el desempeño en la disciplina y la puntuación total en el test. Esta correlación es un argumento de validez del constructo (Silveira, 1993) para el test. Media en el pretest 3,88 4,OO 4,29 12,21 Test Calor Temperatura Energía interna Total SENSIBILIDAD DE LAS PUNTUACIONES T~TALES E1)J LA ENSEÑANZA DE TERMODINAMICA Coeficiente de fiabilidad En una muestra de 25 alumnos de FIS 183, el test fue aplicado y reaplicado antes y después de las unidades de termodinámica. La tabla VI1 presenta los promedios en el pretest y postest, así como también los coeficientes alfa y beta para las puntuaciones totales. Alfa 0,81 0,70 0,37 Se observa que la única diferencia importante entre el postest y el pretest se refiere al concepto de calor. Las diferencias en las puntuaciones totales medias en temperatura y energía interna, a pesar de que estadísticamente son significativas a nivel inferior a 5% (test unicaiidal), no representan cambios prácticamente relevantes (esas diferencias son menos de un acierto). Esos resultados apuntan en el sentido de que la enseñanza de la termodinámica tiene poco o ningún efecto sobre las concepciones de los alumnos, lo cual se ha constituido en patrón reiterado en la literatura relativa a las concepciones alternativas. Beta 0,83 0,78 0,47 En este trabajo relatamos la continuidad del proceso de validación de un instrumento para verificar si el alumno posee concepciones científicas sobre calor, temperatura y energía interna. Al mismo tiempo que describimos el proceso, colocamos a disposición del lector el test resultante, así como lo hicimos anteriormente en las áreas de mecánica y electricidad. 0,8 1 1 0,84 Pretendemos hacer algo semejante en otras áreas de la física, como, por ejemplo, en óptica. Creemos que tales instrumentos serán importantes para la práctica diaria en el aula y es por esta razón que hemos trabajado en ese sentido. Pero, además, el presente trabajo tiene también el valor de corroborar un resultado significativo de la investigación en el área de concepciones alternativas: la poca ENSEÑANZA DE LAS CIENCIAS, 1996, 14 ( 1 ) INVESTIGACIÓN Y EXPERIENCIAS DIDÁCTICAS influencia de la instrucción sobre el cambio conceptual. la presencia de significados científicos en la estructura Los tests, por mejores que sean, apenas indican si el cognitiva del alumno después de la instrucción. Cuando alumno posee significados científicos sobre determinaesto no sucede, es preciso reevaluar la instrucción; los do concepto, antes y después de la instrucción. El camtests escritos pueden constituirse en instrumentos imbio conceptual no implicaría, necesariamente, el abanportantes en la evaluación de la enseñanza. Reside ahí dono de los significados alternativos sino, por lo menos, otro de los valores de estos tests. NOTAS * Comunicación presentada en el IV Encontro de Pesquisa em Los autores agradecen a Ileana Greca la tradución al español. Ensino de Física, Florianópolis, del 26 al 28 de mayo de 1994, y en el 11 Simposio sobre Investigación en Enseñanza de la Física, Buenos Aires, del 4 al 6 de agosto de 1994. CRONBACH, L. J. (1951). Coefficient alpha and the interna1 em ensino e aprendizagem: a entrevista clínica avalidapio structure of tests. Psychometrika, 16, pp. 297-334. Nueva de testes de papel e lápis. Porto Alegre: EDIPUCRS. York. SILVEIRA, F. L., MOREIRA, M. A. y AXT, R. (1990). Um teste para detectar concepc6es altérnativas sobre calor e NUNNALLY, J. C. (1967). Psychometric methods. McGrawtemperatura. Atas do 3" Encontro de Pesquisa em Ensino de Hill: Nueva York. Física, Porto Alegre, Instituo de Física de UFRGS: 191. SILVEIRA, F. L. (1985). Coeficiente beta: estimativa do F. L., MOREIRA, M. A. Y AXT, R. (I9g1). Um coeficiente de fidedignidade de uma variável compósita. teste sobre calor, temperatura e energia interna. Atas do IX Educucño e Selecño, 11, pp. 105-108. Sáo Paulo. Simpósio Nacional de Ensino de Física, pp. 418-428. Sáo Carlos. SILVEIRA, F. L. (1993). Validacáo de testes de papel e lápis, WHERRY, R. J. (1984). Contributions tocorrelationalanalysis. en Moreira, M. A. y Silveira, F. L., Instrumentos depesquisa Londres: Academic Press. [Artículo recibido en noviembre de 1994 y aceptado en octubre de 1995.1 ENSEÑAKZA DE LAS CIENCIAS, 1996, 14 (1) 8 1 ANEXO Importante: No escribas nada en las hojas de preguntas. Conteste solamente esta hoja de respuestas. Nombre: Instruciones: A continuación, encontrarás un test constituido por 25 preguntas de elección múltiple, con tres alternativas de respuesta identificadas por los números romanos 1, 11 y 111. Puede haber una, dos o tres respuestas correctas para cada pregunta. Señala en el grhfico la que consideres la mejor combinación de respuestas: A. Sólo la alternativa 1 es correcta. B. Sólo la alternativa 11 es correcta. C. Sólo la alternativa 111 es correcta. D. Las alternativas 1 y 11 son correctas. E. Las alternativas 1 y 111 son correctas. F. Las alternativas 11 y 111 son correctas. C. Todas las alternativas son correctas. Fecha: ......................................... . ............................................. Asignatura: ........................................................................... 82 ENSE~~ANZA DE LAS CIENCIAS, 1996, 14 (1 ) INVESTIGACI~N Y EXPERIENCIAS DIDÁCTICAS l. Asociamos la existencia de calor: 1) a cualquier cuerpo, pues todo cuerpo posee calor; 11) s610 a aquellos cuerpos que están «calientes»; 111) a situaciones en las cuales ocurre, necesariamente, transferencia de energía. 2. Para que se pueda hablar de calor: 1) es suficiente un único sistema (cuerpo); 11) son necesarios, por lo menos, dos sistemas; 111) es suficiente un único sistema, pero tiene que estar «caliente». 3. Para que se pueda admitir la existencia de calor debe haber: 1) una diferencia de temperaturas; 11) una diferencia de masas; 111) una diferencia de energías. 4. Calor es: 1) energía cinbtica de las moléculas; 11) energía transmitida s610 por medio de una diferencia de temperaturas; 111) la energía contenida en un cuerpo. 5. En el interior de una habitación que no haya sido calentada o refrigerada durante varios días: 1) la temperatura de los objetos de metal es inferior a la temperatura de los objetos de madera; 11) la temperatura de los objetos de metal, de las mantas y de los demás objetos es la misma; 111) ningún objeto presenta temperatura. 6. El agua (a O OC) que resulta de la fusión de un cubito de hielo (a O OC), contiene, respecto al hielo: 1) más energía; 11) menos energía; 111) igual cantidad de energía. 7. Una mezcla de hielo y agua, ambos a O OC, se matiene a esa temperatura. En esas condiciones: 1) se funde todo el hielo; 11) se funde parte del hielo; 111) no se funde el hielo. (ítem eliminado) 8. Dos cubos metálicos A y B son colocados en contacto. A está más «caliente» que B. Ambos están más «calientes» que el ambiente. Al cabo de un cierto tiempo la temperatura final de A y B será: 1) igual a la temperatura ambiente; 11) igual a la temperatura inicial de B; 111) un promedio entre las temperaturas iniciales de A y B. 9. Dos pequeñas placas A y B del mismo metal y del mismo espesor son colocadas en el interior de un horno, el cual es cerrado y luego accionado. La masa de A es el doble de la masa de B(m, = 2m,). Inicialmente las placas y el horno están todos a la misma temperatura. Algún tiempo después la temperatura de A será: ENSEÑANZA DE LAS CIENCIAS, 1996, 14 (1) 83