El uso de los mapas conceptuales en la corrección de preguntas abiertas en Biología

, - INVESTIGACION Y EXPERIENCIAS DIDACTICAS , 1 1 I O EL USO DE LOS MAPAS CONCEPTUALES EN LA CORRECCION DE PREGUNTAS ABIERTAS EN BIOLOGIA NlEDA OTERINO, J., DIAZ MUJICA, M" V., GARCIA BARQUERO, P., ORTEGA NUÑEZ, P., BONILLA MANGAS, I., AGUIRRE DE CARCER, l. Uni e sidad Au ónoma de Mad id. SUMMARY The use o open-ended ques ions o assess s uden knowledge on a pa icula subjec is discussed. Me ic cha ac- e is s o hose ques ions a e analized in ela ion o hei desi~able cha ac e is ics o o ma i e and summa i e e alua ion. A p ocedu e o a ing open-ended ques ions using ((concep naps)) is desc ibed p o iding da a on i s con en alidi y and eliabili y. Ways o using he p ocedu e in o ma i e e alua ion a e also desc ibed. As an applica ion he p ocedu e was used o analyze he eliabili y o Biology exe cises (Uni e sidad Au ónoma Ma- d id En ance Exa nina ions). La p egun a abie a es, sin duda, el ipo de p egun a u ilizado con mayo ecuencia en las p uebas de e a- luación de conocimien os. El es ímulo consis e en una palab a o ase que designa gené icamen e una sección de los con enidos es udiados; el examinado, en un ie n- po limi ado, debe edac a una espues a que mues e sus conocimien os ace ca de esos con enidos. La cali- icación de es e ipo de p egun as p esen a'p oblemas de iabilidad: di e en es examinado es suelen adjudi- ca cali icaciones dis in as a un mismo eje cicio; un solo examinado asigna cali icaciones dis in as al mismo eje cicio en di e en es ocasiones; las cali icaciones son menos iables cuando el enunciado de la p egun a pe - mi e una in e p e ación amplia (Co man, 1971). La pues a a pun o y di usión de o as écnicas de e a- luación con menos de iciencias desde el pun o de is a mé ico (p.e. las p egun as de elección múl iple), no ha log ado disminui su uso gene alizado. A ello, posible- men e haya con ibuido la di icul ad y el iempo de p e- pa ación eque ido pa a cons ui p uebas con dis in- o o ma o, y la u ilización de p uebas con p egun as abie as en los escasos exámenes ((ex e nos)) que aún pe du an en el sis ema educa i o (p.e. exámenes selec- i idad). En el pano ama ac ual nada indica que es a si uación aya a cambia po lo que es imamos ú il el es udio de p ocedimen os que mejo en sus ca ac ens- icas mé icas. 1. LAS PREGUNTAS ABIERTAS Las condiciones de uso de es e ipo de p egun as en nues o sis ema educa i o no han sido es udiadas con el de alle necesa io, po lo que bashndonos en nues a expe iencia a en u amos la siguien e hipó esis de a- bajo. La capacidad de sín esis, la iden i icación de los concep os y p incipios ele an es, y la capacidad de ex- p esión esc i a son las dimensiones p incipales que e a- luamos al juzga las espues as p opo cionadas a es e ipo de p egun as. En ocasiones, se iden i ica, e óneamen e, las p egun- as abie as con las p egun as de ensayo al posee am- bas o ma os simila es. Sin emba go, los pun os de coincidencia s61o son supe iciales: po p ueba de en- sayo se conoce ((a aquellas p egun as que equie en que la pe sona que se examina cons uya una espues a me- dian e una se ie de ases, de al modo que no se pue- da enume a de an emano cuáles de ellas o qué con- jun o de ases cons i uyen una espues a co ec a)) (S alnake , 195 1). A nues o juicio, en las p egun as abie as se puede iden i ica un conjun o de p oposiciones que de inen la con es ación co ec a, aunque és a pueda edac a - se empleando ases muy a iadas. Las ca ac e ís icas de las p uebas de e aluación deben es a es echamen e elacionadas con los usos que se p e endan hace de la in o mación que se ob enga. T a- dicionalmen e se dis ingue en e un uso o ma i o y un uso suma i o de esa in o mación. Cuando u ilizamos los esul ados de una p ueba pa a in o ma al alumno de los e o es y acie os con enidos en su espues a o examinamos los esul ados de un g upo de es udian es buscando los con enidos pa a los que la i11S ni~~i6n p o- po cionada ha sido ine icaz, u ilizamos los esul ados de un modo o ma i o. Si la in o mación es u ilizada ENSEÑANZA DE LAS CIENCIAS, 1985, pp. 91-95 91 INVESTIGACIO N Y EXPERIENCIAS D IDACTICAS pa a clasi ica a los es udian es en di e sos g ados de conocimien os haciendo co esponda a cada g upo una cali icación o no a, o bien a amos de o mamos un juicio sob e la calidad del p og ama de enseíianza exa- minando los esul ados inales del gmpo, la e aluación que ealizamos es suma i a. En ambos casos, el p o- cedimien o de e aluación debe se álido y iable. En el caso de la e aluación o ma i a (aquella que debe- iamos u iliza a lo la go del cu so acad mico), ade- mas, es imp escindible p opo ciona una in o mación p ecisa de los acie os y de iciencias encon adas en ca- da espues a. Al examina las espues as a p egun as abie as, gene- almen e u ilizamos un p ocedimien o de cali icación global. Median e la lec u a de la con es ación edac a- da po el es udian e, a amos de pe cibi el g ado en que se ajus a a lo que conside amos una ep esen a- ci6n cabal de los conocimien os impa idos, incluibles bajo el i ulo de la p egun a, y de ec a exp esiones que e lejen ideas e óneas. El esul ado de es a ac i idad es un juicio que exp esamos median e una cali icación y, quizás, algunos signos que iden i ican exp esiones e óneas o al as de o og a ia. La posibilidad de u i- liza es a in o mación de un modo o ma i o es bas- an e limi ada, ya que no conlunica al examinando sus acie os y de iciencias. Si el e aluado domina los con- enidos podemos con ia en la alidez del p ocedimien- o, sin emba go la iabilidad del mismo es discu ible. El p ocedimien o de co ección de p egun as abie as que plan eamos en es e abajo, es a basado en una e- p esen ación del con enido concep ual expues o en el eje cicio y en la alo ación de ese con enido u ilizan- do un ba emo p e ijado. Se a a de una sis ema iza- ción del p ocedimien o mis o menos di uso que u ili- zamos los p o eso es. Es a sis ema ización p opo cio- na al p ocedimien o de co eccibn odos los a ibu os que hemos enunciado como deseables pa a los dis in- os ines que puede pe segui es e ipo de p uebas. En lo que sigue desc ibi emos el mé odo de co ección con cie o de alle, examina emos los da os disponibles sob e su alidez y iabilidad, del p og ama, ace ca de sys conocimien os y de la e icacia del p og ama, es- pec i amen e. Po Úl iino, a modo de aplicación, ex- pond emos b e emen e los esul ados que ob u imos al examina con es e mé odo la iabilidad de las cali i- caciones que se o o gaban a los eje cicios de biología en las p uebas de acceso en la Uni e sidad Au ónoma de Mad id. 2. PROCEDIM1ENTO.DE CORRECCION El con enido in o ma i o de las ciencias expe imen a- les, y en conc e o de la biología, posee una es uc u a concep u al. Es a es uc u a es a o mada po una se- ie de concep os y unas elaciones en e dichos concep os. Cualquie especialis a en la disciplina puede iden- i ica , an e un ema especi ico: a) Los concep os biológicos pe inen es 92 b) La je a quía exis en e en e esos concep os. c) Las elaciones exis en es en e los concep os. Es as ca ac e ís icas nos pe mi en cons ui una ep e- sen ación wncep u al de la con es ación óp ima a la p egun a abie a o mulada, eniendo en cuen a el ni- el de conocimien os exigibles a cada cu so y el iem- po de que dispone el es udian e pa a elabo a la es- pues a. Pa a ep esen a el con enido de esa espues a u ilizamos un «mapa concep ual)). Un «mapa concep ual)) es una ep esen ación bidimen- sional de una disciplina o de pa e de una disciplina (S ewa e al 1979). Su ca ác e bidimensional pe mi- e ep esen a las elaciones p oposicionales (p incipios) en e los concep os. 2.1. Cons ucción de un mapa concep ual pa a la p e- gun a abie a Pa a ob ene una espues a óp ima a la p egun a «La ep oducción al e nan e en ege ales)) que u ilizamos pa a ex ae los da os de es e es udio, los miemb os del equipo especialis as en biología, edac a on indi idual- men e un ex o que ep esen aba una con es ación 6p- ima, en es cua os de ho a, pa a el ni el de C.O.U. Los dis in os ex os ue on discu idos y e o mados has- a alcanza un acue do. Siguiendo las indicaciones de No ak (No ak, 1980). a pa i de es e ex o: a) Iden i icamos los concep os cien í icos ele an es. b) Je a quizamos y o denamos los concep os desde los mis gene ales a los mas especí icos. c) U ilizamos líneas pa a conec a concep os, esc ibien- do una exp esión que esumie a la elación exis en e en e cada pa de concep os elacionados. d) In en amos que el mapa esul an e uese isualmen e e icaz, es deci , que mos a a los de alles de los con- cep os y sus elaciones de un modo consis en e y e icien e. El mapa concep ual elabo ado pa a cali ica las con- es aciones de los es udian es a ni el de C.O.U. es i dibujado en la Figu a 1 2.2. Ba emación del mapa concep ual En una con es ación a una p egun a abie a no odos - los con enidos pe inen es ienen la misma impo an- cia. Al ba ema el mapa concep ual asignando dis in- as pun uaciones pa ciales a cada uno de los con eni- dos p e endiamos e leja la impo ancia ela i a de ca- da uno de ellos en el con ex o de la p egun a. Pa a ello, u ilizando una escala de 1 a 5, los especialis- as en la ma e ia asigna on pun uaciones a cada uno de los concep os y elaciones exp esadas en el mapa. Las pun uaciones o o gadas a cada elemen o del ma- pa ue on p omediadas y ans o madas a una escala en la que la pun uación máxima ue a diez. Los dis- in os núme os de la igu a 1 co esponden a las pun- uaciones pa ciales de &da elemen o-en la escala de ba- ENSEÑANZA DE LAS CIENCIAS INVESTIGACION Y EXPERIENCIAS DIDACTICAS Figu a 1 MAPA CONCEPTUAL:REPROWCCION ALTERNANTE EN VEGETALES ~COU) @ INTRODUCCI ON CICLO ALTERNANTE To al pun os en es e ciclo emación adi i a, u ilizada pos e io men e, pa a cali- El núcleo undamen al de la p egun a ecibi ía una pun- ica las con es ación de los es udian es. uación máxima de sie e pun os; la de inición co ec a Los concep os y elaciones más impo an es en es a p e- de ep oducción al e nan e, un pun o; la de inición de los g upos ege ales a ec ados, un pun o; y la conside- en el de que 'On los ación de su signi icado e olu i o, un pun o adicional. siguien es. 2.3. La cali icación de las espues as Concep os Pun uación Relaciones Pun uación 0.85 Como ya indicamos an e io men e es a cali icación o Espo o i o 0.85 Meiosis 0.85 co ección debemos ealiza la de un modo cong uen e Gameio i o 0.85 Fecundación 0.5 1 con el in que pe seguimos. Espo a 0.68 Ge minación Game o 0.68 Game ogenesis 0.5 1 Si p e endemos un uso o ma i o, podemos mul ico- Zigo o 0.68 Mi osis 0.5 1 pia el mapa concep u al ((pa ón)) has a ob ene an- ENSERANZA DE LAS CIENCIAS 93 :NVESTIGACION Y EXPERIENCIAS DIDAC copias como eje cicios debamos co egi . Al lee 1 eje cicio del es udian e amos seiialando en el mapa os acie os encon ados e indicando median e un c6 de es a o ma nos si e pa- sus acie os (zonas del ma- los esul ados de las den o del p oceso de ap endizaje, al co- sugie e que se haga (Robinson, 1979). Pa a el uso o ma i o del dise iado del p og ama de ins ucciones pueden u iliza se écnicas más simples. Po ejemplo, cada uno de los elemen os del mapa puede codi ica se e i abulando su p esencia en los dis in os eje cicios. Di idiendo los esul ados de cada una de las abulaciones pa ciales po el núme o de eje cicios ob- enemos di ec amen e las ecuencias de apa ición ( e- ención de con enidos) que son un índice de la e icacia del p og ama de ins ucción. La exp esión de es os in- dices en un diag ama isualmen e e ec i o p esumible- men e nos acili a á la elabo ación de hipó esis sob e la e icacia del p og ama. En su uso suma i o, la lec u a del eje cicio nos pe mi- e iden i ica los concep os y elaciones pe inen es (in- cluidos en el mapa concep ual) exp esados co ec amen- e y asigna les au omá icamen e las pun uaciones pa - ciales que indica la escala de ba emación. La cali ica- ción inal se ob iene sumando las pun uaciones pa ciales. 4 ._ - - - .- 3. VALIDEZ Y FIABILIDAD DEL PROCEDI- MIENTO Es imamos que el p ocedimien o que p oponemos y que hemos expues o con de alle iene una ele ada (( alidez de con enido)) (Isaac y Michael 1972) cuando el «ma- pa cohcep ual)) y el ba emo son elabo ados y u iliza- dos po un especialis a en la ma e ia; y las co elacio- nes ob enidas con las cali icaciones o o gadas po es- pecialis as en biología (Véase cuad o 2, T ibunales A, C y D) nos hacen in ui que el p ocedimien o que p o- ponemos iene una ap eciable alidez con e gen e o de c i e io (Isaac y Michael 1972). Pa a es ima la iabilidad in e co ec o es cinco espe- cialis as en biología u iliza on el mapa concep ual ba- emado en la igu a 1 pa a cali ica de o ma indepen- dien e una mues a educida (10 eje cicios), escogida al aza , de con es aciones a la p egun a «La ep oduc- ción al e nan e en los ege ales)), edac adas po es u- dian es que se p esen a on a las p uebas de acceso (1982) en la Uni e sidad Au ónoma de Mad id. La ia- bilidad calculada in e co ec o es 2 a 2 ue la siguien e. TIC AS Cuad o 1 Co ec o Co ec o 1 2 3 4 5 1 0.963 0.994 0.913 0.942 2 0.941 0.973 0.977 3 9 = 0.95 0.883 0.934 4 N= 10 0.976 * Los da os del co ec o 1 sólo co esponden a 5 eje - cicios. Co elación media 3 = 0.95. - Los da os del cuad o !, a pesa de su escacez, nos pe - mi en a i ma que el p ocedimien o p opues o iene una ele ada iabilidad in e co ec o es e in uimos que la ia- bilidad in a-co ec o ambidn se á ele ada. 4. UN EJEMPLO DE APLICACION: ESTUDIO DE LA FIABILIDAD DE LAS CALIFICACIONES OTORGADAS EN LAS PRUEBAS DE ACCESO (BIOLOGIA) 1982 EN LA UNIVERSIDAD AUTO- NOMA DE MADRID Las dudas sob e la iabilidad de las cali icaciones o o - gadas a los eje cicios de las P uebas de Acceso a la Uni- e sidad son casi un luga común al que se acude cada ez que se discu e el p oblema de la selec i idad. Pa a ilus a las posibilidades de p ocedimien o de cali ica- ción de p egun as abie as expues as an e io men e, en un á ea dis in a (in es igación educa i a), desc ibi e- mos los esul ados ob enidos con es e mé odo al anali- za la iabilidad de las cali icaciones o o gadas en la «selec i idad» (Nieda y col 1984). Pa a ealiza es e es udio ob u imos la co elación p oduc o-momen o en e las cali icaciones o o gadas en Junio de 1982 po dis in os ibunales de selec i i- dad en la U.A.M. y las cali icaciones que ob u imos al eco egi u ilizando una única escala, de cuya ali- dez y iabilidad el lec o ya es á in o mado. La mues a a co egi es aba o mada po odos los eje cicios ealizados du an e las p uebas de acceso de Junio 1982 en la U.A.M. que espondían a las siguien- es p egun as: 1. Rep oducción al e nan e en ege ales (N0 de eje ci- cios: 56) 2. P opiedades de las p o eínas (N0 de eje cicios: 100). La mues a co esponde a la o alidad de los eje cicios e e en es a esas p egun as en esa con oca o ia, po lo que es imamos que ca ece de sesgos. La elección de los emas a co egi no siguió ningún plan sis emá ico, ni ue disc iminado ninguno po la apa en e comodidad de su co ección. El c i e io u ilizado ue selecciona los emas elegidos po el mayo núme o de alumnos. En el siguien e cuad o indicamos las co elaciones 0b enidas en e las cali icaciones asignadas po los ibu- nales de las p uebas de ap i ud uni e si a ia y las asig- nadas po el equipo de in es igación. ENSEÑANZA DE LAS CIENCIAS IN VESTIGACIO N Y EXPERIENCIAS DIDqCTICAS 1 Cuad o 2 Tema: Rep oducción al e nan e en ege ales T ibunal A B C D No eje cicios 17 30 4 S Co elación 0.784 0.48 0.9% 0.95 Tema: P opiedades de las p o eínas T ibunal A B C D No eje cicios 19 8 1 Co elación 0.842 0.199 Los esul ados del cuad o 2 exp esan cla amen e la di- e en e iabilidad de las cali icaciones o o gadas po los dis in os ibunales de las p uebas de ap i ud an e la misma p egun a. Así, la co elación con el ibunal A es bas an e acep able, mien as que la iabilidad de las cali icaciones o o gadas po el ibunal B es an- camen e anómala. El escaso nume o de eje cicios en los ibunales C y D no nos pe mi e ealiza in e en- cias más alld de la cons a ación de la al a co elación ob enida. Indagando sob e las acusadas disc epancias exis en es en e el ibunal B y el equipo de in es igación a e i- guamos que en dicho ibunal no había ningún espe- cialis a en biología, y po el modo de cali ica obse - REFERENCIAS BIBLIOCRAFICAS COFFMAN, W.E., 1971. Essay Exa nina ion en R.L. Thom- dike (Ed) Educa ional Measu e nen . (Amencan Council on Educa ion. Washing on D.C.) p.p. 271-302. ISAAC. S. y MICHAEL, W.B., 1972. Hadbook in Resea ch and E alua ion. Fo educa ion and he beha io al Scien- ces. (R.K. Knapp. Publishe : San Diego. Cali o nia). MARTIN AYUSO, S., 1984. E o es e i egula idades en las cali icaciones de la no a media del expedien e académico y su impo ancia. en l. Agui e de Cá ce (Ed.) La Selec- i idad a Deba e, (Ediciones de la Uni e sidad Au óno- ma de Mad id). NlEDA OTERINO, J., DlAZ MUJICA, M.V., GARClA BARQUERO. P., ORTEGA. P., BONILLA, I., AGUI- RRE DE CARCER. ., 1984. La iabilidad de las cali i- caciona en p egun as abie as en Biología en 1. Agui e de CB ce (Ed) La SeIec i idad a Deba e. (Ediciones de la Uni e sidad Au ónoma de Mad id). NOVAK, J., 1980. Handbook o he Leo ning how lo lea n ado, in uimos que los eje cicios ue on e aluados po a ios co ec o es. Del análisis de es os esul ados concluimos que se con- i ma la escasa iabilidad con que se o o gan las cali i- caciones en es as p uebas (y po ende la al a de ali- dez de las decisiones que se adop an a pa i de ellas) cuando en los ibunales no exis en especialis as en los con enidos que e alúan. La cali icaciones poco iables ienen una escasa ali- dez (Isaac y Michael1972, p. 87) po lo que esul a u - gen e u iliza mé odos iables en aquellas e aluaciones de conocimien os suma i as de las que se desp enden decisiones impo an es pa a la ida de los es udian es. A pesa de la impo ancia de las decisiones que se adop an a pa i de las cali icaciones de la selec i idad, son escasas las uni e sidades (p.e. la Uni e sidad Au óno- ma de Ba celona; Valdés del To o, 1984; Ma ín Ayu- so 1984) que adop an medidas elemen ales, como la se- ñalada, pa a acili a la alidez y iabilidad de sus de- cisiones. Sellalemos que a aíz de es e es udio, la Uni- e sidad Au ónoma de Mad id, inco po ó, en las con- oca o ias de acceso de 1983 y 1984, una se ie de me- didas encaminadas a mejo a los mi odos con que se e aluaban los conocimien os de los candida os a la admisión. P og a n (Co nell Uni e si y. Depa Educa ion). ROBINSON, J.T., 1979. A c i ica) look a g anding and E a- lua ion P ac ica en M.B. Rowe (Ed). Wha Resea chSays o he Science Teache . Vol. 2. Na ional Science Teache Associa ion: Washing on. STALNAKER. J.M.. 1951. The asay ype o examina on en E.F. Lindquis (Ed) Educa ional Measu emen . (Ame- ican Council on Educa ion. Washing on D.C.) p.p. 495-530. ESTEWART, J., VANKIRK. J., ROWEL, R., 1979. Con- cep mapping; A ool o use in Biology eaching. Ame- ican Biology Teache , 41: 3, pp. 171-175. VALDES DEL TORO, R., MARTIN AYUSO, S., 1984. Composición de los ibunales. selección de los co ec o- es y sesgos de ins umen ación en 1. Agui e de Ch ce (Ed.) La Selec i idad a Deba e. (Ediciones de la Uni e - sidad Au ónoma de Mad id).