Directrices para la construcción de ítems de elección múltiple

Cuando se lle a a cabo la elabo ación de un es , una p ime a a ea impo an e es la cons ucción de los í ems que lo con o man. Sin emba go, si se e isan los manuales de psicome ía clásica y los más ecien es de Teo ía de Respues a a los Í ems puede obse - a se que dedican muy poca a ención a la ecnología pa a la cons- ucción de los í ems en compa ación con o os ópicos asimismo ele an es, como la iabilidad del es , la alidez o el análisis de los í ems. La explicación a es e hecho es la asunción de que la cons- ucción de los í ems depende más del ingenio e inspi ación del cons uc o que de la aplicación sis emá ica de una ecnología, con iándolo odo a que los análisis es adís icos a pos e io i pe mi- an de ec a los í ems inap opiados. A o unadamen e es a iloso- ía ha ido cambiando y en la ac ualidad disponemos de abajos y p og amas de in es igación cen ados en la cons ucción igu osa de los í ems, bien ecogidos en manuales como los de Haladyna (1994) y Os e lind (1998). De acue do con Muñiz y Ga cía-Men- doza (2002), a ias son las azones que han o iginado es e cambio: a) el p edominio que han enido en los úl imos años los modelos de Teo ía de Respues a a los Í ems, colocando odo lo elacionado con el í em como unidad básica de medida en el cen o del esce- na io psicomé ico; b) la apa ición de los Tes s Adap a i os In o - ma izados (Olea, Ponsoda y P ie o, 1999; Van de Linden y Glass, 2000), que exigen la elabo ación con inua de í ems pa a epone Di ec ices pa a la cons ucción de í ems de elección múl iple Ra ael Mo eno, Ra ael J. Ma ínez y José Muñiz* Uni e sidad de Se illa y * Uni e sidad de O iedo Los í ems de elección múl iple son u ilizados en nume osos con ex os de e aluación psicológica y edu- ca i a. Con demasiada ecuencia las c í icas que se hacen a es e ipo de í ems ienen más que e con su cons ucción de ec uosa que con los incon enien es del o ma o en sí mismo, que esul a obje i o, ácil y económico de co egi , y muy e sá il, adap ándose a odo ipo de con ex os y con enidos. El p esen e a ículo des aca la necesidad de con a con un conjun o de di ec ices e icien es que guíen la cons ucción de dichos í ems, sus i uyendo el modo in ui i o y poco sis emá ico seguido con ecuen- cia. Se e isan las di ec ices exis en es y se iden i ican los di e sos p oblemas que di icul an su ap o- echamien o, ales como el ele ado núme o de di ec ices p opues as, edundancias en e ellas y cie - as imp ecisiones. A pa i de esa e isión se seleccionan las di ec ices de con enido ele an e y se e- o ganizan en un conjun o más pa simonioso y es uc u ado cons i uido po doce di ec ices básicas, acompañadas de ejemplos e ilus aciones. Se espe a que es a p opues a esul e de u ilidad como guía pa a los p o esionales e in es igado es que deseen cons ui í ems de elección múl iple o analiza los ya exis en es. Guidelines o he cons uc ion o mul iple choice es i ems. Mul iple choice es i ems a e cu en ly used in se e al a eas o psychological and educa ional assessmen . All oo o en, c i icism made o he- se i ems concen a es mo e on hei de ec i e cons uc ion han he di icul ies wi h he o ma i sel ; despi e his, he o ma is objec i e, easily and cheaply co ec ed, and i s e sa ili y makes i adap able o many con ex s and con en s. This pape highligh s he need o a se o e ec i e guidelines o assis in he cons uc ion o hese i ems, he eby eplacing he in ui i e and unsys ema ic app oach gene ally used. Exis ing guidelines a e e ised, as a e se e al ques ions ha s op hem wo king p ope ly, such as he excessi e numbe o guidelines, o e lapping be ween hem and inaccu acies. Following his e i- sion, he guidelines wi h impo an con en a e selec ed and eo ganized in a mo e p ac ical and s uc- u ed se consis ing o wel e basic guidelines, accompanied by examples and illus a ions. I is hoped ha his p oposal will be use ul as a guide o eache s o esea che s who ha e o build mul iple choi- ce i ems, o analyze al eady exis ing ones. Fecha ecepción: 22-12-03 • Fecha acep ación: 18-2-04 Co espondencia: Ra ael Mo eno Facul ad de Psicología Uni e sidad de Se illa 41018 Se illa (Spain) E-mail: [email p o ec ed] SOFTWARE, INSTRUMENTACIÓN Y METODOLOGÍA Psico hema 2004. Vol. 16, nº 3, pp. 490-497 ISSN 0214 - 9915 CODEN PSOTEG www.psico hema.com Copy igh © 2004 Psico hema los Bancos de Í ems u ilizados; c) el g an desa ollo de las écni- cas pa a de ec a el uncionamien o di e encial de los í ems (Ca- milli y Shepa d, 1994; Fidalgo, 1996; Holland y Waine , 1993), que obliga a indaga con igo qué hace que un í em uncione de di e en e modo pa a dis in as poblaciones; d) la in e acción en e los modelos psicomé icos y la psicología cogni i a (F ede iksen, Misle y y Beja , 1993; González-Romá y Espejo, 2003; P ie o y Delgado, 1996, 1999, 2003), que lle a a cons ui con p ecisión los dis in os componen es de los í ems pa a pode analiza los p o- cesos psicológicos implicados en su esolución; e) la i upción de modelos de e aluación al e na i os a los con encionales, ales co- mo la denominada e aluación au én ica (B a o y Fe nández del Valle, 2000; Hakel, 1998; Powell, 1990), que ha obligado a mejo- a y jus i ica los í ems de los es s con encionales. Además de es as azones, la combinación del o denado con o os medios au- dio isuales, ealidad i ual e in e ne es á ab iendo posibilidades insospechadas en la con ección de los í ems (Pa shall y Balize , 2001; Pa shall, Da ey y Pashley, 2000; Zenisky y Si eci, 2003). Es e es el ma co gene al en el que se encuad a nues o abajo, cuyo obje i o cen al es o ece a los in es igado es y p o esiona- les di ec ices cla as y p ecisas que les pe mi an mejo a la cons- ucción de los í ems de elección múl iple, no dejando es a impo - an e labo a la me a in uición e inspi ación del momen o. Como es bien sabido, exis en di e en es o ma os pa a los í ems. Algunos exigen cons ui la espues a, como las p egun as abie as, en las que el suje o debe elabo a o almen e lo que se le plan ea; po ejemplo, «Enume e es huesos del ó ax humano», o «Desc iba la unción clo o ílica». También son abie os los í ems de comple a ases, que piden al suje o que añada uno o más ele- men os de una o ación, como po ejemplo, «El …, la ibia y el … son … de las ex emidades in e io es humanas». O os o ma os en cambio o ecen al suje o di e sas opciones de espues a, pidiéndole elegi las que econozca como co ec as. El o ma o más usual es el de elección múl iple, consis en e en un enunciado o p egun a que se comple a con a ias opciones de es- pues a en e las que el suje o debe iden i ica la única co ec a. El es o de o ma os pueden conside a se a iaciones del an e io ( e Tabla 1). El í em es denominado de elección al e na i a si p esen a sólo dos opciones de espues a, o de e dade o- also si son esas las opciones o ecidas. Una e sión del an e io es el o - ma o e dade o- also múl iple que pide al suje o alo a con esas al e na i as a ios enunciados e e idos a un mismo con enido. O os o ma os p esen an dos conjun os de opciones que han de u iliza se de de e minados modos: el de empa ejamien o pide al suje o asocia los elemen os de uno y o o conjun o, y el de elec- ción múl iple complejo p opone elegi la opción co ec a de una se ie e e ida a un conjun o p e io de opciones. Po úl imo, í ems de algunos de los o ma os de elección múl iple, especialmen e el usual, el de elección al e na i a y el e dade o- also, son p esen- ados a eces en g upos e e idos a un mismo con ex o o e e en- e, dando luga al o ma o conjun o dependien e de un con ex o. Los í ems de elección múl iple exigen a quien los elabo a un ma- yo es ue zo y pe icia que aquellos más abie os que sólo plan ean la p egun a, aunque hoy po hoy ienen la en aja de una e aluación más iable. Po ello, los de elección múl iple son un ecu so muy adecuado pa a es udia amplias poblaciones de suje os. A pesa de ales en ajas, es os í ems son is os con e icencia po cuan o sólo se ían adecuados pa a e alua a eas sencillas y esul ados de p o- cesos más que es os. Aunque ales ca encias pueden es a p esen es en muchos í ems de es e ipo, no son inhe en es a ellos; con í ems de elección múl iple adecuadamen e cons uidos esul a posible e alua a eas cogni i amen e complejas, así como odos los pasos que deseen e alua se de un p oceso, como se pone de mani ies o ampliamen e en la p ác ica de la e aluación (Haladyna, 1994). DIRECTRICES PARA LA CONSTRUCCIÓN DE ÍTEMS DE ELECCIÓN MÚLTIPLE 491 Tabla 1 Fo ma os de í ems de elección múl iple Elección múl iple usual La ó mula C4H10 co esponde al siguien e hid oca bu o: 1. E ano 2. P opano 3. Bu ano Elección al e na i a Una p opiedad de las células mad es o es aminales es su: 1. Unipo encialidad 2. Mul ipo encialidad Ve dade o-Falso La adenina es una de las bases químicas del ADN: 1. Ve dade o 2. Falso Ve dade o-Falso múl iple Señale si es Ve dade o (V) o Falso (F) que cada una de las siguien es es ca ac e ís ica usual de las plan as monoco iledóneas: 1. Son angiospe mas 2. Tienen allo ami icado 3. Tienen lo es Empa ejamien o Conec e los siguien es países con sus capi ales: 1. Mongolia a. Kuala Lumpu 2. Bangladesh b. Ulan Ba o 3. Malasia c. Dhaka Elección múl iple complejo Son capi ales de p o incias españolas: a. O iedo b. Pamplona c. Vigo 1. a y b 2. b y c 3. a, b y c Conjun o de í ems dependien es de un con ex o «Sien o que ha en ado el o oño. La empe a u a ha descendido y se espi a humedad. Los á boles en a án en eposo y mos a án nume osas onalidades». Las siguien es p egun as sob e sin axis se e ie en al ex o indicado. A. ¿Qué pa e del suje o es « empe a u a» en la o ación en que apa ece? 1. Núcleo 2. Modi icado di ec o 3. Modi icado indi ec o B. En el p edicado e bal del que o ma pa e, «nume osas onalidades» es: 1. Obje o di ec o 2. Obje o indi ec o 3. Núcleo C. «Nume osas» es modi icado : 1. Té mino 2. Subo dinan e 3. Di ec o Las posibilidades de los í ems de elección múl iple se desap o- echa án, sin emba go, en la medida en que la cons ucción se e- alice de mane a in ui i a. Como se dijo al comienzo, se han o e- cido dis in os conjun os de di ec ices pa a apo a una mayo sis- emá ica a esa a ea (Hoep l, 1994; Ma elli, 1995; Os e lind, 1998; Roid y Haladyna, 1982). Especial mención me ece la de Ha- ladyna y Downing (1989), que sin e iza más de cua en a axono- mías apa ecidas en los cincuen a y cua o años an e io es. Es á compues a po cua en a y es di ec ices o ganizadas en dis in os epíg a es, al como puede e se en la abla 2. En el p ime g upo, las di ec ices p ocedimen ales aconsejan un uso co ec o de la g amá ica, una can idad no excesi a de ma- e ial a lee en el í em, la colocación e ical de las opciones y que haya solo una co ec a, así como e i a el o ma o de elección múl iple complejo. Las e e idas al con enido señalan el ni el y i- po de pensamien o que puede eque i el í em, mien as que los dos g upos es an es ecogen di ec ices especí icas pa a cada una de las pa es del í em, enunciado y opciones. Los p opios au o es señalan p oblemas en su axonomía, ales como ambigüedad de algunas di ec ices, al a de independencia en e o as y ausencia de in eg aciones que pudie an apo a ma- yo pa simonia. Po ello, y quizás ambién po las di icul ades que suponía el ele ado núme o de di ec ices o ecidas, apa eció una nue a e sión (Haladyna, Downing y Rod íguez, 2002) compues- a po 31 que puede e se en la abla 3. Obse ada en de alle, la educción de di ec ices es meno de lo que pa ece pues o que una de ellas (la 28) queda especi icada en seis di e en es, esul ando po an o un o al de 36. Una compa a- ción de allada de los con enidos de las di ec ices pone de mani- ies o al menos los siguien es cambios en e las dos axonomías de e e encia: i) In eg ación de ca ego ías: las di ec ices 1, 2, 18 y 19 de Haladyna y Downing (1989) apa ecen como componen es de la 9 en Haladyna, Downing y Rod íguez (2002) y las 14 y 16 an i- guas pasan a con o ma la nue a di ec iz 3. ii) Disg egación de una en a ias: la di ec iz 33 de la p ime a e sión se di e si ica en las a iaciones b y de la 28 nue a. iii) Inco po ación de nue- as di ec ices: apa ecen las 28 d y e. i ) Sup esión de o as: las núme o 8, 12, 40, 41 y 42. O as 27 di ec ices pe manecen idén- icas o muy semejan es. Las a iaciones comen adas no esul an su icien es, ya que la nue a e sión sigue p esen ando simila es p oblemas que su p e- deceso a, incumpliendo ca ac e ís icas exigibles a oda axonomía o clasi icación. Algunas de las di ec ices no son mu uamen e ex- cluyen es: ocu e con la 7 («E i e í ems con ampas») que en su de inición incluye explíci amen e aspec os de las di ec ices 2 («E i e con enidos i iales»), 5 («E i e con enidos muy especí i- cos o muy gene ales»), 14 («Asegú ese de que el sen ido del enun- ciado esul a muy cla o»), 16 («E i e ado na el ex o en exceso») RAFAEL MORENO, RAFAEL J. MARTÍNEZ Y JOSÉ MUÑIZ 492 Tabla 2 Núme o de di ec ices po epíg a es en Haladyna y Downing (1989) Tipos de di ec ices Núme o I. Ad e encias gene ales A. P ocedimen ales 07 B. Re e idas al Con enido 10 II. Cons ucción del enunciado 06 III. Desa ollo de las opciones 12 A. Opción co ec a 02 B. Dis ac o es 06 TOTAL 43 Tabla 3 Di ec ices pa a la cons ucción de í ems de elección múl iple (Haladyna, Downing y Rod íguez, 2002) Re e idas al con enido 01. Cada í em debe ía e leja un con enido especí ico y una única conduc a men al es- pecí ica, al como sea eque ido en las especi icaciones del es ( abla de doble en a- da, p oyec o del es ) 02. Base cada í em en un con enido impo an e pa a el ap endizaje; e i e con enidos i- iales 03. Use ma e ial no edoso pa a e alua el ap endizaje de al o ni el. Cuando los u ilice en un í em, pa a asee el lenguaje de los lib os de ex o, o el lenguaje u ilizado du an e la ins ucción, pa a así e i a e alua el me o ecue do 04. Man enga el con enido de cada í em independien e del con enido de o os í ems del es 05. Al esc ibi í ems de elección múl iple, e i e con enidos muy especí icos o muy gene- ales 06. E i e í ems basados en opiniones 07. E i e í ems con ampas 08. Use un ocabula io sencillo pa a el g upo de es udian es que es án siendo e aluados Re e idas al o ma o 09. Del o ma o con encional de elección múl iple u ilice la in e ogación, comple a a- ses, la mejo espues a, elección al e na i a, e dade o- also, e dade o- also múl i- ple, empa ejamien o, los conjun os de í ems y los dependien es de con ex o; sin em- ba go, e i e el o ma o de elección múl iple complejo (el ipo K) 10. Cons uya el í em de o ma e ical, no ho izon al Re e idas al es ilo 11. Co ija y p uebe los í ems 12. U ilice una g amá ica, pun uación, mayúsculas y minúsculas y dele eo co ec os 13. Minimice la can idad de lec u a en cada í em Redacción del enunciado 14. Asegú ese de que el sen ido del enunciado esul a muy cla o 15. Incluya la idea cen al en el enunciado y no en las opciones 16. E i e ado na el ex o en exceso (palab e ía excesi a) 17. Exp ese el enunciado de mane a a i ma i a, e i ando é minos nega i os ales como NO o EXCEPTO. Si usa é minos nega i os, hágalo con sumo cuidado y asegú ese que apa ecen en mayúsculas o neg i as Redacción de las opciones 18. Esc iba an as opciones como pueda, si bien la in es igación sugie e que con es es su icien e 19. Asegú ese que sólo una de esas opciones es la espues a co ec a 20. Va íe la colocación de la espues a co ec a según el núme o de opciones 21. Coloque las opciones en un o den lógico o numé ico 22. Cons uya las opciones independien es en e sí, no deben solapa se 23. Man enga a las opciones homogéneas en con enido y es uc u a g ama ical 24. Esc iba las opciones con una longi ud ap oximadamen e igual 25. La opción Ninguna de las an e io es debe usa se con mucho cuidado 26. E i e la opción Todas las an e io es 27. Esc iba las opciones de o ma a i ma i a, e i e é minos nega i os ales como NO 28. E i e da pis as sob e la espues a co ec a, ales como: a. De e minan es especí icos como siemp e, nunca, comple amen e y absolu amen e b. Asociaciones po sonido simila y opciones idén icas o pa ecidas a é minos del enunciado c. Inconsis encias g ama icales que indiquen al suje o la elección co ec a d. Opción co ec a des acada e. Pa es o íos de opciones que indiquen al suje o la opción co ec a . Opciones cla amen e absu das o idículas 29. Haga plausibles odos los dis ac o es 30. Use e o es usuales de los es udian es pa a esc ibi los dis ac o es 31. Use el humo si es compa ible con el p o eso y con el ambien e de ap endizaje DIRECTRICES PARA LA CONSTRUCCIÓN DE ÍTEMS DE ELECCIÓN MÚLTIPLE 493 y 19 («Asegú ese que sólo una de las opciones es la espues a co- ec a»). O as di ec ices ienen un con enido simila , como la 13 («Minimice la can idad de lec u a en cada í em») y la ya ci ada 16. Sin emba go, y a pesa de es a semejanza, ambas es án clasi icadas en dis in os apa ados. En sen ido simila , la di ec iz 8 sob e oca- bula io simple y adap ado a los suje os es á incluida en el apa ado de con enido del í em y no en el de es ilo como se ía de espe a . Po úl imo, las de iniciones de algunas di ec ices son imp ecisas, co- mo la 5, e e ida sin mayo ca ac e ización a í ems «muy especí i- cos», o la 1 que menciona una «única conduc a men al especí ica». Es os p oblemas y el aún ele ado núme o de di ec ices di icul- an la u ilización de la axonomía de Haladyna, Downing y Rod í- guez (2002). En al si uación, el p esen e abajo p e ende con inua el a ance pa iendo de lo ya log ado. Plan ea una nue a e sión pa- a ecoge en lo undamen al el mismo con enido de la axonomía de e e encia pe o haciéndolo con mayo pa simonia, pa a se más ú il a los p o esionales que deseen edac a í ems de elección múl iple. P ocedimien os pa a aumen a la pa simonia En p ime luga , la nue a e sión debe exclui di ec ices que es én e e idas a aspec os cola e ales a su obje i o. Po ello no de- be ía inclui la mayo pa e de la di ec iz 9 de Haladyna, Dow- ning y Rod íguez (2002) dedicada a enume a di e en es o ma os de elección múl iple, pues o que las di ec ices p e endidas han de e e i se a los aspec os de cons ucción comunes a los di e en es o ma os y no a es os. Po una azón simila , debe exclui ambién la e e encia a p ocedimien os auxilia es de la cons ucción, como hace la di ec iz 11 de Haladyna, Downing y Rod íguez (2002) «Co ija y p uebe los í ems». En segundo luga , deben eo ganiza se odas aquellas cuyo con- enido ele an e no puede se omi ido. Con al in esul a con e- nien e ene en cuen a el sen ido u obje i o de los í ems de elección múl iple. Es os se cons uyen pa a e alua algún con enido, como po ejemplo el endimien o en una ma e ia académica. Po ello de- be dispone se de una se ie de di ec ices sob e el con enido a inclui en el í em y sob e cómo plasma lo en es e. O o conjun o de di ec- ices deben e e i se a las di e sas opciones de espues as al cons- i ui el elemen o di e enciado de es os í ems. Se a a de acili a que el suje o que conozca la opción co ec a pueda iden i ica la y el que no la conozca no encuen e pis as indebidas sob e ella. Así pues, los es aspec os e e en es ci ados, con enido a inclui , su ex- p esión en el í em y las opciones de espues a, son los necesa ios pa a con igu a los apa ados de la axonomía p e endida. Po úl imo, la eo ganización p e endida debe educi el nú- me o de di ec ices de cada apa ado, eliminando edundancias e in eg ando a ias como casos pa icula es de alguna de las nue as. Nue as di ec ices Con o me a los obje i os y p ocedimien os señalados, se o e- ce el siguien e conjun o de doce di ec ices pa a la cons ucción de í ems de elección múl iple, ilus adas con comen a ios y ejemplos y sin e izadas en la abla 4. A. Elección del con enido que se desea e alua 01. Los con enidos a ecoge en los í ems de una p ueba deben se una mues a ep esen a i a de la ap i ud, endimien o o cualquie o o aspec o que se desee e alua , el cual debe- ía es a especi icado p e iamen e y sin solapamien os en- e sus elemen os en una abla lo más exhaus i a posible. En las llamadas ablas de especi icación se enume an los con enidos, incluyendo é minos, nociones y compe en- cias conside ados ele an es pa a la emá ica que in e ese e alua . Todos ellos, o al menos una mues a lo más e- p esen a i a posible, debe ían es a p esen es en el con- jun o de los í ems de una p ueba. Debe e i a se po an o que el í em se e ie a a con enidos i iales y di e en es al obje i o. Un ejemplo de lo que no debe hace se se ía el siguien e í em (señalado en cu si a como o os inadecuados de más adelan e) si ue a u iliza- do pa a e alua conocimien os de His o ia, cuando en o- do caso lo que e alúa se ía memo ia o og á ica. El c onog ama sob e la Re olución F ancesa del lib o de ex o apa ece ap oximadamen e en la página: 1. 050 2. 100 3. 150 02. La ep esen a i idad espec o a lo que se desea es udia en una de e minada población de suje os debe á ma ca las ca ac e ís icas de cada í em en cuan o a lo sencillo o com- plejo, conc e o o abs ac o, memo ís ico o de azonamien- o de lo que plan ee y en cuan o a la exp esión o mal o in- o mal, e bal, numé ica o g á ica u ilizada. El ajus e espec o a lo que se desea e alua es el c i e io cla e pa a decidi ace ca del con enido y o ma del í em. Recué dese es a cla e, que se encon a á aplicada en las di ec ices especí icas que apa ecen más abajo. Ninguna decisión es co ec a po sí misma, pues depende á de lo que se desee e alua , de los suje os y del medio en el que se desee hace lo. Po ejemplo, un í em e bal se á adecua- do en una p ueba de His o ia, pe o p obablemen e inade- cuado pa a e alua buena pa e de con enidos algeb aicos. Un í em memo ís ico se á i ele an e pa a e alua azona- mien o, pe o se á pe inen e si se a a de e alua memo- ia. Si po el con a io se p e ende e alua alguna capaci- dad no memo ís ica, ella se á la clase de a ea que debe plan ea el í em, al como se hace en el siguien e ejemplo. ¿Qué núme o con inúa la siguien e se ie? 1, 3, 7, 15, 31, 63... 1.073 2. 085 3. 127 B. Exp esión del con enido en el í em 03. Lo cen al del con enido elegido debe exp esa se en el enunciado, haciendo de cada opción un complemen o que po ello ha de conco da sin ác ica y semán icamen e con el enunciado. Desplaza el g ueso del con enido a las di e en es opciones desap o echa ía las posibilidades que o ece el enunciado pa a da una mayo ampli ud a la exp esión; obliga ía ade- más a lee una mayo can idad de ex o a eces edundan- e, lo que puede di icul a una adecuada comp ensión del í em. Ocu i ía en el siguien e ejemplo no aconsejable: En Física, sublimación: 1. Supone un cambio de ma e ia sólida a ma e ia gaseosa 2. Se e ie e a un cambio de ma e ia líquida a ma e ia sólida 3. Consis e en un cambio de ma e ia gaseosa a ma e- ia líquida La siguien e e sión soluciona ía las di icul ades an e io- es al aslada la mayo pa e del ex o al enunciado y e i- a epe iciones en e las opciones. En Física se denomina sublimación a un cambio de ma e ia: 1. Sólida a gaseosa 2. Líquida a sólida 3. Gaseosa a líquida 04. La sin axis o es uc u a g ama ical u ilizada debe se co- ec a y no oscu ece el con enido que se e alúa; ha de e i- a se un í em demasiado escue o o excesi amen e p o uso en su edacción, ambiguo o con uso, eniendo especial cau ela con las o aciones nega i as po que pueden esul a complicadas de en ende . Se complica ía indebidamen e la comp ensión si abusando de las negaciones se esc ibe po ejemplo un enunciado co- mo el siguien e: «En si uaciones di íciles ¿qué no debe de- ja se de no hace ?» Sal o que dicho enunciado ue a u ili- zado pa a e alua el dominio de las negaciones po pa e de los suje os, debe ía se sus i uido po o o más en endi- ble como el siguien e: «En si uaciones di íciles ¿qué debe- ía e i a se?» En el mismo sen ido y sal o que el í em es é cons uido pa a e alua la capacidad de en ende exp esiones com- plejas, la exposición del í em debe hace se de la mane a más cla a posible, pa a que el suje o pueda concen a se en lo que se le p egun a sin encon a di icul ades innecesa- ias. Ocu e a eces que se complica la edacción en un in- en o de e i a que el í em esul e excesi amen e sencillo. Ese sin emba go no es el camino. El cons uc o del í em debe p egun a se si es ele an e plan ea un de e minado con enido; si lo es, debe inclui lo sin enmasca amien o que impida al suje o elegi adecuadamen e una espues a. Po ejemplo, no debe ía u iliza se el siguien e í em pa a p egun a sencillamen e po la capi al de I alia y no po el conocimien o de los encub ido es u ilizados: La población en la que adican la sede de los ó ganos po- lí icos, judiciales y legisla i os, además de la de muchos agen es económicos, y que cons i uye la cabeza del Es a- do llamado usualmen e « ansalpino» es: 1. Be na 2. Pa ís 3. Roma 05. La semán ica implicada en el ocabula io u ilizado debe es a ajus ada al con enido y a la población de suje os e a- luados, pa a que pueda se comp endida sin di icul ad y no des íe la a ención espec o a lo que se p egun a. Es a di ec iz es pa alela a la an e io en lo que se e ie e a la semán ica. Debe e i a se que el signi icado de las pala- b as usadas sea un obs áculo pa a la comp ensión del í em po el suje o que lo lee. El siguien e, po ejemplo, se ía ade- cuado en una e aluación del conocimien o sob e el lengua- je usado en el mundo de las d ogas, pe o no en o o caso. Un sinónimo de je inguilla es: 1. Mandanga 2. Pilula 3. Camisa C. Cons ucción de las opciones 06. La opción co ec a de cada í em debe se sólo una, y debe es a acompañada po dis ac o as que sean plausibles pa- a el suje o que no conoce la espues a co ec a y ácil- men e desechables pa a el que la conoce. Un modo de log a ese ipo de dis ac o as consis e en u i- liza las que sean p óximas a la co ec a en su signi icado o en su apa iencia. La adiación al a consis e en haces de pa ículas compues- as de: 1. Dos p o ones y dos neu ones 2. Un p o ón y dos elec ones 3. Dos neu ones y un elec ón O o modo consis e en u iliza pa a las dis ac o as e o es que sean comunes en la población en es udio, ap o echando la ecuen e e inadecuada asociación con lo que se p egun a; el siguien e í em usado en e aluación de lengua inglesa u i- liza el e o ecuen e que apa ece en la segunda opción. Indica qué ase usa INCORRECTAMENTE el adje i o ew o li le: 1. I is only a li le house 2. I ha e ew in e es in economy 4. Few people unde s and ha sen ence 07. En un conjun o de í ems, la co ec a debe es a epa ida en e las dis in as ubicaciones posibles pa a que es as no apo en in o mación indebida. Al ubica la co ec a de cada uno de los í ems de una p ue- ba, debe e i a se alguna endencia que pueda se descu- bie a po los suje os, que end ían así una pis a indebida. A eces y sob e odo si la co ec a es la p ime a en se cons uida, puede ende se a deja la como la p ime a op- ción. Pa a e i a lo, o as eces se ex ema la p ecaución haciendo que no apa ezca nunca o casi nunca en esa ubi- cación. O as eces se iende a ubica la en alguna opción que no sea la p ime a ni la úl ima. E í ese cualquie a de esas endencias u o as que dis o sionen un epa o equi a- i o. Es e puede hace se al aza , pe o en al caso ha de cui- da se que la ubicación de las co ec as no esul e ex aña en el conjun o de las opciones de cada í em, ompiendo lo exp esado en la di ec iz 10. 08. Las opciones deben se es p e e iblemen e. Si se añade alguna más, debe cuida se especialmen e que ambién sea plausible la úl ima en se cons uida ya que es ecuen e- men e descuidada. RAFAEL MORENO, RAFAEL J. MARTÍNEZ Y JOSÉ MUÑIZ 494 Añadi más opciones puede se di ícil po que no odos los emas pe mi en an as opciones plausibles, po lo cual iende a cons ui se o as que el suje o de ec a como alsas con una acilidad indebida. Usa sólo dos es po el con a- io más ácil de cons ui pe o aumen a conside ablemen- e la p obabilidad de que el suje o escoja al aza la es- pues a co ec a. 9. Las opciones deben se p esen adas en e ical pa a acili- a su lec u a La dis ibución e ical es un modo de des aca espacial- men e el í em y acili a su lec u a así como su di e encia- ción del es o de los que con o man una p ueba. Véase có- mo las opciones del siguien e í em des acan menos que en los exp esados has a aquí de modo e ical: ¿Qué exp esión equi ale a que alguien no deja habla en una con e sación? 1. No deja me e baza; 2. No deja í e e con cabeza; 3. No es baladí La dis ibución ho izon al de las opciones puede se ade- cuada sin emba go en los casos en los que, más que di e- encia las opciones, in e ese que sean pe cibidas como una g aduación de posibilidades como ocu e en el si- guien e í em. Indique su g ado de acue do con u iliza dine o público pa a p oyec os de explo ación espacial: 1. Nada o casi nada; 2. Más bien poco; 3. Bas an e 10. El conjun o de opciones de cada í em debe se o ganiza- do u o denado de modo cohe en e con el con enido en es- udio. La deso ganización del con enido de las opciones en el si- guien e í em obliga al suje o a hace un abajo p e io que le dis ae del come ido al que debe ía dedica se, que no es o o que iden i ica la espues a co ec a si la conoce. Son p opiedades deseables de los es s: 1. Con ol, alidez y iabilidad 2. Fiabilidad, e iciencia y alidez 3. E iciencia, obje i idad y con ol Se ía más adecuado e i a le esa a ea p e ia o ganizando el í em como en el siguien e ejemplo: Son p opiedades deseables de los es s: 1. Validez, iabilidad y con ol 2. Validez, iabilidad y e iciencia 3. Obje i idad, con ol y e iciencia Po la misma azón el siguien e í em o ganiza adecua- damen e las opciones cuan i a i as en un o den ascen- den e La exp esión algeb aica {6·[(34+46)/(12-8)]} es igual a: 1. 080 2. 120 3. 160 11. Las dis in as opciones del í em han de se au ónomas en- e sí, sin solapa se y sin e e i se unas a o as pues ello in- oduce di icul ades o acilidades indebidas. Al menos po es a azón, deben usa se con mucha cau ela las opciones «Todas las an e io es» y «Ninguna de las an e io es». El siguien e í em con iene solapamien os en e la p ime a y e ce a opción que deja al suje o sin pode esponde con cla idad, pues o que en ambos casos la espues a se ía co- ec a al se la ca ólica una de las eligiones c is ianas. La eligión de Don Juan de Aus ia e a: 1. Ca ólica 2. P o es an e 3. C is iana 12. Ninguna de las opciones debe des aca del es o po se la única di e en e en con enido, en aspec os de apa iencia co- mo longi ud, es uc u a g ama ical o en algún é mino que apo e in o mación indebida. Esa homogeneidad puede lo- g a se haciendo que las opciones sean odas semejan es –en con enido o apa iencia– o odas cla amen e di e en es en e sí como hacen espec i amen e los dos ejemplos siguien es. Las al uzas son animales: 1. Roedo es 2. An ibios 3. Rep iles Las al uzas son: 1. Animales oedo es 4. He amien as de a esanía 5. Canciones é nicas A eces lo di e encial de una opción la esal a indebidamen e como la co ec a o como la inco ec a. El p ime caso ocu e en el siguien e í em al se la co ec a la única que concue da en gé- ne o g ama ical con el a ículo con que inaliza el enunciado. El hueso que a desde la odilla al obillo po la pa e de- lan e a es la: 1. Tibia 2. Húme o 3. Pe oné El siguien e í em en cambio des aca indebidamen e la se- gunda opción como inco ec a po se la única que no pa- ece sona al idioma ancés incluso pa a el suje o que no conozca a al pe sonaje. ¿Quién ue un impo an e pe sonaje de la Re olución ancesa? 1. Baudelai e 2. Washing on 3. Robespie e En gene al, cuando una de las opciones esul a di e en e, puede ocu i que induzca en el suje o la duda indebida de si esa di e encia signi ica que es la co ec a o es desechable po inco ec a, lo que supone dis ae le de la a ea cen al de en- ende el í em e iden i ica su opción co ec a si la conoce. DIRECTRICES PARA LA CONSTRUCCIÓN DE ÍTEMS DE ELECCIÓN MÚLTIPLE 495 RAFAEL MORENO, RAFAEL J. MARTÍNEZ Y JOSÉ MUÑIZ 496 Discusión y conclusiones T as la e isión ealizada, se p oponen doce di ec ices básicas a segui pa a la cons ucción de los í ems de elección múl iple. El conjun o p opues o supone una educción del núme o de di ec i- ces espec o a la e sión omada como e e encia. Una educción que sin emba go no excluye ninguna de las ele an es con enidas en dicha e e encia. Las di ec ices 2, 4 y 28 de la axonomía de Haladyna, Downing y Rod íguez (2002) quedan incluidas en la 1 p opues a aquí; las 3, 5, 6 y 31 del 2002 quedan en endidas como casos pa icula es de la di ec iz 2 a iba p esen ada; la 15 p e ia equi ale a la 3 nue a, que incluye además la conco dancia no in- cluida en la p eceden e; las 12, 13, 16, 17 y 27 quedan subsumidas en la nue a di ec iz 4; las 8 y 14 co esponden a la 5 nue a; las 19, 29, 30 in eg an la 6 aquí p opues a; la 20 co esponde aho a a la 7; la 18 queda e o mulada en la 8 nue a que además añade un a iso sob e la úl ima en se cons uida, que no es aba p esen e en la axonomía de e e encia; la 10 de e e encia es exp esada en la 9 p opues a aquí; la 21 pasa a la 10; las 22, 25 y 26 in eg an la nue- a 11; po úl imo, las 23, 24, 28 a, b, c, d, e y son in eg adas en la 12 nue a. Asimismo, las di ec ices p opues as no incluyen al- gunas de la axonomía de e e encia: la 9 y la 11 po la azón ex- pues a de que se e ie en espec i amen e a ipos de o ma os de elección múl iple y a p ocedimien os auxilia es de la cons ucción y po an o no a los aspec os que aquí in e esa ob ene ; y las 1 y 7 po se poco p ecisas y di íciles de en ende y además es a ya e- cogido su sen ido en la 4 nue a. La eo ganización de di ec ices lle ada a cabo puede cons i ui una he amien a ú il pa a el p o esional que desee cons ui í ems de elección múl iple o enga que analiza los ya exis en es. Facili- a á además la in es igación empí ica sob e los dis in os aspec os de los í ems de elección múl iple, algo muy con enien e dada la insu iciencia de da os exis en es pa a muchas de las di ec ices, apoyadas en su de ec o en la p ác ica acumulada con la cons uc- ción de í ems (Haladyna y Downing, 1989; Haladyna, Downing y Rod íguez, 2002). La di ec ices ambién pueden esul a de g an u ilidad a la ho a de es udia de o ma igu osa la alidez de con- enido de una p ueba, pues no con iene ol ida que en el comple- jo p oceso de alidación de los es s el análisis de los con enidos cons i uye una ase esencial (Elosúa, 2003; Muñiz, 2004). Como ya hemos señalado p e iamen e, la ecnología de i ada del o denado , combinada con el uso de in e ne , la ealidad i - ual, audio, ideo, e c., es á ab iendo la posibilidad de cons ui í ems so is icados écnicamen e (Pa shall y Balize , 2001; Pa s- hall, Da ey y Pashley, 2000; Zenisky y Si eci, 2003), que conse - en y po encien la obje i idad, economía y e sa ilidad del o ma- o de elección múl iple, azones pode osas pa a man ene es e o - ma o en e noso os po muchos años. Su peo enemigo es su cons- ucción de ec uosa, como se ha is o a lo la go del p esen e a- bajo. Espe emos que las doce di ec ices p opues as con ibuyan a palia es e p oblema. Re e encias B a o, A. y Fe nández del Valle, J. (2000). La e aluación con encional en e a los nue os modelos de e aluación au én ica. Psico hema, 12 (Supl.), 95-99. Camilli, G. y Shepa d, L.A. (1994). Me hods o iden i ying biased es i ems. London: Sage. Elosúa, P. (2003). Sob e la alidez de los es s. Psico hema, 15, 315-321. Fidalgo, A. (1996). Funcionamien o di e encial de los í ems. En J. Muñiz (Ed.), Psicome ía. Mad id: Uni e si as. F ede iksen, N., Misle y, R. y Beja , I. (1993). Tes heo y o a new ge- ne a ion o es s. Hillsdale, NJ: LEA. González-Romá, V. y Espejo, B. (2003). Tes ing he middle esponse ca ego ies no su e, in be ween, and ?in poly omous i ems. Psico hema, 15, 278-284. Hakel, M.D. (Ed.) (1998). Beyond mul iple choice: E alua ing al e na i es o adi ional es ing o selec ion. Mahwah, NJ: LEA. Haladyna, T.M. (1994). De eloping and alida ing múl iple-choice es i ems. Hillsdale, NJ: LEA. Haladyna, T.M. y Downing, S.M. (1989). The alidi y o a axonomy o mul- iple-choice es i em. Applied Measu emen in Educa ion, 1 (1), 51-78. Haladyna, T.M., Downing, S.M. y Rod íguez, M.C. (2002). A e iew o mul iple-choice i em-w i ing guidelines. Applied Measu emen in Edu- ca ion, 15 (3), 309-334. Hoep l, M.C. (1994). De eloping and e alua ing mul iple choice es s. Technology Teache , 53 (7), 25-26. Holland, P.W. y Waine , H. (1993). Di e en ial i em unc ioning. Hillsda- le, NJ: LEA. Ma elli, A.F. (1995). W i ing mul iple-choice es i ems. Pe o mance and Ins uc ion, 34 (8), 24-29. Muñiz, J. (2004). La alidación de los es s. Me odología de las Ciencias del Compo amien o, en p ensa. Muñiz, J. y Ga cía-Mendoza, A. (2002). La cons ucción de í ems de elección múl- iple. Me odología de las Ciencias del Compo amien o, Monog á ico, 416-422. Olea, J., Ponsoda, V. y P ie o, G. (1999). Tes s in o ma izados. Funda- men os y aplicaciones. Mad id: Pi ámide. Os e lind, S.J. (1998). Cons uc ing es i ems: Mul iple-choice, cons uc- ed- esponse, pe o mance, and o he o ma s (2nd ed.). Bos on: Kluwe Academic Publishe s. Tabla 4 Nue as di ec ices pa a la cons ucción de í ems de elección múl iple A. Elección del con enido que se desea e alua 01. Debe se una mues a ep esen a i a del con enido ecogido en una abla de especi i- cación, e i ando í ems i iales 02. La ep esen a i idad debe á ma ca lo sencillo o complejo, conc e o o abs ac o, me- mo ís ico o de azonamien o que deba se el í em, así como el modo de exp esa lo B. Exp esión del con enido en el í em 03. Lo cen al debe exp esa se en el enunciado. Cada opción es un complemen o que de- be conco da g ama icalmen e con el enunciado 04. La sin axis o es uc u a g ama ical debe se co ec a. E i a í ems demasiado escue- os o p o usos, ambiguos o con usos, cuidando además las exp esiones nega i as 05. La semán ica debe es a ajus ada al con enido y a las pe sonas e aluadas C. Cons ucción de las opciones 06. La opción co ec a debe se sólo una, acompañada po dis ac o as plausibles 07. La opción co ec a debe es a epa ida en e las dis in as ubicaciones 08. Las opciones deben se p e e iblemen e es 09. Las opciones deben p esen a se usualmen e en e ical 10. El conjun o de opciones de cada í em debe apa ece es uc u ado 11. Las opciones deben se au ónomas en e sí, sin solapa se ni e e i se unas a o as. Po ello, deben e i a se las opciones «Todas las an e io es» y «Ninguna de las an e io es» 12. Ninguna opción debe des aca del es o ni en con enido ni en apa iencia DIRECTRICES PARA LA CONSTRUCCIÓN DE ÍTEMS DE ELECCIÓN MÚLTIPLE 497 Pa shall, C.G. y Balize , S. (2001). Audio compu e -based es s: An ini ial amewo k o he use o sound in compu e ized es s. Educa ional Me- asu emen : Issues and P ac ice, 20(2), 5-15. Pa shall, C.G., Da ey, T. y Pashley, P. (2000). Inno a i e i em ypes o compu e ized es ing. En W.J. an de Linden y C. Glass (Eds.), Com- pu e -adap i e es ing: Theo y and p ac ice. Bos on: Kluwe Acade- mic Publishe s Powell, M. (1990). Pe o mance assessmen : Panacea o pando a’s box? Rock ille, MD: Mon gome y Coun y Public Schools. P ie o, G. y Delgado, A.R. (1996). Cons ucción de í ems. En J. Muñiz (Ed.), Psicome ía. Mad id: Uni e si as. P ie o, G. y Delgado, A.R. (1999). Medición cogni i a de las ap i udes. En J. Olea, V. Ponsoda y G. P ie o (Eds.), Tes s in o ma izados. Funda- men os y aplicaciones. Mad id: Pi ámide. P ie o, G. y Delgado, A.R. (2003). Análisis de un es median e el modelo de Rasch. Psico hema, 15, 94-100. Roid, G.H. y Haladyna, T.M. (1982). A echnology o es -i em w i ing. New Yo k: Academic P ess. Van de Linden, W.J. y Glass, C. (Eds.) (2000). Compu e -adap i e es ing: Theo y and p ac ice. Bos on: Kluwe Academic Publishe s. Zenisky, A.L. y Si eci, S.G. (2003). Technological inno a ions in la ge- scale assessmen . Applied Measu emen in Educa ion, 15, 337-362.