Diseños de evaluación de programas: bases metodológicas

La e aluación de p og amas en sus dis in os aspec os, sigue las eglas del mé odo cien í ico, aunque la in es igación e alua i a no se educe a és as, cons i uyendo hoy un á ea especí ica y sepa ada de la an e io . Es a sepa ación y la o mación de un «co pus» p o- pio, se debe a las peculia idades de la in es igación e alua i a, de- i adas en p ime luga de su insis encia en los aspec os de alo de los p og amas (Sc i en, 1980); en segundo luga , la in es iga- ción e alua i a se di e encia po su aplicabilidad, an o desde el pun o de is a o ma i o, p opo cionando eedback a los p og a- mado es y adminis ado es de los p og amas (Vedung, 1993, 1996), como en la oma de decisiones sob e los esul ados de és- os, su con inuidad, modi icabilidad, e c. (Weiss, 1983; Wholey, 1987; Ma ínez–A ias, 1996). Desde es e plan eamien o en endemos que la e aluación de p og amas se desa olla a lo la go de un p oceso lógico que sus- ancialmen e no di ie e del p oceso de in es igación en un ámbi o aplicado. Se cuen a con una ealidad compleja, pe o angible, con p og amas en que se implemen an acciones que a eces no se ajus- an al calenda io, o que no se ejecu an po igual en odos los suje- os, pe o en los cuales el qué, el cómo y el cuándo son egis ables. El sec o en que se ubica la necesidad, las ca ac e ís icas del en- o no en que se encla a, y la p opia na u aleza de la ca encia con- dicionan la amplia casuís ica de p og amas, y sob e odo, les im- ponen ue es limi aciones que chocan on almen e con los equi- si os que impone el igo del mé odo cien í ico (Angue a y Cha- cón, en p ensa, a). De o ma ilus a i a, podemos pensa en la selección de suje os. En los manuales me odológicos, y simpli icando mu cho, se insis e en la p ác ica —p ác icamen e se ue za a su opción— del mu e s - eo p o b abilís ico si se op a po una ía deduc i a, y po an o, s i e m p e que nos si uemos bajo la cobe u a de un ma co eó i c o consolidado. Es e mu e s eo p o b abilís ico, po se equip o b a bl e, además de ep e s e n a i o, ¿ga an iza ía el componen e de equidad en los po enciales usua ios? En el momen o en que bajamos a la a ena de lo co idiano en e aluación de p og amas, si enemos que e alua un p og ama domicilia io de a ención ge i á ica se desca - a de en ada una espues a a i m a i a, ya que se án los p o p i o s u s u a ios, o sus allegados, o los e s p o n s ables de Se icios Sociales de la zona, los que a a án de e c aba la adsc ipción al p og a m a . Aquí no cabe de plano el mu e s eo p o b abilís ico (los dis in os ca- sos no son equip o bl ables, ni se eligen al aza , y ni siquie a se pue- de a i m a , al menos de o ma ge n e al, que sean ep e s e n a i os del c o l e c i o a ec ado po la necesidad), independien emen e de que exis a o no un de e minado ma co eó ico e l a i o al p o blema y a su p o b able in e ención, e independien emen e ambién de que exis an su icien es e c u sos (humanos, empo ales, económicos, e c.) pa a que odos ellos sean a endidos. En consecuencia, no po- demos habla de equidad desde el mismo momen o en que se plan- ease una selección median e mu e s eo p o b abilís ico de usua i o s . Siguiendo con la selección de suje os, si se plan ea la cues ión desde la ía induc i a de o ma obligada o deseada, sea po que no Diseños de e aluación de p og amas: bases me odológicas Sal ado Chacón Moscoso, Mª Te esa Angue a A gilaga* y José López Ruiz Uni e sidad de Se illa y * Uni e sidad de Ba celona Las ci cuns ancias ines ables que ca ac e izan el con ex o en el que se ealiza la e aluación de p og a- mas de in e ención hacen que sea p ác icamen e imposible plan ea diseños de e aluación es ánda es. El obje i o de es e abajo es desc ibi una se ie de dimensiones es uc u ales de diseños de e aluación que se puedan implemen a de una mane a lexible en los con ex os de in e ención. Desde es os e- e en es de diseño de e aluación se in en a á po encia la ob ención de in o mación con el mayo g a- do de alidez cien í ica, sin a aiga la idea de una lis a de diseños que pueden aplica se an e de e mi- nadas si uaciones es ánda es. El esquema de análisis de pa ida lo es uc u amos en es g andes di- mensiones es uc u ales de diseño: Usua ios del p og ama, na u aleza de los da os, y momen o em- po al de egis o. A pa i de la combinación de es os ejes se jus i ica án el uso de un ipo de diseños u o os. P og am e alua ion designs: me hodological issues. Uns able ci cums ances o p og am e alua ion con ex s make impossible a sys ema iza ion o p og am e alua ion designs. The main objec i e o his pape is o desc ibe he s uc u al dimensions o p og am e alua ion designs in o de o implemen hem in a lexible way in di e en e alua ion con ex s. These dimensions will y o enhance scien i ic alidi y in e alua i e da a, no o e ing he concep ion o s anda d design s uc u es o e alua ions. The s uc u al dimensions a e: clien s o he p og am, ype o da a, and eco ding momen s. The com- bina ion o hese dimensions will jus i y di e en e alua i e designs. Co espondencia: Sal ado Chacón Moscoso Facul ad de Psicología Uni e sidad de Se illa 41005 Se illa (Spain) E-mail: [email p o ec ed] Psico hema ISSN 0214 - 9915 CODEN PSOTEG 2000. Vol. 12, Supl. nº 2, pp. 127-131 Copy igh © 2000 Psico hema SALVADOR CHACÓN MOSCOSO, Mª TERESA ANGUERA ARGILAGA Y JOSÉ LÓPEZ RUIZ 128 exis e un de e minado ma co eó ico de e e encia, o po que no nos in e esan los que hayan, debe á selecciona se un caso único inicial al que le sigue una p og esi a acumulación de casos a ines, con el in de llega a encon a egula idades en el compo amien- o de odos es os casos y que se pueda i azando un esquema de uncionamien o del caso gene al. Yendo a la ealidad del p o esio- nal, y desde la mayo lexibilidad que pe mi e el plan eamien o in- duc i o, si bien se es ablece án c i e ios pa a la inclusión en el p o- g ama en unción de las ca ac e ís icas écnicas de la necesidad y las condiciones ísicas, pe sonales, económicas, amilia es, e c., del po encial usua io, es cons a able que no siemp e se a a á de casos a ines, al menos en el sen ido es ic i o del é mino. Con- secuen emen e, ampoco se lle a ía a cabo la selección de suje os de o ma me odológicamen e co ec a, además de segui cues io- nándonos el concep o de equidad en los po enciales usua ios. Pe o podemos pensa en o os ipos de p og amas, como los ins i ucionales ela i os a p ese a la capa de ozono o man ene limpia una ciudad o una supe icie; o los sani a ios sob e hábi os higiénicos, o la deshabi uación al abaco o a d ogas di e sas; o los de educación ial. En odos ellos exis en componen es que esca- pan —po la p opia complejidad de la ealidad— a la no ma cien- í ica, lo cual da luga a dos al e na i as po las que en endemos que es ácil op a : se lexibiliza la no ma, o se es á al ma gen de oda no ma. La segunda posibilidad deja ía a la e aluación de p og amas ue- a de un ámbi o o mal de es udio po disciplinas como la Psicolo- gía, Sociología, Medicina, Educación, e c. Se pod ían desc ibi c a - s o s aislados, como se ha hecho desde de e minadas co ien es a d i- cales de me odología cuali a i a — e , po ejemplo, Smi h y Can- l ey (1985), o el núme o monog á ico de Q u a l i a i e Heal h Rese - a ch edi ado po Engel (1992), o el de Q u a l i a i e Inqui y e d i a d o po Reason y Lincoln (1996)—, pe o es indudable que masi a m e n- e in e esa ajus a nos a la lógica del p ocedimien o cien í i c o . Es a lógica, sin emba go, que esponde a los p incipios del po- si i ismo cien í ico, debe se sensible a las especí icas ca ac e ís- icas indi iduales, si uacionales, del p og ama, de los ecu sos dis- ponibles, e c. La casuís ica es amplísima, y no es ácil log a el equilib io en e el igo imp escindible y la lexibilidad adap a i a espec o al p og ama a e alua . Todas es as ci cuns ancias ines ables que ca ac e izan el con- ex o en el que se ealizan las e aluaciones de p og ama de in e - ención hacen que sea p ác icamen e imposible plan ea es uc u- as es ánda es de diseño ap io ís icas. En es e sen ido el obje i o de es e abajo es desc ibi una se ie de dimensiones es uc u ales de diseño que puedan implemen a se de una mane a lexible en los con ex os de in e ención pa icula es. Desde es os e e en es de diseño de e aluación se in en a á po encia la ob ención de in o - mación con el mayo g ado de alidez cien í ica, sin a aiga la idea de una se ie de es uc u as de diseño ígidas que sólo pueden aplica se en si uaciones es ánda es (Shadish, Cook y Campbell, en p epa ación). Dimensiones es uc u ales de diseños de e aluación En la li e a u a se p oponen dis in as o mas de clasi ica los di- seños que pod ían aplica se a la e aluación de p og amas (pode- mos e e i nos a algunos au o es, como A nau, Angue a y Gómez, 1990; A o, 1991; Judd y Kenny, 1981; Kazdin, 1980; Kish, 1987; Owen y Roge s, 1999). A pesa de ello esul a di ícil encaja es as clasi icaciones en la p ác ica p o esional de la e aluación de p o- g amas. Es a si uación se da undamen almen e po que en el con- ex o de la e aluación de las in e enciones es complejo encon a modelos o e e en es eó icos a pa i de los cuales dispone de c i- e ios con los que desa olla un modelo de selección de los dis- in os componen es que end ía que analiza un p og ama de e a- luación. Tengamos p esen e que no sólo nos e e imos a la selec- ción de usua ios del p og ama a e alua , al y como plan eábamos en el ejemplo del apa ado an e io ; es deci , a qué población de suje os nos e e imos exac amen e; ambién hemos de ene en cuen a cuáles son los dis in os ipos de in e enciones eó icas que pod ían u iliza se en cada casuís ica, cuáles son las a iables que amos a medi , cuál es la delimi ación ealizada del con ex o de in- e ención, en qué momen o o momen os conc e os y con qué e- cu sos amos a egis a los da os… A es os in e ogan es, que aunque apa en emen e simples son de hondo calado, se les une el p oblema de consegui una al a iabilidad en las medidas (po ejemplo, pa a e alua el impac o de un p og ama). Todas es as ci cuns ancias hacen que nos es emos e i iendo a un ámbi o de abajo en el que impe a una iloso ía a l s a c i o n i s a , ya que el g ado de conocimien o p e io y de con ol sob e el ob- je o de e aluación es educido. En es e sen ido se hab án de p e- e cuáles pueden se las p incipales amenazas a la alidez, an- o de ep e s e n a i idad como de con ol, que puede p e s e n a nu e s a e aluación pa i c u l a . El p o blema de es a si uación es la d i icul ad de dispone de eo ías sob e las posibles in e a c c i o n e s e n e las a i ables en los con ex os de in e ención pa i c u l a ; más aún cuando unas mismas a i ables pueden in e ac ua de m a n e a dis in a en un mismo con ex o en momen os empo a l e s d i s i n o s . En el ma co de es a ealidad desc i a ab o gamos po jus i i c a el desa ollo de un diseño de e aluación desde unos e e e n e s dimensionales que se combina án de dis in as o mas dep e n d i e n- do del con ex o de in e ención pa icula donde se implemen- en. El esquema de pa ida lo es u c u amos en es g andes di- mensiones: u s u a ios del p og ama, na u aleza de los da o s , y momen o empo a l ( A n g u e a y Chacón, en p ensa, b). Pa a es a- bl e c e las hemos pa ido de una idea o i ginal de Ca ell (1952), que ya a mi ad de siglo empezó a p oduci sus u os. U ilizab a un pa a l e l epípedo en el que las a is as ep e s e n aban pe s o n a s , a i ables de medida y ocasiones de medida pa a pode ilus a los da os en es udios de co a iación. De es a o ma, cada ca a del p a a l e l epípedo pe mi e ob ene una ma iz bidimensional de pun uaciones, ya que la de inen dos a is as, y la e c e a ca a no se mu e s ea, pe o se ija. Muchos años después, Nesseal oade y H e s h b e ge (1993), en sus es udios sob e población, la adap a n p a a explica la a i abilidad in a i n d i idual (Nessel o a d e, 1988, 1991) u ilizando las mismas dimensiones de pe sonas, a i abl e s de medida y ocasiones de medida. En e aluación de p og amas conside amos que exis en es e- e en es desde una pe spec i a me odológica: A) a quiénes a di- igido el p og ama, ya que de lo con a io és e pe de ía su azón de se , mo i o po el que los usua ios ocupan el p ime luga . B) ipo de in o mación que se ob iene, habi ualmen e de ca ác e cam- bian e a lo la go del p oceso de implemen ación y en unción de las di e sas acciones que se lle an a cabo, po lo que la na u ale - za de los da os es un e e en e obligado. C) El ca ác e sinc ónico o diac ónico del p oceso de e aluación, dependiendo de si nos si- uamos en la e aluación suma i a o o ma i a, espec i amen e (siguiendo con los p esupues os del modelo lineal s. no lineal de Veney y Kaluzny –1984). Con igu ación de diseños de e aluación De acue do con el complejo ma co en el que se desa olla un p og ama de e aluación hemos jus i icado la di icul ad de pode es ablece una elación de diseños es ánda es de e aluación. Es a si uación jus i ica la necesidad de con igu a los diseños e alua i- os de acue do con las necesidades y ca ac e ís icas del p og ama conc e o, y po an o desde una combinación de las dimensiones de diseño an e io men e señaladas. El esquema básico esul an e de la conside ación conjun a de odos los e e en es comen ados lo podemos con igu a a pa i del c uce de las dimensiones de usua- ios y empo alidad, en combinación con el g ado de in e ención o dominio que se enga sob e el con ex o de e aluación (Fig. 1): Figu a 1. Esquema básico pa a la con igu ación de diseños de e aluación de p og amas (Angue a, 1995b) A. Ca ác e ideog á ico s. Nomo é ico (eje e ical) El eje e ical se e i e e al ca ác e idiog á ico o nomo é ico en unción de los usua ios del p og ama de in e ención. No siemp e a d q u i e e la misma e l e ancia, pe o plan ea impo an es cues io- nes a ni el me odológico (Po s a ac y Ca ey, 1985) según se a e de suje os indi idualmen e conside ados o de una colec i idad (o mu e s a ep e s e n a i a de ella), si a endemos a la p opues a cl á s i- ca de Allpo (1942) en elación a los é minos i d i og á ico s. no - m o é i c o. Aho a bien, a al p opues a se han inco po ado a ian es adap- a i as a las di e sas si uaciones e alua i as: a) Se conside a án ambién como idiog á icos es udios que amplían o e s i n gen la p opues a clásica consis en e en un indi- iduo. Po una pa e, en e los p i m e os se halla án odos aque- llos casos en que los usua ios son a ios indi iduos en e los cua- les exis e un c i e io de a i n i d a d, ag upación, o eglas del juego a segui ; po ejemplo, un p og ama de in e ención a m i l i a , in- d e pendien emen e de cuán as pe sonas componen aquella unidad amilia y de cuan os ni eles de espues a se egi s en. Y, po o a p a e , los que e s i n gen el concep o clásico de idiog á ico se c e n an en un solo ni el de espues a, sea de un indi iduo único, o de a ios; po ejemplo, si conside amos únicamen e el ni el de conduc a e bal, y e aluamos la esolución de un con lic o en e m i e m b os de una amilia a pa i de la discusión de los e s p e c i- os pun os de is a y balance en e p os y con as de cada opción de solución. b) Nomo é icas se án ambién aquellas a ian es en que, inde- pendien emen e de que engamos un usua io o un g upo de usua- ios, in e esan a ios ni eles de espues a. Así, en un p og ama de a ención psicológica a en e mos in a ados y sus a m i l i a es in e- esan los ni eles de espues a e bal y no e bal. Luego, nomo é- icos se án odos aquellos diseños e a l u a i os en que se con i g u- a un elemen o de plu alidad de unidades, sean indi iduos (p o- pues a clásica) o ni eles de espues a ( a ian e pos e i o men e in- oducida). Una ez delimi ado el núme o de pa icipan es en un es udio e alua i o (indi iduos sob e los que se in e iene), el e aluado debe á decidi si odos debe án o ma pa e o no de la co espon- dien e e aluación, o incluso incula es a decisión a dis in as ases del p oceso. Los p incipales a gumen os a a o de la inclusión del colec- i o comple o o de una mu e s a ep e s e n a i a del mismo son de índole me odológica (análisis de los e ec os en oda la cobe u a e l a i a a pe sonal), pe o ambién é ica, y, en ocasiones, polí ica. Así, si un cen o hospi ala io o ece una unidad de a ención psi- c o l ó gica a en e mos in a ados po segunda ez, y es mayo la demanda que el núme o de plazas que puede cub i el se i c i o , ¿se pod ía habla de un c i e io más «é ico» que o os?, ¿cab e, desde los p incipios é icos, ex ae una mu e s a ep e s e n a i a cuando odo el colec i o p esen a un mismo ipo de necesidad d e m a n d a d a ? No al an ampoco a gumen os pa a el es udio e a l u a i o de los e ec os de un p og ama en ases di e enciadas, de o ma que a un p ime análisis e ec uado de o ma nomo é ica le sigue un s egundo basado en el es udio de suje os indi iduales. La pe s- p e c i a idiog á ica, desde la expansión e incidencia ac ual de la P s i c o l ogía de las di e encias indi iduales, es á alcanzando una g an e l e ancia en la implemen ación y e aluación de p og a m a s sociales y sani a ios. Cada ez los p o esionales son más sensi- bles a la conside ación di e encial de suje os que po su aye c- o ia i ida (ci cuns ancias pe sonales, «e e n - l i e», a s gos de p e s o n a l i d a d, e c.), e q u i e en un análisis especí ico e indi i d u a- lizado de los e ec os de un de e minado p og ama de in e e n- ción. Pensemos en niños con a n s o nos compo amen ales en el aula y con his o ias de ida absolu amen e dis in as (He e o , 1989), o en en e mos con epe idos in a os que enían muy di- e en e ni el de calidad de ida (Tuse , 1990), o en in e nos pe- n i e n c i a ios que cumplen una condena de igual du ación a pa i de un his o ial pe sonal y delic i o comple amen e dis in o (Redondo, 1992), o en dep o is as que p esen an de e m i n a d a s p e c u l i a idades en sus ác icas de juego (He nández Mendo y An- g u e a, 1998). B. Tempo alidad del egis o (eje ho izon al) La con igu ación básica de los diseños pe mi e dis ingui en e egis o pun ual yseguimien o. El egis o pun ual pe mi i á eali- za un análisis de la si uación en un momen o dado en el iempo, mien as que el seguimien o implica dispone de un de e minado núme o de sesiones a lo la go del pe íodo de implemen ación del p og ama. El c i e io de empo alidad en el egis o pe mi e ene ambién en cuen a el pun o de pa ida (p e io, du an e, o después de la apli- DISEÑOS DE EVALUACIÓN DE PROGRAMAS: BASES METODOLÓGICAS 129 Pun ual Seguimien o Idiog á ico Nomo é ico cación de la in e ención, o, exp esado en o os é minos, de la im- plemen ación del p og ama), y el pe iodo de cobe u a en la eco- gida de da os (has a el in de la in e ención, seguimien os pun- uales pe iódicos has a un de e minado momen o, idem con un se- guimien o con inuo, e c.). Es muy ácil de a gumen a cuál es el óp imo o ideal, pa ien- do del p esupues o de la exis encia de ecu sos su icien es. E i- den emen e, desde an es del inicio de la in e ención, du an e el iempo que implique su pues a en p ác ica, y e ec uando un segui- mien o pos e io a medio o la go plazo que posibili e un análisis igu oso de los e ec os del p og ama. Aho a bien, las dis in as posibilidades que implica el ba aja es os elemen os, la necesidad de adecua se a ecu sos gene al- men e limi ados (Fienbe g y Tanu , 1987), y la p opia na u aleza de la in e ención, deben da luga a las decisiones ela i as al e- gis o (cómo, desde cuándo, has a cuándo, con qué pe iodicidad, con qué ga an ías en la o mación del pe sonal que pa icipa en la e aluación, e c.), en el más amplio sen ido del é mino (Blanco y Angue a, 1991). Fi n a l m e n e, se á con enien e dis ingui , en es e c i e io e l a- i o al ca ác e con inuo o disc e o del egi s o a lo la go del iempo, en e la e c ogida de da os ac uales (Plewis, 1985), y los e o s p e c i os (Holland y Rubin, 1988), como po ejemplo los e e idos a ma e ial de a ch i o, an o si se a a de da os censales o es adís icos, como de p o ocolos o in o mes pe sonales (au o- b i og á icos o ealizados po e c e as pe sonas), siemp e que se m a n e n ga la homogeneidad de los c i e ios seguidos en su e c o- gida y, en su caso, codi icación (como ca ego ías en un análisis de con enido de au oin o mes), y no en o pezca su u ilización el an ecuen e p o b lema de los «missing da a» (Li le y Rubin, 1 9 8 7 ) . C. G ado de in e ención o dominio sob e el con ex o de e aluación ( ecuad o in e io s. ex e io del ecuad o). A es as dos dimensiones se ha de inco p o a el e e en e del g ado de in e ención sob e la si uación. Hemos in en ado sim- boliza es a dimensión p esen ando un e c u a d o in e io en los ejes de la i g u a 1. Se p e ende ep esen a una supe posición de dos planos dis in os, de mayo a meno in e ención e s p e c i a- m e n e, dependiendo de si se es á más hacia el cen o o hacia el ex e io de dicho e c u a d o in e i o . Con el é mino in e e n c i ó n en la si uación hacemos e e encia a la na u alidad de la si ua- ción, es deci el g ado en que la elación de los suje os, usua i o s del p og ama, modi ican sus in e acciones na u ales con el me- dio. Po ejemplo, en un p og ama de na ación en la e c e a edad en que los pa icipan es ealizan habi ualmen e és a u o as ac i- idades dep o i as nos es a íamos e i iendo a un diseño de e a- luación de baja in e ención (es e p og ama es a ía ep e s e n a d o en la pa e ex e io del e c u a d o). En cambio si nos in e esase un diseño en el que un g upo de amilias ma ginales de una g a n ciudad han sido seleccionadas al aza y asignadas pos e i o m e n- e a pueblos con bajo núme o de habi an es de o as p o i n c i a s , p a a con ello disminui la p o b abilidad de que los hijos de es as amilias ealicen conduc as delic i as, se a a ía de un ipo de p og ama con un al o g ado de in e ención (es e p og ama es a- ía ep esen ado más hacia el in e io del e c u a d o cen al de la i g u a 1). El concep o de in e ención no es dico ómico, no podemos es- ablece que haya o no in e ención, se a a de un concep o de g ado. De hecho no end ía sen ido plan ea la no exis encia de in- e ención en an o que el p opio hecho de desa olla una e a- luación (con sis emas de egi s o, ins ucciones a los usua ios en su caso,…) supone una in e ención en sí misma. Los ni eles de i n e ención se pueden desglosa de di e sas o mas. La opción que de endemos en es e abajo dis ingue en e diseños de in e - ención baja y diseños de in e ención media-al a (pa e ex e i o o in e i o , e s p e c i m e n e , en el e c u a d o cen al de la i g u a 1). Se op a po es a dico omización de la g adación en el ni el de in- e ención po que pa ece cl a o cuáles pueden se los ex emos de es e eje bipola , las denominadas me odologías na u alis as y ex- p e imen ales, pe o una ez que nos aden amos en ese eó i c o c o n i nuo es di ícil es ablece c i e ios que nos delimi en los líme- es a pa i de los cuales e e imos a un ipo de me odología u o a. Más aún cuando en el ámbi o de la in e ención eal suelen se a ios los p ocedimien os u ilizados en un mismo p og a m a de e aluación. Desde es a a gumen ación, y ob iando que en la p ác ica e a l u a i a se suelen u iliza conjun amen e dis in os ipos de p ocedimien os, de una o ma simpli icada inclui íamos en los denominados diseños e a l u a i os de in e ención baja a los diseños obse acionales (diac ónicos, sinc ónicos y mix- os), e inclui íamos en los diseños e a l u a i os de in e e n c i ó n media-al a a los diseños de g upo con ol no equi a l e n e , de d i s c o n i n uidad en la eg esión y de se ies empo ales in e- u m p i d a s . A pesa de que hemos acabado desembocando en una in e e- san e discusión, que sin duda e q u i e e una mayo ex ensión en su a amien o, conside amos que la cues ión no adica an o en pode delimi a con p ecisión el g ado en que se es á in e i - niendo, sino más bien en ene lo p esen e y es udiado en lo po- s i bl e. Con ello se in en a á conoce que posibles uen es de a- iación es amos inco p o ando en los da os egi s ados. A pa i de es e análisis de allado pod emos dispone de más elemen os de juicio a pa i de los cuales a l o a el g ado de alidez de la i n o mación egi s ada, y a pa i de la cual se an a oma de- cisiones que en la mayo ía de los casos ienen una impo a n e ep e cusión social. A modo de e lexión inal En es e abajo se ha que ido en a iza que pa a el diseño de la e aluación de un p og ama nos basamos más en un c i e io de «plausibilidad» del conocimien o de la mayo pa e posible de a i ables que puedan implica amenazas a la alidez de la in o - mación. De ahí que los elemen os de diseños plan eados se basen po una pa e en es udia que posibles amenazas de alidez ex i s- en en el con ex o de e aluación, y po o a en in en a neu a l i- za o al menos minimiza sus e ec os en la mayo medida posi- bl e. Es a ci cuns ancia hace que la calidad de los diseños e a l u a- i os dependa de los es udios p e ios exis en es y de la sis ema- ización de las posibles amenazas a la alidez con las que nos po- demos encon a en los dis in os ámbi os de in e ención. En la m ayo pa e de los diseños de e aluación no exis e un mecanis- mo ómnibus como la asignación alea o ia que pueda neu a l i z a las amenazas a la alidez de una mane a di ec a. Po an o los c o n oles se han de basa en los e c u sos de los diseños plani i- cados di ec amen e ligados a la o bus ez de las eo ías y medidas u i l i z a d a s . SALVADOR CHACÓN MOSCOSO, Mª TERESA ANGUERA ARGILAGA Y JOSÉ LÓPEZ RUIZ 130 DISEÑOS DE EVALUACIÓN DE PROGRAMAS: BASES METODOLÓGICAS 131 R e e e n c i a s Allpo , G.W. (1942). The use o pe sonal documen s in psychological science. Nue a Yo k: Social Science Resea ch. Angue a, M.T. y Chacón, S. (en p ensa, a). Bases Me odológicas. En Angue a A gilaga, M.T. (Di .). E aluación de p og amas sociales y sani - a ios: Un abo daje me odológico. Mad id: Sín esis. Angue a, M.T. y Chacón, S. (en p ensa, b). Dimensiones es uc u ales de diseño pa a la e aluación de p og amas. Apun es de Psicología. A nau, J.; Angue a, M.T. y Gómez, J. (1990). Me odología de la in es - igación en ciencias del compo amien o. Mu cia: Se icio de publicacio- nes de la Uni e sidad de Mu cia. A o, M. (1991). In es igación en ciencias del compo amien o. I: Fun - damen os. Ba celona: P.P.U. Blanco, A. y Angue a, M.T. (1991). Sis emas de codi icación. En M.T. Angue a (Ed.), Me odología obse acional en la in es igación psicológica (pp. 193-239). Ba celona: P.P.U., Vol. I. C a ell, R.B. (1952). The h ee basic ac o analy ic e s e a ch designs – hei in e e l a ionships and de i a i es. P s y ch o l ogical Bulle in, 49,4 9 9 - 5 2 0 . Engel, J.D. (Ed.) (1992). Issues o me hodology in quali a i e inqui y [monog aphic numbe ]. Quali a i e Heal h Resea ch, 2 (4), núme o com- ple o. Fienbe g, S.B. y Tanu , J. (1987). The design and analysis o longi u- dinal su eys: Con o e sies and issues o cos s and con inui y. En R.F. Bo uch y R.W. Pea son (Eds.), Designing esea ch wi h sca ce esou ces. Nue a Yo k: Sp inge -Ve lag. He nández Mendo, A. y Angue a, M.T. (1998). Análisis de coo dena- das pola es en el es udio de las di e encias indi iduales de la acción de jue- go. En M.P. Sánchez y M.A. Qui oga (Coo ds.), Pe spec i as ac uales en la in es igación psicológica de las di e encias indi iduales (pp. 84-88). Mad id: Cen o de Es udios Ramón A eces. He e o, M.L. (1989). Incidencias de la his o ia pe sonal en el com - po amien o en el aula: Es udio obse acional analí ico. Tesis Doc o al no publicada. Ba celona: Uni e sidad de Ba celona. Holland, P.W. y Rubin, D.B. (1988). Causal in e ence in e ospec i e s udies.E alua ion Re iew, 12 (3), 203-231. Judd, C. y Kenny, D. (1981). Es ima ing he impac o social in e en - ions. Camb idge M.A.: Camb idge Uni e si y P ess. Kazdin, A. E. (1980). Resea ch design in clinical psychology. Nue a Yo k: Ha pe y Row. Kish, L. (1987). Su ey sampling. Nue a Yo k: John Wiley Li le, R.J. y Rubin, D.B. (1987). S a is ical analysis wi h missing da - a. Nue a Yo k: Wiley Nessel oade, J.R. (1988). Sampling and gene alizabili y: Adul de e- lopmen and aging esea ch issues examined wi hin he gene al me hodo- logical amewo k o selec ion. In K.W. Schaie, R.T. Campbell, W. Me e- di h & S.C. Rawlings (Eds.), Me hodological issues in aging esea ch (pp. 13-42). New Yo k: Sp inge . Nessel oade, J.R. (1991). In e indi idual di e ences in in aindi idual changes. In J.L. Ho n & L. Collins (Eds.), Bes me hods o measu ing change. Washing on: Ame ican Psychological Associa ion. Nessel oade, J.R. y He shbe ge , S.L. (1993). In aindi idual a iabi- li y: Me hodological issues o popula ion heal h esea ch. In K. Dean (Ed.), Popula ion heal h esea ch. Linking heo y and me hods(pp. 74-94). Lond es: Sage. Owen, J.M. y Roge s, P.J. (1999). P og am e alua ion. Fo ms and ap - p oaches. Lond es: Sage. Plewis, I. (1985). Analysing change. Measu emen and explana ion using longi udinal da a. Nue a Yo k: Wiley. Posa ac, E.J. y Ca ey, R.G. (1985). P og am e alua ion. Me hods and case s udies. Nue a Yo k: P en ice-Hall. Reason, P. y Lincoln, Y.S. (Eds.) (1996). Quali y in Human Inqui y (Special issue). Quali a i e Inqui y, 2 (1), whole numbe . Redondo, S. (1992). E alua e in e eni en p isiones. Ba celona: P.P.U. Smi h, G. & Can ley, C. (1985). Policy e alua ion: The use o a ied da a in a s udy o a psychoge ia ic se ice. In R. Walke (Ed.), Applied quali a i e esea ch (pp. 156-174). Alde sho : Gowe . Tuse , A. (1990). Análisis de las espues as al es de Ro schach de un g upo de suje os a ec ados de un p ime in a o de mioca dio. Tesis Doc- o al no publicada. Ba celona: Uni e sidad de Ba celona. Veney, J.E. y Kaluzny, A.D. (1984). E alua ion and decision making o heal h se ices p og am. Englewood Cli , N.J: P en ice Hall.