Validez de la evaluación en intervención psicosocial: un análisis metodológico

In e ención Psicosocial, 1998, Vol. 7, N.° 3 - Págs. 407-425 I N T E RVENCION PSICOSOCIAL 4 0 7 Validez de la e aluación en in e ención psicosocial: Un análisis me odológico. E alua ion alidi y in psychosocial in e en ion: a me hodological analysis. Sal ado CHACON MOSCOSO José LOPEZ RUIZ Uni e sidad de Se illa RESUMEN En el p esen e abajo se jus i ica la limi ación que supone en ende la alidez como p o - duc o de i ado de la pe spec i a expe imen alis a de diseño en el ámbi o de la e aluación de p og amas. Po con a, se plan ea la noción de alidez como un p oceso de in e e l a c i ó n e n e p og ama de in e ención y planes de e aluación, donde se p ecisa un e e en e cla o de in e ención enma cado en un con ex o y con la implicación di ec a de odos los pa ici - pan es en el p oceso e alua i o. Una aplicación de es a concepción de alidez se desc ibe esquemá icamen e en el p oceso de e aluación seguido en el Se icio de In ancia y Familia de la Dipu ación P o incial de Se illa. En la misma, y con obje o de po encia la u ilidad- ali - dez del p oceso e alua i o, a a és de eplicaciones sucesi as se log ó es uc u a un p o - g ama de in e ención-global álido pa a el conjun o de las comunidades in an iles que com - ponían el Se icio. PALABRAS CLAVE Validez, p og ama de in e ención, e aluación de p og amas. ABSTRACT This s udy jus i ies he limi a ion o apply he de ini ion o alidi y as a p oduc o he expe imen al pe spec i e o design in he con ex o p og am e alua ion. Ins ead, his pape in oduces he no ion o alidi y as an in e ela ional p ocess be ween he in e en ion p o - g am and he e alua ion plans. The necessi y o de ine a clea e e en o he in e en ion p og am and i s con ex , and o os e p ac i ione s in ol emen is also enhaced. An appli - ca ion o his alidi y no ion in he e alua ion p ocess o an In an Se ice is b ie ly desc i - INVESTIGACIONES APLICADAS Al e isa las dis in as concepciones exis- en es sob e e aluación de p og amas en in e ención psicosocial nos encon amos con una amplia di e sidad de plan eamien- o s ; a pesa de ello, como ac o común se obse a un én asis en la necesidad de ob ene una in o mación de calidad y ú il s o b e un de e minado p og ama de in e - ención pa a es ima el mé i o o alo de dicho p og ama (Aguila y Ande-Egg, 1992; Cohen y F anco, 1992; Ve d u n g , 1993; Fe nández del Valle, 1996). Un p o- ceso e alua i o álido consis e p e c i s a- men e en cómo ob ene una in o m a c i ó n de calidad sob e el p og ama de in e en- ción, y si se puede amplia o ex apola dicha in o mación más allá de la si uación en la que se desa olla la in e ención. Desde es a si uación, con obje o de apo a una isión comp ehensi a del es ado de la cues ión, en es e abajo se p esen a un análisis me odológico de la e aluación cen ado undamen almen e en la necesidad de ob ene in o m a c i ó n álida a lo la go de odo el p oceso e alua- i o en in e ención psicosocial. Es deci , la línea di ec iz de es e abajo es que median e un p og ama de e aluación se pe sigue ob ene in o mación de calidad s o b e un de e minado p og ama de in e - ención psicosocial. La idea de ob ene in o mación de cali- dad sob e un de e minado obje o ha de se aducida a da os sis emá icos y áli- dos ob enidos desde la me odología cien- í ica. En sín esis, al e alua se hab á de plan ea la ecogida de in o mación de una se ie de a iables p e iamen e deli- mi adas y medibles, a pa i de lo cual pode log a los e ec os deseados; po ejemplo, no se ía plan eable la e alua- ción del impac o de un de e minado p o- g ama de a ención a pe sonas de la e - ce a edad sin ene delimi adas las a ia- bles sob e las que hemos ac uado y los esul ados que espe amos ob ene (Medi- na, 1996). Median e el análisis me odológico que a con inuación se p esen a se especi ica- án aquellos elemen os que conside a- mos ele an es pa a el log o de la alidez en la in o mación e alua i a ob enida a lo la go de odo el p oceso de in e en- ción psicosocial. El obje i o inal es apo - a e e en es pa a el p o esional en in e ención a la ho a de op a po las dis in as a ian es que se le p esen an en el con inuo p oceso de oma de deci- siones ca ac e ís ico del medio social. Con odo ello, se plan ea án las implica- ciones sus an i as que es e ma co de análisis me odológico de la alidez e a- lua i a ha enido en el desa ollo de un p og ama de a ención a la in ancia, desa- ollado en los Se icios de In ancia y Familia de la Dipu ación P o incial de Se illa. Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 0 8 I N T E RVENCION PSICOSOCIAL bed. The aim o his applica ion was o allow a alid and use ul e alua ion p ocess. A he end, a e sucessi e eplica ions, a alid in e en ion and e alua ion p og am was desig - ned o he whole in an communi ies o he Se ice. KEY WORDS Validi y, in e en ion p og am, e alua ion p og am. Validez y e aluación de p og amas En es e p ime apa ado nos cen a e- mos en los plan eamien os de los p e c u - s o es y au o es más in luyen es en el con- cep o de alidez aplicado a la e aluación de p og amas de in e ención como son Campbell y S anley (1966), Cook y Camp- bell (1979), y C onbach (1982). A pa i del abajo o iginal de Campbell y S anley (op.ci .) se in odujo la dis inción e n e alidez in e na y ex e na, base en la que se sus en aban los modelos obje i is- as de los sesen a en los que se in e p e a - ba cómo la implan ación de un p o g a m a de in e ención p o oca ía un de e m i n a d o impac o social ( alidez in e na), así como la gene alización de ales impac os causa- dos po ales p og amas a o os con ex os de in e ención ( alidez ex e n a ) . P o s e i o men e Cook y Campbell (1979) s u b d i i d i e on las dos clases de alidez plan eando que se ealizan dis in os ipos de juicios; de es a o ma al es udia si dos a iables co a ían al y como ue on ope a- cionalizadas se es a ía plan eando la deno- minada alidez de conclusión es adís ica; po o a pa e, si dicha co a iación es cau- sal ha ía e e encia a la alidez in e na; al e e i se a la mane a en que debe ían e i- que a se las a iables de a amien o y esul ados ope acionalizadas, se plan ea ía la alidez de cons uc o; y inalmen e a qué pe sonas, con ex os y momen os se gene alizan las elaciones es udiadas ha ía e e encia la alidez ex e na. Es deci , los a u o es llama on la a ención sob e la necesidad de dis ingui en e el plano o - mal del análisis y el sus an i o de las eo í- as o plan eamien os que se usan pa a decidi sob e qué a iables incidi en los p og amas de in e ención. Po an o además de conoce si un p o- g ama ha enido un de e minado impac o ( alidez in e na) y si es e impac o puede gene aliza se o ex apola se a o as si ua- ciones ( alidez ex e na), es necesa io ene ce eza de que e ec i amen e se ha dado esa elación en e las a iables es udiadas (ni el o mal de análisis) y de que además se han elegido dichas a iables desde d e e minados plan eamien os (ni el con- cep ual) pa a pode ex apola los e s u l a- dos a si uaciones simila e s . P o s e i o men e, C onbach (1982) p o- puso un esquema de alidez al e n a i o basado en los elemen os que cons i uyen la in e encia que el in es igado desea ex ae del es udio. El au o dis ingue e n e unidades, a amien os, ope aciones de obse ación, y con ex o espacio- empo- al (con sus iniciales o ma el ac ónimo “u os”). Cada uno de es os elemen os los d i e encia en es ni eles dis in os, UTOS -población e e en e de dichos elemen os-, u os -mues a de dicha población-, y UTOS*-UTOS di e enciales a los que se p e ende gene aliza los esul ados del e s u d i o - . En es e esquema C onbach concibe la alidez in e na, de o ma simila a la ali- dez ex e na de Cook y Campbell, es deci las ans e encias de los u os a los UTOS. Po o a pa e en iende la alidez ex e n a como las implicaciones que se puedan ex ae ace ca de los *UTOS. El au o da mucha mayo impo ancia, en es e caso, a la alidez ex e na ya que en a iza que el p opósi o p ima io de la e aluación es se - i a las necesidades de los e s p o n s a b l e s de las omas de decisión, más que a los i n e s i g a d o es enca gados de ealiza el es udio (C onbach, 1982; Shapi o, 1982). A pa i de es os plan eamien os inicia- les nos encon amos con o os desa o l l o s en los que se in en aban p esen a una pe spec i a más global de la p o b l e m á i c a (Campbell 1986; Cook, Campbell y Pe a- chio, 1990; Cook y Shadish, 1994). En es a misma línea, en un in en o de sin e i- za las dis in as ipologías de alidez en una se ie de “a ibu os in eg ado es” han a p a ecido abajos como los de B inbe g y McG a h (1982) o el de Ma k (1986) donde plan ean como los ipos de alidez en a i- zan el p edominio de unos de e m i n a d o s Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 0 9 p incipios comunes -simili ud, co e s p o n- dencia, obus ez, alo y explici ación-. Se ía p olijo de alla el signi icado de cada uno de los é minos an e io es y en p inci- pio, debe bas a conoce que son elemen- os de alidez que pueden y deben es a p esen es en el con ex o de una in e en- ción y po an o, elemen os de e aluación de la alidez. Es a mul iplicidad de a ian es e s- ponden a una ealidad en la se ha dado una dico omización en e los es udios expe imen ales igu osos (basada unda- men almen e en el p incipio de manipu- lación de los agen es causales; Cook y Campbell, 1986) y o os ipos de es u- dios de supues o meno igo . Ello ha p o ocado un én asis en la alidez in e - na de los es udios expe imen ales unda- men almen e con in a alo ación de la alidez ex e na, pa a des aca en cambio es a úl ima o ma de alidez en el e s o de es udios donde se enma ca ía la e a- luación de p og amas de in e ención, en los que las amenazas de alidez in e - na son más ecuen es al ca ece del c o n ol que b inda la manipulación e x p e i m e n a l . Es e én asis en un ipo u o o de alidez ha p o ocado posiblemen e que los p o e- sionales de los dis in os ámbi os en in e - ención psicosocial cen a an su p e o c u - pación en de e minados “clichés” al e e- i se a la alidez e alua i a, lo que ha impedido a anza su icien emen e en el d e s a ollo de la alidez e alua i a como p oceso único. En el p esen e abajo en a izamos cómo las ca ac e ís icas del p oceso de e aluación de p og amas nos han de lle- a a maneja conjun amen e los a ibu- os globales mencionados an e io m e n - e, de al o ma que no se plan een los dis in os ipos de alidez como inamo i- bles, sino más bien que se de una in e- acción de dicha di e sidad con o me se aya desa ollando el p oceso de e alua- c i ó n . Elemen os de ini o ios de la alidez en e aluación de p og amas En es e apa ado p e s e n a emos los ele- men os que si an de pun o de e e e n c i a pa a el log o de la alidez en el desa o l l o de un p og ama de e aluación, in en ando undamen almen e no elega a un segun- do é mino los es udios no expe imen a- les, y poniendo de mani ies o como los obje os de es udio e alua i o pueden se an o concep os elacionales como a ia- bles aisladas. Un obje o de es udio puede exis i al m a gen del in es igado /e aluado , pe o no puede se conocido al ma gen de és e; de ahí que e e i nos a las ca ac e ís icas de los obje os de es udio de los in es iga- d o e s / e a l u a d o es equi ale a hace lo de lo que és os conside an como ales. Lo que o c u e en la ealidad social no es desc ip- ible sino según los concep os de e m i n a- dos, como los de los sociólogos, pedago- gos, economis as, educado es sociales, psicólogos, e c, de ahí que en una misma si uación puedan exis i di e en es in e - p e aciones, an as como concep os e e- en es u ilicemos. Al a a el ema de la alidez nos hemos es ado e i iendo a la ca ac e ís ica unda- men al de la ciencia que es la selección de concep os con el mayo g ado de co e c- ción posible, es deci con alidez. En é - minos globales el “mac oconcep o de ali- dez cien í ica” se e i e e, po an o, a la medida en que se de una co e s p o n d e n c i a de simili ud en e las ca ac e ís icas del concep o plan eado y los da os ob enidos s o b e dicho concep o. Dicha co e s p o n- dencia en el caso ideal se ía de iden idad ( M o eno, Ma ínez y Chacón, 1995). E alua con alidez la e icacia de un p og ama de a ención a disminuidos psí- quicos o de in eg ación social de inmi- g an es no e-a icanos, implica á ene delimi ado con cla idad el e e en e con- cep ual u ilizado po los p o e s i o n a l e s implicados en ambos p og amas de in e - Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 1 0 I N T E RVENCION PSICOSOCIAL ención psicosocial, pa a a pa i de dichos e e en es ecoge da os de los ámbi os de in e ención y analiza si se da iden idad o semejanza en e dichos da os y el e e en e plan eado. Con el plan eamien o de alidez e a l i z a- do se conside a que la alidez de un con- cep o es á elacionada con los da os o e i- dencias u ilizadas, o ice e sa. De es a o ma, no puede se conside ada al ma - gen de la co espondencia plan eada. Los concep os de e e encia y las e idencias no son álidos po sí mismos. Po an o la alidez de unas e idencias depende án del e e en e concep ual que u ilicemos, de ahí que dicha alidez dependa di e c a- men e del ni el de especi icación al que se haya llegado en la de inición del concep o e e e n e . La línea a gumen al desa ollada nos p e mi e en ende la ecuen e e c o m e n d a- ción en ciencia de que pa a ob ene da os álidos ha de delimi a se adecuadamen e lo que se desea es udia . Es deci , al y como lo hemos plan eado, que las e iden- cias ob enidas sean e p esen a i as ( ali- dez ex e na) y no p esen en con usiones ( alidez in e na) con espec o a los elemen- os de ini o ios del concep o de e e e n c i a . No obs an e, dada la complejidad de la mayo ía de concep os plan eados, es lógico en ende que no se pueda da segu idad absolu a a la alidez de un es udio po la p opia de inición ela i a del é m i n o . Llegados a es e pun o nos encon amos an e un bucle ce ado, es deci empeza- mos en a izando la necesidad de ob ene i n o mación álida pa a acaba ma izando que esas ga an ías de alidez no pueden es ablece se a no se que se es ablezca con ni idez el e e en e concep ual, y a su ez la alidez de dicho e e en e end á dada po su co espondencia con la in o - mación ob enida. Es e p oceso nos lle a al modelo en que se en a iza como la e alua- ción ha de es a guiada desde la eo ía (Chen y Rossi, 1987; Lipsey y Polla d , 1989; Chen, 1990). El log o de la alidez en e aluación de p og amas Al e alua un p og ama de in e ención hacemos e e encia al p oceso de ob en- ción de in o mación álida sob e un de e - minado p og ama de acción social, pa a el l o g o de los e ec os que se es imen opo u- nos. Básicamen e, un p og ama de in e en- ción psicosocial e p esen a un modelo en el que, as habe se es udiado la e a l i d a d obje o de in e ención, se han de cla i ica las posibles elaciones exis en es en e un conjun o de ac i idades y el log o de unos esul ados p ede inidos, conside ando unos medios disponibles ( an o humanos como ma e iales), según el pun o de is a de las pe sonas implicadas (ya sean polí i- cos, p o esionales, usua ios, ..., o un con- jun o de ellos), en el con ex o de in e en- ción es udiado y den o del ma co de algún plan eamien o eó ico -explíci o o no- (S uening y B e w e , 1983; Rossi y F eeman, 1985; He man, Mo is y Fi z- Gibbon, 1987). En ealidad, explici a en la mayo medi- da posible la “lógica” del p og ama se a- duce en el es udio inicial de los supues os que gobie nan la de e minación de una se ie de obje i os a cub i median e una se ie de ac i idades con unos an eceden es, ecu sos ma e iales y humanos de e m i n a- dos, es deci su undamen os eó icos. Es e hecho ha sido plan eado po algunos au o- es como la alo ación de la e aluabilidad del p og ama (Ru man, 1980; Wholey, 1987), es deci los equisi os mínimos a cumpli po un p og ama de in e ención pa a pode se e aluado. Po lo an o, al y como señala Bickman (1987) se hace nece- sa io el ene unos obje i os de inidos y medibles, así como la aducción del mode- lo de in e ención a una base lógica que jus i ique espe a de e minados e ec os de una se ie de ac i idades p e p o g a m a d a s . En de ini i a pa a pode llega a es ablece si un p og ama ha log ado los e ec os pe - seguidos se hab á de ene cla o a qué p o- Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 1 g ama nos es amos e i iendo (McClin och, 1 9 8 7 ) . Has a es e momen o es amos en a izan- do la necesidad de desc ibi un p o g a m a de in e ención-concep o de e e e n c i a - complejo, an o en la a iedad de ipos de a iables que con iene (de suje os, de medio o de ac o es u ilizados pa a e a l i z a la e aluación), como en la a iedad de posi- bles elaciones que se dan en e ellas. Ade- más, pa a llega a la delimi ación deseada del e e en e concep ual es necesa io consi- de a el complejo con ex o sociopolí ico que lo delimi a. De ahí que al e e i nos a un p og ama de in e ención, hab emos de de ini de igual o ma el con ex o en el que se enma ca, ya que no es posible en ende un p og ama al ma gen del mismo (Co - d ay, 1989; Pa on, 1989; Shapi o, 1989). Conside a un con ex o u o o implica- ía como esul ado un p og ama de in e - ención u o o (se de ini ían a iables dis- in as, aplicadas sob e dis in os suje os, en dis in as es uc u as o g a n i z a c i o n a l e s , median e o os p ocedimien os de imple- men ación adap ados al medio, e c.); po odo es o, como concep o de e e encia se debe con empla no sólo al p og ama en sí, sino ambién a su con ex o delimi ado , de ahí que el concep o de e e encia en un p og ama de e aluación ha de se aduci- do a un odo, in eg ado po el p o g a m a de in e ención y el con ex o en el que se i n s e a . Llegados a es e pun o conside amos ele an e esal a cómo, en an o que un p og ama de e aluación consis e en el diseño de una se ie de es a egias di igidas a la ob ención de in o mación álida ace - ca de un p og ama de in e ención enma - cado en su con ex o delimi ado , es nece- sa io ene ce eza de que e ec i amen e dicho e e en e concep ual (p o g a m a - c o n - ex o) es á siendo implemen ado al cual ha sido concep uado, ya que de o a o m a no hab ía segu idad alguna de que la i n o mación ecogida e p esen e a dicho p og ama de in e ención e e en e (Schei- e , 1987; Shalock y Tho n on, 1988; Cha- cón, López Ruiz y Pé ez Gil, 1995). Ello p e ende pone de mani ies o cómo el equilib io p e endido en e el p o g a m a diseñado y el p og ama ealmen e ejecu a- do e implemen ado se cen a básicamen e en los suje os o implicados en la e a l i z a - ción, diseño e implemen ación del p o g a- ma desde el momen o inicial en que se empieza a plan ea el p og ama de in e - e n c i ó n . Po an o, y de acue do con lo plan eado espec o a la delimi ación del “p o g a m a - con ex o”, además de log a una delimi a- ción concep ual cla a del p og ama de in e ención, se ha de po encia que odos los pa icipan es en dicho p og ama (en an o elemen os implicados an o en el p o- g ama) asumen el diseño plan eado, pa a con ello acili a en la mayo medida posi- ble la álida implemen ación de lo p o g a- mado. Es e úl imo a gumen o es el que lle a de una o ma bas an e gene al a asu- mi que oda e aluación debe ene p e s e n- e los dis in os agen es ele an es en el p o- g ama de in e ención, lo cual se puede aduci a la u ilización que se ealiza de los esul ados (Vedung, 1993; 1995). En sín esis y an es de pasa a desc ibi las implicaciones que es e análisis me odo- lógico de la alidez ha enido en una aplica- ción conc e a, con iene en a iza la idea d e s a ollada an e io men e de que la alidez debe concep ualiza se como p oceso en la i n e elación en e p og amas de in e en- ción y planes de e aluación donde se enga una delimi ación concep ual cla a de lo que se es udia, de las ope aciones del diseño y de la implicación de los pa icipan es. VALIDEZ DE LA EVALUACIÓN DE UN SERVICIO DE ATENCIÓN A LA INFANCIA DESDE UN MARCO METODOLÓGICO DE ANÁLISIS Seguidamen e, al y como se anunció en la in oducción del abajo, se plan ea án Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 1 2 I N T E RVENCION PSICOSOCIAL las implicaciones sus an i as que el análi- sis me odológico de alidez en el p o c e s o e alua i o ha enido en el desa ollo de un p og ama de a ención a la in ancia en los Se icios de In ancia y Familia de la Dipu- ación P o incial de Se illa. Es e abajo de campo se ealizó en el ma co de un Con enio de Colabo ación es ablecido e n e la Dipu ación P o incial de Se illa y la Uni e sidad de Se illa. Una b e e desc ipción del Se icio. En é minos gene ales, el Se icio de In ancia pod ía desc ibi se como un se i- cio social especializado dependien e de la Dipu ación P o incial dedicado al acogi- mien o y a ención de niños sin hoga a m i l i a . Es e se icio cuen a con un con- jun o de comunidades in an iles dis ibui- das po dis in os pueblos de la p o i n c i a de Se illa. Además del pe sonal adminis- a i o, el se icio de in ancia cuen an con una di ección, enca gada undamen al- men e de es ablece las di ec ices de a- bajo emanadas desde la Dipu ación P o- incial, que pos e io men e ejecu a el “ c o o dinado ” de comunidades in an iles, e n c a gado de o ganiza las ac uaciones de las comunidades siguiendo ales di e c i- ces, y po úl imo un g upo de écnicos (una pedagoga, es psicólogos, dos aba- j a d o es sociales) enca gados de aseso a y apoya el abajo de las comunidades. Las comunidades in an iles pod ían de ini se como pequeños núcleos de con- i encia pa a meno es con una p o b l e m á- ica socio- amilia g a e y con unas pe s- pec i a de es ancia p olongada en el iem- po (Pe al, 1994). El obje i o gene al que se pe sigue en las comunidades es la uel a del meno a su medio, do ándole de e c u - sos pa a su desa ollo y au onomía pe so- nal, po enciándose con ello una adecuada in eg ación social, e incluso la au onomía pe sonal si se die a el caso. La p o c e d e n- cia de los meno es, con “necesidad de p o- ección” po pa e de la adminis ación pública, acogidos po el Se icio de In an- cia es p incipalmen e la p o incia de Se i- lla y p o incias colindan es. Cada comuni- dad in an il se compone de un g upo de e d u c a d o es y amas de hoga coo d i n a d o s po un esponsable de la unidad, enca g a- do de las comunicaciones Co m u n i d a d - Se icio de in ancia, además de la coo d i - nación in acomunidad. Fases del p oceso e alua i o d e s a o l l a d o Delimi ación de los obje i os e alua i os ( e e en e concep ual) En el p ime con ac o con el se icio de in ancia, al solici a documen ación sob e las in e enciones en ejecución, nos encon amos con que no exis ía in o m a - ción o malmen e es uc u ada de los p o- g amas de in e ención en desa ollo en las dis in as comunidades in an iles. Siguiendo los c i e ios desde los que se es ablece la e aluabilidad de un p o g a m a (Ru man, 1980; Wholey, 1987, Fe n á n d e z B a l l e s e os, 1995) se debe ía habe desis- ido del in en o de e alua el Se icio, al no dispone se del mínimo indispensable, es deci un p og ama de in e ención sis- emá ico p e iamen e plani icado que haya sido implemen ado siguiendo ese diseño p e io. Es e plan emien o de al a de e aluabili- dad es aplicable a un ipo de e aluación inal o de esul ados. Lógicamen e esa se ía la si uación ideal en cualquie ámbi o de in e ención comuni a ia, pe o el caso des- c i o no impide necesa iamen e desa o l l a una e aluación con alidez en an o que, la e aluación no ha de se en endida de o m a exclusi a como la ase inal de ecogida de una se ie de da os pa a alo a los e s u l a - dos ob enidos po el p og ama implemen a- do. Más bien el p oceso e alua i o supone un desa ollo pa alelo al p og ama de in e - ención que lo complemen a y op imiza median e el apo e con inuo de una in o - mación álida du an e el p oceso mismo de in e ención (Conne , 1984; Chacón y López Ruiz, 1993, 1995). Po odo ello, la Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 3 casuís ica desc i a se puede con empla como una de las posibles exis en es en el p oceso e alua i o, es deci la e aluación de la concep ualización y diseño de un p o- g ama. Desde es a ealidad, el obje i o plan ea - do en el abajo ue el desa ollo de una e aluación de la concep ualización y del diseño de un p og ama de in e ención glo - bal álido pa a el conjun o de comunidades in an iles, y po an o que espondie a a las ac uaciones ya en ejecución en las dis - in as comunidades, con obje o de po en - cia la u ilidad- alidez del p oceso e alua i - o, siguiendo el modelo de pa icipación de los implicados de Vedung (1993) (conocido a eces como el modelo sueco de e alua - c i ó n ) . Con obje o de po encia la pa icipación de odos los implicados en la delimi ación del e e en e e alua i o plan eamos dos a eas. Po un lado, ecoge y analiza i n o mación en dos p o ocolos, de ipo abie o, ace ca de dis in as á eas globales de abajo; y po o o lado se con o mó un g upo nominal de abajo, en el que se deba ie a y consensua an los elemen os comunes de los p og amas de abajo en d e s a ollo en las dis in as comunidades desde los c i e ios de dichos p o e s i o n a l e s . El empeza a delimi a los obje i os e a- lua i os desde la in o mación ecogida en ales e g i s os se basa en el p incipio de u ilidad- alidez plan eado an e io m e n e . Es deci , el omen o de la pa icipación de los implicados en el p oceso de in e en- ción-e aluación pa e del conocimien o de cuáles son las ac uaciones ealmen e en ejecución en el Se icio. Es e da o es de g an in e és ya que aunque se omen e la pa icipación de odos los implicados, con obje o de log a una e ec i a implemen a- ción de lo p og amado, es a pa icipación se uel e más comp ome ida al dispone - se de in o mación e e en e de las in e - enciones ealmen e en ejecución, de al o ma que se acili a el diseño de un p o- g ama de in e ención-e aluación ajus a- do a la ealidad y no un me o documen o o mal más que se ha de cumplimen a . Una ez analizada la in o mación sob e las á eas globales de in e ención, se con- o mó un g upo nominal de abajo en el que se consensua an los elemen os comu- nes de los p og amas de abajo en desa- ollo en las dis in as comunidades del se - icio (El g upo nominal es un “mé odo pa a es uc u a pequeños g upos de a- bajo que pe mi e una e ec i a ag upación de juicios indi iduales y que se suele u ili- za en si uaciones en las que se da un al o g ado de ince idumb e o desacue do ace - ca de la na u aleza de un p oblema y sus posibles soluciones”; Moo e, 1987; p.24). Dicho g upo es u o compues o po los c o o d i n a d o es de las dis in as comunida- des in an iles y los écnicos del Se icio cen al, mode ado po el p ime au o del p esen e abajo. Se decidió da es a con- o mación a los g upos de abajo debido a que es as pe sonas e p esen aban los ele- men os dinamizado es de posibles cambios en la es uc u a de uncionamien o del Se - icio, y al mismo iempo disponían de in o - mación idedigna de las ac uaciones e a l- men e desa olladas en las comunidades, uncionando como po a oces de las posi- bles necesidades exis en es en los dis in os ámbi os de ac uación del Se icio. En es a p ime a ase po an o, se en a- izó a los miemb os esponsables del Se - icio cómo la alidez de dicho p o g a m a global de in e ención se sus en a en la pa icipación de los implicados en el p o- ceso de in e ención (Weiss, 1983; B an- don, New on y Ha man, 1993); en de ini i- a los esul ados ob enidos se án álidos en an o ú iles en las in e enciones en ejecución (Pa on, 1989; Vedung, 1995). Una ez plan eado y consensuado dicho obje i o gene al, cada uno de los miem- b os del g upo hacía una exposición del abajo que se enía desa ollando en su comunidad conc e a, pa a pos e io m e n e pasa a deba i y consensua en el g upo los elemen os comunes de los p o g a m a s Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 1 4 I N T E RVENCION PSICOSOCIAL de abajo en desa ollo en las dis in as comunidades, que al mismo iempo se conside asen ele an es en una p ime a a p oximación al mencionado p og ama de in e ención global álido pa a el Se icio en su conjun o. Como esul ado de es as sesiones de abajo se plan ea on una se ie de obje i os globales y especí icos a con empla en el p og ama ma co de in e ención pa a el Se icio al comple o, y que se ía omado como e e en e pa a el diseño de las in e enciones pa icula e s con cada meno . An es de pasa a desc ibi la e aluación de la alidez de dicho p og ama ma c o m e ece la pena ealiza una se ie de comen a ios p e ios. En p ime luga esal a que el diseño de los obje i os del p og ama se basa en la p ác ica que un g upo de p o esionales enía e a l i z a n d o an es de plan ea se el p oceso de e alua- ción (al llega al se icio no exis ía in o - mación o mal de las ac uaciones en desa- ollo). El modelo eó ico en el que se basa el diseño del p og ama de e aluación es el modelo de e aluación basado en la pa ici- pación de los implicados (Vedung, 1993), a c o de con el abajo de B andon, New on y Ha man (1993). El plan eamien o dise- ñado se basa en los p incipios de alidez expues os. Es o es, an es de plan ea una al e ación en las ac uaciones ya imple- men adas de acue do con algún modelo eó ico de e minado, es necesa io e alua con el mayo g ado de alidez posible lo que se es é implemen ando, y pa a ello se hace necesa io la pa icipación de los implicados, en an o son concocedo es de las ac uaciones que ealmen e se lle an a c a b o . E aluación de la alidez del p o g a m a m a co de in e ención en las dis in as comunidades in an iles. El es udio de la alidez del p o g a m a m a co diseñado suponía es udia en cada comunidad si e ec i amen e dicho p o g a- ma de in e ención ecogía odos los ele- men os globales de sus in e enciones, y si además había sido concep ualizado de la misma mane a. Po o a pa e, se hacía necesa ia la elabo ación de algún sis ema de e g i s o e p esen a i o de dicho p o g a - ma global, en an o se p e endía dispone de da os e e idos a la implemen ación del p og ama en cada comunidad que pudie- sen se ag upados y compa ados (en an o e e en es a un mismo p og ama de in e - ención, pe mi iéndose con ello una posi- ble iangulación c uzada en los da os). En es e sen ido, nues o diseño de e a- luación pa ió de una concepción no no - ma i a de diseño e alua i o (Angue a, 1992, 1995) al se en endido como el p o- ceso global de in e ención-e aluación y no como algunas pa es conc e as de dicho p oceso, de ahí que plan eemos el concep o de e aluación como un con inuo, es deci , un p oceso ecu si o de diseño/implemen- ación del p og ama y ecogida con inua de da os que lo modula. Tomando como e e en e la e aluación de la concep ualización y diseño del p o- g ama ma co, el p esen e abajo ambién a b o dó el p oblema de la e aluación de la implemen ación coo dinada de dicho p o- g ama global en las dis in as comunida- des (en an o puedan in eg a se las ac ua- ciones pa icula es de cada comunidad en dicha es uc u a global de in e ención), así como una e aluación del log o de los obje i os globales p ede inidos ( e s u l a d o s ob enidos), median e sis emas de e g i s o s álidos a ni el del Se icio en su conjun o ( C o n n e , 1984). An es de pasa a desc ibi y a g u m e n a las ases del diseño ejecu adas, conside a- mos ele an e esal a que la inalidad del abajo, como log o de alidez, se basaba en el consenso an o en la delimi ación de los obje i os globales y especí icos de a- bajo en dis in os con ex os de in e en- ción (dis in as comunidades in an iles ubicadas en dis in os pueblos de la p o- incia de Se illa), como en su co e s p o n - Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 1 5 Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 2 2 I N T E RVENCION PSICOSOCIAL 44. Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 2 3 ANEXO 3. Ni eles globales alcanzados en los p og amas y subp og amas diseñados po el se icio en su conjun o Validez de la e aluación en In e ención Psicosocial: Un análisis me odológico. 4 2 4 I N T E RVENCION PSICOSOCIAL Aguila , M.J. y Ande -Egg, E. (1992). E a l u a c i ó n de se icios y p og amas sociales. Mad id: Siglo X X I . Angue a, M.T. (1992). Diseños diac ónicos en p o- g amas de in e ención. Bo dón, 43 (4), 421- 429. Angue a, M.T. (1995). Diseños. En R. Fe nández Balles e os (Ed.) E aluación de p og amas. Una guía p ác ica en ámbi os sociales, educa i os y de salud (pp.149-172). Mad id: Sín esis. Bickman, L. (1987). The unc ions o p og am heo y. En L. Bickman (Ed.) Using p og am heo y ( p p . 5 - 1 9 ) . San F ancisco: Jossey-Bass. B andon, P.R.; New on, B.J. y Ha man, J.W. (1993). Enhancing alidi y h ough bene icia ies’ equi able in ol emen in iden i ying and p io i izing homeless child en’s educa ional p oblems. E alua ion and P o - g am Planning, 6, 287-293. B inbe g, D. y Mcg a h, J.E. (1982). A ne wo k o alidi y concep s wi hin he esea ch p ocess. En D. B inbe g y L.H. Kidde (Eds.) Fo ms o alidi y ese - a c h (pp. 5-21). San F ancisco: Jossey-Bass. Campbell, D.T. (1986). Relabeling in e nal and ex e - nal alidi y o applied social scien is s. In W. T o- chim (Eds.) Ad ances in quasi-expe imen al design and analysis (pp. 67-78). San F ancisco: Jossey- B a s s . Campbell, D. y S anley, J. (1966). Expe imen al and quasi-expe imen al designs o esea ch. Chicago: Rand Mcnally Company. Chacón Moscoso, S. y López Ruiz, J. (1993). Me odo- logía de la e aluación de p og amas de in e ención: una aplicación en cen os asis enciales in an iles. Apun es de Psicología, 37, 41-60. Chacón Moscoso, S. y López Ruiz, J. (1995). Me odo- logía de la e aluación de p og amas de in e ención: una aplicación en cen os asis enciales in an iles (II). Apun es de Psicología, 45, 69-89. Chacón Moscoso, S., López Ruiz, J y Pé ez Gil, J.A. (1995, Ab il) Validez de la e aluación en in e ención s o c i a l. T abajo p esen ado al IV Symposium de Me o- dología de las Ciencias del Compo amien o. La Manga del Ma Meno . Mu cia. Chen, H. (1990). Theo y-d i en e alua ions. London: S a g e . Chen, H. y Rossi, P.H. (1987). The Theo y-d i en app oach o alidi y. E alua ion and P og amm Plan - n i n g, 10, 95-103. Cohen, E. y F anco, R. (1993). E aluación de p oyec - os sociales. Mad id: Siglo XXI. Conne , R.F. (1984). The a o implemen a ion. En L. Ru man (Ed.), E alua ion esea ch me hods: a basic guide (pp.191-218). Be e ly Hills, Cali o nia: Sage. Cook, T. y Campbell, D. (1979). Q u a s i - e x p e i m e n a - ion. Desings and analyses uses o ields se ings. Bos on: Hough on Mi lin. Cook, T. & Campbell, D. (1986). The causal assump- ions o quasi-expe imen al p ac ice. S y n h e s e, 28, 1 4 1 - 1 8 0 . Cook, T.D., Campbell, D. & Pe acchio, L. (1990). Quasi-expe imen a ion. In M.D. Dunne e, L.M. Hough (Eds.) Handbook o Indus ial and o ganiza io - nal psychology (pp.491-576). Palo Al o, CA: Consul . Psychol. P ess. Cook, T.D. & Shadish, W.R. (1994). Social expe imen- es: some de elopmen s o e he pas i een yea s. Annual Re iew o Psychology, 45, 545-580. Co d ay, D.S. (1989). Op imizing alidi y in p og am esea ch: an elabo a ion o he Chen and Rossi’s he- o y-d i en app oach. E alua ion and P og am Plan - n i n g, 12, 379-385. C onbach, L. (1982). Designing e alua ions o educa io - nal and social p og ams. San F ancisco: Jossey-Bass. Fe nández-Balles e os, R. (Ed.) (1995). E aluación de p og amas. Una guía p ác ica en ámbi os sociales, educa i os y de salud. Mad id: Sín esis. Fe nández del Valle, L. (1996). Roles y es a egias en e aluación de p og amas. In e ención Psicosocial, 14, 9 - 2 1 . He man, J.L; Mo is, L.L. y Fi z-Gibbon, C.T. (Eds.). (1987). P og am e alua ion ki (2ª Edic.). Be e ly Hills: Sage Publica ions. (9 Vols.). Lipsey, M.W. y Polla d, J.A. (1989). D i ing owa d heo y in p og am e alua ion: mo e models o choo- se om. E alua ion and P og am Planning, 12, 317- 328. Ma k, M.M. (1986). Validi y ypologies and he logic and p ac ice o quasi-expe imen a ion. En M.K. T o- chim (Ed.). Ad ances in quasi-expe imen al design and analysis (pp. 47-67). San F ancisco: Jossey- Bass. McClin ock, C. (1987). Concep ual and ac ion heu is- ics: ools o he e alua o . En L. Bickman (Ed.) Using p og am heo y(pp.43-58). San F ancisco: Jos- s e y - B a s s . BIBLIOGRAFIA Medina To ne o, M.E. (1996). E aluación de la cali- dad asis encial en se icios sociales. In e ención Psi - c o s o c i a l , 14, 9-21. Mo eno Rod íguez, R.; Ma ínez Ce an es, R.J. y Chacón Moscoso, S. (1995). Fundamen os de me odo - logía cien í ica. Apun es de clase no publicados. Moo e, C.M. (1987). g oup echniques o idea buil- ding. Newbu y Pa k, C.A.: Sage Palumbo, D.J. (Ed.) (1987). The poli ics o p og am e a l u a i o n. London: Sage. Pa on, M.Q. (1989). A con ex and bounda ies o a heo y-d i en app oach o alidi y. E alua ion and P og am Planning, 12, 375-377. Pe al, R. (1994). Las comunidades in an iles: un ecu so socio-educa i o pa a meno es en di icul- ad social. Los Se icios Sociales en la P o incia de Se illa. Re is a in o ma i a del A ea de Asun os Sociales de la Dipu ación P o incial de Se illa, 2 , 8 - 1 3 . Rossi, P.H. y F eeman, H.E. (1985). E alua ion: a sys - ema ic app oach (3ª Edic.). Be e ly Hills: Sage Publi- c a i o n s . Ru man, L. (Ed.) (1980). E alua ion esea ch me - hods: a basic guide. Be e ly Hills, Cali o nia: S a g e . Schei e , M.A. (1987). P og am heo y and implemen- a ion heo y: implica ions o e alua o s. En L. Bick- man (Ed.) Using p og am heo y (pp.59-76). San F ancisco: Jossey-Bass. Shadish, W.R.; Cook, T. y Le in on, L. (1991). F o u n - da ions o p og am e alua ion. New Yo k: Sage Publi- c a i o n . Shapi o, J.Z. (1982). E alua ion as heo y es ing: an example om head s a . Educa ional E alua ion and Policy Analysis, 4, 341-353. Shapi o, J.Z. (1989). Con ex ual limi s on alidi y a ainmen : an a i icial science pe spec i e on p o- g am e alua ion. E alua ion and P og am Planning, 1 2, 367-374. Sech es , L. y Figue edo, A.J. (1993). P og am e a- lua ion. Annual Re iew o Psychology, 44, 645-674. S uening, E.L. y B ewe , M.B. (Eds.)(1983). H a n d b o - ok o e alua ion esea ch. London: Sage. Vedung, E. (1993). U ilización de la e aluación. R e i s - a de Se icios Sociales y Polí ica Social,2, 69-80. Vedung, E. (1995). U ilización de la e aluación de p og amas. En R. Fe nández Balles e os (Ed.) E a l u a - ción de p og amas. Una guía p ác ica en ámbi os sociales, educa i os y de salud. (pp.321-338). Mad id: S í n e s i s . Weiss, C.H. (1983). The s akeholde app oach o e a- lua ion: o igins and p omise. En A.S. B yk (Ed.) S a - keholde -based e alua ion (pp. 3-14). San F ancisco: J o s s e y - B a s s . Wholey, J.S. (1987). E aluabili y assessmen : de e- loping p og am heo y. En L. Bickman (Ed.) Using p og am heo y (pp. 77-93). San F ancisco: Jossey- Bass. Sal ado Chacón Moscoso y José Lopéz Ruiz. I N T E RVENCION PSICOSOCIAL 4 2 5