Un modelo con información incompleta : aplicación al control de calidad

Pub . Ma . UAB Nó 17, Feb e 1980 Un modelo con in o mación incomple a : aplicación al con ol Resumen En la aplicación de modelos de decisión ma ko ianos se igno a a eces el es adoconc e oen que se encuen a el sis ema, y se dispone únicamen e de da ospa ciales en o ma de una dis ibu- cionde p obabilidad en el espacio de es ados . Talesp ocesos ma ko ianos con in o mación incomple a se pueden as o ma en p ocesos con in o macióncomple a y disc e iza el espacio de es ados (in o maciones) esul an e . As! se consiguen calcula po ap oximación las decisiones óp imas . El mé odo se ilus a con un modelo pa a el con ol de calidad con op imación de la polí ica de p oducción y con ol . § 1 In oducción de calidad F . Beni o,IFOR-ETH Zü ich En la p oducción en se ie se suele admi i que la calidad del en un pe iodo depende del es ado de la maquina ia p oduc o, y queese es ado puede a ia de un debido a pe u baciones alea o ias . Si se conside disc e o de posibles es ados de la ins alación y ep esen a esas lo e p oducido que elabo a el pe iodo a o o a un espec o de calidades de los lo es p oducidos, se pueden a iaciones po medio de una cadena de Ma ko . Los es de calidad del p oduc o son en muchoscasosinexac os y alea o ios, de modo que la calidad ac ual en cada pe iodo no se puede de e mina conuna ce eza del 100% . Es ainsegu idadno se e leja en los modelos usuales, y es o implica amenudo una inadmisible simpli icación de la ealidad . En caso de a ios mé- odos posibles de con ol de calidad, se plan ea as! mismo la p egun a : cuál se debe emplea en cada pe iodo, pa a consegui un comp omiso bp imoen e el cos o del es y el alo de la in o maci3n que p opo ciona ? . P ecisemos con un ejemplo . § 2 Un ejemplo En una áb ica de mo o es eléc icos nidades de un de e minado modelo po calidad es anda d o no . Un 'buen' ejempla ieneun en a de 10 Mio . y uno 'malo' sólo de 5 Mio . La ma e- cues a 1 Mio . po mo o . Hay dos modos de p oduci : simplemen e p oduci (y la calidad del p oduc o se á no supe io a la del pe iodo an e io ) o, p ime o e isa la ins álación y después p oduci (pa a mejo a la calidad con espec o al pe io- son espec i amen e los mo o es p oducidos, canza la p eciode ia p ima do an e io ) . Los cos os po pe iodo Mio . Se puedensome e a p uebas cues a 0,2 Miopo mo o . Se buscahace máxima la suma de las del 1% mensual . La p oducción mensual se puedeca ac e iza po el nume o de mo- o es que no alcanzan los eque imien os es anda d : . 0, 1, 2 mo o e oluciona de un mes es a es 'malos' . Supongamos que la p oducción al siguien e de acue do con una cadena de Ma ko con es dos, dos acciones y las p obabilidades de ánsi o : pesados se p oducen dos u- mes . Cada mo o puede al- 1 y 9 lo que ganancias con un descuen o Tabla 1 P obabilidades de ánsi o en caso de p oduci Tabla 2 P obabilidades de ánsi o con e isiónp e ia Las ganancias dependen, en e o os ac o es, de los gas os pa- a p oba los mo o es p oducidos . Hay po an o que decidi am bién a es e espec o . Si un mes se decide p oba un solo mo o , se desconoce á el es- ado de la cadena de Ma ko co espondien e a la p oducción de ese mes . Seg i1n el esul ado de la p ueba se puededesca a uno de los es adosex emos (ambos mo o es buenos o ambos malos), y en gene al se ienen las siguien es p obabilidades condiciona- les ace ca del esul ado de la p ueba P oduci Núme ode mo o es 'malos' en el pe iodo +1 0 1 2 00 .64 0 .32 0 .04 Nilme o de mo o es 'malos' en el 12 1 0 .08 0 .74 0 .18 pe iodo 0 .01 0 .18 0 .81 Re isa Nilme o de mo o es 'malos' en el pe iodo +1 0 1 2 0 0 .64 0 .32 0 .04 Nilme o de mo o es 'malos' en el 12 1 0 .56 0 .38 0 .06 pe iodo 0.49 0 .42 0 .09 En casode p oba un solo mo o enemos un modelo de decisión ma ko iano con in o mación incdmplé á : no se conoce el es ado del sis ema, sino que se obse aindi ec amen e con un mé odo de e minado . 28 Tabla 3 P obabilidades de los esul ados posibles, p obando un solomo o Si en cada pe iodo se puedeelegi lib emen e uno de los es mé odos de obse ación (p oba 0, 1, 2 mo o es) se a a de un modelo de decisión ma ko ianogene alizado . Haylas siguien es seis acciones mix as : p oduci e isa p oba dos mo o es p oba un mo o no p oba los mo o es Las ganancias inmedia as son : ganancia en un pe iodo =p ecios de en a de los mo o es p oducidos - gas os de p oducción y má e iasp imas - impo e de las p uebas . Pa a los mé odos de obse ación igen las siguien es p obabili dades condicionales : Tabla 4 P obabilidades de los esul adosposiblesp obando losdos mo o es p oducidos (2) Resul ado de la p ueba bueno malo 0 1 . 0 . Name o de mo o esmalos en la o oducción del mes 1 0 .5 0 .5 2 0 . 1 . (3) Resul adode la p ueba 0 malos 1 malo 2 malos 0 1 . 0 . 0 . Es ado : nilme o de mo o esmalos en 1 0 . 1 . 0 . la p oducción del 2 0 . 0 . 1 . mes Tabla 5 El caso de no p oba los mo o es equi ale a ob ene un esul ado ic icio que no depende del es ado del sis ema Si se decidep oba sis emá icamen e los dos mo o es p oduci- dos se ob iene como caso pa icula un modelo con in o mación comple a . Si no se p ueban mo o es es un modelo sin in o mación . La Fig . 1 ep esen a el uncionamien o del sis ema, incluida la p ueba de mo o es . Fo malicemos es asconside acionesen un modelo abs ac o ( id . (2) ) . § 3 Modelos de Decisión Ma ko ianos con In o mación Incomple a El MDM-II del ejemplo se ca ac e iza conlos siguien es pa áme- os : [Z, E, B, P, M b ~ Q b ~ . TO Z =espacio de es ados  o = (0,1,2mo o es malosen la p oducción del mes} ; se designa áncon z = 1, 2, 3 E = espacio de acciones _ { p oduci , e isa ; es as acciones se designa án con e = 1, 2 B=espacio de los mé odos de obse ación = {no p oba mo o es, p oba 1 mo o , p oba 2 mo o es} ; se designa án con b = 1, 2, 3 Resul ado de la u ueba 0 0 1 . Es ado : núme o de mo o es malos en la n educcic)n 11 . del mes 2 1 . P = ley de mo imien o j e  e = lpz'z  ~ ; pz , z  = p obabilidad del ánsi o z'- _-z" cuando se elige la acción e 4 E . Vid . Tablas 1 y 2 pa a e = 1, 2 espec i amen e M b= conjun o de los ' esul ados posibles de la obse ación con el mé odo b 4 B En el ejemplo pa a b = 2 (p oba un mo o ) es M 2 = {bueno, malo} ; analogamen e pa a b=1 o 3 Q b = ley de obse ación con el mé odo b { B = I q b (m b 1 z) }  ;  q b (m b i z)  = p obabilidad de ob ene el esul ado m b{ Mb al obse a con el mé odo b B, si el es ado e olución comienzo del mea -- - e ecución de la . declalones . . . . . . .- Bojo de los da os Ina alacldn e olución Na ede p~oducclón = es z{Z ( id . ablas 3, 4, 5) 90 = in o mación inicial = {w O (1), p 0 (2), 9P O (3)) ;dis ibución de p obabilidaden Z : cp 0 (z) = p obabilidad de que al comienzo del p ime pe io- el es ado sea z { Z gananciainmedia a (z,e,b) = p ecio de en ade la p oducción de menos los gas os'dep oducción y ma e ia p ima ción e + E y menos el impo e de las p uebas b abla 6) Tabla 6 = ac o de descuen o (O< 0 <1) = alo ac ualde la can idad de dine o unidad a anscu ido un pe iodo (0 .99) La unción obje i oa op ima (maxima ) en cia el MDM-II es : E[ Z 0 . (z,e,b)' = espe anza ma emá ica =0 o al con descuen o y ho izon e ilimi ado . calidad z, con la ac- { B ( id . ecibi de la ganan Pa a un  <Q 0 dado, con la acción e04 E y el mé odo de obse ación bo B (elegido b s en s1 momen o = 0), ob eniendo el esul ado de .l a p ueba . m l o { M o (en el momen o = 1) la p obabilidad de que el nue oes ado (calidad de la p oducción) sea z4Z es, (z,e,b) : e = 1 e = 1 e = 1 e = 2 e =2 e = 2 b = 1 b = 2 b = 3 b = 1 b = 2 b = 3 z = 1 17.0 16 .8 16 .6 9 .0 8 .8 8 .6 2 12.0 11 .8 11 .6 4 .0 3 .8 3 .6 3 7 .0 6 .8 6 .6 -1 .0 -1 .2 -1 .4 aplicando Bayes : (3 .1) cg 1 (zIg 0 , e 0 , DOY mb0 ) =  i=1 (z = 1,2,3) La suma de las componen es de 9 1 es la unidad . Dados e o y b o la nue a in o mación 9 1 depende sólo del esul ado de obse a b cibn m lo . La p obabilidad de ob ene es e esul ado conc e o ienemedida po el denominado en (3 .1) ; es acan idad ep e- sen a la p obabilidad del ánsi o cp 0 -<p 1 en un modelo en quelas in o maciones juegan el papel de es ados . La ó mula (3 .1) se puede gene aliza pa a un pe iodo cual- quie a : (3 .2) cp +1 (z Ip , e , b , m +1 ) _  .i=1 L g b ( m +1 10 . 1 Pje . g (j) e=1  j=1 (z = 1,2,3) Con es a ó mula se puedeconoce en cada pe iodo el es ado del siguien e modelode decisión ma ko iano con in o mación comple a, de i ado del MDM-II :' MDM-I' : (0, E, B, P, (M b ), (Q b ), cp O , cP , .s] = espacio de 'es ados' : espacio de las in o maciones _ (cP 19(z)  20,  z E Z )  1  q(z) = 1 ) zEZ E = espacio de acciones : comoenMDM-II 32 - gb0(mb01z) . 3 1 P J Z°TO(j) g b0 (m b0 ¡e) . 1 Pj£°CPO(j) e=1  j=1 3 gb (m +1  z ) `  1 P j z q (j ) b B = espacio de los mé odos de obse ación : como en MDM-II P = ley de mo imien o = {pCP, (P  j . CP, p  = p obabilidad de ob ene la in o mación cp"E E en, el pe iodo +1 pa iendo de la in o macióncp' EI en el pe iodo y habiendo elegido en ese pe iodo la acción e { E . Los alo es numé icos se calculan con la exp esión del denominado en (3 .2) M b = conjun o de los esul ados posibles de la obse ación con el mé odo b { B : comoen MDM-II . En el MDM-I' los esul a- dos m b si en sólo pa aac ualiza la in o mación ; po eso se ha esc i o (M b ) en epa én esis b Q = ley de obse ación con el mé odo b { B : como en MDM-II . Si e sólo pa a ac ualiza la in o mación y calcula la ley de mo imien o P, po lo que se ha esc i o (Q b ) cp 0= 'es ado' inicial : como en MDM-II cP= ganancia inmedia a 3 = ' I (zp,e,b) _ ~ (z,e,b) .W(z) z=1 = espe anza ma emá ica de la gananciaen un pe iodo con e { E y b { B dada la in o mación (dis ibución) y E S = ac o de descuen o : comoen MDM-II Como en el modelo de i ado MDM-I' la ganancia en cada pe iodo es igual a la espe anza ma emá ica de la ganancia en ese pe io- do pa a el MDM-II p imi i o con la in o mación disponible,pode mos p escindi del MDM-II y op ima di ec amen e en el MDM-I' la unciónobje i o : 00 E[ 1 P - 'P(,p'e'b)] =0 A1$o i mo -II : ampliación de la polí ica Sea cp E1 - §# ; de e mínense los nelemen os cpi E §#, é ices del mínimon-polied o que lo con iene y los coe icien es p i (cp) de la combinaci5n con exa cP  =  Pi (cp) - T 1 con Pi(,P) a0,  Pj(cp) = 1, i E (1, . . .,L) (i omacomo máximo i n alo es dis in os) Calcúlense los alo es es : TE (é, b)  P i ( , P) - `p(cpi,E,b)  + +  Pi(CP) -Pe Cn  pj(,Pi,  ) ° (cPj ) bbi  1 1 b_ j  m b é m EM  m e pa a odos  los  (e,b)  ExB .donde los  p #  #~  y  pi( , P 1 l ) ' b_ m b~  m e p oceden del algo i mo I y V( ;0i) son los alo es de los 'es a- dos' del MDM-I* con la polí ica óp ima De e mínense los (é,b) alque TE(é,~)= max TE(é,b) EEE UE B Es as son decisiones mix as (equi alen es en e si en caso de se a ias) a usa pa a cp, y se cumple V(cp) = TE(é,B) Al aplica la polí ica en cada pe iodo se debe i ac ualizando la in o maci0n de acue do con (3 .2) . Es de no a que a pesa del e o en los alo es de los es ados (en gene al V(cp) ~ V(cp) ) la polí ica ob enidapuedecoinci- di con la óp ima, cuya exis encia ga an iza Blackwell(3) . § 7 Gene alización a obse aciones insegu as En el ejemplo de la ab icación de mo o es hemos supues o que las p uebas dan siemp e un esul adoco ec o : un mo o que se p ueba y se cali ica como 'bueno' ( esp . 'malo') lo es ealmen - e . Ampliemos aho a el ejemplo admi iendo una p ueba ápidade los mo o es que a un buen mo o lo cali icacomo malo en el 10% de las eces, y ecip ocamen e un mo o malo lo dá el 20% de las ecescomobueno . El impo e de es a p ueba ápida sea 0,1 Mio po mo o . Tenemos así en el MDM-II dos nue os mé odos de obse ación : so- me e a la p ueba ápida uno o dos mo o es de la p oducción men sual (supongamos quepo mo i os écnicos no cabe u iliza la p ueba ápida y la exac a en el mismo pe iodo) . Las leyesde obse ación apa ecenen los cuad os siguien es . Con el algo i mo I y la op imación en el MDM-I* se ob ienenpa a el modelo con cinco mé odos de obse ación los esul adosde la abla 8 . La posibilidad de some e ambos mo o es a la p ueba ápidano se u iliza nuncaen la polí ica ob enida (op imando con los mé odos de 'obse ación b = 1-4 se ob ienen los mismos esul ados de la abla 8) . (b=4) Hace la p ueba ápida de un mo o P obabilidades de los esul ados : Resul adode la p ueba ápida m b =1 b =2 m bueno malo 0 0 .90 0 .10 Es ado : núme o de mo o es malos en 1 0 .55 0 .45 la p oducción 20 .20 0 .80 Tab la 8  B = (1,2,3,4,5) Las ganancias espe adas en la abla 8 son supe io es a las de la abla 7 . El aumen o (un 0,08% en p omedio) indica una co a supe io de la in e sióna hace pa a in oduci la p ueba á pida de mo o es ( alo ma ginalde los nue os mé odosde obse 4 2 (b=5) Hace la p ueba ápidade dos mo o es P obabilidades de los esul ados : Resul ados de las p uebas ápidas mb =1 b =2 b =3 m m ninguno malo 1 malo 2 malos 0 0 .81 0 .18 0 .01 Es ado : núme o de 1 0 .18 0 .74 0 .08 mo o esmalos en_ la p oducci5n 2 0 .04 0 .32 0 .64 Polí ica óp ima (cinco mé odos de obse ación) 'es ado' P oduci o Tino de Núme o Espe anza ma emá i (in o mación) e isa p ueba de mo- ca de la ganancia o es o al descon ada cp# p oduci --- 0 1166 .45 1 cp# 2 p oduci ápida 1 1161 .83 93 p oduci exac a 2 1157 .31 (P 4 p oduci --- 0 1152 .92 cp* 5 p oduci . exac a 1 1158 .42 cp# 6 p oduci . exac a 2 1153 .88 cp# 7 e isa --- 0 1150 .09 cp# 8p oduci exac a 1 1150 .53 cp # e isa ápida 1 1148 .01 9 `p e isa ápida 1 1145 .94 10 Tabla 9  B = (1) Tabla 10 B = (3} G 4 3 Polí icaóp ima sin obse ación '(no se p uebanmo o es) 'es ado' P oduci o Espe anza ma emá ica de la (In o mación) e isa ganancia o al con descuen o (P 1 p oduci 1138 .54 (P * 2 p oduci 1133 .79 (P * 3 p oduci 1129 .40 (P4 p oduci 1125 .32 (P * 5 p oduci 1128 .85 ( 6 P* p oduci 1124 .70 (P ; ; 1 e isa 1122 .12 (P* 8 e isa 1122 .11 ~9 * e isa 1120 .00 9 10 e isa 1117 .89 Polí icaóp ima con obse ación di ec a (se p ueban exac a- men e ambos mo o es) 'es ado' P oduci o Espe anzama emá ica de la (In o mación) e isa ganancia o al con descuen c (P 1 p oduci 1155 " 54 (P2 p oduci 1151 .08 (P3 p oduci 1146 .62 (P4 p oduci 1142 .16 (P* p oduci 1147 .66 (P * 6 p oduci 1143 .20 (P* 7 e isa 1139 .30 (P8 p oduci 1139 .78 (P *9 e isa 1137 .25 * 9 10 e isa 1135 .21 acibn) . Tienen un plo equi alea admi i sólo hace p uebas de mo o es) y único mé odo de obse ación bos mo o es : in o mación comple a) . descon (1- 0 ) se pe iodo . 44 casos sin obse ación (en el ejem mé odo de obse ación b = 1 : (es deci , exac ade am in e és especial los el con obse ación di ec a admisible b = 3 : p ueba no Los esul ados pa a es oscasos apa ecen en las ablas,9 y 10 . La di e encia en e las gananciasespe adas da el de la obse ación di ec a . alo ma ginal Tabla 11 Espe anza ma emá ica de las ganancias ma ginales acu- muladas con descuen o, en e al caso sin obse ación Analogamen e de las ablas 9 y 7 se desp ende el alo ma ginal de los mé odos de obse ación pa a el modelo del § 2 (B={1,2,3}) . La abla 11 esumees os alo es . Mul iplicando es as can ida ob iene la ganancia ma ginalequi alen e po B= (3} B=(1,2,31 B=(1,2,3,4,5] 'es ado' Valo ma ginal Valo ma ginal Valo ma ginal (in o mación) de la obse a-de los mé odos de los mé odos cibn di ec a de obse ación de obse ación cp* 17 .00 26 .98 27 .91 cp2 17 .29 27 .10 28 .04 Y*' 17 .22 27 .01 27 .91 91 16 .84 . 26 .70 27 .60 CP5 18 .81 28 .65 29 .57 cp* 6 18 .50 28 .28 29 .18 (P7 17 .18 27 .05 27 .97 CP8 17 .67 27 .50 28 .42 (p* 9 17 .25 27 .09 28 .01 cp* 0 17 .32 27 .14 28 .05 § 8 Apl icaciones Los MDM-II con a ios mé odos de obse ación encuen anaplica- ción en nume ososcampos apa e del con ol de calidad p oble- mas de man enimien o,concu encia en me cados, p ocesos de ap e_n dizaje, decodi icacibn de canales de in o mación, diagnós ico y a amien o clínico, p oblemas de búsqueda de un obje o mo il, e c . En la abla 12 se indicanalgunosejemplos . Tabla 12 Re e encias de aplicaciones conc e as en es oscampos se encuen- an en Beni o (1) . Algunos campos de aplicación de MDM-II Es ados del Resul ados de la Campo modelo obse ación i Con ol de calidad Calidad p odu- Resul ado de la mues a cida Man enimien o Es ado de la Resul ado de la inspec- máquina cibn Ap endizaje Ni el alcanzado Respues a a un es Decodi icacibn de ca- Es ado del ca- Ou pu con uido nalesde in o mación nal T a amien o clínico Es ado isiol_ó Reacción a la medicación gico del pacien e BBsqueda de un obje o Ubicación ac- Resul ado de los sondeos mo il ual del obje- o Biblio g a la Beni o, F ., Ein Modell de Quali á skon olle in de Se ien p oduk ion be¡ kos spieligen Tes s, Diss . ETH, Zü- ich, 1975 (2) Beni o, F ., Ma ko -Modelle mi indi ek e Beobach ung, Haup Ve lag, Be n, 1978 (3) Blackwell, D ., Discoun ed dynamic p og amming, Ann . Ma h . S a , 36, 226-235, 1965 (4) Howa d, R .A ., Dynamic P og amming and Ma ko P ocesses, Wiley, New Yo k, 1960 (5) Mine, H ., Osaki, S ., Ma ko ianDecision P ocesses, Else ie , New Yo k, 1970