Criterio de detección de outliers en modelos probabilísticos tipo Pareto

ESTADISTICA ESPAÑOLA Núm. ^5, 1982, págs. 113 a 120 C i e io de de ección de ou lie s en modelos p obabilís icos ipo Pa e o po JOAQUIN MUÑOZ GARCIA Y ANTONIO PASCUAL COSTA Depa amen o de Es ad s ica e In es igación Ope a i a. Uni e sidad de Se illa RESUMEN Pa iendo de una población ipo Pa e o con o igen de en as H cono- cido, se encuen a un c i e io pa a de ección de ou lie s. Se es udia a con inuación el caso de o igen de en as desconocido, dándose al inal un c i e io pa a la de ección de a ias obse aciones ou lie s. Se incluye el co espondien e p og ama de o denado . Palab as cla^^e: Dis ibución de Pa e o, ou lie s, de ección de ou lie s. INTRODUCCION Un ou lie s es una obse ación o un conjun o de obse aciones que «pa ecen» se inconsis en es con el es o del conj un o de da os. Aunque son muchas las de iniciones que sob e el concep o se han dado ( éase Muñoz, 19^J), lo que ca ac e iza a una obse ación ou lie s es el «impac o» que p oduce en el es adís ico cuando a a analiza los da c^s. Pa ece e iden e que la p esencia de ou lie s en un conjun o de da os puede conduci nos a e o es en nues o in en o de hace in e encias ace ca de la población de la que p oceden, de ahí que la p esencia de ou lie s plan ee un p oblema undamen al en el análisis de da os. Un p ocedimien o pa a la esoluciá n de es e p oblema consis e en encon a eglas de decisión pa a de ec a dichas obse aciones. 114 ^STADISTICA ^SPAÑ )LA En el p ^en e dbajo ie dan p ucedimien c^s p ^ ^i la de ección de c^u lie s en ^oblacicsne^ ipu Pa e c^, yue c^^m^^ se sabe e^ ^^n m ^cielo p c^babili;^; ieo yue se ajus a adecuadamen e a dis ibucic^nes cie ecuencias de en a^; c^b^ ^ e adas en la ealidad. Sea X una a iabie alea c^ña yue se dis ibuye según una ley de Pa e o de pa áme- os E:^ y a(Pa( ), a)), po lo que su unci^ ^ n de densidad es: aE^° ,Í' (x )= x Q+^' a> p, x> E y E^ > 0 Se sabe yue el es imado de máxima e osimili ud pa a la cons an e de Pa e o a, conocicio el c^ igen de en a^ 4) iene ciadc^ ^ pa a una mues a ^ilea o ia simple de amañu pc^ : n ^ l = n ^ - = JohnSOn Ko z (19^) Y ademá^ ^ se eñ ican ]a.5 siguien es p oposiciones, cuyas demos aciones sc^n inme- dia as. P pE^sieic^n 1 ^ es un es imad^ in a ian e po ans o maciones de escala: ^ a = ^ siendo X; = X^Ox di, i= 1, 2, .. ., n y )' = UOx, siendo OX la ans o mación ealizada. }' pnsici^n 2 Si la a iable alea o ia X se dis ibuye según Pa(E), a), en onces la a iable: 2.a Y c^n X se dis ñbuye según una ley gamma de pa áme os 1 y 1/2, G( 1, 1/2). CRITERIOS DE DETECClU Y DE OUTLiERS EN MODELUS PRUBABIUSTICOS T PC) F'ARETC) P opc.asic•ión 3 Dada una mues a ^lea c.^ ici sim ple de ^^maño n( X, , publación Pa(í^, a) e) es adís icc:^. i15 X^. .... X,^ ^ p c^c ^den e de una ^ 2a n ^ 2a Y; - ^^i ^ cun X^ Y^ = ln H se dis ibuye según un ^ ley x^(2n ). ?. DISTRIBUCI(^N DEL ESTADISTICO BASICC^ Conside amos como es adís ica básicu pa a la de ección de ou lie s. T^ _ n donde ^ n es el es imado de máxima e osimili ud de a ub enidu a pa i de una mues a alea u ia simple de a nañu n y^;, _^ es el mismu es imadc^ de m^xima e osimili ud, pe u ob enido a pa i de n- 1 cie las n cabse acicjnes an e io es en las que hemas sup imido la ^bse ación i-ésima. Del es aciís ico T; podemos a i ma que sus alo es mues ales no an a depende del pa áme u a y po la p oposicicín 1, que es in a ian e median e ans o maciunes de escala. Te ema 1 Bajo la hipó esis de que no exis en ou lie s, el es adís ico T; se dis ibuye según una ley Be a de pa áme os ( n - 1, 1). De mc^s a c•ic^ n Pudemos exp es^^ "I', en I^^ u na: n ^ l n _ 7 n Xj 2W ^ 1n ^ ^ 2 E.l - n j=1 .j I 16 cun X^ ?cl ln ^ "L_, - j - 1. 2, ..., n " X^ ?u ^ ln l' ^= donde se ha supues o que la obse ación sup imida es la p ime a. ESTADISTICA ESPAÑOLA De la exp esión an e io se deduce que: Z, _ X, ?c In ^ X, ?u ln 4 X + 2u^ In -' ^ .i= 20 En i ud de la p oposición 2, el nume ado se dis ibuye según una ley XZ(2), ^ po la p oposición 3, 2a ^ In ( X;/H} se disi ibuye se^ún la ley x^( 2(n - 1}) y es inde- ^=z penciien e de la a iable 2a ln ( X, /H). Po an o, Z, se dis íbuye según una ley Be a, Be(1, n-- 1}. Y al se T, = 1- Z,, se deduce i ialmen e que T, sígue una ley Be(n -- 1, 1), és deci , el es adís ico T pusee una dis ibución iib e. 3. CRITERIO PARA LA DETECClnN DE UN C^UTLI ERS Pa a la de ección de un ou lie s amos a conside a los es adís icos: T; pa a i= 1, 2. ..., n. n - 1 ^ ,^ .. (; ^ 1' C2 n _ ^ Si odos lus elemen os de la mues a de amaño n pe enecen a la misma población, los es adís icos T; = 1, 2, ..., n se án p óximos a la unidad. Po ello, el es adís ico q ue p oponemos pa a de ec a un ou lie s se á: m i n T; ^ CRlTER14S DE DETECCION DE OUTLlERS EN MoDEL4S PROBAH[LISTICOS TlPO PARETU 1 17 Pa a de e mina la egián ^ i ica hacemos la siguien e aco acián: R P[ min T; S ] - P^^A; ^ S ^ P(A;} - - n P(A;) ^ . , siendo A;=[T;S ^ con i-- 1, 2, ..., n. Y pa a un ni el de signi icación a de e minamos de o ma que: a P[ T; ^ ] _ n es deci , es el pe cen il de o den a/n de una ley Be(n - 1, 1). En de in i i a, si Tk = mi n T; S , pa a i= 1, 2, ..., n, podemos a i ma con un ; coe icien e de con ianza supe io o igual a(1 - a) que la obse aciñn k-ésima es ou lie s. Has a aho a se ha supues o que el igen de en as H es conocid©, en el caso en que dieho o igen no sea conocido, u iliza emos el mismo mé odo, sálo que sus i ui e nos ^ po su es imado de máxima e osimili ud. E3 = min X^ ^s;sn aunque pa a man ene la e iciencia del mé odo hab á que dispone de una mues a su icien emen e g ande. A con inuación damos un c i e io a emplea pa a de ec a más de un ou lie s y asi pode e i a el e ec o de enmasca amien o ci ado po Tie jen y Moo e (1972}. 4. CRITERIC} PARA DETECTAR MAS DE L.JN JUTLIERS Pa a de ec a s ou lie s s> l, calcula emos n es adis icos de la o ma: s T;,,i2i..,.,is siendo (i ^, z• A n - s a ,^ n á^^,,^2.....^s^ n -s .. .., i s} una de las n pe mu aciones posi bles (1, 2, ... , n} y donde ca- s da uno de los es ad^s icos se dis ibuye según una ley be a Be (n -- s, s}. I1K ESTAD ST +C'A ESPAÑC)L_A H I e^ acií i icc^ a u iliza p^i ^^ la cle eccic^n cie s o^.^ lie ^ se ^i: min T; .,,. ^^'.i2. ...,is y di emu^ yue la^ obse ac:iune^ (k, 1, ..., ^^} sc^n s cau lie ^ p^i a un ni el de signi icación ^ . . .... ^^ - min T; ^,;2. .. .;s S s Ci .....;si n donde s a a se el pe cen il del o den co espondien e a una ley be a s Be( - s, s}. A cc^n inuaci^n damc^^ el p ag ama Fca ^^n yue emplea ^amus p^ a cie ec a uno y do^ ou lie ^ en una mue^ a cie amañu 19. FORTRAN 1 V 0001 OPEN(UNIT-2,NAME='SALAR.DAT',TYPE='UNI{NOWN') 0002 DIMENSIC)N . ?^CX( 19),X(19),TI(19),V I( 19),V2( 19) 0003 PRI N T 40 0004 DO 1 I= 1,19 00(}^ READ(2,100) XX(1) OOa6 X(1) = X X( I) i 200 0007 PRINT 110, X(1) 0008 1 CONTINUE 0009 " T'HETA=XMIN1(X,19} 0010 SUMD=SUMLOG(X,19,THETR) 00 l 1 DC) 2 I= 1,19 0012 C'ALL RESTI^X,19,I,V 1) x 13 SUMN=SUMLOG{V1,18,THETA) 0014 Tl(1)=SUMN/SUMD OOlS ? CONTINUE OOl6 TIMIN=XMIN 1(Tl,l9) 0017 T2M1N=1 0018 DO 3 I=1,18 0019 DC) 3 J=1+1,19 0020 CALL REST2(X,19,I,J,V2) 002i SUMN=SUMLOG(V2,17,THETI'A) 0022 TT=SUMN/SUMD 0023 T2MIN=AMIN 1(T2MIN,TT) 0024 3 CON TI N U E 0025 PR 1 N T I 20, T I M 1 N 002b PRINT 130,T2MIN 0027 STOP C C FORMATOS C 0028 40 FORMAT(20X,'O BS ERVACION ES. `/) 0029 100 FORMAT(2X,FS.O) 0030 1 10 FORMAT(20X, F9,0} 0031 120 FORMAT(20X,'VALOR MINIMO DE T(I):',2X,F14,4) CRITERiOS DE DETEC`CIOI^i DE UUTLIERS ETY MODELOS PROBASILISTICOS TIPi) PARE.TCU i lq 0()32 13() FORMAT(24X,'VALC)R MINIM() DE T(II,I2).'2X,F10,4) (1C13 3 E N D FC)RTRAN 1 V. VU2. I- 10 0001 FUNCT[UN SUMLOG(X1,N I,TH) 0()02 DIMENSION X 1( N I) 0003 S[^1 M LOG = 0 0004 DO l 0[ I=1, N 1 0005 SUML(]^G-SUMLOG+ALOG(Xl(lI)/TH) 000(^ 10 CONTINUE 0007 RETURN 0008 E N D FORTRAN 1 V 0001 SUBROUTINE REST1(X1,Nl,L,A) OOQ2 DIMENSiON X 1( N 1),A( N 1^ 0003 TY PE 30, L UO04 30 FO RM A T(1 X,13 ) 0005 1 F( L.. EQ.1) GO TU 12 0007 DO 10 L 1=1, L- I 0008 A(Ll)-X1(L1) 00(?^ TY PE 20, A( L 1) OOIO 20 FORMAT(3X, F 14,0) OOII 10 CONTINUE 0012 I F( L.. EQ.19) R E TU RN 0014 12 DU 11 L1=L+1,N1 0415 A(LI- i)-X1(LI) 0016 TYPE 2U, A( L 1--1) 0017 Il CONT[NUE 0018 RETURN OOl9 END FC)RTRAN [ V 0001 SUBROUTINE REST2(X I,N I,LI,L,J,A) 0002 DIMENSION X 1(N 1},A(N 1) 0003 TYPE 30, LI , L,I OOU4 30 FORMAT(1X,2I3) OC)OS I F( LI . EQ.1) GO TO 13 0007 DO 10 I_= 1,LI - 1 000^ A(L)=Xl(L) OOOy TYPE 20, A( L) 0010 20 FORMAT(3X,F1?.0) 001 1 10 CONTIN UE 0012 IF{LI.EQ.18) RETURN OO14 I 3 1 F( ( L I' 1) . EQ . LJ ) GO TO 14 (1^16 DO 1 I L=LI+ I,LJ- I OOl7 A(L- 1)=Xl(L) ()Ol ^ TYPE 20, A( L- 1) 0019 i l CONTINUE 0020 IF(LJ.EQ.19} RETURN 0022 14 DO I 2 L= LJ + 1, N 1 0023 A(L-2)=X1(L) 0024 TYPE 20, A(L- 2) 12a E STADISTIC A ^SPA^(3LA (1025 12 CC1NT[NUE ^? ^ R E TU R N 0027 END C' CALCULO MIN[M© REAL DE UN CONJUNTO DE N OBSERVACIONES REALES C^` FUNCTION XM[N1(X,N) D MENS10N X(N) DO 1 1 [^1,N XMIN 1=AM1N I(XMIN 1,X( I)) 1 CONTiNUE RETU RN END BI BLI©GRAFI A JOHNS(JN, N. L. anci KoTZ, S.: Dis ibu i^ns in S a is ics: Con inu us uni a ia e dis ibu i ns 1. Wiley, 1970. Mu " oz, J.: Algunas écnicas s^^b e de ección de u lie s. Public. Uni: e sidad de Se illa, 1980. T1^T^Ex, G. L. and MOORE, R. H.: «Some G ubbs - Type S a is ics © he de ec ion o se e al ou lie s» . Technome ics ( 14}, 1972. SUMMARY S a ing om a Pa e o ype popula ion wi h known minimum income H in his pape a c i e ium o de ec i^n o ou lie s is de i ed. The unknowm minimum income case is also s udied, showing a c i e ium o de ec ion o some ou lie s obse a ions. The co esponding compu ing p og am is inciuded. Key w^ ds: Pa e o dis ibu ion, ou lie s, de ec ion o ou lie s. AMS, Subjec classi ica ion 62 F 35.