Criterio de detección de outliers en modelos probabilísticos tipo Pareto

ESTADISTICA ESPAÑOLA Núm. ^5, 1982, págs. 113 a 120 Criterio de detección de outliers en modelos probabilísticos tipo Pareto por JOAQUIN MUÑOZ GARCIA Y ANTONIO PASCUAL COSTA Departamento de Estadfstica e Investigación Operativa. Universidad de Sevilla RESUMEN Partiendo de una población tipo Pareto con origen de rentas H conocido, se encuentra un criterio para detección de outliers. Se estudia a continuación el caso de origen de rentas desconocido, dándose al final un criterio para la detección de varias observaciones outliers. Se incluye el correspondiente programa de ordenador. Palabras cla^^e: Distribución de Pareto, outliers, detección de outliers. INTRODUCCION Un outliers es una observación o un conjunto de observaciones que «parecen» ser inconsistentes con el resto del conj unto de datos. Aunque son muchas las definiciones que sobre el concepto se han dado (véase Muñoz, 19^J), lo que caracteriza a una observación outliers es el «impacto» que produce en el estadístico cuando va a analizar los datc^s. Parece evidente que la presencia de outliers en un conjunto de datos puede conducirnos a errores en nuestro intento de hacer inferencias acerca de la población de la que proceden, de ahí que la presencia de outliers plantee un problema fundamental en el análisis de datos. Un procedimiento para la resoluciárn de este problema consiste en encontrar reglas de decisión para detectar dichas observaciones. 114 ^STADISTICA ^SPAÑt)LA En el prt^ente trdbajo tie dan prucedimientc^s pt^r^i la detección de c^utliers en ^oblacicsne^ tipu Paretc^, yue c^^m^^ se sabe e^ ^^n mt^cielo prc^babili;^;tieo yue se ajusta adecuadamente a distribucic^nes cie frecuencias de renta^; c^b^ ^ ervadas en la realidad. Sea X una variabie aleatc^ña yue se distribuye según una ley de Pareto de parámetros E:^ y a(Pa(f), a)), por lo que su funci^ ^ n de densidad es: aE^° ,Í' (x )= x Q+^' a> p, x> Et y E^ > 0 Se sabe yue el estimador de máxima verosimilitud para la constante de Pareto a, conocicio el c^rigen de renta^ 4) viene ciadc^ ^ para una muestra ^ileatoria simple de tamañu tt pc^r: n ^ l = n ^ - r= JohnSOn Kotz (19^) Y ademá^ ^ se veñfican ]a.5 siguientes proposiciones, cuyas demostraciones sc^n inmediatas. PrvpE^sieic^n 1 ^r es un estimad^r invariante por transformaciones de escala: ^ a = ^ siendo X; = X^Ox di, i= 1, 2, .. ., n y f)' = UOx, siendo OX la transformación realizada. }'rvpnsici^n 2 Si la variable aleatoria X se distribuye según Pa(E), a), entonces la variable: 2.a Y c^n X se distñbuye según una ley gamma de parámetros 1 y 1/2, G( 1, 1/2). CRITERIOS DE DETECClUtY DE OUTLiERS EN MODELUS PRUBABIUSTICOS TtPC) F'ARETC) Propc.asic•ión 3 Dada una muestra r^leatc.^rici sim ple de t^^maño n( X, , publación Pa(í^, a) e) estadísticc:^. i15 X^. .... X,^ ^ prc^ct^dente de una ^ 2a n ^ 2a Y; - ^^i ^ cun X^ Y^ = ln H se distribuye según unt^ ley x^(2n ). ?. DISTRIBUCI(^N DEL ESTADISTICO BASICC^ Consideramos como estadística básicu para la detección de outliers. T^ _ n donde ^r n es el estimador de máxima verosimilitud de a ubtenidu a partir de una muestra aleaturia simple de tarnañu n y^;, _^ es el mismu estimadc^r de m^xima verosimilitud, peru obtenido a partir de n1 cie las n cabservacicjnes anteriores en las que hemas suprimido la ^bservación i-ésima. Del estaciístico T; podemos afirmar que sus valores muestrales no van a depender del parámetru a y por la proposicicín 1, que es invariante mediante transformaciunes de escala. Tevrema 1 Bajo la hipótesis de que no existen outliers, el estadístico T; se distribuye según una ley Beta de parámetros ( n - 1, 1). De mc^srra c•ic^ n Pudemos expres^^r "I', en I^^ furrna: n ^ l n _ 7 n Xj 2W ^ 1n ^ ^ 2 E.l - n j=1 .j I 16 cun X^ ?cl ln f^ "L_, - j - 1. 2, ..., n " X^ ?u ^ ln fl' ^=r donde se ha supuesto que la observación suprimida es la primera. ESTADISTICA ESPAÑOLA De la expresión anterior se deduce que: Z, _ X, ?cr In f^ X, ?u ln 4 X + 2u^ In -' ^ .i= 20 En virtud de la proposición 2, el numerador se distribuye según una ley XZ(2), ^ por la proposición 3, 2a ^ In ( X;/H} se disiribuye se^ún la ley x^( 2(n - 1}) y es inde- ^=z penciiente de la variable 2a ln ( X, /H). Por tanto, Z, se distríbuye según una ley Beta, Be(1, n-- 1}. Y al ser T, = 1Z,, se deduce trivialmente que T, sígue una ley Be(n -- 1, 1), és decir, el estadístico T pusee una distribución iibre. 3. CRITERIO PARA LA DETECClnN DE UN C^UTLI ERS Para la detección de un outliers vamos a considerar los estadísticos: T; para i= 1, 2. ..., n. n - 1 ^ ,^ .. (; ^ 1't C2 n _ ^ Si todos lus elementos de la muestra de tamaño n pertenecen a la misma población, los estadísticos T; = 1, 2, ..., n serán próximos a la unidad. Por ello, el estadístico q ue proponemos para detectar un outliers será: m i n T; ^ CRlTER14S DE DETECCION DE OUTLlERS EN MoDEL4S PROBAH[LISTICOS TlPO PARETU 1 17 Para determinar la regián ^ritica hacemos la siguiente acotacián: R P[ min T; S t] - P^^A; ^ S ^ P(A;} - - n P(A;) ^ . , siendo A;=[T;S t^ con i-- 1, 2, ..., n. Y para un nivel de significación a determinamos t de forma que: a P[ T; ^ r] _ n es decir, t es el percentil de orden a/n de una ley Be(n - 1, 1). En defin it i va, si Tk = mi n T; S t, para i= 1, 2, ..., n, podemos afirmar con un ; coeficiente de confianza superior o igual a(1 - a) que la observaciñn k-ésima es outliers. Hasta ahora se ha supuesto que el vrigen de rentas H es conocid©, en el caso en que dieho origen no sea conocido, utilizaremos el mismo método, sálo que sustituirernos ^ por su estimador de máxima verosimilitud. E3 = min X^ ^s;sn aunque para mantener la eficiencia del método habrá que disponer de una muestra suficientemente grande. A continuación damos un criterio a emplear para detectar más de un outliers y asi poder evitar el efecto de enmascaramiento citado por Tietjen y Moore (1972}. 4. CRITERIC} PARA DETECTAR MAS DE L.JN fJUTLIERS Para detectar s outliers s> l, calcularemos n estadisticos de la forma: s T;,,i2i..,.,is siendo (i ^, z• A n - s a ,^ n á^^,,^2.....^s^ n -s .. .., i s} una de las n permutaciones posi bles (1, 2, ... , n} y donde cas da uno de los estad^sticos se distribuye según una ley beta Be (n -- s, s}. I1K ESTADtSTt+C'A ESPAÑC)L_A H I e^taciítiticc^ a utilizar p^ir^^ la cleteccic^n cie s o^.^tlier^ ser^i: min T; t.,,. ^^'.i2. ...,is t y diremu^ yue la^ observac:iune^ (k, 1, ..., ^^} sc^n s cautlier^ p^ira un nivel de significación ^t. r. .... ^^ - min T; ^,;2. .. .;s S ts Cit.....;si n donde ts va a ser el percentil del orden correspondiente a una ley beta s Be(rt - s, s}. A cc^ntinuaci^n damc^^ el pragrama Fcartr^^n yue emplear^amus p^tra cietectar uno y do^ outlier^ en una mue^tra cie tamañu 19. FORTRAN 1 V 0001 OPEN(UNIT-2,NAME='SALAR.DAT',TYPE='UNI{NOWN') 0002 DIMENSIC)N . ?^CX( 19),X(19),TI(19),V I( 19),V2( 19) 0003 PRI N T 40 0004 DO 1 I= 1,19 00(}^ READ(2,100) XX(1) OOa6 X(1) = X X( I) it 200 0007 PRINT 110, X(1) 0008 1 CONTINUE 0009 " T'HETA=XMIN1(X,19} 0010 SUMD=SUMLOG(X,19,THETR) 00 l 1 DC) 2 I= 1,19 0012 C'ALL RESTI^X,19,I,V 1) txf13 SUMN=SUMLOG{V1,18,THETA) 0014 Tl(1)=SUMN/SUMD OOlS ? CONTINUE OOl6 TIMIN=XMIN 1(Tl,l9) 0017 T2M1N=1 0018 DO 3 I=1,18 0019 DC) 3 J=1+1,19 0020 CALL REST2(X,19,I,J,V2) 002i SUMN=SUMLOG(V2,17,THETI'A) 0022 TT=SUMN/SUMD 0023 T2MIN=AMIN 1(T2MIN,TT) 0024 3 CON TI N U E 0025 PR 1 N T I 20, T I M 1 N 002b PRINT 130,T2MIN 0027 STOP C C FORMATOS C 0028 40 FORMAT(20X,'O BS ERVACION ES. `/) 0029 100 FORMAT(2X,FS.O) 0030 1 10 FORMAT(20X, F9,0} 0031 120 FORMAT(20X,'VALOR MINIMO DE T(I):',2X,F14,4) CRITERiOS DE DETEC`CIOI^i DE UUTLIERS ETY MODELOS PROBASILISTICOS TIPi) PARE.TCU i lq 0()32 13() FORMAT(24X,'VALC)R MINIM() DE T(II,I2).'2X,F10,4) (1C13 3 E N D FC)RTRAN 1 V. VU2. I10 0001 FUNCT[UN SUMLOG(X1,N I,TH) 0()02 DIMENSION X 1( N I) 0003 S[^1 M LOG = 0 0004 DO l 0[ I=1, N 1 0005 SUML(]^G-SUMLOG+ALOG(Xl(lI)/TH) 000(^ 10 CONTINUE 0007 RETURN 0008 E N D FORTRAN 1 V 0001 SUBROUTINE REST1(X1,Nl,L,A) OOQ2 DIMENSiON X 1( N 1),A( N 1^ 0003 TY PE 30, L UO04 30 FO RM A T(1 X,13 ) 0005 1 F( L.. EQ.1) GO TU 12 0007 DO 10 L 1=1, LI 0008 A(Ll)-X1(L1) 00(?^ TY PE 20, A( L 1) OOIO 20 FORMAT(3X, F 14,0) OOII 10 CONTINUE 0012 I F( L.. EQ.19) R E TU RN 0014 12 DU 11 L1=L+1,N1 0415 A(LIi)-X1(LI) 0016 TYPE 2U, A( L 1--1) 0017 Il CONT[NUE 0018 RETURN OOl9 END FC)RTRAN [ V 0001 SUBROUTINE REST2(X I,N I,LI,L,J,A) 0002 DIMENSION X 1(N 1},A(N 1) 0003 TYPE 30, LI , L,I OOU4 30 FORMAT(1X,2I3) OC)OS I F( LI . EQ.1) GO TO 13 0007 DO 10 I_= 1,LI - 1 000^ A(L)=Xl(L) OOOy TYPE 20, A( L) 0010 20 FORMAT(3X,F1?.0) 001 1 10 CONTIN UE 0012 IF{LI.EQ.18) RETURN OO14 I 3 1 F( ( L I' 1) . EQ . LJ ) GO TO 14 (1^16 DO 1 I L=LI+ I,LJI OOl7 A(L1)=Xl(L) ()Olt^ TYPE 20, A( L1) 0019 i l CONTINUE 0020 IF(LJ.EQ.19} RETURN 0022 14 DO I 2 L= LJ + 1, N 1 0023 A(L-2)=X1(L) 0024 TYPE 20, A(L2) 12a E STADISTIC A ^SPA^(3LA (1025 12 CC1NT[NUE ^?f^ R E TU R N 0027 END C' CALCULO MIN[M© REAL DE UN CONJUNTO DE N OBSERVACIONES REALES C^` FUNCTION XM[N1(X,N) DtMENS10N X(N) DO 1 1 [^1,N XMIN 1=AM1N I(XMIN 1,X(t I)) 1 CONTiNUE RETU RN END BI BLI©GRAFI A JOHNS(JN, N. L. anci KoTZ, S.: Distributi^ns in Statistics: Continuvus univariate distributivns 1. Wiley, 1970. Mut"voz, J.: Algunas técnicas s^^bre detección de vutliers. Public. Uni:versidad de Sevilla, 1980. T1^T^Ex, G. L. and MOORE, R. H.: «Some Grubbs - Type Statistics f©r the detection of several outliers» . Technometrics ( 14}, 1972. SUMMARY Starting from a Pareto type population with known minimum income H in this paper a criterium for detecti^n of outliers is derived. The unknowm minimum income case is also studied, showing a criterium for detection of some outliers observations. The corresponding computing program is inciuded. Key w^rds: Pareto distribution, outliers, detection of outliers. AMS, Subject classification 62 F 35.