Análisis de sensibilidad en el muestreo en poblaciones finitas

Metodología de Encuestas Vol 2, Num 1,2000, 103-116 ANÁLISIS DE SENSmILIDAD EN EL MUESTREO EN POBLACIONES FINITAS RESUMEN José Luis Moreno Ana Maria MÚñoz Joaquín Muñoz Universidad de Sevilla Las conclusiones de un análisis estadístico dependen en gran medida de las hipótesis de partida, en general expresadas en términos de un modelo, y de las observaciones experimentales. Esta dependencia motiva la necesidad de estudiar estimadores, tests ... que sean robustos ante determinadas perturbaciones del modelo, de identificar las observaciones atípicas o amortiguar el efecto de su presencia, y de evaluar el impacto de cada una de las opservaciones sobre las conclusiones del estudio. Naturalmente, la reflexión anterior es válida en el muestreo en poblaciones finitas. El estudio de las referencias a los problemas antes señalados, en el contexto del muestreo en poblaciones finitas, pone de manifiesto un desarrollo desigual de los distintos tópicos, y la importancia del esquema probabilístico desde el que se aborda la inferencia: población fija o modelo de superpoblación. En este trabajo se presentan algunas de las referencias sobre los problemas descritos. En particular, se recogen algunos resultados referentes a la robustez del estimador de razón y una recopilación exhaustiva de los diagnósticos de influencia en el muestreo en poblaciones finitas. Palabras clave: robustez, observaciones atípicas, muestreo en poblaciones finitas, diagnóstico de influencia. 104 J.L. Moreno, A.M. Muñoz Reyes y J. Muñoz García Introducción Las hipótesis de estudio, expresadas en general mediante un modelo matemáticoestadístico, y los datos muestrales resultantes de la experimentación desempeñan un papel fundamental en las .conclusiones fmales de todo análisis estadístico, en particular en el muestreo en poblaciones fmitas, por lo que es razonable plantearse las siguientes cuestiones: • ¿Cómo incide sobre las conclusiones el modelo supuesto? • ¿Qué incidencia tiene en las conclusiones la presencia en los datos experimentales de "observaciones no representativas" (observaciones atípicas, extremas, outliers)? Los modelos matemáticos en general, y los estadísticos en particular, son casi siempre una descripción simplificada y aproximada de una realidad más compleja. Neyman y Pearson (1937) afmnan: "Los matemáticos tratan con conceptos matemáticos, no con cosas reales y sólo podemos esperar una cierta relación entre ambas". " En ocasiones, pequeñas perturbaciones o modificaciones en el modelo distorsionan o alteran de tal forma las conclusiones que algunos autores, por ejemplo Huber (1975), consideran que proteger las conclusiones de tales distorsiones es a menudo más importante que minimizar la varianza. Las consideraciones planteadas motivan la necesidad de determinar estimadores, tests ... y, en general, procedimientos que no sean sensibles frente a determinadas perturbaciones en el modelo, 10 que se ha dado en llamar procedimientos robustos. El estudio de este tipo de procedimientos en general se realiza de acuerdo al ,nguIO¡;;lUO¡;; esquema: • Considerar las circunstancias en las que más probablemente el modelo es erróneo. • Describir estas circunstancias mediante un modelo alternativo. • Analizar el procedimiento propuesto bajo el modelo alternativo. • Comparar el procedimiento propuesto con el procedimiento óptimo el modelo alternativo. En relación con la segunda pregunta antes formulada, cabe afmnar que en ocasiones algunos aspectos de las conclusiones pueden estar dominados por una observación particular, o por un número reducido de ellas. Este problema se puede abordar desde distintas perspectivas, que en ocasiones se superponen: identificar tales observaciones, obtener estimadores, tests ... que no sean sensibles o que amortigüen el efecto de la presencia de observaciones extremas (procedimientos robustos) y de medidas capaces de evaluar el impacto que determinadas observaciones tienen sobre las conclusiones del análisis (medidas o diagnósticos de influencia). Siguiendo la línea de Cook (1987), los problemas expuestos pueden de forma global de la siguiente forma: Análisis de sensibilidad en el muestreo en poblaciones finitas 105 Sea R(D,M) los resultados del análisis debido a los datos D y al modelo postulado M. Generalmente R puede representar una predicción, una estimación de un parámetro, una distribución a posteriori... Sea ú> un vector de perturbaciones que toma valores en cierto espacio 'l, y sea M (ú» el modelo perturbado, suponiendo que existe un Ú>o E 'l de forma que M (Ú>o) = M. El objetivo es comparar R(D,M (Ú>o» Y R(D,M). Como no podía ser de otra forma, los problemas señalados, genéricos de cualquier estudio estadístico, pueden plantearse en el muestreo en poblaciones fmitas. El análisis de los trabajos en este campo ha de tener presente el enfoque desde el que se realiza la inferencia. Inferencia y muestreo en poblaciones fInitas Como planteamiento general supondremos que se tiene una población fmita, U = {l , ... , N}, formada por N individuos. A cada unidad poblacional, k, k = 1, ... , N, se le asocia un vector (yk' X 1k ' ••• , x¡m), siendo Yk la variable objeto de estudio desconocida y (X 1k , ••• , x pk ) que se puede considetar como una información adicional disponible, conocida, siendo el parámetro de interés el total poblacional T (y) = !:u Yi. Existen, básicamente, dos aproximaciones distintas a la teoria del muestreo en poblaciones finitas. La diferencia esencial entre ambas radica en la estructura probabilística que subyace a la hora de realizar la inferencia. La aproximación clásica utiliza como base de la inferencia la distribución de probabilidad generada por un diseño muestral, D = (M, P (-), siendo M es espacio muestral y P (.) la dístribuci(m de probabilidad definida sobre M. Cuando la inferencia se realiza a partir del diseño, la validez de los resultados depende sólo del proceso de selección aleatoria, un proceso creado y controlado por el experimentador. Sin embargo, algunos problemas de muestreo pueden ser analizados de forma útil y realista como problemas de predicción bajo un modelo adecuado de superpoblación ~, originando lo que se ha dado en llamar la aproximación predictiva, en la que ~ desempeña un papel esencial en la inferencia. Los distintos trabajos sobre robustez, observaciones extremas (outliers) e influencia que se han desarrollado en la literatura dependen de la perspectiva desde la que se realiza la inferencia. Robustez respecto del modelo Bajo el término genérico de robustez se ha englobado a una serie de procedimientos en los que subyacen las ideas anteriormente expresadas, aunque admite distintas matizaciones. Por ejemplo, cuando la inferencia se basa en el diseño el término robusta, generalmente, se utiliza para referirse a estimadores asintóticamente insesgados, respecto del diseño. 106 J.L. Moreno. A.M. Muñoz Reyes y J. Muñoz Garcia A continuación, se concretan algunas de las ideas expuestas anterionnente, cuando la inferencia se realiza desde el enfoque preructivo. En el enfoque predictivo se supone que (y¡, ... , YN) es una realización de un vector aleatorio (Y¡, ... , YN ), sobre cuya distribución se realizan ciertas hipótesis, que es 10 que se conoce como modelo de superpoblación, y que en ténninos generales se denotará por ~. Dada una muestra s, se puede representar y el problema de estimar T (y) se puede considerar como el de predecir la suma de las variables no observadas ¡: 1';. 8 El nexo de unión entre lo observado y lo no observado lo proporciona el modelo ~. A partir de la infonnación muestral, (O, y¡), i E s}, se estiman los parámetros d~l modelo que se utilizan para predecir los valores no observados .. Ha de señalarse que la estimación de los parámetros del modelo ~ debe considerarse en todo caso como un elemento accesorio, pues el objetivo es estimar T (y). En este contexto se plantea el problema de detenninar un predictor de T (Y), T (X, ~) que dependa de la infonnación auxiliar, X, y del modelo considerado, ~, de tal fonna que sea óptimo en algún sentido. Obviamente, la validez de las conclusiones se sustenta en la validez del modelo de superpoblación considerado, y ya que en la práctica rara vez se tiene certeza absoluta sobre éste, puede plantearse qué efectos tienen, sobre la teoría generada, algunas modificaciones en el modelo. En general T (X, ~) dependerá del modelo ~ propuesto, por lo que cabe nrp·.,.,'· ... t" .. _ se por su validez en el caso en que se considerara un modelo alternativo caso se dirá que T (X, ~) es robusto respecto del modelo r si T(X,~) = T(X, n Modelo y predicción Entre los trabajos pioneros en esta linea podemos citar el de (1973), ya que muchos de los trabajos posteriores abordan o extensiones del planteado. y Herson consideran el modelo de superpoblación ~ [00' ... , v caracterizado por las especificaciones: • Y¡, ... , son variables aleatorias incorreladas. • E h (xJ, siendo Análisis de sensibilidad en el muestreo en poblaciones finitas h (x) = 0oPo + o¡p¡x + 02P~ + ... + oJP~ donde Oj E {O,l},j = 1; ... , J, indica si se incluye o no el término de ordenj . • var (YJ = a2 v (xJ. 107 Supuesto el modelo anteriormente especificado, y dada una muestra s, se plantea determinar el predictor lineal ~ es insesgado de T = T (Y), es decir, verificando y que sea óptimo en el sentido mínimo cuadrático, es decir, solución de Si denotamos por 1'[0 0 •••• ,0 ,,;u(x)] a la solución del problema planteado, se obtieneque J 1'[oo""'o,,;u(x)] = 'EYk+ 'E (~x¡) 0J~J 8 J=O 8 donde losx son los estimadores ,de mínimos cuadrados ponderados de los coeficientes de regresión del modelo especificado. Como caso particular, se obtiene que en el modelo puramente aleatorio, ~[1 : 1], el estimador óptimo, en el s~tido definido, es el estimador de expansión 1'[1: 1] = Nj(s) donde por j(s) se denota a la media muestral, o que en un modelo de regresión, a través del origen, supuesto que la varianza de Yes proporcional a x, ~ [O, 1 : x], el estimador óptimo es el estimador de razón Estrategia óptima A :E Yi; T[O, 1 :x] = T(x)~ Lt, Xi; En el caso particular de 1'[0,1 :x] o de cualquier otro estimador, 1'[00'"'.,0 ,,;u(x)], cabría preguntarse, además, por aquellas muestras, s [00 •••• ,0 ,,;u(x)], para las que se minimiza el error cuadrático medio . [A ~2 mmE~ T[0o""'o;u(x)] -TJ s 108 J.L. Moreno, A.M. Muñoz Reyes y J. Muñoz García En estas condiciones el par (S[Oo' ... ,o,,;u(x)];T[Oo' ..•• O,,;u(x)]) es la estrategia óptima bajo el modelo ~ [00""'& ,,;u(x)] . En particular, para el estimador de razón se verifica que [" ..J ¿-x.., E~ T[O,l:x]-lJ = fP.T(x)~ L,..¡. x Te por lo que la muestra óptima es aquélla fonnada por los n mayores valores de la variable x, supuesto que x es positiva. Sesgo del estimador de razón Naturalmente, todos los resultados expuestos dependen del modelo ejemplo, bajo el modelo de regresión simple, no necesariamente a través del y varianza proporcional a x, ~ [1, 1 : xJ, el estimador de razón ya no es óptimo, ni siquiera es, en general, insesgado, y su sesgo viene dado por E~[T[O,l:X]-1] = PoNx-i"(s) x (s) En general, bajo el modelo ~ [&0""'& ,,;u(x)], se tiene que E~[t[O,l :x] -1] = t oJPJNxfx~(s) _ x~} J=O {x(s) x (1) es decir, en general, el estimador de razón no conserva la propiedad de insesgadez. Muestras balanceadas y robustez Sin embargo, a partir de (l) se observa que el estimador de razón insesgado bajo el mode1oe [Oo" ••• o,,;u(x)] si la muestra, s, verifica que xJ(s) = _ x(s) ;¡ siendo para aquellos valoresj en los que Oj = 1, lo que origina el concepto de muestra balanceada. Definición: dado J, entero positivo, una muestra se dirá balanceada si xi (&') = xi; j = 1, ... ,J denotándose por s (J) al conjunto de muestras balanceadas. Es decir, una muestra es balanceada si los momentos de ordenj,j=l, .. J, coinciden sobre la muestra y la población. En este sentido, se podría decir que la muestra es una fidedigna representación de la población. Análisis de sensibilidad en el muestreo en poblaciones finitas 109 Es de destacar que para cualquier muestra balanceada 1'[0,1 :x] = T(x) ~~:~ = Ny(s) = 1'[1: 1] es decir, el estimador de razón, óptimo en el modelo ~ [O, 1 : x], coincide con el estimador de expansión, que es óptimo en el modelo ~ [1 : 1]. Así pues, si se utiliza una muestra balanceada, el estimador de razón es óptimo bajo los dos modelos, es decir, es robusto. Este resultado se puede generalizar, como se recoge en el siguiente teorema. Teorema: Si s E s (J) entonces A A , A 1 T[l,&l.· .. ,d J :l] T[&0'1,&2,· ... &J: X] = T[&0'&1'1, ...• &J: X] ... = 1'[&0' &1' &2' ••• ,1 :x J] = N y(s) para cualquier secuencia °0 ,° 0 ,° 0 ,° 0, de ceros y unos. El teorema nos afirma que, cuando la muestra es balanceada, el estimador de expansión, Ny(s), que coincide con el de razón, es óptimo en cualquier modelo de regresión de gradoJ, en el que la varianza sea proporcional a:t, para algúnj = 1, ... , J, siempre y cuando la función de regresión contenga al término de grado j, ~j :t. Hay que tener presente que considerar una muestra balanceada, junto con el estimador de razón, presenta una protección frente a un determinado tipo de error en el modelo, pero pierde eficiencia, ya que las muestras balanceadas en general no son las muestras óptimas y, por tanto, la estrategia formada por una muestra balanceada y el estimador de razón no es óptima en todos los modelos. Generalizaciones A partir del trabajo de Royal y Herson surgen algunas generalizaciones del mismo como, por ejemplo, el de Scott, Brewer and Ho (1978), en el que se considera una función de varianza genérica V(x); ° el de Braganya, Pereira y Rodrigues (1983), que considera un modelo lineal dependiente de k variables. También cabe destacar los trabajos de Royal y Pfefferman (1982) y Bolfarine, Braganya y Rodrigues (1987), en los que se analiza el problema de la robustez, pero desde una perspectiva bayesiana. An.álisis de influen.cia El estudio desarrollado hasta el momento se ha centrado en uno de los elementos básicos de la inferencia: el modelo. A continuación, nos centramos en el otro elemen- to: las observaciones muestrales. El de la o influencia de los datos muestrales es de que las conclusiones del análisis estadístico se basa en ellos, al 110 J.L. Moreno, A.M. Muñoz Reyes y J. Muñoz García menos en gran medida. Este problema se puede abordar desde diversas perspectivas que, en ocasiones, se superponen, dependiendo del objetivo fmal perseguido. El objetivo del estudio puede ser el de identificar aquellas observaciones que son extremas (outliers) en algún sentido, que se desvían marcadamente del c01nplDrul.- miento del resto. Las consecuencias que se derivan de identificar una o varias observaciones como outliers puede ser diversa. Una opción es excluirlas del análisis por no considerarse representativas, pero en ocasiones ponen de manifiesto algunos aspectos de la población objetivo que no habían sido considerarlos a priori, lo que que el estudio de este tipo de observaciones pueda ser un objetivo por si mismo. nU"'''ULV'' autores (Barnett, 1993) señalan que el problema de la identificación de outliers en poblaciones fmitas sólo puede realizarse en el caso en que la inferencia se realice desde el enfoque predictivo, ya que de alguna forma se necesita tID modelo para poder cuantificar el hecho de "desviarse marcadamente del comportl.miento del resto". En este caso serian adaptables algunos de los procedimientos en poblaciones infmitas. En ocasiones, el objetivo no es precisamente el de identificar las """'0"''''''''''',,,,,,''',, extremas, sino el de obtener estimadores, tests, ... sobre los que la presencia de out1iers tenga unos efectos limitados. Es decir, el objetivo es obtener procedimientos robustos, en este caso frente a la presencia de outliers. Esta forma de abordar el se denominar de acomodación, en contraposición a la identificación antes expuestao Los textos clásicos de muestreo no contienen ninguna referencia eX1JI1C:Ha problema. Sin embargo, una lectura detenida muestra algunas ideas muy a lo bajo el de poblaciones sesgadas. Por ejemplo, Kish muestra de una población muy sesgada puede estar distorsionada si en eUa aparecen unas cuantas unidades con valores muy grandes. Si éstas aparecen con una u"/va,uu,- dad de selección pequeña, reciben grandes pesos y tienen un gran efecto sobre la media muestral y su varianza". A la hora de construir un procedimiento robusto frente a los outliers deben considerarse los elementos que controla el experimentador, fundamentalmente el diseño muestraI y el estimador a utilizar. Si existe información a sobre la existencia de valores en la una obvia es la de estratificar la v~".nu"A'U'U y colocar todos los valores en un estrato separado, aunque desde vi.sta se un adicional al ser, en desconocido el tamaño del estrato así definido. Entre los trabajos desarrollados en esta citar los de Srinath y el de Chambers Un el de evaluar la influencia que cada nn~,\"nrl'U~·i oo¡,erVaCa011es tienen sobre las conclusiones del estudio Análisis de sensibilidad en el muestreo en poblaciones finitas 111 lo contrarío, son escasísimas las referencias a este tópico dentro de este campo, siendo por el contrario en el Modelo Lineal en el que más se ha desarrollado. Los métodos propuestos en la literatura para medir la influencia son muy diversos, originando 10 que se denominan diagnósticos o medidas de influencia. Según Cook y Weisberg (1982), "La idea básica en el análisis de influencia es muy simple. Introducimos pequeñas perturbaciones en la formulación del problema y entonces calculamos cuánto cambian los resultados del análisis por la perturbación". De acuerdo a la idea expresada por Cook y Weisberg, queda por definir el esquema de perturbación que se va a considerar y la forma de cuantificar los cambios que se producen en las conclusiones del estudio, es decir, en los estimadores, tests, ... Aunque la forma de introducir una perturbación y de cuantificar los cambios puede ser muy diversa e, incluso, en algunos casos específicos del problema que se considere, en la literatura se han propuesto algunos procedimientos que tienen cierta aplicación general, destacando el denominado esquema de omisión y la función de influencia, en alguna de sus versiones. Cuando, en poblaciones finitas, se adopta el enfoque predictivo, en general se considera un modelo de tipo lineal, que es precisamente el modelo para el que más diagnósticos de influencia se han desarrollado. Los diagnósticos propuestos para el Modelo Lineal podrían adaptarse para poblaciones finitas, por 10 que nos centramos a continuación en los que se han propuesto de forma específica para el caso de poblaciones fmitas, cuando la inferencia se basa en un diseño muestral. Diagnósticos basados en la omisión El esquema de la omisiÓn, quizás el más utilizado, es tal vez también el más simple. Se comparan los resultados del análisis, considerando todas las observaciones experimentales y omitiendo una de ellas. Obviamente, este tipo de diagnóstico puede ser construido en el caso del muestreo en poblaciones fmitas, aunque presenta algunas peculiaridades, como destaca Smith (1987). En el caso de que se considere un estimador de tipo lineal, T = La <..>,Y¡, un diagnóstico del tipo omisión para evaluar la influencia de la i-ésima unidad muestral ~ T-t 1(1) = loo--º2: T donde 1(f) representa el estimador basado en la muestra, excluyendo la unidad i. En muestras de gran tamaño, el diagnóstico es aproximadamente 100 <..>,Y¡ L. <..>,Y¡ donde se observa claramente que tanto 1'; como úJ¡ contribuyen a la influencia del iésimo caso.