Una explicación del comportamiento errático del intervalo de Wald en el modelo binomial

UNA EXPLICACIÓN DEL COMPORTAMIENTO ERRÁTICO DEL INTERVALO DE WALD EN EL MODELO BINOMIAL JESÚS BASULTO SANTOS e-mail: [email protected] FCO. JAVIER ORTEGA IRIZO e-mail: [email protected] JOSÉ ANTONIO CAMÚÑEZ RUÍZ e-mail: [email protected] Departamento de ECONOMÍA APLICADA I UNIVERSIDAD DE SEVILLA Área temática: Métodos cuantitativos Resumen Es conocido que el intervalo de Wald para estimar la proporción de éxito en una distribución binomial presenta un comportamiento muy errático con respecto a su probabilidad de cubrimiento al hacer variar los parámetros n y p. Habitualmente se ha considerado que este comportamiento es “esencialmente impredecible”. Sin embargo, el análisis de la causa de estos descensos permite obtener una fórmula que proporciona, fijado p, todos los valores de n en los que se produce un brusco descenso de la probabilidad de cubrimiento. Dicho análisis también permite comprender por qué el intervalo de Wilson presenta un comportamiento menos errático que el de Wald. Palabras clave: Distribución Binomial, Probabilidad de Cubrimiento, Valor Nominal, Intervalo de Wald, Intervalo de Wilson. Abstract The erratic behaviour of the coverage probability of the Wald interval of a binomial proportion has previously been remarke on the literture. In addition, “unlucky" values of n again arise in the same “unpredictable” way. In section 4, we present an explication on the “unlucky" of n and, also, we propos a method to calculate, fixed p, the values of n where significant change in coverage probability occurs. From the analysis of the Wald interval, we show that the performance the Wilson interval is less erratic. Key words: Binomial Distribution, Coverage Probability, Nominal value, Wald interval, Wilson Interval. 2 1. Introducción En muchos libros de estadística se suele proponer el siguiente intervalo de Wald, () 1/2 1/2 2 ˆˆˆ 1 zpnpp α − ±− ⎡⎤ ⎣⎦ , como un intervalo de confianza para estimar el parámetro p de la distribución binomial, y donde ˆ x pn = es la proporción en una muestra de tamaño n, 2 z α es el percentil 100 1 2 α ⎛⎞ − ⎜⎟ ⎝⎠ de una distribución normal (0,1) y 1 α − es el coeficiente de confianza o valor nominal. Este intervalo es evaluado por medio de muestras aleatorias, de tamaño n, generadas por una distribución binomial con parámetro p . Un criterio para evaluar este intervalo de Wald es calcular la probabilidad con que el intervalo aleatorio de Wald cubre el valor del parámetro p. A medida que la probabilidad de cubrimiento se aleja del valor nominal, el intervalo de Wald será poco útil, caso de que el valor de cubrimiento sea mucho más pequeño que el valor nominal o de amplitud no óptima, caso de que la probabilidad de cubrimiento sea mucho mayor que el valor nominal. Si la probabilidad de cubrimiento del intervalo de Wald lo representamos por la expresión () ,cpn, entonces afirmar que el intervalo de Wald, con valor nominal 1 α −, es eficaz es equivalente a que () ,1cpn α = −, para los valores del parámetro [ ] 0,1p∈y 1n≥. En esta y la siguiente parte del trabajo vamos calcular las probabilidades de cubrimiento del intervalo de Wald, con un valor nominal de 0.95, cuando variamos los tamaños de la muestra, n, y el valor del parámetro p. Seguiremos el trabajo Brown, Cal y Dasgupta (2001), donde los autores señalan los hechos siguiente: (a) Hay pares de valores ( ) , p n, “con mucha suerte”, es decir, con probabilidades de cubrimiento próximas al valor nominal 0.95 y, otros pares con “mala suerte”, es decir, con probabilidades de cubrimiento que se apartan totalmente del valor nominal 0.95; (b) para un valor fijo de p , la función () ,cpn no es creciente, es decir, que al aumentar el tamaño de la muestra no siempre logramos que la probabilidad de cubrimiento; (c) para un valor fijo de p , la función () ,cpncalculada para el intervalo de Wald tiende a situarse por debajo del valor nominal 0.95 y (d) para un valor fijo de n, la función ( ) ,cpnes una curva en dientes de sierra y además presenta grandes oscilaciones para valores del parámetro próximos a cero o a la unidad. 3 En nuestro trabajo buscamos explicar los comportamientos caóticos de los cubrimientos del intervalo de Wald, aportando un procedimiento para obtener los valores del tamaño n para los que la probabilidad de cubrimiento sufre la mayor caída local. Un intervalo alternativo al de Wald es el usado por Wilson en 1927. En el libro de Spiegel (1991) se afirma en la página 211 que “un método más exacto para obtener los límites de confianza se presenta en el problema 9.12”. En dicho problema se obtiene precisamente el intervalo de Wilson. La expresión del intervalo de Wilson es la siguiente: 2 1/2 1/2 2 22 2ˆˆ 4 k xkn k pq nk nk n +⎡⎤ ±+ ⎢⎥ ++ ⎣⎦ , donde ˆˆ 1qp=− y 2 kz α =. Veremos que el intervalo de Wilson mejora los comportamientos de las probabilidades de cubrimientos frente al intervalo de Wald. 2. Intervalo de Wald En la Tabla I recogemos las probabilidades de cubrimiento, entre corchetes, para distintos valores de ncuando 0,5p=y 0,05 α =. Tabla I Probabilidades de Cubrimiento para distintos n y 0,5p = con 0,05 α = , intervalo de Wald. Valores de n con Buena suerte 17[0,951] 20[0,958] 25[0,956] 49 [0,955] Valores de n con Mala suerte 10[0,891] 12[0,854] 13[0,907] 40 [0,919] Se observa que hay valores de n con buena suerte, así para n=17 la probabilidad de cubrimiento, 0.951, está muy próxima a su valor nominal 0,95; mientras que para n=12 la probabilidad de cubrimiento, 0.854 se aleja totalmente de su valor nominal 0,95. Estas suertes siguen produciéndose cuando n es igual a 49 y 40 respectivamente. En la Tabla II recogemos las probabilidades de cubrimiento, entre corchetes, para distintos valores de n cuando 0,2p = y 0,05 α =. De nuevo se observa la buena y mala suerte en la elección de n. Además se observa que cuando aumenta el tamaño de n las probabilidades de cubrimiento disminuyen alejándose de su valor nominal. En efecto, para n=31 la probabilidad de 4 cubrimiento es 0,949, mientras que para n=92 vale 0,922. Este ultimo es contrario al comportamiento razonable que debería tener un intervalo de confianza cuando aumenta suficientemente el tamaño de n. Tabla II Probabilidades de Cubrimiento para distintos n y 0,2p = con 0,05 α = , intervalo de Wald. Valores de n con Buena suerte 31[0,949] 38[0,948] 72[0,954] 97 [0,951] Valores de n con Mala suerte 25[0,884] 32[0,889] 66[0,916] 92[0,922] En la Figura I hemos calculado las probabilidades de cubrimiento para n=100, 0,05 α = y distintos valores de p del intervalo [0; 0,5]. Para valores de p del intervalo [0,5; 1] las probabilidades de cubrimiento correspondientes son idénticas. 0,85 0,87 0,89 0,91 0,93 0,95 0,97 0,99 0 0,1 0,2 0,3 0,4 0,5 Figura I. Probabilidades de Cubrimiento para distintos valores de p del intervalo [0, 0,5] cuando n=100 y 0,05 α =. Intervalo de Wald. En la Figura I se observa que la curva de las probabilidades de cubrimiento presenta grandes oscilaciones en el entorno de p = 0, que por simetría también ocurre para p = 1. Pero lo más sorprendente es observa que la curva de las probabilidades de cubrimiento está situada por debajo de la línea que marca el valor nominal 0.95, excepto para algunos valores. Las grandes oscilaciones de las probabilidades de cubrimiento para valores de p cercanos a cero que observamos en la Figura I para n= 100 se mantienen para grandes valores aunque ahora 5 las oscilaciones son menores. En la Tabla III se observa que para p = 0.005, 0,05 α =, al variar los tamaños de la muestras para n grande, siguen observándose oscilaciones significativas en las probabilidades de cubrimiento. Tabla III Probabilidades de Cubrimiento para distintos n, cuando p =0.005 y 0,05 α = , intervalo de Wald. Valores de n con mala suerte 592 954 1583 1875 () 0,005,cn 0,792 0,852 0,889 0,898 Por último, veamos algunas reglas que suelen proponer los libros de enseñanza de la estadística para decidir sobre el uso del intervalo de confianza de Wald. 1. () ,1np np p−sean 5≥ (o 10); 2. () 15np p−≥ (o 10); 3. 100n≥. Con estas reglas los autores de los libros de texto pretenden ayudar a los alumnos para aproximar la distribución binomial por la normal. Estas reglas no son muy adecuadas cuando se aplican a un problema de inferencia como el que pretende dar respuesta el intervalo de Wald. En efecto, la dos primeras reglas no son adecuadas, por ejemplo, para n= 40 y p =0,5, siendo n. p =n. (1p ) = 20 y también n. p . (1p ) = 10, pero la probabilidad de cubrimiento vale 0,919, que se aleja totalmente de su valor nominal 0,95. En cuanto la tercera regla, que también busca la aproximación de la distribución binomial por la normal, puede ser equívoca. En efecto, de la Figura I, si p =0,5, la regla es adecuada, pero si el parámetro se aleja del 0,5, por ejemplo p =0,2, la probabilidad de cubrimiento vale 0,933, o si p = 0,28, entonces su probabilidad de cubrimiento vale 0,936, etc. 6 3. Intervalo de Wilson Este intervalo fue usado por Wilson en una notas publicadas en 1927 sobre “Probable inference, the law of sucesión, and statistical inference”. Wilson aproximó la distribución binomial por una normal y consideró la cantidad pivotal siguiente: () 1 x np np p − − que se aproxima a la distribución normal (0,1). Al invertir esta cantidad pivotal obtuvo el intervalo que hemos presentado en nuestra introducción con el nombre de intervalo de Wilson. En el libro de Spiegel (1991) se obtiene este intervalo en el problema 9.12. Esta justificación es más pedagógica en el intervalo de Wilson que en el de Wald, ya que en el de Wald la varianza ˆ p es estimado por () ˆˆ 1/ p pn−, que es consistente, y la cantidad pivotal que se invierte es ahora () ˆˆ 1 x np np p − −, que también tiende en distribución a una distribución normal (0,1). Si el valor central del intervalo de Wald es el estimador es ˆ p , es decir, la proporción de la muestra, el valor central del intervalo de Wilson es el estimador ˆ2 1 t p t + + , donde 2/2 z tn α =. En la Figura II, hemos calculado las probabilidades de cubrimiento n=100, 0,05 α = y distintos valores de p del intervalo [0, 0,5]. Para valores de p del intervalo [0,5 ; 1] las probabilidad de cubrimiento son idénticos a las anteriores. 0,85 0,87 0,89 0,91 0,93 0,95 0,97 0,99 0 0,1 0,2 0,3 0,4 0,5 Figura II. Probabilidades de Cubrimiento para distintos valores de p del intervalo [0, 0,5] cuando n=100 y 0,05 α =, intervalo de Wilson. 7 Si comparamos con la Figura I del intervalo de Wald, vemos el cambio tan espectacular de esta nueva curva, la Figura II, frente a la de Wald. Wilson en su trabajo de 1927 habla de que la “chance” de su intervalo de que contenga a p puede ser mejorada por su nuevo intervalo. Recordemos que la palabra chance se aplicaba a probabilidades objetivas, como en el caso de repetición en las mismas condiciones de un cierto experimento, mientras la palabra probabilidad se usaba en otros casos. En la Tabla IV recogemos las probabilidades de cubrimiento, entre corchetes, para distintitos valores de ncuando 0,5p=y 0,05 α = . Vemos ahora que los problemas del intervalo de Wald no se presentan en el intervalo de Wilson. Las probabilidades de cubrimiento oscilan alrededor del coeficiente de confianza del 0,95. Tabla IV Probabilidades de Cubrimiento para distintos n y 0,5p = con 0,05 α = , intervalo de Wilson Valores de n 17[0,951] 20[0,959] 25[0,957] 49 [0,955] Valores de n 10[0,978] 12[0,961] 13[0,977] 40 [0,961] En la Tabla V recogemos las probabilidad de cubrimiento, entre corchetes, para distintos valores de n cuando 0,2p=y 0,05 α =. Tabla V Probabilidades de Cubrimiento para distintos n y 0,2p = con 0,05 α = , intervalo de Wilson. Valores de n 31[0,958] 38[0,960] 72[0,962] 97 [0,958] Valores de n 25[0,925] 32[0,952] 66[0,955] 92[0,949] Ahora, para n=31 la probabilidad de cubrimiento es 0,958, y para n=92 vale 0,949. Es decir, al aumentar el tamaño de la muestra, la probabilidad de cubrimiento se aproxima más a su valor nominal. Se trata de un comportamiento razonable. En otros casos cuando aumentamos el tamaño de la muestra, se observa que la probabilidad de cubrimiento también aumenta. 8 4. Análisis empírico del comportamiento irregular del intervalo de Wald. En esta sección, analizaremos con más detalle algunos ejemplos concretos, al objeto de buscar una explicación del comportamiento aparentemente errático de la probabilidad de cubrimiento del intervalo de Wald. Nos centraremos en el caso de mantener un valor de p fijo haciendo variar n. Fijado un α , a partir de la expresión del intervalo de Wald, podemos obtener la probabilidad de cubrimiento ( , )Cnp dados unos valores de p y n como la suma de las probabilidades de ciertos valores en la distribución ( , ). B inp Concretamente, [ ] () 12 (,), (,) (, ) (, ) jLnpLnp Cnp PXnp j ∈ == ∑ , donde ( , ) ( , ) X np Binp y 1(, )Lnp y 2(, )Lnp son las soluciones de las ecuaciones /2 1()xn x x zp nn α ⎡⎤ − += ⎢⎥ ⎣⎦ y /2 1()xn x x zp nn α ⎡⎤ − −= ⎢⎥ ⎣⎦ , respectivamente. Por ejemplo, para 31n= y 0'2p= al resolver las ecuaciones anteriores obtenemos 1(31,0'2) 2'9822L= y 2(31,0'2) 11'4685L=, por lo que la probabilidad de cubrimiento del intervalo de Wald será 11 3 (31,0'2) [ (31,0'2) ] 0'9498. j CPXj = === ∑ Cuando se analiza la probabilidad de cubrimiento fijado p y haciendo aumentar n, la característica más llamativa es que en ciertos valores de n se producen bruscos descensos de dicha probabilidad, como puede apreciarse en la figura III (en la que se ha tomado 0'25p=). Además, podemos observar cómo dicha probabilidad se mantiene casi siempre por debajo del valor nominal 1 α −. 10 20 30 40 50 n 0.775 0.825 0.85 0.875 0.9 0.925 0.95 C  n,0.25  Figura III. Probabilidades de Cubrimiento para distintos valores de n y p = 0’25. Intervalo de Wald. 9 En Brown, Cal y Dasgupta (2001), acerca de estos valores de n, los autores señalan: “Subsequent “unlucky” values of nagain arise in the same unpredictable way, as one…” 1. Veamos en algunos ejemplos, cuál es la causa de estos bruscos descensos en la probabilidad de cubrimiento. Ejemplo 1: 0'4, 32.pn== En este caso, podemos comprobar que (32,0'4) 0'9543C = mientras que para 33n = la probabilidad de cubrimiento es (33,0'4) 0'9245C = . En este caso, se obtiene 12 (32,0'4) 7'9992, (32,0'4) 18'2868LL== mientras que para 33n = los límites son 12 (33,0'4) 8'3123, (33,0'4) 18'7759LL== por lo que las probabilidades de cubrimiento vienen dadas por 18 8 (32,0'4) [ (32,0'4) ] j CPXj = == ∑ y 18 9 (33,0'4) [ (33,0'4) ] j CPXj = = = ∑. En la tabla VI y en la figura IV podemos apreciar que las diferencias de probabilidad de los valores 8 a 18 cuando pasamos de 32n= a 33n= son aproximadamente simétricas y de suma cercana a 0. Así, el hecho que resulta decisivo en la diferencia de cubrimiento es la inclusión del caso 8j= en la suma de probabilidades para 32n= y la exclusión del mismo cuando pasamos a 33n=, ya que la probabilidad del valor 8 j = (que es igual a 0’0327) es muy superior (del orden de 10 veces) a la suma de diferencias de probabilidades para el resto de valores que sí aparecen en ambos sumatorios (que es igual a 0’0029). Tabla VI Probabilidades de cubrimiento para n=32, n=33, p=0’4, Intervalo de Wald j [(32,0'4) ]PX j = [(33,0'4) ]PX j = Diferenc. 8 0,0327 *** *** 9 0,0581 0,0479 -0,0102 10 0,0890 0,0766 -0,0124 11 0,1187 0,1068 -0,0119 12 0,1385 0,1306 -0,0079 13 0,1421 0,1406 -0,0014 14 0,1285 0,1339 0,0054 15 0,1028 0,1131 0,0103 16 0,0728 0,0848 0,0120 17 0,0457 0,0566 0,0109 18 0,0254 0,0335 0,0081 Sumas 0,9543 0,9245 0,0029 1 Brown, L. D., Cal, T., y Dasgupta, A. (2001). “Interval Estimation for a Binomial Proportion”. Statistical Science. vol. 16, No. 2, 101-133., Página 104. 16 Fijado un α , a partir de la expresión del intervalo de Wilson, podemos obtener la probabilidad de cubrimiento *( , )Cnp dados unos valores de p y n como la suma de las probabilidades de ciertos valores en la distribución (, ). B inp Concretamente, [ ] () ** 12 (,), (,) (, ) (, ) jLnpLnp Cnp PXnp j ∈ == ∑ , donde ( , ) ( , ) X np Binp y * 1(, )Lnp y * 2(, )Lnp son las soluciones de las ecuaciones 2/2 1/2 1/2 2 /2 /2 22 /2 /2 214 z xzn z xx p nz nz n n n α αα αα +⎡⎤ ⎛⎞ +−+= ⎜⎟ ⎢⎥ ++ ⎝⎠ ⎣⎦ y 2/2 1/2 1/2 2 /2 /2 22 /2 /2 214 z xzn z xx p nz nz n n n α αα αα +⎡⎤ ⎛⎞ − −+ = ⎜⎟ ⎢⎥ ++ ⎝⎠ ⎣⎦ , respectivamente. Por ejemplo, para 31n = y 0'2p = al resolver las ecuaciones anteriores obtenemos * 1(31,0'2) 1.8350L= y * 2(31,0'2) 10.5650L=, por lo que la probabilidad de cubrimiento del intervalo de Wilson será 10 * 2 (31,0'2) [ (31,0'2) ] 0'9586. j CPXj = === ∑ Ejemplo 4: 0'2, 32.pn== En este caso, se obtiene * 1(32,0'2) 1.9651L= y * 1(33,0'2) 2.0964L=, es decir, se produce un salto en la parte entera de la función 1(,0'2)Ln al pasar de 32n = a 33n = . No obstante, podemos comprobar que las probabilidades de cubrimiento de los respectivos intervalos de Wilson vienen dadas por *(32,0'2) 0.9518C= y *(33,0'2) 0.9516C=. La ausencia de un descenso brusco de probabilidad se debe a que el salto que se produce en * 1 L (lo que supone perder un término en el sumando que nos proporciona la probabilidad de cubrimiento) se compensa porque * 2 L también “salta” (en concreto, * 2(32,0'2) 10.8350L= y * 2(33,0'2) 11.1037L=). Como puede apreciarse en la tabla XI y en la figura VIII, sigue ocurriendo que las diferencias de probabilidad en los términos comunes a ambos sumatorios en total tienden a sumar un valor cercano a cero (notar que en el caso de Wilson la figura es más simétrica que en el de Wald); pero ahora cada sumatorio tiene un término “extra” que no aparece en el otro y debido a la simetría aproximada, ambos términos tienen probabilidad muy similar con lo que en conjunto, las probabilidades de cubrimiento son muy similares. 17 Tabla XI Probabilidades de cubrimiento para n=32, n=33, p=0’2, Intervalo de Wilson j [(32,0'2) ]PX j = [(33,0'2) ]PX j = Diferenc. 2 0,0246 *** *** 3 0,0614 0,0540 -0,0074 4 0,1113 0,1013 -0,0100 5 0,1558 0,1469 -0,0089 6 0,1753 0,1714 -0,0039 7 0,1628 0,1653 0,0025 8 0,1272 0,1343 0,0071 9 0,0848 0,0932 0,0085 10 0,0487 0,0559 0,0072 11 *** 0,0292 *** Sumas 0,9518 0,9516 -0,0048 0,00 0,02 0,04 0,06 0,08 0,10 0,12 0,14 0,16 0,18 0,20 234567891011 Figura VIII. Probabilidades de Binomiales n=32 y n=33 (p=0’2). Int. Wilson Tras haber realizado los cálculos correspondientes en multitud de situaciones distintas, comprobamos empíricamente que en el intervalo de Wald (para 0'5 p ≤ ) cuando aumenta la parte entera de 1 L nunca cambia la parte entera de 2 L (lo que conlleva descenso brusco de probabilidad). Por su parte en el caso del intervalo de Wilson, cuando aumenta la parte entera de * 1 L en muchas ocasiones aumenta también la parte entera de * 2 L y esta es la causa de que las variaciones sean más suaves en el intervalo de Wilson. De hecho, los descensos más importantes en el intervalo de Wilson también se dan cuando aumenta la parte entera de * 1 L mientras que la parte entera de * 2 L se mantiene, pero esta situación es poco frecuente (esto ocurre, por ejemplo, para 0'4 p = , 30n=donde podemos observar que * 1(30,0'4) 6'7409L=, * 1(31,0'4) 7'0539L=, * 2(30,0'4) 17'2591L= y * 2(31,0'4) 17'7461L=, siendo las probabilidades de cubrimiento *(30,0'4) 0.9616C= y *(31,0'4) 0.9350C=). 18 5. Conclusiones y cuestiones abiertas. Como hemos indicado en la sección 4, para calcular la probabilidad de cubrimiento del intervalo de Wald para unos valores n y p , debemos sumar las probabilidades de todos los enteros contenidos en un cierto intervalo () 12 (, ), (, )LnpLnp . La primera conclusión que queremos destacar es que el comportamiento errático del intervalo de Wald se debe a que en ciertos casos, al pasar de n a 1n+ (para un 0'5p ≤ fijo) dicho intervalo pierde un entero (por el extremo inferior). Empíricamente, hemos visto que: i) Cuando aumenta la parte entera de 1 L, nunca aumenta la parte entera de 2 L y ii) El aumento de la parte entera de 1 L al pasar de n a 1n + queda biunívocamente asociada al descenso en la probabilidad de cubrimiento al pasar de n a 1n + . A partir de las reglas anteriores, podemos obtener una fórmula que nos proporciona todos los valores de n en los que se produce un descenso en la probabilidad de cubrimiento (para un 0'5p≤ fijo), por lo que dichos valores no tienen un comportamiento impredecible, como indican Brown, Cal y Dasgupta (2001). Al comparar el intervalo de Wald con el de Wilson, observamos en este último un comportamiento menos errático, y esto se debe a que en muchas de las ocasiones en las que se produce un aumento en la parte entera de * 1 L, lo que provoca la pérdida de un entero por el extremo inferior, éste se compensa con un aumento en la parte entera de * 2 L, lo que provoca la ganancia de un entero por el extremo superior (recordemos que la probabilidad de cubrimiento del intervalo de Wilson se obtenía sumando las probabilidades de todos los enteros contenidos en un cierto intervalo () ** 12 (, ), (, )LnpLnp , como vimos en la sección 5). Destaquemos que en el caso del intervalo de Wald no hemos encontrado ninguna excepción a las reglas empíricas expuestas, mientras que en el intervalo de Wilson la regla que hemos enunciado se da con excepciones. Como cuestiones abiertas para continuar con esta investigación quedaría en primer lugar buscar demostraciones formales del resultado empírico obtenido y por otra parte sería interesante buscar alguna explicación al hecho de que el intervalo de Wilson habitualmente tenga una probabilidad de cubrimiento más cercana al valor nominal que el de Wald. 19 Referencias Bibliográficas Brown, L. D., Cal, T., y Dasgupta, A. (2001). “Interval Estimation for a Binomial Proportion”. Statistical Science. vol. 16, No. 2, 101-133. Spiegel, M. R., (1991), Estadística. Madrid. McGraw-Hill. 1993. 217-218. Wilson, E. B. (1927). “Probable inference, the law of succession, and statistical inference”. J.Amer. Statist. Assoc. 22, 209-212.