Curvas ROC (Receiver-Operating-Characteristic) y sus aplicaciones

Curvas ROC (Receiver-Operating-Characteristic) y sus aplicaciones. Ana Rocío del Valle Benavides Tutor: Juan Manuel Muñoz Pichardo Trabajo Final de Grado en Matemáticas Departamento de Estadística e Investigación Operativa 1 2 Curvas ROC (Receiver-Operating-Characteristic) y sus aplicaciones Ana Rocío del Valle Benavides Agradecimientos A Juan Manuel Mu˜noz Pichardo por su dedicación, correcciones y largas tutorías. Al equipo Mˆolab (Mathematical Oncology Laboratory) por incluirme en sus labores de investigación del Glioblastoma, dándome pié a conocer así las curvas ROC y sus aplicaciones. Tutor: Juan Manuel Muñoz Pichardo. Universidad de Sevilla. Departamento de Estadística e Investigación Operativa. 3 Índice general 1. Introducción 8 2. Construcción de la curva ROC 12 2.1. Conceptos previos . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. Denición de la curva ROC . . . . . . . . . . . . . . . . . . . . . 16 2.3. Métodos no paramétricos . . . . . . . . . . . . . . . . . . . . . . 20 2.4. Métodos paramétricos . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5. Método semiparamétrico . . . . . . . . . . . . . . . . . . . . . . . 23 3. Medidas de exactitud para un clasicador 26 3.1. Precisión o exactitud de un clasicador . . . . . . . . . . . . . . 26 3.2. ÍndicedeYouden........................... 27 3.3. Tasas de verosimilitud . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4. Oddsratio............................... 29 3.5. Índice de discriminación . . . . . . . . . . . . . . . . . . . . . . . 31 3.6. Áreabajolacurva .......................... 32 3.7. Cálculo del área bajo la curva . . . . . . . . . . . . . . . . . . . . 35 3.8. AUC parcial ............................. 37 3.9. Comparación de pruebas . . . . . . . . . . . . . . . . . . . . . . . 39 4. Elección del punto de corte 42 5. Softwares estadísticos para las curvas ROC 46 5.1. Análisis de curvas ROC en SPSS . . . . . . . . . . . . . . . . . . 47 5.2. Análisis de la curva ROC en R . . . . . . . . . . . . . . . . . . . 54 6. Aplicaciones 64 4 ÍNDICE GENERAL 5 Resumen La curva ROC es una herramienta estadística utilizada en el análisis de la clasicar la capacidad discriminante de una prueba diagnóstica dicotómica. Es decir, una prueba, basada en una variable de decisión, cuyo objetivo es clasicar a los individuos de una población en dos grupos: uno que presente un evento de interés y otro que no. Esta capacidad discriminante está sujeta al valor umbral elegido de entre todos los posibles resultados de la variable de decisión , es decir, la variable por cuyo resultado se clasica a cada individuo en un grupo u otro. La curva es el gráco resultante de representar, para cada valor umbral, las medidas de sensibilidad y especicidad de la prueba diagnóstica. Por un lado, la sensibilidad cuantica la proporción de individuos que presenta el evento de interés y que son clasicados por la prueba como portadores de dicho evento. Por otro lado, la especicidad cuantica la proporción de individuos que no lo presentan y son clasicados por la prueba como tal. Desde su invención en el seno de las investigaciones militares estadounidenses ha formado parte del Análisis Discriminante y la Teoría de la Detección de Señales. Su primera aplicación fue en detección de señales de radar durante los años 50'. En los 60' Green y Swets [1] la utilizaron para experimentos psicofísicos y más tarde, en los 70', el radiólogo Leo Lusted [ 26] las usó para decisión de disgnóstico mediante imágenes médicas. A partir de entonces, numerosos investigadores han utilizado ésta herramienta en el campo de la sanidad, la economía, la meteorología y más recientemente en el aprendizaje automático. 6 Abstract The COR curve is a statistic tool wich is used in sort analysis for sorting out the discriminating ability of a diagnosis dichotomic test. That is to say, a test, based on a decision variable wich aim is to classify the population ´ s individuals into two groups: one that presents an event and another that doesn't. This discriminant capacity is subject to the threshold value chosen from among all possible outcomes of the decision variable , ie, the variable by which each individual is classied in one group or another. The curve is the graph resulting from representing, for each threshold value, the measures of sensitivity and speci- city . On the one hand, the sensitivity quanties the proportion of individuals in the sample who present the event and are classied by the test as carriers the mentioned event. On the other hand, specicity quanties the proportion of individuals who don't present the event and are classied by as such. Since its invention by the US military ´ s investigations it has been part of the Discriminant Analysis and Signal Detection Theory. Its rst application was for the detection of radar signals during the 50's. In the 60's, Green and Swets [1] used it for psychophysical experiments and later on, in the 70's, the radiologist Leo Lusted [26] used them for diagnosis decisions using medical images. Since then, several authors have used this tool in the sanitary eld, such as in economy, meteorology and more recently in machine learning. 7 Capítulo 1 Introducción Fueron ingenieros militares estadounidenses, durante la Segunda Guerra Mundial, los que empezaron a utilizar la curva ROC. Las usaron como herramienta para discernir en sus radares qué era una señal de ruido y qué era una señal de ofensiva militar de otro país (torpedos, misiles y similares). El evento que suscitó éstas investigaciones fué el ataque a la base naval americana de Pearl Harbor (Isla de Oahu, Hawái). Esta ofensiva inesperada fue llevada a cabo por la Armada Imperial Japonesa en la mañana de domingo del 7 de diciembre de 1941. Según el ejército japones, el objetivo fue preventivo, ya que con este ataque querían evitar la intervención de EEUU en sus maniobras militares contra las posesiones ultramarinas de varios de sus países enemigos en el Sudeste Asiático. Lo que sigue es un fragmento de la carta que el almirante Yamamoto envió al capitán Genda, miembro de la Primera División Aérea de la Armada Imperial Japonesa, en busca de su aprobación como piloto para organizar el ataque. Si Japón y Estados Unidos fueran a la guerra, tendríamos que recurrir a una táctica radical. Deberíamos intentar, con toda la fuerza de nuestras Primera y Segunda Divisiones Aéreas, asestar un golpe a la ota estadounidense en Hawái, de forma, que durante un tiempo, Estados Unidos no pudiera avanzar hacia el Pacíco occidental. (Febrero de 1941) [4] . Al día siguiente del ataque, el 8 de diciembre de 1941, EEUU le declaró la guerra a Japón y consolidó su alianza, hasta entonces soterrada, con Reino Unido. Por su parte Alemania e Italia le declararon la guerra a EEUU en respuesta a la preparación de ofensivas contra Japón. A partir de este suceso, el ejército norteamericano desarrolló un proyecto que trataba de abordar el siguiente problema: 8 CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 15 la probabilidad de su complementario tenemos que 1−S=V++F− V++F−− V+ V++F− =F− V++F− , conocida como la fracción de falsos negativos(FFN) . Observación. Si S= 1 ⇒F−= 0 . Especicidad: Es la probabilidad de, dado un individuo sano, que la prueba lo clasique como sano. También se le denomina valor predictivo negativo: E=Pr(y= 0|D= 0) = Pr(y= 0 ∩D= 0) Pr(D= 0) De la misma forma, siendo ésta su denición poblacional, podemos aproximarla con la muestral. Aplicando el axioma anterior obtenemos que: E=V− V−+F+ Conocida como la fracción de verdaderos negativos ( FVN ) o exactitud negativa. Por otro lado, para la construcción de la curva ROC usaremos su complementario: 1−E= 1 −V− V−+F+ =V−+F+ V−+F+−V− V−+F+ =F+ V−+F+ Llamada fracción de falsos positivos(FFP) . Observación. Si E= 1 ⇒F+= 0 . Las medidas de sensibilidad y especicidad corresponden a una probabilidad a priori , es decir, dado el estado real de un individuo calculan la probabilidad de que este obtenga un resultado positivo o negativo en la prueba. Puede ser útil en la práctica calcular dichas probabilidades a posteriori , es decir, dado el resultado de la prueba de un individuo, cuál será la probabilidad de que presente o no el evento de interés. Para individuos con resultados positivos en la prueba, dicha probabilidad a posteriori es: Pr(D= 1|y= 1) = =Pr(y= 1|D= 1) ·Pr(D= 1) Pr(y= 1|D= 1) ·Pr(D= 1) + Pr(y= 1|D= 0) ·Pr(D= 0) = =S·p S·p+ (1 −E)·(1 −p) Cuya estimación muestral se calcula mediante el valor predictivo positivo o precisión de la variable de decisión: V PP =V+ V++F+ CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 16 Y, para individuos con resultados negativos en la prueba se tiene: Pr(D= 0|y= 0) = =Pr(y= 0|D= 0) ·Pr(D= 0) Pr(y= 0|D= 0) ·Pr(D= 0) + Pr(y= 0|D= 1) ·Pr(D= 1) = =E·(1 −p) (1 −S)·p+E·(1 −p) Con el valor predictivo negativo como su estimación muestral. V PN =V− V−+F− Cuanto más cercanas a 1 sean éstas probabilidades, mejor capacidad discriminante tendrá nuestra variable de decisión. Denición. El valor global de resultados válidos es la proporción de resultados verdaderos, tanto positivos como negativos: V G =V++V− V++F++V−+F− Observación. Usando las deniciones muestrales anteriores se obtiene FV P +FFN =Pr(y= 1|D= 1) + Pr(y= 0|D= 1) = 1 y FFP +FV N =Pr(y= 1|D= 0) + Pr(y= 0|D= 0) = 1 La siguiente tabla recoge los anteriores resultados obtenidos: y= 1 y= 0 Total D= 1 FV P =V+ V++F− FFN =F− V++F− 1 D= 0 FFP =F+ V−+F+FV N =V− V−+F+1 Ya tenemos, por tanto, todos los elementos para representar la curva ROC. 2.2. Denición de la curva ROC Denición. La curva ROC poblacional representa 1-especicidad frente a la sensibilidad para cada posible valor umbral o punto de corte en la escala de resultados de la prueba en estudio. Es decir, y=f(x) , donde: ROC(c) = (y=S(c) x= 1 −E(c) CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 17 Sin embargo, ante la dicultad de obtener datos poblacionales, podemos aproximarla por la curva ROC muestral , que representa la fracción de falsos positivos en abcisas frente a la fracción de verdaderos positivos en ordenadas. ROCp(c) = (y=FV P(c) x=FFP(c) Puesto que en ambos ejes tenemos probabilidades, la curva ROC, tanto muestral como poblacional, estará contenía en el cuadrado [0,1] ×[0,1] . Además, por convenio, se considera que los enfermos tienen valores de x , en general, mayores que los sanos. Por tanto, la curva estará contenida en el triángulo: {(x, y)|0≤ x≤y≤1} . Si por la naturaleza de la prueba los resultados estuviesen invertidos (enfermos dan, en media, valores más bajos que sanos) habría que reordenarlos. En el Capítulo 3 se aborda este aspecto con más detalle. Proposición. Sean las variables xE= (x|D= 1) y xS= (x|D= 0) la variable aleatoria de decisión condicionada al grupo de enfermos y, por otro lado, al grupo de sanos. Sus correspondiente funciones de distribución son: FE(x) = Pr(xE≤x) y FS(x) = Pr(xS≤x) respectivamente. Suponiendo que el valor de x es, por lo general, mayor en individuos con el evento de interés. Se dene por tanto, la curva ROC asociada a la variable x como la función: ROC(t)=1−FE(F−1 S(1 −t)) 0 ≤t≤1 donde t es el complementario de la especicidad y ROC(t) la sensibilidad: (t= 1 −E= 1 −FS(x0) q=S= 1 −FE(x0) para cada posible x0 valor de punto de corte. Demostración. A partir de la denición de la especicidad: E=P(y= 0|D= 0) ⇒E(u) = FS(x≤u) = FS(u)⇒ ⇒(1 −E)(u) = FS(u > t)=1−FS(u) y, por otro lado, a partir de la denición de sensibilidad: S=P(y= 1|D= 1) ⇒S(u) = FE(x>u)=1−FE(u) ahora bien, para cada t la curva ROC representa el par: (1 −E, S) = (1 −FS(u),1−FE(u)) ⇒ t= 1 −FS(u)⇒u=F−1 S(1 −t)⇒ ROC(t) = 1 −FE(F−1 S(1 −t)) CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 18 Dado que la sensibilidad y la especicidad usadas son unas estimaciones, cabe preguntarse cuánto de cerca estamos de sus correspondientes valores reales. Para ello construiremos sus intervalos de conanza . Éstos serán hechos con el método clásico para proporciones puesto que, tanto sensibilidad como especicidad, lo son. Por tanto, usaremos como estadístico pivote: Z=ˆpr−pr SD(pr)=ˆpr−pr pˆprˆqr/n siendo pr la proporción a estimar y SD su desviación estándar que, en el caso de la sensibilidad, queda: SD(S) = v u u tV+ (V++F−)·F− (V++F−) (V++F−)=sV+·F− (V++F−)3 y en el caso de la especicidad: SD(E) = v u u tV− (V−+F+)·F+ (V−+F+) (V−+F+)=sV−·F+ (V−+F+)3 sustituyendo obtenemos que: IC(S) = FV P ±Zα /2·sV+·F− (V++F−)3 IC(E) = FV N ±Zα /2·sV−·F+ (V−+F+)3 Por último, hay que tener en cuenta que, dado los resultados de la prueba, no siempre vamos a saber qué distribución siguen o bajo qué parámetros. Ésto nos puede llevar a tener curvas escalonada ( método no paramétrico ) o curvas suaves habiendo supuesto la distribución previamente ( método paramétrico ). En la gura 2.2.1 se aprecia una misma prueba representada mediante método paramétrico y no paramétrico. En principio no sabemos cual se acerca más a la real curva ROC poblacional pero al haber puntos en los que los trazos se separan podemos determinar que nuestro estudio no tendrá los mismos resultados si trabajamos con una o con otra. Por tanto, es importante saber elegir, según cada situación, bajo qué método nos conviene más estimar la curva ROC. CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 19 Figura 2.2.1: Ejemplo de curva ROC paramétrica y no paramétrica superpuestas. Observación. Mientras que la variable x tome valores más altos en enfermos que en sanos, la curva ROC tendrá una curvatura cóncava y será monótona no decreciente . Este hecho se debe a que si tomamos el valor más bajo posible de punto de corte y avanzamos hasta el mayor, la sensibilidad va a disminuir mientras que la especicidad va a aumentar, y puesto que se representa el par (1 −E, S) nos da una curva por encima o igual que la diagonal y=x del cuadrado [0,1] ×[0,1] . En la gura 2.0.3 podemos ver cómo el estimador de sensibilidad: FVP, y el del complementario de la especicidad: FFP, disminuyen ambos al mover el punto de corte hacia la derecha. Figura 2.2.2: Fracciones de falsos y verdaderos positivos y negativos sobre ejemplo de distribuciones de enfermos y sanos. CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 20 2.3. Métodos no paramétricos El método no paramétrico para la construcción de la curva ROC no hace suposición alguna sobre la distribución de los resultados de la prueba en ambos grupos. Debido a ésta característica J.M.Vivo y M.Franco [42] arman que este método tiene la propiedad de robustez. Método Empírico En el método empírico se hace uso de las funciones de distribución empíricas: ˆ FnE y ˆ FnS de los individuos que presentan el evento y los que no, respectivamente, para la construcción de la curva ROC. Denición. Dada una muestra aleatoria simple x1, ..., xn asociada a la variable aleatoria x con función distribución F , se dene la función de distribución empírica asociada a la muestra como: ˆ Fn:R−→[0,1] x−→ ˆ Fn(x) = 1 n n X i=1 εi(x) donde: εi(x) = (1xi≤x 0xi> x Es decir, mide la proporción de observaciones menores que un cierto valor jado. En nuestro caso, las expresiones de ambas funciones de distribución empíricas serán: ˆ FnE(x) = 1 nE nE X i=1 εi(x) ˆ FnS(x) = 1 nS nS X i=1 εi(x) siendo {x1, ..., xnE} los individuos que presentan el evento en la muestra y {x1, ..., xnS} los que no. Denición. Se dene la curva ROC empírica como la curva construida uniendo los 1−ˆ FnS(x),1−ˆ FnE(x) consecutivos. \ ROCn(t)=1−ˆ FnE(1 −ˆ FnS(x)) siendo n el tamaño de la muestra. Este método nos da una curva ROC escalonada donde puede haber trazos verticales, horizontales o diagonales, cada uno indica qué ha ocurrido al variar el punto de corte: CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 21 El trazo horizontal indica que un caso ha pasado a ser F+ El trazo vertical indica que un caso ha pasado a ser V+ El trazo diagonal indica que ha habido un empate entre dos individuos de distintos grupos, es decir, que un enfermo y un sano han pasado a ser ambos F+ ó V+ El método empírico es el recomendado para pruebas con resultados continuos, en especial si el redondeo (la discretización de la escala) es escasa ya que nos dará pocos empates (trazos diagonales) en la curva ROC. Además, los escalones tienden a suavizarse conforme aumenta el tamaño de la muestra, convergiendo así a la real curva ROC poblacional. Por otro lado, también se puede aplicar a pruebas con resultados de tipo categóricos . Nótese que en este caso vamos a tener empates siempre que haya más individuos que categorías y la curva serán los pares (1 −E, S) calculados para cada categoría como punto de corte. Método de la función Kernel Una forma de evitar obtener una curva escalonada, además de con procedimientos paramétricos, es usando la función Kernel para estimar las distribuciones de la variable de decisión en ambos grupos. Este procedimiento también recibe el nombre de estimación suavizada de la curva ROC cuyo primer estudio fue desarrollado por Zou et al. [30] y más tarde por Lloyd [31] . Denición. Sean {x1E, ..., xnE} los individuos de la muestra que presentan el evento, y sean {x1S, ..., xmS} los que no. Se denen las funciones de densidad kernel estimadas como: ˜ fE(x) = 1 nE·h1 nE X i=1 K1x−xi h1 ˜ fS(x) = 1 mS·h2 nS X i=1 K2x−xi h2 donde h1 y h2 es una secuencia de números positivos llamada ancho de banda o bandwidths que determina cuánto de suavizada queda la curva. La elección de un ancho de banda adecuado ha sido estudiada por Lloyd y Yong [37] , Zhou y Harezlak [38] , Hall y Hyndmann [39] y Jokiel-Rokita y Pulit [40] . En concreto, Lloyd y Yong [37] propusieron métodos empíricos para estimarlos, calculando así por separado ambas distribuciones. Sin embargo, Hall y Hyndman [39] desarrollaron una técnica para estimar el ancho de banda que permitía calcular las distribuciones en conjunto, es decir, usando las condicionadas a presentar o no el evento de interés. Las funciones Kernel son continuas, simétricas y positivas, además cumplen: CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 22 ´RKi(x)δx = 1 ´Rx·Ki(x)δx = 0 ´Rx2·Ki(x)δx > 0 para i= 1,2 . Las expresiones de las funciones de distribución correspondientes a las anteriores funciones de densidad son: ˜ FE(x) = 1 nE nE X i=1 x ˆ −∞ 1 h1 K1u−xiE h1δu ˜ FS(x) = 1 mS mS X i=1 x ˆ −∞ 1 h2 K2u−xiS h2δu Zou et. al [48] proponen hacer una estimación gaussiana-kernel , que es la que sigue: ˜ FE(x) = 1 nE nE X i=1 Φx−xiE h1 ˜ FS(x) = 1 mS mS X i=1 Φx−xiS h2 siendo Φ la función de densidad de una N(0,1) . Finalmente, bajo éstas estimaciones, la expresión de la curva ROC por el método Kernel es: ^ ROC(t) = 1 −˜ FE˜ F−1 S(1 −t) 2.4. Métodos paramétricos El método paramétrico trata de averiguar la distribución de la variable de decisión o variable respuesta de la prueba. Como ya hemos dicho anteriormente, dicha distribución no tiene porqué ser la misma en el grupo de sanos y enfermos. De hecho, nuestro caso óptimo es en el que las grácas de las distribuciones no se solapen, es decir, que estén lo más alejadas posible. Esto se traduciría en una alta capacidad discriminante. Sin embargo, si estuviesen muy solapadas o, directamente fuesen iguales, la capacidad discriminante prácticamente sería nula. Es recomendable aplicar transformaciones monótonas sobre los datos de la muestra con idea de que se ajuste mejor a la distribución deseada, esto no añade error a nuestros resultados pues la curva ROC es invariante bajo este tipo de transformaciones ya que lo que representa son porcentajes [7] . Existen varios métodos que ajustan la variable a distribuciones como la logística CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 23 o la exponencial negativa éstos han sido propuestos por Zweig y Campbell [32] , pero la distribución más usada es el de la normal , que supone la normalidad de la variable en ambos grupos. Los primeros en usar este modelo fueron Swets y Green [1] , Dorfman y Alf [33] y más tarde Turnbull [34] . Siendo Hanley [8] el primero en publicar un artículo exponiendo las razones por las cuales es tan robusto este modelo, pues armaba que, aun teniendo una cierta cantidad de observaciones que no siguen una distribución normal, ofrece buenos resultados. Además, según arman Heritier [36] y Farcomeni y Ventura [35] , los modelos teóricos son sólo una aproximación de la realidad y son necesarios todos aquellos procedimientos estadísticos que salven esta diferencia [24] . Proposición. La curva ROC estimada mediante el modelo binormal se determina con dos parámetros, siendo éstos: ˆa=ˆµE−ˆµS ˆσE ˆ b=ˆσS ˆσE Con ˆµE,ˆσE,ˆµS,ˆσS las medias y desviaciones típicas estimadas de enfermos y sanos respectivamente. Quedando la curva determinada por la expresión: ROC(t) = 1 −Φ(ˆa+ˆ b·Φ−1(1 −t)) 0 ≤t≤1 Donde Φ representa la función de distribución de la normal estándar. Una vez elegido el modelo, el siguiente paso es estimar los parámetros de dicha distribución y la manera más usada de hacerlo es mediante el método de máxima verosimilitud . Metz et al. [23] publicó un artículo con las estimaciones de máxima verosimilitud de varias distribuciones continuas aplicadas a las curvas ROC. Una vez que tenemos la distribución junto con sus parámetros determinadas lo que le sigue es la representación de la curva ROC. Ésta será suave, no escalonada, al contrario de las obtenidas con el modelo empírico, pero nos arriesgamos a cometer mucho error si la elección de la distribución no ha sido la acertada. Para ello se recomienda efectuar un contraste de hipótesis de bondad de ajuste , donde la hipótesis nula es que la variable sigue la distribución elegida y la hipótesis alternativa es que diere de ella. Por último, también es recomendable que, si la variable no se ajusta a ninguna distribución, hacerle transformaciones con el objetivo de que el ajuste sea más acertado. 2.5. Método semiparamétrico Este método nace ante la popularidad que tomó el modelo binormal tras, que el investigador J.A. Hanley [8] , advirtiese de sus múltiples usos en referencia al CAPÍTULO 2. CONSTRUCCIÓN DE LA CURVA ROC 24 ajuste de variables. Lo primero que hace este método es agrupar los datos en categorías ordenadas y luego aplicarle el modelo binormal. El nombre de semiparamétrico le viene porque asume la normalidad de la variable pero no especica qué transformación hace que la variable siga realmente una normal. Este último paso se respalda, como hemos dicho en la sección anterior, en que la curva ROC es invariante ante transformaciones monótonas de la variable de decisión [7] . En efecto, sea ROC(t)=1−FE(F−1 S(1−t)) la curva ROC asociada a una variable de decisión x con funciones de distribución asociadas FE(·) y FS(·) en enfermos y sanos respectivamente, sea T una transformación monótona y sea w=T(x) , que por ser monótona existe inversa: Fw,E(t) = FE(T−1(t)) Fw,S(t) = FS(T−1(t)) entonces la curva ROC asociada a w es: ROCw(t) = 1 −Fw,E(F−1 w,S(1 −t)) = = 1 −Fw,E(T(F−1 S(1 −t))) = = 1 −FE(T−1(T(F−1 S(1 −t)))) = = 1 −FE(F−1 S(1 −t)) = ROC(t) Como la transformación de la variable de decisión sigue una distribución normal, podemos sustituir quedándonos la siguiente expresión: ROC(t)=1−FE(F−1 S(1 −t)) ROC(t)=1−FETT−1F−1 S(1 −t) = = 1 −ΦµS+σSΦ−1(1 −t)−µE σE= siendo µS y µE las medias de T(xS) y T(xE) respectivamente y las desviaciones típicas σS y σE . = 1 −Φ(ˆa+ˆ b·Φ−1(1 −t)) Es decir, la expresión para la curva ROC estimada por el método binormal. Cai y Pepe [41] estudian las propiedades de esta estimación y realizan estudios de simulación utilizando tanto métodos paramétricos como semiparamétricos. Comparación de curvas estimadas por el modelo binormal Dadas dos curvas ROC es recomendable someter a contraste de hipótesis la igualdad entre ellas, es decir, dadas dos variables de descisión x1 y x2 , ¾tienen la misma capacidad discriminante?, ¾a cada valor de 1−E le corresponde el mismo valor de S en ambas curvas? o, análogamente con sus estimadores muestrales, ¾a cada valor de la FFP le corresponde el mismo valor de la FVP? CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 31 3.5. Índice de discriminación Si la variable del test x es cuantitativa, la capacidad de un test basado en dicha variable se puede determinar por la cantidad de solapamiento entre las distribuciones de probabilidad de x , en caso de evento D= 1 , y en caso de no evento, D= 0 . En concreto, cuanto más solapamiento, menor capacidad de discriminación y viceversa. En caso de bi-normalidad, es decir: (x|D= 0 ∼N(µ1, σ) x|D= 1 ∼N(µ2, σ) Cuanto mayor separación haya entre las medias, menor solapamiento y, por tanto, más capacidad de discriminación. Por ello, se puede utilizar como una medida de capacidad de discriminación, la aseparación en términos relativos de la dispersión de ambas distribuciones. Denición. El índice de discriminación es una medida para cuanticar cómo de separadas, grácamente, están las funciones de densidad del grupo de individuos que presenta el evento de interés frente al que no lo presenta. Su expresión viene dada por: δ=separaci´on dispersi´on =|µE−µS| σ Siendo µE y µS las medias de nuestra variable de descisión: ' x ' en el grupo que presenta el evento y en el grupo que no lo presenta respectivamente. Por otro lado, σ representa el error estandar de la variable de decisión en la muestra total. Es decir:      µE=xE µS=xS σ=SD(x) Este índice mide la proporción de pacientes correctamente diagnosticados, pero trata por igual a positivos y negativos, verdaderos o falsos. Los valores que toma ésta medida recorre el intervalo [0,+∞) , siendo 0 el correspondiente a una capacidad discriminante nula y, por tanto, a una curva ROC solapada con el segmento de la recta y=x contenida en el cuadrado [0,1] ×[0,1] . CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 32 Figura 3.5.1: Ejemplo de curvas ROC en función de su índice de discriminalidad. 3.6. Área bajo la curva El área bajo la curva es el estadístico por excelencia para medir la capacidad discriminante de la prueba. También para comparar pruebas entre sí y determinar cual és la más ecaz. Denición. Sea ROC(t) la función asociada a la curva ROC. Se dene el área bajo la curva bajo la curva ROC (area under curve, AUC) como: AUC = 1 ˆ 0 ROC(t)δt Su rango de valores va desde 0,5 , siendo este valor el correspondiente a una prueba sin capacidad discriminante, hasta 1 , que es cuando los dos grupos están perfectamente diferenciados por la prueba. Por tanto, podemos decir que cuanto mayor sea el AUC mejor será la prueba. Baja exactitud: [005,007) Útiles para algunos propósitos: [007,009) Exactitud alta: [009,1] Interpretación de Swets [9] para valores del AUC . El criterio de Swets [9] dicta que un área por debajo de 0,7 tiene una baja capacidad discriminante y que una por debajo de 0,9 puede ser útil para algunos propósitos, catalogando a las mayores de 0,9 con alta exactitud. CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 33 Figura 3.6.1: Ejemplo de densidades y curva ROC de dos poblaciones bien discriminadas. En la gura 3.6.1 se representa el caso óptimo en el que las distribuciones de sanos y enfermos se encuentran bien diferenciadas, lo que proporciona una curva ROC muy próxima al punto (0,1) y por tanto un área casi máxima. La cercanía al (0,1) es deseable pues signica que para ciertos puntos de corte la prueba obtiene una alta sensibilidad y especicidad, lo que se traduce en bajos resultados erróneos. Sin embargo, en la gura 3.6.2 se aprecia cierto solapamiento, siendo este el caso más frecuente pues, aunque el caso anterior es preferible no es usual encontrarnos con una variable de decisión que apenas ofrezca confusión. Figura 3.6.2: Ejemplo de densidades y curva ROC de dos poblaciones con cierto solapamiento [6] . Por último, el peor caso que se puede presentar es cuando el solapamiento es CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 34 total. Esto quiere decir que la prueba no es útil para detectar la enfermedad o el evento de interés. A la curva ROC le ocurrirá que bajo todo punto de corte 1−E=S y por tanto obtendremos el segmento de la recta y=x contenido en el cuadrado [0,1] ×[0,1] . Ésto hará que el AUC sea muy cercano a 0,5 como se ve en la gura 3.6.3. Figura 3.6.3: Ejemplo de densidad y curva ROC de dos poblaciones completamente solapadas. Una interpretación del AUC , ofrecida por Hanley y McNeil [44] , es la de entenderla como la probabilidad de clasicar correctamente un par de individuos (uno sano y otro enfermo) escogidos al azar. Podríamos traducir esto en que la prueba dé un resultado más anormal en el enfermo que en el sano, es decir, AUC =Pr(xS< xE) , donde xS es el valor de la variable de decisión en el grupo de sanos y xE en el de enfermos. Figura 3.6.4: Ejemplo de curva ROC simétrica respecto a y=x CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 35 Observación. Por convenio, se considera que el valor de la variable decisión es mayor en enfermos que en sanos. Si no fuese así, la curva ROC saldría simétrica respecto a la diagonal y=x . Para corregir esto basta con invertir la positividad de la prueba, es decir, considerar positivo el evento que se estaba considerando como negativo. Como se puede ver en la gura 3.5.4, este cambio hace que la curva ROC cambie en simetría respecto a la bisectriz del primer cuadrante. 3.7. Cálculo del área bajo la curva Basándonos en la denición dada de área bajo la curva, una primera forma de calcularla sería representando la curva ROC, o una estimación de ella, y obtener el porcentaje de área del cuadrado [0,1] ×[0,1] que encierra bajo ella. Veremos a continuación que no siempre será necesario tener la curva para obtener este área, sino, que a partir de los datos podremos estimarla directamente. Método no paramétrico Regla Trapezoidal Si usamos el modelo empírico para la construcción de la curva ROC podremos calcular el área como suma de áreas de trapecios puesto que tendremos una curva en forma de escalera. Su fórmula viene dada por: AUC = T X t=1 1 2(FFPt−FFPt−1)·(F V Pt+F V Pt−1) Siendo (FFPt, FV Pt) las fracciones de falsos positivos y verdaderos positivos calculadas para cada t= 1, ..., T puntos de corte. Estadístico suma de rangos de Wilcoxon Bajo métodos no paramétricos, el AUC también puede estimarse con el estadístico w de Wilconxon que, además coincide, con la suma de rangos ( w ) obtenida de la prueba de comparación de medias de Wilconxon. La razón de esta igualdad reside en que el estadístico w es usado para contrastar hipótesis del tipo: H0:Pr(x>y)=1/2 , que en nuestro caso sería H0:Pr(xS> xE)=1/2 , es decir, que el área fuese 1/2 y, por tanto, la prueba no distinga entre un grupo y otro. Este resultado fue demostrado por Bamber [10] . Además, a partir de esta relación con w Hanley y McNeil [44] obtuvieron la expresión del error estándar del AUC estimada mediante este estadístico: SD(AUC) = sAUC(1 −AUC)+(nE−1)(Q1−AUC2)+(nS−1)(Q2−AUC2) nE·nS CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 36 Siendo: Q1 la probabilidad de que el resultado de la prueba, aplicada a dos individuos del grupo de presencia del evento (enfermo), sea mayor que el resultado de la prueba aplicada a un individuo del grupo de ausencia del evento (sano). Q1=Pr(yEi> ySj, yEk> ySj) para cualquier (i, k = 1, ..., nE j= 1, ..., nS Q2 la probabilidad de que el resultado de la prueba, aplicada a dos individuos del grupo de ausencia del evento (sano), sea mayor que el resultado de la prueba aplicada a un individuo del grupo de presencia (enfermo). Q2=Pr(ySi> yEj, ySk> yEj) para cualquier (i, k = 1, ..., nS j= 1, ..., nE Observación. Cuando el número de empates es elevado, como suele ocurrir con los datos de clasicación, el estadístico w deja de ser insesgado para el área. En tal caso sería mejor usar un método paramétrico o semiparamétrico. Método de la función Kernel Para las curvas ROC no paramétricas pero suavizadas mediante la función Kernel podemos calcular el área recurriendo a las deniciones: AUC = 1 ˆ 0 ROC(t)δt y ^ ROC(t) = 1 −˜ FE˜ F−1 S(1 −t) de modo que sustituyendo obtenemos: AUC = 1 ˆ 0 ^ ROC(t)δt = 1 ˆ 0 1−˜ FE˜ F−1 S(1 −t)δt Métodos paramétricos y semiparamétricos Partiendo de que hemos supuesto una distribución y ajustado unos parámetros, cualquier área que calculemos mediante éstos métodos va a estar sujeta a un error. La forma de cuanticar este error es calculando un intervalo de conanza que se vea reducido si se ampliase la muestra. Para ello tenemos dos caminos: CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 37 Fijar un punto de corte y calcular un intervalo de conanza para la sensibilidad y la especicidad. Fijar la especicidad en un valor, por ejemplo 80 % , y calcular el intervalo de conanza para la sensibilidad o viceversa. Una vez asegurada la distribución y estimadas FE(x) y FS(x) el cálculo numérico del área será, de nuevo, sustituyendo en la denición: AUC = 1 ˆ 0 ROC(t)δt = 1 ˆ 0 1−FEF−1 S(1 −t)δt Por otro lado, para el caso concreto del modelo binormal, puesto que la curva queda determinada por los parámetros a y b (véase sección 2,4 ) podemos obtener la expresión del área en función de ambos. [ AUC = 1 ˆ 0 \ ROC(t)δt = 1 ˆ 0 1−Φ(ˆa+ˆ b·Φ−1(1 −t))δt = = Φ ˆa √1 + b2= Φ ˆµE−ˆµS pσ2 E+σ2 S! Siendo Φ la función de densidad de una distribución normal estándar. 3.8. AUC parcial Dos curvas ROC iguales tienen el mismo área, sin embargo el viceverso no es cierto. En la gura 3.8.1 ambas curvas tienen igual área pero la verde proporciona una prueba más sensible, es decir, buena para propósitos preventivos a costa de tener una proporción alta de falsos positivos. Por otro lado, la curva roja corresponde a una prueba más especíca, es decir, nos deja una proporción alta de falsos negativos. Ésta característica sería deseable para, por ejemplo, tamizaje de enfermedades. La razón de que una sea más sensible y otra más especica viene sustentado por la regla de elección del punto de corte. Ésta dice que el óptimo par (1 −E, S) , en el sentido de minimizar los resultados falsos, es el más cercano al punto (0,1) . En el Capítulo 4 veremos ésta y otras relgas de elección del punto de corte. CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 38 Figura 3.8.1: Ejemplo de curvas ROC distintas pero con igual AUC. Una forma de detectar este caso, a parte de representándola grácamente, es calculando el área que encierra la curva entre dos verticales dadas, es decir, en una porción del eje horizontal. Denición. Se dene el área parcial bajo la curva ROC como el área de la región delimitada entre la curva, el eje horizontal y dos abcisas dadas: x=a y x=b , con a<b . Siendo su expresión: AUC(a,b)= b ˆ a ROC(t)δt La estimación de este valor para curvas ROC suavizadas, bien por el método de Kernel o bien por métodos paramétricos o semiparamétricos es la que sigue, siendo \ ROC(t) la estimación de la misma: [ AUC(a,b)= b ˆ a \ ROC(t)δt Para las curvas ROC escalonadas, estimadas mediante el método trapezoidal, la estimación del área parcial es: [ AUC(a,b)=b1+b2+ B X t=A 1 2(FFPt−FFPt−1)·(F V Pt+F V Pt−1) Siendo: A=min(i−a)/i ≥a con i= 1, ..., T , donde hasta T son los posibles valores de 1−E para cada punto de corte. B=min(b−j)/j ≤b con j= 1, ..., T . CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 39 b1= (i−a)·1 2(FV Pi+FV Pi−1) b2= (b−j)·1 2(FV Pj+1 +FV Pj) Los valores del área parcial recorren el intervalo [0,1] estando acotados superiormente por el área del rectángulo de base b−a y altura 1 . Es decir: 0≤[ AUC(a,b)≤b−a≤1 Por tanto, para dadas dos curvas hacer un estudio comparativo de sus áreas parciales habría que estudiar el valor de: [ AUC(1) (a,b)−[ AUC(2) (a,b) Siendo [ AUC(1) (a,b) el área parcial entre las abcisas (x=a, x =b) de una de las dos curva y [ AUC(2) (a,b) lo mismo la de la segunda curva. Sus valores recorren el intervalo [0,1 2] , correspondiendo el valor 1 2 al caso límite en el que (a= 0, b = 1) , una de las curvas sea la diagonal del cuadrado [0,1]×[0,1] y la otra se aproxime a los lados izquierdo y superior del mismo cuadrado. Figura 3.8.2: Áreas parciales de dos curvas ROC. Observación. No es un valor de interés la diferencia de área parciales en distintos intervalos. 3.9. Comparación de pruebas Hemos visto que dadas dos pruebas es mejor, en el sentido discriminante, la que mayor área tenga y, si fuesen iguales, podría ser porque son la misma curva ROC o porque una nos ofrece una prueba más sensible y otra más especíca. Sin CAPÍTULO 3. MEDIDAS DE EXACTITUD PARA UN CLASIFICADOR 40 embargo, no podemos olvidar que nuestros datos siempre van a tener la variabilidad inevitable del muestreo. Por tanto, se nos presenta un nuevo problema, ¾una prueba tiene mayor área que otra única y exclusivamente por tener mayor capacidad discriminante o es debido a la variabilidad de la muestra? lo que nos lleva a plantearnos el siguiente contraste de hipótesis: (H0:AUC1=AUC2 H1:AUC16=AUC2 Hanley y McNeil [11] proponen el siguiente estadístico para resolver este contraste: z=([ AUC1−[ AUC2) SD([ AUC1−[ AUC2) Siendo SD la desviación estándar. Dicho estadístico sigue una distribución N(0,1) bajo la hipótesis nula de modo que para un nivel de signicación α se rechaza la aleatoriedad de nuestra prueba si |z|> zα /2 , donde zα /2 es el cuantil de dicha distribución que cumple Φ(zα /2)=1−α /2 . En caso de α= 0,05 rechazaríamos si z > 1,96 . Veámos el cálculo del denominador: SD([ AUC1−[ AUC2) = =qˆ V([ AUC1) + ˆ V([ AUC2)−2·r·SD([ AUC1)·SD([ AUC2) Donde r es el coeciente de correlación entre ambas áreas, siendo su expresión: r=cov([ AUC1,[ AUC2) SD([ AUC1)·SD([ AUC2) Cuyo valor se obtiene a través de una tabla de correlaciones calculada por Hanley y McNeil [11] y unos valores promedios de las correlaciones en el grupo con presencia del evento, D= 1 y con ausencia, D= 0 y, por otro lado de la área calculadas también en ámbos grupos por separado. Hay que tener en cuenta que este contraste es para rechazar o no la igualdad de áreas y, como hemos visto, dos curvas ROC muy diferentes podrían tener igual área. Por tanto, en caso de aceptar la iguadad, habría que acompañar el resultado con un examen visual de las curvas. Contraste para la aleatoriedad de la prueba. Una vez obtenido el valor del área bajo la curva para una prueba es recomendable someter ésta al contraste: (H0:AUC = 0,5 H1:AUC 6= 0,5 CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 47 Variable d : es el estado real de cada paciente. Toma el valor 0 cuando el paciente está sano y el valor 1 cuando padece la enfermedad. Variable y1 : corresponde al biomarcador CA 19−9 , es una variable de tipo continua y es la primera prueba que queremos validar. Variable y2 : es el biomarcador CA 125 , al igual que y1 es una variable continua y será la segunda prueba a validar. 5.1. Análisis de curvas ROC en SPSS Al abrir el documento en Vista de Variables tenemos: La opción de analizar una curva ROC en encuentra en el menú desplegable Analizar/Curva COR : CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 48 En Variable de prueba añadimos la o las variables correspondientes a las pruebas que estemos evaluando, éstas deben ser numéricas . En Variable de estado debe ir aquella que etiquete a cada individuo con {0,1} en función de su estado, además hay que especicar en Valor de la variable estado cuál de esos dos valores representa el evento de estudio. En la sección de Visualización incluimos que nos graque la curva con la diagonal del cuadrado [0,1]×[0,1] , es decir la curva ROC correspondiente a la prueba aleatoria. Además, incluimos que nos devuelva la estimación de la varianza y el intervalo de conanza para el área bajo la curva. Por último, obtendremos una tabla con todos los pares de sensibilidad y especicidad usados para construir la curva. Entrando en Opciones aparece una nueva ventana. En su apartado de Clasi- cación podemos decidir si al hacer la dicotomización de los valores de la prueba incluimos el punto de corte en los calicados por la prueba como enfermos o como sanos. En Dirección de la prueba le hacemos saber si los resultados más altos de la prueba corresponden a enfermos o sanos. Esta opción sirve para invertir la positividad de la curva y convertirla en cóncava cuando salga convexa. Por defecto, la curva se construye mediante un método no paramétrico pero podemos hacerla también suponiendo que los datos siguen una distribución exponencial binegativa , más usada en estudios de Análisis de Supervivencia. También podemos variar el nivel de conanza para el cálculo del intervalo de conanza del área. Finalmente podemos decidir si excluir o no aquellos pacientes a los que les falte algún dato. CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 49 Con las opciones marcadas en las guras anteriores se obtiene la siguiente salida: Nuestra muestra se compone de un total de 141 pacientes de los cuales 90 padecen cáncer de páncreas y 51 son sanos o casos de control. La estimación de la curva ROC para dicho evento bajo ésta muestra es: CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 50 Figura 5.1.1: Curva ROC para la variable y1 El valor estimado para el área es del 86,1 % , su intervalo de conanza no disminuye del 80 % y sobrepasa el 90 % luego podemos determinar que este biomarcador tiene una buena capacidad discriminante. En Signicación asintótica encontramos un p-valor de 0 para el contraste H0:AUC = 0,5 , es decir, H0:La prueba es aleatoria , hipótesis que rechazamos. En la casilla de error estándar obtenemos un bajo valor para la estimación de la varianza del área, esto es un indicativo de que se aproxima al verdadero valor del área que tendría la real curva ROC. Por último, nos devuelve la tabla con cada coordenada de la curva indicando a qué punto de corte corresponde. La siguiente imagen es una CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 51 extracción de dicha tabla, para valores umbrales entorno a 13 obtendríamos una prueba con una sensibilidad de más del 80 % y una especicidad de poco menos del mismo valor. Para la elección exacta del punto de corte habría que sopesar si queremos una prueba más sensible, es decir, preventiva, ó una más especíca, es decir, tamizaje de emfermedades. A continuación se muestra el mismo análisis para la variable y2 : Figura 5.1.2: Curva ROC para la variable y2 CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 52 Tiene un área del 70,6 % , menor que el 86,1 % que alcanzaba y1 , su intervalo de conanza baja casi hasta el 60 % y no alcanza el 80 % . La estimación de su varianza es algo mayor que la de y1 , sin embargo, no es una prueba aleatoria ya que obtenemos un p-valor muy signicativo. Por tánto, a la vista de éstos resultados podemos apuntar a que aunque la variable y2 pueda ser útil para algunos propósitos, parece que es y1 quien mejor detecta qué individuo padece o no cáncer de páncreas. Por si, bajo alguna situación clínica, fuése más conveniente realizar la prueba y2 veámos los mejores puntos de corte a escoger: Escogiendo un punto de corte entrono a 11 mantendríamos la sensibilidad al 80 % pero nos bajaría la especicidad casi al 50 % . Si mantenemos el umbral alrededor de 13 , el escogido con y1 , obtendremos una especicidad y especidad del 70 % . Una utilidad de ésta prueba sería con la nalidad de obtener una prueba muy especíca. Veamos que para valores umbrales muy altos ambas curvas toman coordenadas muy cercanas. CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 53 Figura 5.1.3: Curvas ROC para las variables y1 e y2 . Escogiendo un valor umbral alrededor de 26 obtenemos para la prueba y1 una sensibilidad y especicidad del casi 80 % mientras que en y2 mantendríamos la especicidad al 80 % pero la sesibilidad quedaría prácticamente al 50 % . Por lo que denitivamente es y1 la mejor variable de decisión de las dos para discernir entre pacientes con o sin cáncer de práncreas. CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 54 5.2. Análisis de la curva ROC en R El paquete más utilizado para la aplicación de las curvas ROC es el denominado pROC Display and Analyze ROC curves [28] . Este permite representar curvas ROC, calcular el área bajo ellas, comparar pruebas, calcular intervalos de conanza y calcular áreas parciales. De modo que las primeras líneas de código en nuestro script serán: A continuación, se ha de leer los datos que tenemos previamente guardados en el archivo Panc.txt , para ello usamos la función read.table() : Con las funciones summary() y str() obtenemos el siguiente resumen de los datos: Vemos que y1 toma un rango de valores más amplio que y2 . Para representar las curvas ROC necesitaremos poder llamar a cada variable por separado, por lo que denimos: La función que representa la curva ROC es roc() . Cuyos argumentos más relevantes son: La variable estado real d . La variable de decisión a estudiar y1 ó y2 . CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 55 Controls, cases: para introducir las variables anteriores como dos vectores ordendos donde para cada posición encontramos el estado y el valor del biomarcador de un mismo paciente. Percent=true/false: expresa los resultados en porcentaje o en fracción. Na.rm=true/false: elimina o no aquellos pacientes a los que le falte algún dato. Direction: cambia el grupo de casos por el de controles, es decir, este argumento nos sirve para cuando los enfermos tienen menor calicacion en la prueba que los sanos y necesitemos invertir la positividad de la curva para que salga cóncava y no convexa. Algorithm=1/2/3/4: Algoritmo para calcular los estimadores de sensibilidad y especicidad. El que se usa por defecto es el 1 , el 4 realiza los tres algoritmos anteriores y comprueba si dan o no los mismos resultados. Smooth=true/false: Suaviza o no la curvatura de la curva. Auc=true/false: Calcula o no el área bajo la curva. Ci=true/false: Obtiene el intervalo de conanza para el área bajo la curva. Plot=true/false: Devuelve o no el gráco de la curva. Smooth.method: En caso de Smooth =TRUE especifíca a qué densidades queremos ajustar tanto el grupo de enfermo como el de sanos. Por defecto ajusta a la binormal. Por tanto, el código para calcular la curva ROC no paramétrica de la variable y1 en nuestro script quedaría: Que nos devuelve: CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 56 Figura 5.2.1: Curva ROC no paramétrica de la variable y1 Cambiando el argumento Smooth obtenemos la curva ROC paramétrica de la variable y1 donde las distribuciones de sanos y enfermos han sido ajustadas a una distribución binormal. Ttambién podemos ajustarla a una suavización Kernel usando smooth.method =c(”density”) . Además, eliminando el argumento ci.method =NULL calcula el intervalo de conanza para el área realizando 2000 muestras bootstrap. Nos devuelve: CAPÍTULO 5. SOFTWARES ESTADÍSTICOS PARA LAS CURVAS ROC 63 En conclusión, podemos determinar que el biomarcador y1 tiene mayor capacidad discriminante entre individuos con o sin cáncer de páncreas que el y2 . Para ello nos hemos basado en el valor del área, en un examen visual de ambas curvas y en los pares de sensibilidad y especicidad representados. Figura 5.2.5: Comparativa de curvas ROC (a) ROC no paramétrica y1 (b) ROC paramétrica y1 (c) ROC no paramétrica y2 (d) ROC paramétrica y2 Capítulo 6 Aplicaciones Desde su primera aplicación a la teoría de detección de señales, las curvas ROC han sido útiles en muy diversos campos como la psicología, la economía, el aprendizaje automático, la meteorología y la medicina, siendo ésta última especialmente predominante. Swets y Pickett [46] alegan que las razones que hacen atractivo el uso del análisis ROC son: los índices de exactitud intrínseca que lleva asociados, las estimaciones muestrales existentes de sensibilidad y especi- cidad y, por último, la libertad de variar el punto de corte para casos en que los resultados falsos negativos conlleven más costes que los positivos o viceversa. A su vez, cumple con los propósitos que según Sox et al [47] , una herramienta de clasicación debería cumplir. A saber: indicar de manera able el estado en el que se encuentre un individuo y ser útil la información que proporcione para determinar, en el caso sanitario, un diagnóstico apropiado [16] . En lo que sigue de capítulo recogeremos algunas de las numerosas aplicaciones que se han hecho de las curvas ROC en cada uno de los campos mencionados. Medicina Erkel y Pattynama (1998): ' Receiver-Operating Characteristic (ROC) analysis: basic principles and applications in radiology ' [70] : En este artículo se trata la construcción de curvas ROC y los diferentes tipos de variables que, en un entorno médico, se pueden encontrar, a saber: continuas (por ejemplo la medida de una lesión), escala categórica (los grados de gravedad de la estenosis de la arteria renal) o datos cualitativos (localización y avance de una lesión). Además, alegan que la elección del punto de corte para curvas suavizadas aun cuando los datos eran cualitativos está más sujeto a error que si los datos fuesen continuos y propone que en tal caso sólo habría que usar el análisis ROC para ciertos propósitos. Por último, discute que si la enfermedad a detectar conlleva un tratamiento poco agresivo será mejor subir la sensibilidad a costa de tener falsos positivos y que, sin embargo, si el tratamiento pudiese perjudicar a la salud del paciente habría que subir la especicidad a costa de obtener más falsos negativos. 64 CAPÍTULO 6. APLICACIONES 65 Faraggi y Reiser (2001): ' Estimation of the area under the ROC curve ' [18] : Éstos autores hacen una comparativa entre métodos paramétricos y no paramétricos para la construcción de curvas ROC y su posterior cálculo del área. Finalmente aplican dichos resultados a encontrar un prueba que detecte a mujeres portadoras de la enfermedad: distroa muscular de Duchenne. Para ello cuentan con una muestra compuesta de mujeres portadoras y no portadoras, además de la variable de decisión 'CK' a la cual le aplican diferentes transformaciones obteniendo así diferentes estimadores para el área. Martinez-Camblor (2007): ' Comparación de pruebas diagnósticas desde la curva ROC ' [19] : En este artículo se hace un recorrido teórico sobre la construcción de curvas ROC, comparando varias pruebas mediante su área bajo la curva asociada para nalmente aplicarlo a una muestra de pacientes con infección y sin ella para determinar cuál de las tres variables que propone determina mejor su condición. Chang et. al (2014): ' Biomarker selection for medical diagnosis using the partial area under the ROC curve ' [69] : Este artículo propone un estudio sobre elección y combinación de variables llamadas 'marcadores' siendo éstas clasicadas en función del área bajo la curva que obtienen para clasicar tres tipos de enfermedades: distroa muscular de Duchenne, anomalía en el corazón y anomalías en el tejido mamario. En cada uno de los casos aplican el modelo binormal pues suponen la normalidad de todos sus datos. Otras aplicaciones en medicina Metz (1989): 'Some practical issues of experimental design and data analysis in radiological ROC studies' [68] . Zweig et. al (1993): 'Receiver-Operating Characteristic (ROC) plots: A fundamental evaluation tool in clinical medicine' [14] . Zou (1998): 'Original smooth receiver characteristic curves estimation from continuous data: statistical methods for analyzing the predictive value of spiral CT of urethral stones' [48] . Kazmierczak (1999): 'Statistical techniques for evaluating the diagnostic utility of laboratory tests' [67] . Pepe (2003): 'The statistical evaluation of medical for classication and prediction' [66] . Xinzhe et. al (2012): 'Three dimensional positron emission tomography image texture analysis of esophageal squamous cell carcinoma: relationship between tumor F-uorodeoxyglucose uptake heterogeneity, maximum standardized uptake value and tumor stage' [65] . CAPÍTULO 6. APLICACIONES 66 Keunyoung et. al (2012): 'Prognostic value of volumetric parameters measured by F-18 FDG PET/CT in surgically resected non-small-cell lung cancer' [64] . Soussan et.al (2014): 'Relationship between tumor heterogeneity measured on FDG-PET/CT and pathological prognostic factors in invasive breast cancer' [63] . Teixeira (2013):'Avaliação de classicadores na classicação de radiograas de tórax para o diagnóstico de pneumonia infantil' [62] . Psicología Navarro et. al (1998): ' El análisis de curvas ROC en estudios epidemiológicos de psicopatologia infantil: aplicación al cuestionario CBCL' [61] : El objetivo de este artículo es someter al análisis ROC el cuestionario para la detección de problemas psicológicos en niños 'Child Behavior Checklist'. Este consta de un cuestionario donde se evalúa de 1 a 3 la frecuencia de ciertos comportamientos, como resultado se obtienen 10 valores cuantitativos correspondientes a diferentes patologías para cada individuo que, se unican en un sólo valor representativo de la psicopatología general del individuo. Dicha variable es contrastada tres veces, sobre la misma muestra, con tres criterios diferentes que hacen las veces de variable 'estado'. A saber, si procedían de consulta pediátrica o psiquiátrica ( I ), el resultado obtenido en una entrevista a los padres ( II ) y la conclusión de un test que rellenaba cada psicólogo responsable de cada individuo ( III ). Por último, aplican la prueba t de Student para la comparación de medias, construyen las curvas ROC con procedimientos no paramétricos, estiman sus áreas y eligen el punto de corte óptimo. En sus resultados obtienen que para los criterios I y II las medias son signicativamente distintas, que el área bajo la curva correspondiente al criterio I es mayor a la del II y se desecha la del III pues aunque obtiene un área mayor de 0,5 su intervalo de conanza sí que incluye este valor. Finalmente, para la elección del punto de corte determinan que es preferible una alta sensibilidad y cribar los falsos positivos mediante una segunda prueba. Para ello se quedan con los valores de máxima especicidad que tengan una sensibilidad mayor del 75 % . Otras aplicaciones en psicología Swets et. al (1961): 'Decision processes in perception' [60] . Erdman et. al (1987): 'Suicide risk prediction by computer interview: a prospective study' [59] . Olin et. al (1995): 'Assesing the predictive value of teacher reports in high risk sample for schizophrenia: a ROC analysis' [58] . CAPÍTULO 6. APLICACIONES 67 Swets (1996): 'Signal detection theory and ROC analysis in psychological diagnostic' [57] . Economía Frerichs (2003): 'Evaluating internal credit rating systems depending on bank size ' [56] : En este artículo, la curva ROC es una herramienta para cla- sicar entre buenos y malos prestatarios incentivado por el acuerdo de 2003 en Basilea donde dictaron que cada banco podría tener su propio sistema de clalicación crediticia siempre que éstos cumplan unas especicaciones básicas. Expone que las entidades que se encargan de regular dichos sistema podrían usar las medidas expuestas en el artículo para discriminar entre los que clasiquen bien y mal. Además del área bajo la curva usa la puntuación de Brier para determinar el valor umbral que mejor capacidad discriminante tiene. Otras aplicaciones en economía Sobehart et. al (2001): 'Measuring default accurately' [55] . Kennedy et. al (2009):'Low-Default Portfolio/One-Class Classication: A Literature Review' [54] . Meteorología Ancell (2013): ' Aportaciones de las redes Bayesianas en meteorología. Predicción probabilística de precipitación ' [53] : El objetivo del autor es predecir sobre áreas locales de la Cornisa Cantábrica la probabilidad de precipitación. Dicha variable es dicotomizada considerando que está presente cuando se recojan más de 2mm /24h . Describe la curva ROC como la representación de los pares (FAR, HIR) , False Alarm Rate y Hit Rate respectivamente, que equivalen a los valores denidos de (1 −E, S) . Expone que su elección de punto de corte será aquel cuya pendiente de la recta tangente sea 1 pues le supone un resultado válido para maximizar los resultados acertados. La toma de datos sobre las predicciones en el territorio de estudio es discretizada a 100 estaciones de la Agencia Estatal Meteorológica, estándo repartidas de forma homogénea por todo el área y recogiendo datos diariamente durante 90 días. Para su análisis diferencia entre predictando y predictores : lo primero es la variable objetivo, es decir, ¾habrá o no habrá precipitación? y lo segundo son aquellas variables que ayudan a predecir el estado del predictando (temperatura, dirección, viento, humedad...). Debido al coste computacional que tendría llevar el análisis a cabo con 100 observaciones n-dimensionales diarias a lo largo de 90 días aplica un análisis de componentes principales. Dicho análisis determina que agrupe sus variables explicativas en dos componentes para los cuales calcula sus CAPÍTULO 6. APLICACIONES 68 centroides. Por último, aplicando redes bayesianas obtiene la estimacion de la curva ROC con un área de aproximadamente del 80%. El trabajo de esta tesis continúa ampliando el terreno a toda la Península Ibérica e Islas Baleares, considerando diferentes valores umbrales, aumentando el tiempo de estudio a 45 años y, además, aplicando diferentes redes con diferentes restricciones a la hora de conectar los predictores. Otras aplicaciones en meteorología Harvey et. al (1992): 'Application of signal detection theory to weather forecasting behaviour' [52] . Wilks (2001): 'A skill score based on economic value for probability forecast' [51] . Aprendizaje automático Davis y Goadrich (2006): 'The relationship between Precision-Recall and ROC curves' [50] : Con el objetivo de comparar la eciencia de dos algoritmos con resultados dicotómicos, éstos autores construyen sus correspondientes curvas ROC y Precision-Recall, alegan que un simple índice de exactitud no es suciente y que a menudo, en aprendizaje automático, surje la necesidad de validar un nuevo algoritmo. Sostienen que cuando este tiene respuestas binarias ha de contrastarse mediante un análisis ROC. Las curvas precision-recall (PR) se obtiene al representar los pares: (V+ V++F− ,V+ V++F+ ) Nótese que es igual a (FV P, V PP) , es decir, sensibilidad frente al valor predictivo positivo respectivamente. Además, demuestran que dada una curva ROC exite una única curva PR equivalente a ella y, de hecho, tengan la misma tabla de contingencia. Por otro lado, la curva ROC tiene más capacidad discriminante cuanto más se aproxime al (0,1) y, sin embargo, la PR cuanto más se aproxime al (1,1) pero ocurre que si dadas dos curvas ROC una discrima mejor que otra entonces sus correspondientes curvas PR guardan la misma relación. También se da un procedimiento para interpolar puntos de una curva con el objetivo de hacer perfectamente cóncava su curvatura y se demuestra que los puntos a excluir en la curva ROC (por estropear la concavidad) son los mismos que se escluyen en la PR, no en coordenadas sobre el cuadrado [0,1] ×[0,1] pero si en equivalencia, es decir, los calculados bajo el mismo valor umbral. Otras aplicaciones en aprendizaje automático Spackman (1989): 'Signal detection theory: valuable tools for evaluating inductive learning' [21] . Prati et. al (2008):'Curvas ROC para avaliação de classicadores' [20] . CAPÍTULO 6. APLICACIONES 69 Conclusión En este trabajo, tras analizar y presentar los conceptos de sensibilidad y especicidad , hemos recogido un estudio teórico de la construcción de la curva ROC, acompañado de sus diferentes métodos, a saber: paramétricos, no paramétricos y semiparamétricos. El paramétrico presenta el problema de conrmar mediante contraste de hipótesis que los resultados de la variable de decisión corresponden a la distribución escogida, el no paramétrico puede representarnos una curva ROC muy escalonada si el tamaño de la muestra es pequeño y el semiparamétrico supone la existencia, no asegurada, de una transformación monótona que aproxime los datos a una distribución normal. En el Capítulo 3 hemos visto varias formas de cuanticar la capacidad discriminante de un clasicador. El término accuracy representaba la probabilidad a posteriori , es decir, una vez hecha la clasicación qué porcentaje es el correcto, el índice de Youden nos permite encontrar el punto de corte de mayor sensibilidad y especicidad conjunta, la tasa de verosimilitud nos ha proporcionado una medida de exactitud de clasicación de los individuos con presencia del evento y otra para los individuos con ausencia, el índice de discriminación mide el solapamiento de las funciones de densidades de sanos y enfermos, es decir, es una medida de cuánto le cuesta a la variable de decisión diferenciarlos y el odds ratio denide una medida de ocurrencia de respuesta positiva en presencia y ausencia del evento. Sin embargo, la medida más usada por autores de diferentes campos es el área bajo la curva , esta no sólo nos aporta una medida de la bondad del clasicador sino que nos permite comparar pruebas y, en caso de igualdad, compararlas mediante las áreas parciales. Para la elección del punto de corte podemos hacer uso del índice de Youden, sin embargo, este presenta el problema de maximizar la sensibilidad y especicidad conjuntamente. Una alternativa a este problema es escoger el punto de corte correspondiente al par (1 −E, S) más cercano al vértice (0,1) (Lema 1, Capítulo 4), o bien, el que minimice los costes de resultados erróneos (Lema 2, Capítulo 4), ambos métodos dependen de la prevalencia del evento. Las anteriores deniciones se basan en los conceptos de sensibilidad y especicidad, estas medidas teórica, poblacionales, pueden estimarse mediante la fracción de verdaderos positivos y la fracción de verdaderos negativos respec- 70 CAPÍTULO 6. APLICACIONES 71 tivamente, ambas cantidades muestrales. Por tanto, el análisis ROC será más preciso cuanto mejor represente la muestra seleccionada a la población. En el Capítulo 5 hemos construido las curvas ROC correspondientes a los datos de dos biomarcadores medidos a individuos con y sin cáncer de páncreas. Los programas usados han sido SPSS y R obteniendo en ambos la misma conclusión respecto a qué biomarcador discrimina mejor la muestra. La diferencia entre ambos es que SPSS sólo permite hacer estimaciones paramétricas de la curva ROC usando la distribución exponencial binegativa, mientras que, las funciones denidas en el paquete pROC de R permiten suavizar la curva mediante diversas distribuciones además de calcular áreas parciales, intervalos de conanza para la sensibilidad y especicidad y hacer un contraste de hipótesis de igualdad de pruebas. Fuera del campo de las Matemáticas, las curvas ROC son usadas en diversas áreas como hemos visto en el Capítulo 6, en especial en Medicina, cuando ante una enfermedad intentan encontrar el marcador o la medida que la detecte sin necesidad de un test de oro (golden test) , es decir, una prueba perfecta sin error en sus resultados, la correspondiente a nuestra variable D=estado , ya sea para detección precoz de enfermedades o porque dicha prueba suponga un peligro para la salud del paciente. Finalmente, las curvas ROC suponen una eciente herramienta para medir la bondad de un clasicador y, en caso de ser suciente, elegir el valor umbral que mejor se ajuste al evento a detectar. Es decir, una prueba más sensible que especíca (preventiva), una más especíca que sensible (tamizaje) o una que minimice el o los resultados erróneos positivos y negativos. Puede realizarse para todo tipo de dato (continuo, discreto, categórico...), la sustenta una base teórica que cubre métodos de estimación, cuanticadores de su exactitud y contrastes de hipótesis para aceptar o no la igualdad de pruebas y salvar el problema de la variabilidad muestral. Bibliografía [1] Green DM, Swets JA(1966): 'Signal detection theory and psichophysics'.New York: John Wiley & Sons, Inc. [2] Lusted LB (1971): 'Decision making studies in patient management'. N Engl J Med; 171:1217-9. [3] Lusted LB (1971): 'Signal detectability and medical decision-making'. Science; 171:1217-9. [4] Ataque a Pearl Harbor: Enlace: https://es.wikipedia.org/wiki/Ataque_a_Pearl_Harbor. [5] Burgueñoa M.L, García-Bastos J.L y González-Buitrago J.M. (1995) :'Las curvas ROC en la evaluación de las pruebas diagnósticas'.Med Clin (Barc).104: 661-670 [6] Torres A. (2010): 'Curvas ROC para Datos de Supervivencia. Aplicación a Datos Biomédicos'. Trabajo nal de master en Técnicas Estadísticas de la Universidad de Santiago de Compostela. [7] López de Ullibarri G. I, Píta Fernández S. (1998): 'Curvas ROC'. Cad Aten Primaria. 5: 229-235. [8] Hanley JA (1988): 'The robustness of the binormal model used to t ROC curves'. Med Decision Making 8:197-203. [9] Swets JA.(1988): 'Measuring the accuracy of diagnostic systems'. Science 240: 1.285-1.293. [10] Bamber D. (1975):'The area above the ordinal dominance graph and the area below the receiver operating graph'. J Math Psych; 12: 387-415. [11] Hanley JA, McNeil BJ (1983): 'A method of comparing the areas under receiver operating characteristic curves derived from the same cases'. Radiology; 148: 839-843. [12] Armesto D. (2011): 'Pruebas diagnósticas: curvas ROC'.Electron J Biomed;1:77-82. 72