Comparing bayesian and corrected least-squares estimators in frontier production models

Boletín de Estadística e Investigación Operativa Vol. 25, No. 2, Junio 2009, pp. 86-96 Estadística Comparing bayesian and corrected least-squares estimators in frontier production models Fco. Javier Ortega Irizo, Jesús Basulto Santos and José Antonio Camúñez Ruíz Departamento de Economía Aplicada I Universidad de Sevilla B [email protected], [email protected], cam[email protected] Abstract In the econometric approach to deterministic frontier production models, the use of maximum likelihood estimation has major problems, because the model violates the usual regularity conditions that allow to establish the desirable asymptotic properties of the estimators. To avoid this di- culty, we may use other approachs. One of the methods most widely used is the corrected least-squares estimator. Alternatively, we can perform the Bayesian estimation using Gibbs sampling. In this paper, we make a comparative study of both approachs using simulation methods. We will conclude that the bayesian estimator has better properties in terms of bias and mean squared error, especially for the intercept term; this fact can result very important to estimate the individual eciencies, which is one of the main objectives of these models. Keywords: Production models, Bayesian Inference, Gibbs sampling, Corrected least-squares estimator. AMS Subject classications: 90B30,62F15,62F30,62J99. 1. Introducción La estimación de los modelos de producción es un tema de bastante interés dentro del área de economía aplicada, y ha generado en los últimos años gran cantidad de literatura, pudiéndose situar su inicio en el artículo de Aigner y Chu (1968). En este tipo de modelos, se expresa un determinado output en función de una serie de inputs y parámetros desconocidos más una perturbación aleatoria negativa; la parte determinista del modelo representa la frontera de producción o valor máximo alcanzable de outputs para unos inputs dados, mientras que la perturbación aleatoria (diferencia entre la producción real y la máxima posible) c ° 2009 SEIO Comparing bayesian and corrected least-squares estimators 87 representaría el grado de ineciencia en el proceso productivo. Alternativamente, podemos utilizar la formulación dual de este problema, en la que la variable dependiente es el coste de producción y la perturbación aleatoria sería positiva, representando la parte determinista del modelo el coste mínimo de producción para unos inputs dados. Esta formulación, denominada habitualmente modelo de producción con frontera determinista, presenta una importante dicultad de estimación, debido al hecho de que la modelización de la perturbación unilateral rompe las hipótesis habituales de regularidad asumidas para la obtención de las propiedades asintóticas del estimador máximo-verosímil. Así, podremos obtener los estimadores máximo-verosímiles resolviendo un problema de optimización con restricciones, pero la determinación de las propiedades estadísticas del estimador es una cuestión complicada. Otro inconveniente que se ha destacado acerca de este modelo es su gran sensibilidad a la presencia de outliers y/o valores extremos (Simar, 2007). Para evitar esta cuestión, se han propuesto métodos de estimación que permiten dejar un cierto porcentaje de observaciones por encima de la frontera estimada (Cazals et al., 2002 y Daouia y Simar, 2004). Alternativamente, se han planteado en la literatura los denominados modelos de producción con frontera estocástica. En ellos, se introducen dos perturbaciones; una es una medida de la ineciencia, mientras que la otra reeja factores aleatorios, como por ejemplo errores de medida. En estos modelos, se verican las condiciones de regularidad habituales, por lo que podemos aplicar las propiedades asintóticas del estimador máximo-verosímil para llevar a cabo nuestras inferencias. El problema principal de esta formulación es que, una vez estimado el modelo, no podemos identicar qué parte de cada residuo se debe a ine- ciencia y qué parte se debe a errores aleatorios, es decir, no podemos obtener medidas individuales de eciencia; en este caso, solo es posible estimar niveles medios para el grupo analizado. Una posible salida a este problema se ofrece en Jondrow et al.(1982). Los modelos con frontera estocástica presentan otro inconveniente importante, que aparece cuando los residuos muestran asimetría contraria a la asimetría teórica de la distribución del término de perturbación compuesto. En este caso, decimos que los residuos muestran asimetría errónea (es decir asimetría positiva en el caso de modelos de producción o asimetría negativa en el caso de modelos de coste). La práctica más común en esta situación ha consistido en desechar el modelo (por ejemplo, el programa LIMDEP 7 muestra un mensaje de error y detiene el proceso de estimación), bajo el argumento de que este hecho es un síntoma de que el modelo está mal especicado o se está usando de una manera inapropiada. Sin embargo, estudios simulados han puesto de maniesto que en el modelo con frontera estocástica la asimetría errónea puede aparecer con probabilidades no despreciables, que pueden llegar a ser hasta del 30% y 88 F.J. Ortega Irizo, J. Basulto Santos, J.A. Camúñez Ruíz que en ciertos casos se necesita un tamaño muestral superior a 1000 para que esta probabilidad descienda al 5% (Simar, 2007). En lo que sigue, nos vamos a centrar en los modelos de producción con frontera determinista. Debido a la dicultad que presenta la estimación máximoverosímil, se han buscado otras alternativas de estimación. Una de las más utilizadas ha sido el método que llamaremos de mínimos cuadrados corregidos (MCC) (Green, 1980). Alternativamente, podemos utilizar la Inferencia Bayesiana para estimar este modelo con ayuda del algoritmo de Gibbs (Basulto et al., 2006). El objetivo principal de este trabajo es llevar a cabo una comparación entre ambas alternativas a través de un estudio de simulación. Para ello, en situaciones diversas se van a generar muestras del modelo, se estimarán los parámetros (conocidos) con ambas alternativas y valoraremos los resultados en términos del Sesgo Medio (SM) y del Error Cuadrático Medio (ECM) que se obtiene tras aplicar el procedimiento a un gran número de muestras. A partir de aquí, en la Sección 2 presentamos el modelo de producción así como su función de verosimilitud bajo las hipótesis asumidas para el término de perturbación; en la Sección 3 exponemos en qué consiste el método de estimación MCC; en la Sección 4 resumimos el proceso de formulación del Algoritmo de Gibbs para el modelo objeto de estudio; en la Sección 5 presentamos la descripción del proceso de simulación llevado a cabo. Por último, en la Sección 6 analizamos los resultados obtenidos y exponemos las conclusiones más importantes que pueden extraerse de los mismos. 2. Planteamiento del modelo Consideremos el modelo de producción especicado como yi=x0 iβ+εi, i = 1, . . . , n donde yi∈R es la producción, β∈Rk es un vector de parámetros, xi∈Rn es el correspondiente vector de variables exógenas de la observación i-ésima, n es el tamaño de la muestra y εi<0 es una perturbación aleatoria que mide la ineciencia de la observación i-ésima. Habitualmente, nuestro modelo contendrá un término de ordenada en el origen; sin pérdida de generalidad, supondremos que dicho término es β1 , es decir, la primera componente del vector β , y por consiguiente la primera componente de todos los vectores xi , i= 1, . . . , n será igual a la unidad. Acerca de las perturbaciones, asumiremos la hipótesis de que −εi sigue una distribución half −Normal(0, σ2) , σ > 0 , con lo que la densidad inducida para yi sería f(yi|xi, β, σ) = 2 √2πσ2exp ½−1 2σ2(yi−x0 iβ)2¾ Comparing bayesian and corrected least-squares estimators 89 donde yi⩽x0 iβ∀i. Por tanto, la función de verosimilitud para la muestra de tamaño n del modelo quedaría como L(β, σ|y, X)∝σ−nexp ½−1 2σ2(yi−x0 iβ)2¾, yi⩽x0 iβ∀i donde y= (y1, . . . , yn)0∈Rn y X0= [x1|. . . |xn]∈ Mk×n . Aclaremos que la columna i-ésima de la matriz X0 (o bien la la i-ésima de X ) contiene el vector xi de valores de las variables exógenas correspondientes a la observación i-ésima. Vamos a llamar B al subconjunto del espacio paramétrico en el que se verican todas las restricciones y entonces expresaremos la verosimilitud como L(β, σ|y, X)∝σ−nexp ½−1 2σ2(yi−x0 iβ)2¾, β ∈B donde B={β∈Rk:yi⩽x0 iβ} , es decir el conjunto de valores de los parámetros que son compatibles con los datos observados en el sentido de que posibilitan que todas las producciones observadas queden por debajo de la frontera del modelo. 3. Estimación de Mínimos Cuadrados Corregidos (MCC) En el modelo de regresión con frontera determinista, puede probarse que los estimadores de Mínimos Cuadrados Ordinarios (MCO) de las pendientes son consistentes y el cálculo usual de los errores estándar correspondientes seguiría siendo válida. Sin embargo, el estimador MCO de la ordenada en el origen es inconsistente para nuestro modelo. Además, es muy posible que el estimador MCO resulte en un vector que no pertenezca al espacio paramétrico, con lo que algunos residuos podrían ser positivos, hecho que no es posible en nuestro modelo pues la producción observada siempre ha de ser inferior a la frontera máxima de producción. Por ello, se propone una corrección sobre la ordenada en el origen, una vez estimados todos los parámetros por MCO, que conduce a un estimador consistente (pero sesgado) de β1 y con el que se consigue que el vector de estimaciones pertenezca al espacio paramétrico (y consecuentemente todos los residuos sean negativos). Concretamente, la corrección que se propone es la siguiente (Green, 1980). 1. Obtener el vector b β= (b β1,b β2, . . . , b βk)0 a través del método MCO. 2. Considerar eεi=yi−b β2xi2−. . . −b βkxik,∀i 3. Sustituir la estimación MCO de la ordenada en el origen por b β∗ 1= m´ax i=1,...,n{eεi} . 90 F.J. Ortega Irizo, J. Basulto Santos, J.A. Camúñez Ruíz Con esta corrección, obviamente todos los residuos resultarán ser negativos. Además, como se ha indicado, el estimador así construido resulta ser consistente, si bien como señala el propio Green, es sesgado y de eciencia incierta. Debemos destacar que uno de los objetivos importantes de estos modelos es la obtención de los residuos, pues van a representar una estimación de la ineciencia en la producción de cada uno de los ítems que forman parte de la muestra. Para ello, es muy importante contar con buenas estimaciones de las pendientes pero también de la ordenada en el origen, que interviene de manera decisiva en la estimación de la frontera de producción para unos inputs dados y por tanto en la estimación de la ineciencia. Aún más, es usual plantear este tipo de modelos en términos logarítmicos y así una vez obtenido un residuo bεi se calcula exp{bεi} como estimación de la eciencia/ineciencia del proceso productivo (1 signica el máximo de eciencia y 0 el máximo de ineciencia). Así, los errores que se cometan en las estimaciones de los parámetros de la regresión pueden verse bastante aumentados por el uso de la función exponencial. 4. Estimación Bayesiana. Formulación del algoritmo de Gibbs En esta sección vamos a exponer los pasos fundamentales que permiten aplicar el algoritmo de Gibbs a nuestro modelo; para una exposición detallada puede consultarse Basulto et al. (2006). Utilizaremos una distribución a priori no informativa para el modelo, cuyo núcleo viene dado por π(β, σ)∝σ−1. El núcleo de la distribución a posteriori conjunta, lo obtendremos multiplicando la verosimilitud por la distribución a priori, con lo que obtendremos π(β, σ|y, X)∝σ−(n+1) exp (−1 2σ2X i³yi−x0 iβ´2), β ∈B que, alternativamente, podemos expresar como π(β, σ|y, X)∝σ−(n+1) exp ½−1 2σ2(y−Xβ)0(y−Xβ)¾, β ∈B La manipulación algebraica de esta distribución es complicada, debido a la restricción β∈B , que hace que no sea fácil conocer los límites de integración y que lleva también a que las distribuciones marginales de cada componente βj estén denidas a trozos. Para evitar esta dicultad y dar respuesta al problema de la inferencia, utilizaremos el algoritmo de Gibbs (Gelfand y Smith, 1990), ya que no resulta excesivamente complicado simular muestras de las distribuciones Comparing bayesian and corrected least-squares estimators 91 unidimensionales de cada parámetro condicionadas al resto de parámetros. Por tanto, aplicaremos el algoritmo de Gibbs, obteniendo muestras simuladas de las distribuciones σ|β, y, X y βj|β(j), σ, y, X, j = 1, . . . , k donde β(j) representa el vector β del cual se elimina la componente j-ésima. La distribución de σ condicionada al resto de parámetros se obtiene de manera inmediata, pues la distribución a posteriori conjunta puede expresarse como π(β, σ|y, X)∝¡σ−2¢n+1 2exp ½−(σ−2)1 2(y−Xβ)0(y−Xβ)¾, β ∈B y así obtenemos inmediatamente que σ−2|β, y, X ∼Ga µn+ 3 2,1 2(y−Xβ)0(y−Xβ)¶ Como podemos observar, el núcleo de la distribución a posteriori es Normal- Gamma, aunque truncado a un cierto subconjunto B , por lo que, siendo ˆ β el estimador MCO de β , la densidad del vector β condicionada al resto de parámetros es β|σ, X, y ∼Nk³ˆ β, σ2(X0X)−1´, β ∈B, es decir, una distribución Normal k-dimensional truncada en el subconjunto B⊆Rk . En principio, podrían generarse valores de esta distribución a través del procedimiento: 1. Generar un valor β0∼Nk³ˆ β, σ2(X0X)−1´ 2. Si β0∈B , aceptar dicho valor; si no, rechazarlo y volver a 1. Sin embargo, en la práctica, es frecuente que la probabilidad de rechazo de este procedimiento sea tan elevada que el método no resulte viable. Una solución para este problema es analizar las distribuciones condicionadas unidimensionales, que resultan ser Normales truncadas; la generación de valores simulados de esta distribución puede llevarse a cabo fácilmente siguiendo el algoritmo propuesto en Devroye (1986), p. 380. Para obtener muestras simuladas de βj|β(j), σ, y, X , reordenando los parámetros, podemos considerar la siguiente partición β=µβj β(j)¶yΣ = Ãσ2 jσ0 j(j) σj(j)Σj(j)!, donde hemos llamado Σ = σ2(X0X)−1 . Si suponemos que todas las variables explicativas toman valores positivos, las distribuciones de cada componente del vector β condicionadas al resto de 92 F.J. Ortega Irizo, J. Basulto Santos, J.A. Camúñez Ruíz parámetros son de la forma βj|β(j), σ, y, X ∼N³ˆ βj+ Σ−1 j(j)³β(j)−ˆ β(j)´, σ2 j−σ0 j(j)Σ−1 j(j)σj(j)´, βj≥b¡β(j), X, y¢ donde b¡β(j), X, y¢= m´ax in³yi−x0 i(j)β(j)´.xijo . En los modelos de producción, es habitual medir las variables en términos de logaritmos, por lo que aparecen con frecuencia valores negativos para las covariables; si no imponemos la hipótesis de que las variables explicativas sean positivas, la distribución condicionada sería la misma, cambiando el recorrido del parámetro, que sería de la forma b1¡β(j), X, y¢≥βj≥b2¡β(j), X, y¢ , donde b1¡β(j), X, y¢= m´ın i/xij <0n³yi−x0 i(j)β(j)´.xijo b2¡β(j), X, y¢= m´ax i/xij >0n³yi−x0 i(j)β(j)´.xijo Una vez conocidas todas las distribuciones condicionadas unidimiensionales, el algoritmo de Gibbs para nuestro modelo puede formularse como se especica a continuación. Dados los valores βm y (σ2)m , obtenidos en la etapa m-ésima, los valores generados en la etapa siguiente vendrían dados por: 1. Generar un valor vm+1 de la distribución σ−2|βm, y, X . Tomar (σ2)m+1 = 1/vm+1 2. Generar un valor βm+1 j de la distribución βj|βm+1 1, . . . , βm+1 j−1, βm j+1, . . . , βm k,(σ2)m+1, y, X, j = 1, . . . , k 3. βm+1 = (βm+1 1, . . . , βm+1 k)0 Como valor inicial β0 hemos considerado el estimador obtenido a través del método MCC. Hemos implementado este algoritmo en el entorno Mathematica 5.2, generando muestras de la distribución a posteriori de tamaño 5000. Para estimar los parámetros, hemos utilizado el criterio de la esperanza de las distribuciones marginales. 5. Descripción del procedimiento de simulación llevado a cabo Para comparar los resultados obtenidos a través del estimador MCC con los que proporciona la Estimación Bayesiana, hemos llevado a cabo un análisis de simulación que hemos congurado de la forma que explicamos a continuación. Se han considerado, para simplicar, modelos con una única variable explicativa (es de esperar que la presencia de más variables explicativas no inuya en Comparing bayesian and corrected least-squares estimators 93 el mejor o peor comportamiento de los estimadores). Así, todas las simulaciones se han llevado a cabo sobre modelos de la forma yi=α+βxi+εi, i = 1, . . . , n , donde las perturbaciones εi verican las condiciones expuestas en el epígrafe 2. Hemos asignado valores distintos a los parámetros α , β , σ y al tamaño muestral n . Concretamente, hemos considerado los casos (α, β) = {(1,1),(5,2),(2,5)} , σ={1,2} y n={5,10,20,50,100} . Además, en todos los casos, se ha duplicado la simulación, considerando primero una muestra de valores de x según un modelo U(0,1) y posteriormente según un modelo U(0,5) . En cada situación, una vez generada la muestra de valores de la covariable x se ha procedido a generar 1000 muestras de la variable y del modelo y a obtener los estimadores bayesiano y MCC, comparando los resultados con los parámetros jados y conocidos de antemano. Concretamente, hemos calculado el sesgo medio y el error cuadrático medio de cada uno de los estimadores en las 1000 muestras simuladas. Por ejemplo, siendo ˆ βi el estimador de β (por cualquiera de los métodos) en la muestra simulada i-ésima, el SM y el ECM vendrían dados por SM =1 1000 1000 X i=1 ³ˆ βi−β´ ECM =1 1000 1000 X i=1 ³ˆ βi−β´2 6. Resultados y conclusiones Los resultados obtenidos en las 60 situaciones resultantes de combinar los distintos valores de los parámetros con los distintos tamaños muestrales y valores de x , se resumen en las 6 tablas que ofrecemos a continuación. Tabla 1: α= 1; β= 1; x∈U(0,1) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.3167 0.7929 -0.0219 1.6648 -0.5505 1.7499 -0.0938 3.8169 BAYES -0.1895 0.6660 0.0711 1.4849 -0.2858 1.3362 -0.0108 2.8064 n= 10 MCC -0.0487 0.2581 -0.1263 0.7870 -0.2653 0.7349 0.0841 4.1709 BAYES -0.0230 0.1568 -0.0333 0.4736 -0.0830 0.3645 -0.0183 2.0755 n= 20 MCC -0.0409 0.0933 0.0256 0.2945 -0.0515 0.3315 -0.0377 1.3468 BAYES -0.0232 0.0357 0.0189 0.1035 -0.0102 0.1379 -0.0403 0.5890 n= 50 MCC 0.0284 0.0544 -0.0077 0.1377 0.0420 0.1402 -0.0035 0.4259 BAYES -0.0040 0.0107 0.0028 0.0273 0.0049 0.0349 -0.0059 0.0912 n= 100 MCC 0.0270 0.0222 0.0009 0.0687 0.0923 0.0881 -0.0368 0.2790 BAYES 0.0054 0.0028 -0.0122 0.0097 0.0046 0.0063 -0.0112 0.0244 94 F.J. Ortega Irizo, J. Basulto Santos, J.A. Camúñez Ruíz Tabla 2: α= 1; β= 1; x∈U(0,5) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.3543 0.7664 0.0064 0.0810 -0.6764 3.1046 0.0081 0.3473 BAYES -0.1964 0.6402 0.0158 0.0738 -0.4571 2.5635 0.0497 0.2907 n= 10 MCC -0.1662 0.5703 0.0156 0.0500 -0.2319 1.5424 -0.0044 0.1460 BAYES -0.0867 0.4226 0.0173 0.0360 -0.0737 0.8436 -0.0069 0.0830 n= 20 MCC -0.0338 0.2202 0.0041 0.0202 -0.0489 0.5551 0.0023 0.0664 BAYES -0.0185 0.0870 0.0034 0.0070 -0.0179 0.2012 -0.0011 0.0237 n= 50 MCC 0.0208 0.0418 0.0025 0.0057 0.0589 0.1930 -0.0064 0.0235 BAYES -0.0109 0.0079 0.0042 0.0011 -0.0037 0.0417 -0.0009 0.0054 n= 100 MCC 0.0429 0.0260 -0.0050 0.0031 0.0723 0.0883 0.0000 0.0107 BAYES 0.0023 0.0023 -0.0012 0.0003 -0.0049 0.0082 0.0018 0.0009 Tabla 3: α= 5; β= 2; x∈U(0,1) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.4230 1.7107 0.1540 3.1552 -0.3289 0.7508 -0.0145 1.3230 BAYES -0.2979 1.4458 0.2286 2.7315 -0.1524 0.6587 -0.0002 1.2192 n= 10 MCC -0.1626 0.3329 0.0701 0.7059 -0.1121 0.1418 -0.0062 0.4340 BAYES -0.0577 0.2174 0.0280 0.4208 -0.0325 0.0865 -0.0291 0.2441 n= 20 MCC -0.0322 0.1377 0.0098 0.3624 -0.0305 0.1097 0.0057 0.2962 BAYES -0.0202 0.0619 0.0129 0.1486 -0.0120 0.0475 -0.0000 0.1170 n= 50 MCC 0.0265 0.0390 -0.0070 0.1263 0.0268 0.0422 -0.0013 0.1613 BAYES 0.0048 0.0057 -0.0137 0.0226 0.0015 0.0094 -0.0072 0.0374 n= 100 MCC 0.0377 0.0224 -0.0076 0.0683 0.0238 0.0161 0.0205 0.0573 BAYES 0.0023 0.0024 -0.0090 0.0076 -0.0042 0.0020 0.0072 0.0054 Tabla 4: α= 5; β= 2; x∈U(0,5) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.3139 0.7065 0.0027 0.1210 -0.6379 2.1700 -0.0417 0.3939 BAYES -0.1835 0.5677 0.0108 0.0927 -0.2248 1.8828 -0.0277 0.3938 n= 10 MCC -0.1282 0.2113 0.0065 0.0333 -0.2499 1.0672 -0.0003 0.0986 BAYES -0.0377 0.1284 0.0046 0.0189 -0.0901 0.5964 -0.0060 0.0526 n= 20 MCC -0.0211 0.1575 -0.0041 0.0176 -0.0519 0.7019 0.0016 0.0626 BAYES -0.0177 0.0659 0.0011 0.0070 -0.0401 0.3046 0.0052 0.0234 n= 50 MCC 0.0123 0.0368 0.0058 0.0062 0.0289 0.1701 0.0021 0.0250 BAYES -0.0023 0.0080 -0.0005 0.0012 -0.0118 0.0405 0.0031 0.0054 n= 100 MCC 0.0201 0.0188 0.0022 0.0026 0.0576 0.0789 0.0039 0.0108 BAYES -0.0028 0.0027 0.0009 0.0004 0.0032 0.0068 -0.0018 0.0011 Tabla 5: α= 2; β= 5; x∈U(0,1) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.3620 1.0393 0.0581 2.1763 -0.4684 3.8310 -0.2266 9.4462 BAYES -0.2103 0.8389 0.0796 1.8089 -0.2942 2.9078 0.0217 7.0655 n= 10 MCC -0.0910 0.1907 -0.0362 0.6790 -0.3458 1.4631 0.2184 4.2833 BAYES -0.0223 0.0998 -0.0286 0.3899 -0.1585 0.8396 0.1563 2.5040 n= 20 MCC -0.0621 0.1579 0.0540 0.4101 -0.0207 0.4570 -0.0291 1.0874 BAYES -0.0394 0.0864 0.0437 0.1899 -0.0381 0.1970 0.0357 0.4166 n= 50 MCC 0.0449 0.0534 -0.0376 0.2597 0.0135 0.1502 0.0573 0.7087 BAYES 0.0095 0.0103 -0.0244 0.0482 -0.0070 0.0345 0.0016 0.1404 n= 100 MCC 0.0353 0.0238 -0.0127 0.0727 0.0613 0.0859 0.0140 0.2546 BAYES -0.0005 0.0031 -0.0022 0.0091 -0.0000 0.0087 0.0029 0.0247 Tabla 6: α= 2; β= 5; x∈U(0,5) σ= 1 σ= 2 α β α β SM ECM SM ECM SM ECM SM ECM n= 5 MCC -0.3119 0.4679 0.0004 0.0504 -0.7007 5.0325 0.0052 0.3086 BAYES -0.1444 0.3431 -0.0014 0.0366 -0.5014 4.4014 0.0507 0.2746 n= 10 MCC -0.1103 0.1827 -0.0024 0.0271 -0.2928 1.0243 0.0128 0.1058 BAYES -0.0117 0.1019 -0.0111 0.0170 -0.1504 0.5988 0.0153 0.0616 n= 20 MCC 0.0120 0.0911 -0.0112 0.0116 -0.0530 0.5086 0.0059 0.0715 BAYES 0.0034 0.0298 -0.0043 0.0039 -0.0258 0.2238 -0.0006 0.0269 n= 50 MCC 0.0170 0.0483 0.0031 0.0061 0.0434 0.1468 -0.0019 0.0195 BAYES -0.0045 0.0100 0.0017 0.0012 -0.0012 0.0308 -0.0017 0.0044 n= 100 MCC 0.0290 0.0240 0.0015 0.0031 0.0453 0.0896 0.0065 0.0116 BAYES -0.0021 0.0029 0.0006 0.0003 -0.0057 0.0132 0.0007 0.0014