El ejercicio de back-testing en las metodologías de estimación del valor en riesgo (VeR)

217 EL EJERCICIO DE BACK-TESTING EN LAS METODOLOGÍAS DE ESTIMACIÓN DEL VALOR EN RIESGO (VeR) José Manuel Feria Domínguez Mª Dolores Oliver Alfonso RESUMEN En los últimos años, las metodologías VeR, han experimentado un espectacular desarrollo al amparo del nuevo marco regulador que supone Basilea II. No sólo eso, sino que, además, los denominados análisis complementarios de tales metodologías, en particular, el Ejercicio de Autocomprobación (Back-testing) y la Prueba de Tensión (Stress-testing) han corrido igual suerte. En este trabajo, centramos nuestra atención en el primero de ellos e intentamos contrastar el grado de precisión de las distintas metodologías de estimación del Valor en Riesgo (VeR) utilizando, para ello, una cartera de renta variable nacional. PALABRAS CLAVE: Riesgo de Mercado, Metodologías de Valor en Riesgo (VeR), Ejercicio de Verificación o Autocomprobación (Back-testing). ABSTRACT In the last few years, Value at Risk (VaR) methodologies have experienced spectacular growth within Basle II regulatory context. Moreover, some complementary analysis such as Stress-testing and Backtesting have also gained the same importance. In this paper, we focus on Back-testing analysis and we intent to measure the accuracy of VaR methodologies by using a Spanish stock market portfolio. KEY WORDS: Market risk, Value at Risk (VaR) Methodologies, Back-testing. 1. INTRODUCCIÓN En los últimos años, el Valor en Riesgo, en adelante VeR, se ha convertido en un patrón comúnmente aceptado en la industria bancaria. Se trata de una magnitud estadística que nos informa sobre la pérdida máxima, expresada en unidades monetarias, en la que podríamos incurrir en un determinado plazo temporal con un nivel de confianza dado. Para su obtención existen tres grandes enfoques metodológicos: el modelo Paramétrico, la Simulación Histórica y la Simulación de Montecarlo, cada uno de los cuales presenta ventajas e inconvenientes. Es por ello que, en la práctica, sea necesario utilizar ciertos análisis complementarios a dichas metodologías precisamente para calibrar la bondad de tales estimaciones. En particular, el Ejercicio de Autocomprobación, más conocido por la notación anglosajona de Back-testing, establece, dentro de un horizonte temporal determinado, un análisis comparativo entre dos magnitudes: por un lado, la pérdida realmente experimentada en una cartera y, por otro, la estimación previa realizada en términos de Valor en Riesgo (VeR). En definitiva, se pretende contrastar el grado de exactitud de la metodología de medición empleada a través del cómputo del número de excepciones, esto es, el número de días en los cuales la pérdida de la cartera supera la cifra VeR. Lógicamente, la situación ideal se daría cuando dicho número estuviera CITIES IN COMPETITION 218 próximo al nivel de confianza establecido en nuestra medición, es decir, si utilizamos un 95% de confianza estadística lo deseable sería que el número de excepciones rondase el 5% en el período de análisis. Si este porcentaje fuese superior, ello implicaría que el modelo VeR utilizado estaría infravalorando el riesgo realmente soportado; un porcentaje por debajo del 5% denotaría, por el contrario, una sobrestimación. En este trabajo desarrollamos un ejercicio de Back-testing sobre los VeR´s obtenidos por las principales metodologías estadísticas de medición de riesgos, utilizando para ello una cartera de acciones españolas y una ventana temporal de verificación de 100 días. 2. CONSIDERACIONES METODOLÓGICAS ELECCIÓN DE LA CARTERA El trabajo de investigación que planteamos comienza, en primer lugar, con la selección y definición de la cartera sobre la cual aplicar los modelos de medición de riesgos descritos. Finalmente, hemos optado por una cartera con cinco títulos que cotizan en el mercado continuo español; en particular, se trata de los cinco valores más negociados y con mayor peso en el índice IBEX-35, esto es: • TELEFÓNICA (TEF) • BBVA (BBVA) • BSCH (SAN) • ENDESA (ELE) • REPSOL (REP) La elección de esta cartera de renta variable no es caprichosa sino que obedece a una serie de criterios de decisión, a saber: • Eliminar el riesgo de liquidez, al ser dichas acciones las que mayor número de transacciones diarias presentan en la bolsa española. • Además, en su conjunto, los títulos seleccionados ponderan más del 50% en el IBEX- 35. • Aislar el riesgo de mercado, objeto central de nuestro análisis, del riesgo de crédito en el que también hubiéramos incurrido si hubiésemos seleccionado una cartera de renta fija y cuyo tratamiento exigiría, de otra parte, la integración o copulación de ambos. • La disponibilidad y accesibilidad de los datos; en concreto, se trata de precios diarios de cierre, nominados en euros, que han sido suministrados por el proveedor de servicios de información financiera Bloomberg. Dicha información ha sido previamente cotejada con la ofrecida por la Sociedad de Bolsas, no advirtiendo discrepancia alguna. Por otra parte, es preciso definir tanto el valor inicial de la posición como los pesos específicos de las distintas acciones en la cartera. En este sentido, hemos partido de una inversión inicial de 100.000,00 euros, prorrateados de igual forma entre los títulos individuales, según se ilustra a continuación: Tabla 1: Posición inicial de la cartera (en euros). FINANCE MANAGEMENT CHALLENGES 219 Fecha VeR 30/08/2002 TEF ELE BBV A SAN REP TOTAL Nº de títulos 2.182 1.653 1.998 2.937 1.504 10.273 Cotización 9,17 € 12,10 € 10,01 € 6,81 € 13,30 € V alor 20.000 € 20.000 € 20.000 € 20.000 € 20.000 € 100.000 € Peso 20% 20% 20% 20% 20% 100% Como se desprende de la observación de la tabla 1, el punto de partida para estimar el VeR será el 30 de agosto de 2002. Lógicamente, si queremos valorar nuestra cartera ese día bastará con multiplicar los precios de las respectivas acciones por el número de títulos en nuestro haber. Para el caso que nos ocupa, hemos elegido una cartera equiponderada, es decir, todos los activos tienen el mismo peso dentro de la misma; un 20%. DEFINICIÓN DE LA VENTANA TEMPORAL La concreción del período de análisis constituye una etapa más en el proceso metodológico. En nuestro trabajo, hemos seleccionado una ventana temporal de observación comprendida entre el 28 de enero del 2000 y el 29 de enero de 2003, es decir, un total de 751 días de negociación. Este horizonte temporal se ha escindido en dos subperíodos: • Uno que abarca desde el 28 de enero de 2000 hasta el 30 de agosto de 2002, el cual se configura como punto de partida del proceso de estimación del VeR y comprende 651 días de negociación en el mercado. • Otro que transcurre del 2 de septiembre de 2002 hasta el 29 de enero de 2003, esto es, 100 días de negociación, y que hemos definido como período de contraste (Back-testing) de los distintos modelos de cálculo utilizados. Con objeto de extraer mayor información sobre la bondad de los mismos, hemos creído conveniente dividir dicho horizonte de verificación en dos nuevos subperíodos de 50 días, cada uno de los cuales obedece a distintos niveles de volatilidad, según se ilustra en el gráfico 1, donde aparecen representadas las volatilidades históricas anualizadas 78 para cada una de las acciones individuales, utilizando una ventana móvil de 20 días. 78 La volatilidad diaria es multiplicada por la raíz cuadrada de 250. CITIES IN COMPETITION 220 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 02/09/2002 05/09/2002 10/09/2002 13/09/2002 18/09/2002 23/09/2002 26/09/2002 01/10/2002 04/10/2002 09/10/2002 14/10/2002 17/10/2002 22/10/2002 25/10/2002 30/10/2002 05/11/2002 08/11/2002 13/11/2002 18/11/2002 21/11/2002 26/11/2002 29/11/2002 04/12/2002 10/12/2002 13/12/2002 18/12/2002 23/12/2002 02/01/2003 08/01/2003 13/01/2003 16/01/2003 21/01/2003 24/01/2003 período de contraste volatilidad anualizada TEF ELE BBVA SAN REP ALTA VOLATILIDAD BAJA VOLATILIDAD Figura 1: Niveles de volatilidad histórica para las acciones individuales. ESTABLECIMIENTO DE PARÁMETROS Como ya hemos comentado, el VeR es una estimación de tipo estadístico y, en consecuencia, precisa del establecimiento previo de una serie de parámetros. Por consiguiente, es el momento de proceder a su fijación: • La unidad de tiempo a la cual va referida la estimación será de un día, o lo que es lo mismo, calcularemos VeR’s diarios. Recordemos que dicha elección sólo tiene sentido para productos líquidos, como es el caso, ya que generalmente se suele asociar al plazo necesario para deshacer o cubrir la posición. • El intervalo o nivel de confianza asociado al cálculo se ha establecido en el 95%. • La moneda de referencia será el euro. En definitiva, y a modo de resumen, estimaremos la pérdida máxima, expresada en euros, en la que podríamos incurrir a un día vista, con un 95% de probabilidad. 3. EL EJERCICIO DE VERIFICACIÓN (BACKTESTING) Desde el punto de vista científico, las metodologías VeR necesitan ser contrastadas de manera periódica, es decir, deben someterse a un análisis retrospectivo a partir del cual comprobar su grado de precisión. Este tipo de FINANCE MANAGEMENT CHALLENGES 221 práctica, más conocida por el anglicismo Back-testing, se articula computando el número de excepciones79 observadas dentro de una determinada ventana temporal. En otras palabras, se trata de contar el número de días en los que la pérdida real sufrida por una cartera supera la estimación VeR. A continuación, vamos a aplicar el proceso de Backtesting sobre las principales metodologías de medición, esto es, Simulación Histórica, Método Paramétrico y Simulación de Montecarlo con objeto de obtener conclusiones respecto a la bondad de las mismas. Según indicamos anteriormente, el período de verificación seleccionado comprende 100 días de negociación en el mercado; en particular, comienza el 2/09/2002 y finaliza el 29/01/2003. La elección de esta ventana responde, principalmente, a motivos pedagógicos, ya que nos permite establecer una relación directa con el nivel de confianza definido para la estimación VeR, si bien es cierto que el BIS recomienda un período mínimo de 250 días. En cualquier caso, si hemos calculado el Valor en Riesgo con un 95% de confianza estadística, lo lógico es que en esos 100 días, como máximo, aparecieran 5 excepciones. Por otro lado, para abundar en el análisis, hemos dividido dicha ventana temporal en dos períodos de 50 días, cada uno de las cuales se caracteriza por distintos niveles de volatilidad80, esto es: • Período de ALTA volatilidad: Del 02/09/2002 al 11/11/2002. • Período de BAJA volatilidad: Del 12/11/2002 al 29/01/2003. En general, todo proceso de Back-testing comienza siempre por calcular las pérdidas o ganancias diarias realmente obtenidas por el mantenimiento de una determinada posición de mercado. Para ello, bastará computar la diferencia entre el valor de la misma hoy y aquél correspondiente al día anterior, como muestra la tabla 2: Tabla 2: Pérdidas y Ganancias reales de la cartera. Fecha Valor cartera Ps y Gs 30/08/2002 100.000,00 € - 02/09/2002 97.983,82 € -2.016,18 € 03/09/2002 94.109,64 € -3.874,18 € 04/09/2002 94.351,48 € 241,84 € 05/09/2002 93.188,32 € -1.163,16 € 06/09/2002 97.052,06 € 3.863,73 € 09/09/2002 94.638,73 € -2.413,33 € A partir de dichos datos, es posible caracterizar la correspondiente distribución de pérdidas y ganancias reales, que resumimos en la siguiente tabla e ilustramos en forma de histograma: 79 Hablamos de excepción en sentido estricto, esto es, en relación al VeR. De igual forma, podemos computar excepciones por exceso, o lo que es lo mismo, respecto al EaR. 80 Remitimos al lector a las figuras 2 y 3 respectivamente. CITIES IN COMPETITION 222 Tabla 3: Análisis descriptivo de la distribución de Ps y Gs reales. Ganancia máxima 5.883,50 € Pérdida máxima -5.216,45 € Promedio -96,69 € Desviación estándar 2.330,17 € Asimetría 0,37716073 Curtosis -0,18014379 0 2 4 6 8 10 12 14 16 18 20 -6.000,00 € -5.000,00 € -4.000,00 € -3.000,00 € -2.000,00 € -1.000,00 € 0,00 € 1.000,00 € 2.000,00 € 3.000,00 € 4.000,00 € 5.000,00 € 6.000,00 € Ps y Gs reales Distribución normal Figura 2: Histrograma de Ps y Gs reales versus distribución normal. En segundo lugar, debemos proceder a la estimación del VeR a un día vista, de manera que podamos comparar si la pérdida que éste pronostica se cumple al día siguiente o no, en cuyo caso estaríamos ante una excepción. Aunque, desde un punto de vista conceptual, este tipo de técnica no reviste ninguna complejidad, en la práctica, dicho ejercicio deviene, en cierta medida, tedioso pues se trata de repetir el proceso de cálculo del VeR tantas veces como días comprende la ventana de observación. Concretamente, en nuestro estudio hemos calculado 100 VeR’s diarios para dos niveles de confianza estadística diferentes: un 95% y un 99%. Asimismo, hemos procedido, de igual forma, con las Ganancias en Riesgo (EaR´s); y todo ello, para las tres metodologías descritas. La siguiente tabla recoge algunas de dichas estimaciones calculadas por Simulación Histórica, además de las pérdidas y ganancias obtenidas. Cola ancha (fat tail) FINANCE MANAGEMENT CHALLENGES 223 Tabla 4: VeR´s y EaR´s calculados por Simulación Histórica. Fecha VeR SH 95%VeR SH 99%EaR SH 95% EaR SH 99% Ps y Gs 30/08/2002 -2.817,33 € -4.336,21 € 2.727,47 € 5.108,68 € - 02/09/2002 -2.760,32 € -4.252,18 € 2.670,60 € 5.007,18 € -2.016,18 € 03/09/2002 -2.664,40 € -4.069,87 € 2.561,88 € 4.818,54 € -3.874,18 € 04/09/2002 -2.667,39 € -4.073,30 € 2.569,40 € 4.812,74 € 241,84 € 05/09/2002 -2.635,12 € -4.026,36 € 2.533,15 € 4.751,56 € -1.163,16 € 06/09/2002 -2.746,51 € -4.193,68 € 2.697,29 € 4.959,60 € 3.863,73 € 09/09/2002 -2.682,45 € -4.093,41 € 2.612,97 € 4.825,80 € -2.413,33 € A la luz de la tabla 4, la operativa del Backtesting para el primer día del análisis, esto es, el 02/09/2002, se reduce a comparar la pérdida resultante ese día, que asciende a 2.016,18 €, con la estimación VeR (95%) del día anterior, 30/08/2002, es decir, 2.817,33 €. En este caso, la pérdida real es inferior al VeR y, por consiguiente, podemos afirmar que no existe excepción. No así ocurre, por ejemplo, para el día siguiente, 03/09/2002, donde sucede justamente lo contrario. A continuación, presentamos, en formato tabular, el número de excepciones detectadas en el período de 100 días para cada una de las tres metodologías de estimación del VeR, diferenciando entre mediciones realizadas al 95% y 99% de confianza estadística. CITIES IN COMPETITION 224 Tabla 5: Excepciones al 95% para la Simulación Histórica. Fecha Ps y Gs VeR SH 95% Excepción 95% Amplitud absoluta Amplitud relativa 03/09/2002 -3.874,18 € -2.760,32 € Por defecto -1.113,86 € 40,35% 12/09/2002 -5.216,45 € -2.890,91 € Por defecto -2.325,53 € 80,44% 18/09/2002 -3.707,85 € -2.629,25 € Por defecto -1.078,61 € 41,02% 23/09/2002 -3.303,51 € -2.432,56 € Por defecto -870,95 € 35,80% 24/09/2002 -3.072,04 € -2.366,45 € Por defecto -705,59 € 29,82% 30/09/2002 -4.355,90 € -2.449,08 € Por defecto -1.906,82 € 77,86% 23/10/2002 -2.912,14 € -2.747,11 € Por defecto -165,03 € 6,01% 07/11/2002 -4.144,46 € -3.010,70 € Por defecto -1.133,76 € 37,66% 27/01/2003 -3.973,42 € -3.019,53 € Por defecto -953,89 € 31,59% 9Promedio -1.139,34 € 42,28% Fecha Ps y Gs EaR SH 95% Excepción 95% Amplitud absoluta Amplitud relativa 06/09/2002 3.863,73 € 2.533,15 € Por exceso 1.330,59 € 52,53% 10/09/2002 3.176,87 € 2.612,97 € Por exceso 563,90 € 21,58% 11/09/2002 4.165,69 € 2.704,56 € Por exceso 1.461,13 € 54,02% 26/09/2002 5.311,74 € 2.271,66 € Por exceso 3.040,08 € 133,83% 02/10/2002 4.777,71 € 2.244,25 € Por exceso 2.533,46 € 112,89% 11/10/2002 3.715,69 € 2.325,02 € Por exceso 1.390,67 € 59,81% 15/10/2002 5.883,50 € 2.434,23 € Por exceso 3.449,28 € 141,70% 24/10/2002 3.153,97 € 2.629,43 € Por exceso 524,54 € 19,95% 04/11/2002 4.043,82 € 2.828,15 € Por exceso 1.215,67 € 42,98% 21/11/2002 4.364,57 € 3.062,89 € Por exceso 1.301,67 € 42,50% 27/11/2002 3.568,63 € 3.319,59 € Por exceso 249,04 € 7,50% 16/12/2002 3.749,26 € 3.099,30 € Por exceso 649,96 € 20,97% 02/01/2003 4.100,15 € 3.192,50 € Por exceso 907,65 € 28,43% 13 Promedio 1.432,13 € 56,82% Nº excepcione s Nº excepcione s FINANCE MANAGEMENT CHALLENGES 225 Además, hemos computado la amplitud de tales excepciones en términos absolutos, o lo que es lo mismo, el exceso, nominado en euros, por encima del nivel que representa el VeR y el EaR; esto es lo que denominamos excepción por defecto y por exceso, respectivamente. Por último, para facilitar la interpretación de los datos hemos creído conveniente expresar, en forma de porcentaje, la amplitud de dichos excesos; es decir, se trata de calibrar el tamaño de los mismos pero, esta vez, en relación a las cifras VeR o EaR pertinentes. Dicha magnitud relativa se convierte, así, en una variable que, desde el punto de vista del control del riesgo, interesa vigilar. En otras palabras, dada una excepción, evidentemente, cuanto menor sea este porcentaje mayor capacidad de predicción podrá atribuirse al modelo de medición; de ahí que, hayamos incluido el exceso medio observado tanto en términos absolutos como relativos. Tabla 6: Excepciones al 95% para la Metodología Paramétrica. Fecha Ps y Gs VeR PM 95% Excepción 95% Amplitud absoluta Amplitud relativa 03/09/2002 -3.874,18 € -2.920,25 € Por defecto -953,93 € 32,67% 12/09/2002 -5.216,45 € -3.072,78 € Por defecto -2.143,66 € 69,76% 18/09/2002 -3.707,85 € -2.812,94 € Por defecto -894,92 € 31,81% 23/09/2002 -3.303,51 € -2.593,67 € Por defecto -709,84 € 27,37% 24/09/2002 -3.072,04 € -2.498,69 € Por defecto -573,35 € 22,95% 30/09/2002 -4.355,90 € -2.590,48 € Por defecto -1.765,42 € 68,15% 23/10/2002 -2.912,14 € -2.906,92 € Por defecto -5,22 € 0,18% 07/11/2002 -4.144,46 € -3.144,66 € Por defecto -999,80 € 31,79% 27/01/2003 -3.973,42 € -3.162,31 € Por defecto -811,11 € 25,65% 9Promedio -984,14 € 34,48% Fecha Ps y Gs EaR PM 95% Excepción 95% Amplitud absoluta Amplitud relativa 06/09/2002 3.863,73 € 2.778,65 € Por exceso 1.085,09 € 39,05% 10/09/2002 3.176,87 € 2.830,16 € Por exceso 346,71 € 12,25% 11/09/2002 4.165,69 € 2.929,50 € Por exceso 1.236,19 € 42,20% 26/09/2002 5.311,74 € 2.450,24 € Por exceso 2.861,50 € 116,78% 02/10/2002 4.777,71 € 2.436,06 € Por exceso 2.341,64 € 96,12% 11/10/2002 3.715,69 € 2.504,15 € Por exceso 1.211,55 € 48,38% 15/10/2002 5.883,50 € 2.595,98 € Por exceso 3.287,52 € 126,64% 24/10/2002 3.153,97 € 2.813,34 € Por exceso 340,63 € 12,11% 04/11/2002 4.043,82 € 3.008,39 € Por exceso 1.035,43 € 34,42% 21/11/2002 4.364,57 € 3.108,37 € Por exceso 1.256,19 € 40,41% 27/11/2002 3.568,63 € 3.259,04 € Por exceso 309,59 € 9,50% 16/12/2002 3.749,26 € 3.046,34 € Por exceso 702,92 € 23,07% 02/01/2003 4.100,15 € 3.058,74 € Por exceso 1.041,41 € 34,05% 13 Promedio 1.312,03 € 48,85% Nº excepciones Nº excepciones CITIES IN COMPETITION 232 Comisión Nacional del Mercado de Valores (1998), “Circular 3/1998 de 22 de septiembre sobre Operaciones en Instrumentos Derivados de las Instituciones de Inversión Colectiva”. Crnkovic, C. y Drachman, J. (1995), “A Universal Tool to Discriminate Among Risk Measurement Techniques”, Mimeo, Corporate Risk Management Group, J.P. Morgan. Danielsson, J. y de Vries, C. (1997), “Extreme Returns, Tail Estimation and Value at Risk”, Mimeo, University of Iceland, Tinbergen Institute and Erasmus University. De la Cruz, J. (1998), “Una Evaluación Crítica de las Nuevas Medidas de Gestión Y Control del Riesgo de Mercado desde una Perspectiva de Supervisión”, ponencia incluida en “La Gestión del Riesgo de Mercado y de Crédito. Nuevas Técnicas de Valoración”, Fundación BBV, Bilbao. Derivatives Policy Group (1995), “A Framework for Voluntary Oversight”, New York . Dowd, K. (1998), “Beyond Value at Risk. The New Science of Risk Management”, John Wiley & Sons, Reino Unido. Group of Thirty, Global Derivatives Study Group (1993a), “Derivatives: Practices and Principles. Survey of Industry Practice”, Washington, D.C, julio. Frain, J. y Meegan, C. (1996), “Market Risk: An Introduction to the Concept and Analytics of Value at Risk”, Mimeo, Economic Analysis Research and Publications Department, Central Bank of Ireland. González, M. (2000), “Errores y posibles soluciones en la aplicación del Value at Risk”, Fundación de las Cajas de Ahorros Confederadas para la Investigación Económica y Social, documento de trabajo nº 160. Greenspan, A. (2000), “Remarks on Banking Evolution”, 36th Annual Conference on Bank Structure and Competition of the Federal Reserve Bank of Chicago, Federal Reserve Bank of Chicago, Chicago, Illinois, mayo. Hill, B. (1975), “A Simple General Approach to Inference About the Tail of a Distribution”, Annals of Statistics 35. Jorion, P. (1997), “Value at Risk: the New Benchmark for Controlling Derivatives Risk”, The McGraw-Hill companies. Jackson, P. , Maude, D. y Perraudin, W. (1997), “Bank Capital and Value at Risk”, Journal of Derivatives 4, primavera. Kupiec, P. (1995), “Techniques for Verifying the Accuracy of Risk Measurement Models”, The Journal of Derivatives, 3. Litterman, R. (1996), “Hot Spots and Hedges”, Journal of Portfolio Management Special Issue. López, J. (1996), “Regulatory Evaluation of Value at Risk Models”, Mimeo, Research and Market Analysis Group, Federal Reserve Bank of New York. Mahoney, J. (1996), “Forecast biases in Value at Risk Estimations: Evidence from Foreign Exchange and Global Equity Portfolios. Mimeo, Federal Reserve Bank of New York. Page, M. y Costa, D. (1996), “The Value at Risk of a Portfolio of Currency Derivatives Under Worst-Case Distributional Assumptions”, Mimeo, Susquehanna Investment Group and Department of Mathematics, University of Virginia. Robinson, G. (1996), “More Haste, Less Precision”, Risk, volumen 9, nº 9, septiembre. Vilariño, A. (2001), “Turbulencias Financieras y Riesgos de Mercado”, Financial Times, Prentice Hall, Madrid.