Dynamic risk assessment in complex projects

©2024 by the authors. Licensee AEIPRO, Spain. This article is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License (https://creativecommons.org/licenses/by-nc-nd/4.0/). (08-001) - Dynamic risk assessment in complex projects Alvarez-Espada, Juan-Manuel 1 1 Dpto. Ciencias de la Computación e Inteligencia Artificial. Escuela Ingeniería Técnica Superior de Ingeniería Informática. UNIVERSIDAD DE SEVILLA The risk study, conducted by a project manager, especially in predictive approaches and depending on their experience, involves a thorough examination of risks in the tasks outlined in the Work Breakdown Structure (WBS). Risk assessment is based on correlating the likelihood of the risk occurring with the severity of its damage or benefit. However, in complex projects, project managers face broad, diverse, and often unknown risks. Technical aspects under development, involvement of different technologies, some of them innovative, multiple cultures, numerous stakeholders, etc., may fall outside the scope of a conventional risk assessment by the project manager. Probabilistic analysis has traditionally formed the basis for risk evaluation in conventional or complicated projects, which were the prevalent approaches until recently. Nevertheless, new approaches for managing complex projects require a different risk assessment: Bayesian networks or fuzzy cognitive maps are two ways to evaluate risks, but not the only ones. Keywords: Project management; Complexity; Risks; Bayesian networks; Fuzzy Cognitive maps. Evaluación dinámica de riesgos en proyectos complejos. El estudio de los riesgos, realizado por un director de proyecto, sobre todo en enfoques predictivos, y dependiendo de su experiencia, conlleva un sesudo estudio de riesgos en las tareas obtenidas en la estructura de desglose EDT. La valoración del riesgo se basa en relacionar la probabilidad de que ocurra el riesgo con la severidad de su daño o de su beneficio. Sin embargo, cuando se tienen proyectos de carácter complejo, los riesgos a los que se enfrenta un director de proyecto, son amplios, diversos y, casi siempre, desconocidos. Aspectos técnicos que puedan estar en desarrollo, o que involucren diferentes tecnologías, algunas de ellas novedosas, múltiples culturas, gran cantidad de interesados, etc.… que pueden quedar fuera del ámbito de una evaluación convencional de riesgos por parte del director de proyecto. El análisis probabilístico ha proporcionado, en la gestión de riesgos, la base para la evaluación de estos en proyectos convencionales o complicados, que eran hasta fechas recientes los enfoques que se utilizaban. Sin embargo, los nuevos enfoques para gestionar proyectos complejos requieren evaluar riesgos de forma diferente: redes bayesianas o mapas cognitivos difusos son dos maneras de evaluar riesgos, pero no las únicas. Palabras clave: Gestión de proyectos; Complejidad; Riesgos; Redes bayesianas; Mapas cognitivos difusos Correspondencia: Juan Manuel Álvarez Espada, [email protected] 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2117 1. Introducción La Estructura de Desglose del Trabajo (EDT) y la gestión de riesgos están estrechamente interrelacionadas, especialmente en proyectos complejos. La EDT descompone el proyecto en componentes detallados, facilitando la identificación y análisis de riesgos específicos. Esto permite una evaluación precisa y la planificación de respuestas adecuadas, detectando puntos críticos que requieren mayor atención y recursos. La criticidad en sistemas complejos a menudo reside en puntos de cambio significativos que deberían detectarse. Los riesgos, sobre todo aquellos que pueden tener un efecto negativo sobre uno o más objetivos del proyecto, pueden ser considerados como atributos de la incertidumbre sobre los sistemas complejos (Pich et al., 2002). Respecto a los riesgos, uno de sus principales problemas es su identificación, y también, la evaluación de estos. Se exponen diferentes metodologías, dando mayor importancia al sistema de evaluación “Bow-Tie” y a la aplicación de redes bayesianas discretas en su análisis para encontrar la probabilidad de ocurrencia. Se desarrolla a continuación un programa en Python del análisis de un “Bow-Tie”, donde se presentarán los resultados obtenidos al aplicarlo a una pequeña red bayesiana que lo modela. Por último, se verá como la aplicación de redes bayesianas a los análisis de “Bow-Tie” no son suficientes para la evaluación de riesgos complejos y se verá como la complejidad lo dificulta. 2. Objetivos Son dos los objetivos del presente trabajo: el primero, analizar la evaluación de riesgos en sistemas complejos, el método “Bow-Tie” y su modelización mediante redes bayesianas. El segundo objetivo es realizar un programa informático en lenguaje Python analizando los resultados obtenidos. 3. Metodología La metodología seguida en esta comunicación ha sido la revisión del concepto de riesgo en proyectos complejos, la enumeración de diferentes metodologías y el análisis del método “Bow-Tie”. Dicho análisis se ha estructurado en varias fases. En la primera, se repasan individualmente los conceptos de árboles de fallos (Fault Tree, en inglés) y de árboles de sucesos o eventos (Event Tree, en inglés) para luego modelar dichos conceptos mediante redes bayesianas. En una segunda fase se aplica la modelación creada por la red bayesiana a un formato de programación mediante el lenguaje Python donde se analizan brevemente los resultados obtenidos. Por último, se intenta encontrar algunas soluciones a los problemas planteados por la modelización de los riesgos complejos mediante redes bayesianas aportándose varios conceptos como el de las redes bayesianas dinámicas, los modelos ocultos de Markov y la complejidad. 4.Riesgos en proyectos complejos Una de las características fundamentales de los sistemas complejos y, por ende, de los proyectos complejos, es la necesidad de poder actuar a pesar de la incertidumbre, la volatilidad, la ambigüedad y la complejidad que se desprenden de su propia forma de ser. 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2118 Para ello, la mejor garantía de actuación es poder adaptar la gestión de dichos proyectos y su resultado al medio ambiente en cuestión. La adaptación implica comprender los objetivos de los interesados y el entorno operativo del proyecto complejo, aplicando, cuando sea necesario, un enfoque ágil o híbrido (Álvarez- Espada et al., 2022) para entregar valor lo antes posible, optimizándolo y adaptándolo al cambio. Para también, cuando sea preciso, escoger un enfoque predictivo para tener un control de costes y de planificación a través de herramientas tradicionales, estableciendo un análisis causa-efecto en aquellas partes donde el proyecto no sea complejo. En definitiva, aplicar un sistema de gestión híbrida adaptativa que explote lo mejor de cada tipo de enfoque (Arellano et al., 2016) Si se considera cuál es la gran diferencia entre un proyecto convencional y un proyecto complejo es que el riesgo asociado a la complejidad aumenta significativamente (Kerzner & Belack, 2010). Existen diferentes modelos de gestión de proyectos complejos que integran el riesgo asociado a varios atributos del proyecto, analizados desde un punto específico o desde un punto de vista general. Así, Hass asocia el riesgo con aspectos específicos del proyecto (Hass, 2009): coste, duración, claridad sobre los entregables a realizar, volatilidad en los requisitos, etc. Sin embargo, otros autores asocian el riesgo con elementos generales, ya sean internos o externos del proyecto. Así, Remington / Pollack en (Remington & Pollack, 2016) considera que los riesgos están asociados a: aspectos técnicos en el desarrollo de soluciones, aspectos direccionales de la organización, aspectos estructurales de los equipos de trabajo y estructura y adaptabilidad organizacional. Cualquiera que sea el ámbito de asociación, es claro que hay diferencias de gestión en cuanto al manejo de estos. Así, en los proyectos convencionales, la gestión de riesgos es un proceso que se limita a identificar, analizar y administrar riesgos que, en la mayoría de los casos, pueden considerarse previsibles, y en aquellos casos en los que estos se conviertan en imprevistos, se abordan mediante reservas de contingencia, perfectamente estudiadas (Culp, 2002). Sin embargo, en proyectos complejos, los riesgos a los que se enfrenta un director de proyectos son diversos, extensos, y en su mayoría desconocidos. Muchos de estos riesgos pueden derivar de aspectos en los que tanto los directores como los miembros de sus equipos tienen escasa o nula experiencia. Ejemplos de ello puede ser proyectos con particularidades técnicas en desarrollo, inclusiones de nuevas tecnologías, desafíos en la comunicación y comprensión de normas interculturales, extenso número de interesados con necesidades, a veces, contrapuestas, o intereses políticos. Estos factores pueden requerir enfoques no previstos inicialmente. (Béatrix, 2018). Existe, adicionalmente, otro condicionante en cuanto a la gestión de riesgos en proyectos convencionales, y es que, de forma general, la interdependencia entre los riesgos que pueden darse suele ser pequeña. Sin embargo, esto no es lo normal en los proyectos complejos, dado que muchos riesgos pueden aparecer durante el ciclo de vida del proyecto debido al carácter emergente y de autoorganización de los proyectos complejos, de tal forma que si la dirección del proyecto no detecta estos riesgos se puede dar el caso que, a medida que pasa el tiempo sin ser detectados, puedan interrelacionarse y aumentar su dependencia, evitando una terminación exitosa del proyecto (Rahman, 2018). Quizás, el problema más importante a la hora de tratar los riesgos sea su evaluación completa dadas las posibles interdependencias que puedan provocarse. 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2119 4.1. Evaluando riesgos complejos. En todas las metodologías de gestión de proyectos convencionales consultadas: PMI (PMI, 2017, 2023), PM2 (Kourounakis & Maraslis, 2017) o PRINCE2 (Vila Grau & Capuz Rizo, 2020), la revisión de los requisitos en la fase de planificación, la experiencia del equipo de gestión de proyectos y las lecciones aprendidas han aportado la base para la evaluación de los riesgos en los proyectos convencionales o predictivos. Sin embargo, en proyectos complejos, suelen utilizarse metodologías no bien estudiadas, y particularizadas según el sector al que esté adscrito el proyecto. Sirva como ejemplo la utilización de una matriz VUCA (volatilidad, incertidumbre, complejidad y ambigüedad) donde se reflejan en cada cuadrante los riesgos adscritos a cada característica para su clasificación (Szpitter & Sadkowska, 2016). Existen numerosas metodologías para poder encontrar riesgos complejos: Combinación de matrices VUCA con cuestionarios a expertos (Fridgeirsson et al., 2021); realización de “Focus Groups” (Garrett, 2005); estudio de variabilidad de riesgos mediante aplicación de probabilidad directa modelándose mediante funciones de distribución (variables discretas) o funciones de densidad (variables continuas) (Dubois, 2010); concepción de los riesgos mediante valoraciones cualitativas y cuantitativas combinadas (Willumsen et al., 2019), o bien mediante diferenciación de riesgos según su complejidad, dándose estos últimos a especialistas en riesgos para su gestión (Mitchell, 2005). Sin embargo, del repaso realizado a las distintas metodologías, se denota una incapacidad para poder analizar o establecer métodos de evaluación de riesgos autoorganizados o emergentes (riesgos conocidos – consecuencias desconocidas o riesgos desconocidos – consecuencias desconocidas). Para poder detectar “Riesgos desconocidos – Consecuencias desconocidas” parece, también, básico una cultura de gestión de riesgos en proyectos bien asentada. Tener una visión de gestión de riesgos, desde un punto de vista organizacional, abona esta tesis. Sobre todo, en la revisión de posibles alertas tempranas, con indicadores apropiados para ello (Paté- Cornell, 2012). Sin embargo, tampoco se puede garantizar al máximo el reconocimiento de posibles riesgos y sus interrelaciones, dado que las mismas se estudian por medio de datos históricos, árboles causales y modelados físicos establecidos en lecciones aprendidas, y no se tiene en cuenta que algunos sistemas sometidos a estrés pueden evolucionar hacia la posibilidad de registrar nuevos riesgos o nuevas relaciones entre los riesgos existentes en sus procesos. Estas circunstancias no suelen tenerse en cuenta en las planificaciones (Aven, 2015; Derbyshire & Wright, 2014). Para establecer la posibilidad de poder evaluar dinámicamente riesgos, una de las herramientas más potentes es la sistematización de nuevos riesgos a raíz de alertas tempranas en procesos de proyecto o industriales que puede utilizarse con los debidos cambios, a la gestión de riesgos en proyectos complejos. La metodología se denomina DyPASI (Procedimiento dinámico para evaluación de escenarios atípicos) y se basa en la combinación de análisis “Bow-Tie”, recuperación de riesgos mediante herramientas de búsqueda inteligentes, priorización, evaluación de escenarios de riesgo, evaluación de barreras de seguridad y seguimiento de la evaluación de riesgos (Paltrinieri et al., 2013). La base de este proceso, quizás algo complicado, es la evaluación “Bow-Tie”. Se analiza a continuación. 4.2. Una “Pajarita” acude en nuestro auxilio. En (Khakzad et al., 2012), se propone un enfoque combinando los árboles de posibles riesgos con los árboles de consecuencias que pueden producirse si se activa el llamado, por los autores, riesgo superior, como se verá a continuación. En (Khan et al., 2016), se amplía este 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2120 enfoque con la gestión integral tanto de las causas como de las consecuencias. Se trata del modelo “Bow-Tie” o de “pajarita” que se describe a continuación. El modelo en cuestión consta de una zona central donde se representa el riesgo superior, que puede ser considerado también como el riesgo del sistema, objeto de estudio. A su izquierda se introduce un árbol de riesgos enlazados mediante puertas lógicas que representarán si los riesgos interactúan, son interdependientes o actúan en cascada. A la derecha del riesgo superior se coloca el árbol de sucesos o eventos que puede causar la aparición de dicho riesgo. La representación gráfica de este modelo se muestra a continuación en la figura 1: Figura 1. Modelo Bow-Tie (Fuente: Khakzad et al, 2012). A la izquierda, en el árbol de riesgos (AR), PE, IE y TE son los riesgos principales, intermedios y superior (riesgo sistémico, RS), objeto del estudio. A la derecha, en el árbol de sucesos o eventos (AE) están SB y C que significan barreras de seguridad y consecuencias. Mediante este modelo se representa totalmente el riesgo superior a analizar, los riesgos que pueden desencadenarlo, actuando como alertas tempanas, y las consecuencias. Una vez establecido el modelo, debe poder actualizarse a medida que se observan nuevos datos constituyendo un ente dinámico. Es necesario, por tanto, plantear los riesgos como una red compleja para poder analizarlos, sobre todo a nivel de riesgo sistémico. Especial incidencia, en el árbol de sucesos, a la colocación de las diferentes consecuencias (Ci) que pueden producirse a raíz de la materialización del riesgo, y cuáles serán las circunstancias que deberán ser consideradas. Habitualmente, se colocan en orden cronológico esperado, con la posibilidad de repercutir un valor de probabilidad de materialización. La posibilidad de que se produzca una determinada consecuencia está definida por la probabilidad de éxito o fallo de las barreras de seguridad que se impongan en el riesgo considerado (Bestratén Belloví, 1991). Ver un ejemplo en la figura 2: Figura 2. Ejemplo de árbol de sucesos (Fuente: Autor). 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2121 Cada bifurcación en el árbol de sucesos proviene de que la barrera de seguridad planteada tenga éxito o no. En este caso, un sentido ascendente en la bifurcación, indica que la barrera planteada ha tenido éxito. Un sentido descendente en la bifurcación, indica que la barrera no ha tenido éxito. Cada barrera tiene dos probabilidades asignadas, una probabilidad de éxito, y una probabilidad de fallo. La consecuencia final de la materialización del riesgo será la probabilidad total de su ocurrencia, que vendrá definida por las operaciones aritméticas de las bifurcaciones. Así en el ejemplo de la figura 2, la probabilidad de que ocurra la consecuencia C2 debido a la probabilidad de materialización del riesgo RS (Riesgo superior o sistémico), será igual a la probabilidad PRS, por la probabilidad de fallo de la barrera de seguridad SB1, PSB1-F , y por la probabilidad de éxito de la barrera de seguridad SB2, PSB2-F. De igual manera, la probabilidad de que ocurra la consecuencia C3 debido a la probabilidad de materialización del riesgo RS (Riesgo superior o sistémico), será igual a la probabilidad PRS, por la probabilidad de fallo de la barrera de seguridad SB1, PSB1-F , y por la probabilidad de fallo de la barrera de seguridad SB2, PSB2-F Por tanto, queda definido, mediante probabilidades, las consecuencias que se pueden tener si un fallo se produce con las barreras planteadas. La aplicación de un análisis exhaustivo de los riesgos, y sus consecuencias mediante la herramienta “Bow-Tie” (B-T) es bastante eficaz para poder determinar todos los riesgos que se pueden presentar, así como el denominado riesgo sistémico. Sin embargo, sería manifiestamente mejorable, poder analizar un modelo B-T no solamente interconectado y con probabilidades parciales condicionadas, sino que podamos interactuar con el modelo, sus eventos y sus consecuencias. Las redes bayesianas son una gran ayuda para todo ello. 5.Modelizando las redes bayesianas. Una red bayesiana (RB) es un modelo gráfico probabilístico que permite descubrir distribuciones conjuntas complejas (modelos, por ejemplo) a partir de distribuciones condicionales locales simples. Es la forma más básica y robusta de obtener conocimientos en incertidumbre. La representación más habitual de una red bayesiana es la de un grafo acíclico dirigido (GAD) en el que cada nodo está comentado con información probabilística cuantitativa siendo su especificación simple la siguiente: -Conjunto de variables aleatorias, Xi que forman los nodos de red. Pueden ser discretas o continuas. -Conjunto de enlaces dirigidos que conectan pares de nodos. Se dice que X es padre de Y si hay una flecha que va del nodo X al nodo Y. -Cada nodo Xi tiene una distribución / densidad de probabilidad condicionada P(Xi | Padres Xi) que cuantifica el efecto de los padres del nodo. En la de toma de decisiones en ambiente de incertidumbre, un tipo de red bayesiana que puede utilizarse es la red causal donde el requisito esencial es que la relación establecida mediante enlaces exprese que la relación sea causal y no estrictamente condicional, formalizando la intervención de factores que determinan un resultado. El enfoque de RB es muy útil para el análisis de modelos B-T debido a (Teimourikia, 2017): -La creación de un modelo probabilístico de eventos y variables perfectamente trasplantable a un programa de software, lo que facilita la evaluación de riesgos al considerar la incertidumbre y la variabilidad en los datos. 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2122 -Consigue una actualización cuasi dinámica al poder actualizar las probabilidades en tiempo real de forma, en este caso manual (se verá en un punto posterior de este mismo trabajo), que se pueda identificar y evaluar dinámicamente los riesgos. -Representa las causas y efectos entre los diferentes eventos y variables. -Puede analizar escenarios y la propagación de las probabilidades a lo largo de la red bayesiana y obtener por inferencia la probabilidad de poder darse un riesgo sistémico. La transformación de un modelo de B-T a RB sigue las recomendaciones indicadas en (Khakzad et al., 2013) tal como se representa en la figura 3: Figura 3. Transformación de un modelo B-T a RB (Fuente: Autor) A continuación, se va a realizar un ejemplo de un análisis mediante software utilizando el lenguaje de programación Python. 6. Un ejemplo en Python. Para el ejemplo que se va a desarrollar en este punto se ha considerado que el B-T que se va a modelar está compuesto por cuatro riesgos principales: PH11; PH12; PH21, y PH22. Estos serán los riesgos observables de entrada. Dos riesgos intermedios: EH1 y EH2, estos serán riesgos ocultos y un riesgo superior, sistémico, y observable de salida, RS. Este RS será el punto de unión con el árbol de sucesos donde tendremos tres consecuencias: C1, C2 y C3. Se tendrá dos barreras de seguridad: S1 y S2, observables de entrada, que establecerán las bifurcaciones necesarias para que puedan darse cada una de las consecuencias Ci, observables de salida. Respecto al esquema representado en la figura 1, y para facilitar los resultados se han realizado unas leves modificaciones que consisten, en el árbol de riesgos, considerar las puertas lógicas como los riesgos resultados de las entradas y en el árbol de sucesos considerar las probabilidades de las barreras de seguridad o bien 0 o bien 1 para el caso falso o verdadero, según el caso. El modelo quedaría establecido tal como se representa en la figura 4: 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2123 Figura 4. Red B-T a modelar en Python (Fuente: Autor) 6.1. Un entorno para empezar. El desarrollo de la red bayesiana se realizará en Python. Python es un lenguaje de programación interpretado, de tipado dinámico y multiparadigma. Tiene una amplia biblioteca estándar y dispone de paquetes de terceros que lo hacen muy versátil, permitiendo desarrollar desde aplicaciones web hasta procesamiento de datos complejos y de inteligencia artificial. Se integra bien con otros lenguajes pudiendo ser combinado. La versión utilizada en este artículo ha sido la 3.11.6 El IDE de programación utilizado fue Anaconda (v. 2.5.3) y el entorno fue JupyterLab (v.4.0.13). El paquete utilizado de gestión de redes bayesianas fue pgmpy 1 . Este paquete es una implementación de Python para redes bayesianas que implementa tipos abstractos de datos y algunos algoritmos de aprendizaje de estructuras, estimación de parámetros e inferencias exacta, aproximada y causal. La manera más fácil de instalar pgmpy es utilizar el hiperpaquete bap3.yml 2 donde se incluyen los elementos necesarios evitando que haya problemas de compatibilidad cuando se haga la importación y utilización de las librerías de pgmpy. Por último, hay que indicar que, para este desarrollo, aunque podría haberse utilizado redes causales, por comprensión y comodidad se ha utilizado tipos de datos discretos e inferencia probabilística y no causal. 6.2. Desarrollando la red bayesiana. En este apartado se desarrolla el programa de software. Dado lo limitado del espacio, se pondrán pantallas capturadas de las operaciones principales. Durante el congreso, aquellos congresistas interesados, tendrán acceso al programa completo a través de la organización. Lo primero es indicar que significan algunas definiciones de probabilidad que se van a observar. Así: -Cuando se vea, para una determinada variable de riesgo, por ejemplo, PH11(0) = 0,9 quiere decir que la probabilidad de que el riesgo PH11 sea falso será del 90%. -Cuando, por el contrario, PH11(1) = 0,1 quiere decir que la probabilidad de que el riesgo PH11 sea verdadero será del 10%. -Es evidente que la probabilidad total de PH11 será PH11(0) + PH11(1) = 1. Las probabilidades utilizadas en este artículo, para los riesgos observables de entrada y de las barreras de seguridad, son sintéticas y no están basados en la realidad. Las probabilidades 1 https://pgmpy.org/index.html (visitado el 8/4/24) 2 https://github.com/aloctavodia/BAP3 (visitado el 2/12/23) 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2124 de las puertas lógicas que darán lugar a los riesgos intermedios y al riesgo sistémico RS son valores de probabilidad comunes. De todas formas, para los objetivos de este artículo no es determinante que las probabilidades sean sintéticas o reales. Paso 1. Importación de librerías y creación de la estructura del modelo. Lo primero a realizar es la importación de las librerías necesarias para la creación de la red y su funcionamiento, ver figura 5: Figura 5. Definición de la estructura del modelo (Fuente: Autor) La estructura de la RB creada por BayesianNetwork() es la que viene reflejada en la figura 4. Paso 2. Definir las probabilidades de los riesgos observables. Este es el paso más complicado y largo del proceso dado que se deben colocar las probabilidades más adecuadas, bien por la experiencia o bien por la opinión de expertos. Un pequeño ejemplo viene definido en la figura 6. Figura 6. Ejemplo de definición de probabilidades (Fuente: Autor) Se utiliza la función TabularCPD (), para definir las probabilidades. En este caso, los riesgos observables PH11, PH12, PH21 y PH22 tienen 2 posibles estados definidos en ‘values’. El primero para el estado ‘falso’ y el segundo para el estado ‘verdadero’. En la definición de la puerta lógica OR establecemos EH1 con dos estados y dos entradas PH11 y PH12, que a su vez tiene cada una dos estados. Por tanto, la salida tendrá 23 = 8 estados. Las probabilidades definidas en ‘values’ se entienden mejor en la figura 7, dada por el programa: 28th International Congress on Project Management and Engineering Jaén, 3rd-4th July 2024 2125