O fortalecemento das capacidades nacionais nas políticas ao desenvolvemento do sistema das Nacións Unidas: unha análise das estratexias de avaliación

ESCOLA DE DOUTORAMENTO INTERNACIONAL DA USC Alberto Núñez Sabarís Tese de doutoramento O FORTALECEMENTO DAS CAPACIDADES NACIONAIS NAS POLÍTICAS AO DESENVOLVEMENTO DO SISTEMA DAS NACIÓNS UNIDAS: UNHA ANÁLISE DAS ESTRATEXIAS DE AVALIACIÓN Santiago de Compostela, 2023 Programa de Doutoramento en Marketing Político, Actores e Institucións nas Sociedades Contemporáneas TESE DE DOUTORAMENTO O FORTALECEMENTO DAS CAPACIDADES NACIONAIS NAS POLÍTICAS AO DESENVOLVEMENTO DO SISTEMA DAS NACIÓNS UNIDAS: UNHA ANÁLISE DAS ESTRATEXIAS DE AVALIACIÓN Alberto Núñez Sabarís ESCOLA DE DOUTORAMENTO INTERNACIONAL DA UNIVERSIDADE DE SANTIAGO DE COMPOSTELA PROGRAMA DE DOUTORAMENTO EN MARKETING POLÍTICO, ACTORES E INSTITUCIÓNS NAS SOCIEDADES CONTEMPORÁNEAS SANTIAGO DE COMPOSTELA / LUGO 2023 DECLARACIÓN DEL AUTOR/A DE LA TESIS D./Dña. Alberto Núñez Sabarís Título de la tesis: O fortalecemento das capacidades nacionais nas políticas ao desenvolvemento do sistema das Nacións Unidas: unha análise das estratexias de avaliación Presento mi tesis, siguiendo el procedimiento adecuado al Reglamento y declaro que: 1) La tesis abarca los resultados de la elaboración de mi trabajo. 2) De ser el caso, en la tesis se hace referencia a las colaboraciones que tuvo este trabajo. 3) Confirmo que la tesis no incurre en ningún tipo de plagio de otros autores ni de trabajos presentados por mí para la obtención de otros títulos. 4) La tesis es la versión definitiva presentada para su defensa y coincide la versión impresa con la presentada en formato electrónico. Y me comprometo a presentar el Compromiso Documental de Supervisión en el caso que el original no esté depositado en la Escuela. En Meis, 27 de octubre de 2022. Firma electrónica AUTORIZACIÓN DEL DIRECTOR/TUTOR DE LA TESIS D./Dña. Miguel Anxo Bastos Boubeta En condición de: Tutor/a y director/a Título de la tesis: O fortalecemento das capacidades nacionais nas políticas ao desenvolvemento do sistema das Nacións Unidas: unha análise das estratexias de avaliación INFORMA: Que la presente tesis, se corresponde con el trabajo realizado por D/Dña Alberto Núñez Sabarís, bajo mi dirección/tutorización, y a utorizo su presentación , considerando que reúne l os r equisitos exigidos en el R eglamento de Estudios de Doctorado de la USC, y que como director/tutor de esta no incurre en las causas de abstención establecidas e n la Ley 40/2015. En Santiago de Compostela, 27 de octubre de 2022 Firma electrónica 7 “O coñecemento imperfecto do que paga a pena ser pensado é máis digno de esforzo que o saber máis perfecto do que carece de importancia” Aristóteles. 15 Abstract Capacity and capacity development have been pervasive concepts in international development policies since the late 1980s. The United Nations General Assembly in its resolutions over the past two decades consistently stressed the importance of capacity development for achieve internationally agreed development goals. The interest in capacity development design and evaluation is the basis of the research of this doctoral thesis that has a double objective, exploratory and applied design. The research seeks to contribute to the literature on capacity development and evaluation. Key words: evaluation, capacity development, contribution analysis, theory of change ALBERTO NÚÑEZ SABARÍS 16 Índice 1 INTRODUCIÓN ............................................................................................................................19 2 MARCO TEÓRICO .......................................................................................................................23 2.1 Desenvolvemento de capacidade nas políticas ao desenvolvemento .........................................23 2.1.1 As políticas ao desenvolvemento ......................................................................................27 2.1.2 O concepto de desenvolvemento de capacidade.................................................................30 2.1.3 Desenvolvemento de capacidade e rendemento institucional .............................................36 2.2 A integración do desenvolvemento de capacidade nos marcos e políticas de desenvolvemento .39 2.3 O despregamento conceptual no sistema de desenvolvemento da ONU ....................................47 2.4 Avaliación das políticas ao desenvolvemento...........................................................................53 2.4.1 A definición dos criterios de avaliación .............................................................................54 2.4.1.1 Relevancia ou pertinencia ..........................................................................................55 2.4.1.2 Eficacia......................................................................................................................56 2.4.1.3 Eficiencia ...................................................................................................................57 2.4.1.4 Impacto......................................................................................................................58 2.4.1.5 Sostibilidade ..............................................................................................................59 2.4.2 Análise de contribución e uso da Teoria do Cambio nas avaliacións ..................................60 3 ESQUEMA DA INVESTIGACIÓN ...............................................................................................66 3.1 Metodoloxía ............................................................................................................................69 PARTE 1 ..........................................................................................................................................77 4 APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO ....................77 4.1 Análise do tratamento do desenvolvemento de capacidade nas avaliacións ...............................78 4.2 O desenvolvemento de capacidade e a súa avaliación desde a perspectiva dos actores ..............90 4.3 Análise de caso sobre iniciativas de desenvolvemento de capacidade nun país .........................95 4.3.1 Antecedentes e estratexia de estudo de caso ......................................................................96 4.3.2 Resultados do caso de estudo .......................................................................................... 101 4.3.2.1 Análise das intervencións de desenvolvemento de capacidade .................................. 101 4.3.2.2 Satisfacción dos participantes que recibiron accións de desenvolvemento de capacidade e cambios no coñecemento e habilidades ............................................................................. 109 4.3.2.3 Análise de contribución das intervencións de desenvolvemento de capacidade ......... 111 4.3.2.4 Análise en profundidade dunha intervención de desenvolvemento de capacidade de nivel organizativo ................................................................................................................ 121 4.4 Achados sobre a primeira parte: análise sobre aplicación dos principios de desenvolvemento de capacidade nas avaliacións .......................................................................................................... 124 17 PARTE 2 ............................................................................................................................................. 127 5 PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE ................................................................................... 127 5.1 Concepción Xeral do Modelo de avaliación ............................................................................. 129 5.1.1 Operacionalización do modelo ........................................................................................... 137 5.2 Compoñentes e ferramentas do modelo de avaliación .............................................................. 142 5.2.1 Deseño da avaliación .......................................................................................................... 143 5.2.1.1 Matriz de avaliación .................................................................................................... 143 5.2.1.2 Mapeamento de actores ............................................................................................... 145 5.2.2 Recolección de datos .......................................................................................................... 146 5.2.2.1 Revisión documental ................................................................................................... 146 5.2.2.2 Entrevista individual e discusión en grupo .................................................................. 146 5.2.2.3 Enquisa ou cuestionario .............................................................................................. 147 5.2.3 Comunicación dos resultados: evidencias e achados ......................................................... 150 5.2.4 Formulación da conclusión e recomendacións ................................................................... 152 6 ANÁLISE DE CASOS NA APLICACIÓN DO MODELO DE AVALIACIÓN ........................... 158 6.1 Caso 1: avaliación de Programa País ........................................................................................ 158 6.1.1 Antecedentes ...................................................................................................................... 160 6.1.2 Obxecto e alcance da avaliación ........................................................................................ 163 6.1.3 Adaptación e desenvolvemento do modelo proposto ao caso ............................................ 163 6.1.4 Deseño da avaliación .......................................................................................................... 164 6.1.4.1 Matriz de avaliación .................................................................................................... 164 6.1.4.2 Mapeo de actores ......................................................................................................... 177 6.1.5 Recolección de datos .......................................................................................................... 181 6.1.6 Comunicación dos resultados: evidencias e achados ......................................................... 183 6.1.6.2 Resultados da análise de contribución ......................................................................... 194 6.1.7 Formulación de conclusións e recomendacións ................................................................. 205 6.1.8 Resume de achados do caso 1 ............................................................................................ 209 6.2 Caso 2: avaliación de proxecto ou intervención ........................................................................ 211 6.2.1 Antecedentes ...................................................................................................................... 211 6.2.2 Obxecto e alcance da avaliación ........................................................................................ 214 6.2.3 Adaptación e desenvolvemento do modelo proposto ao caso ............................................ 215 6.2.4 Deseño da avaliación .......................................................................................................... 217 6.2.4.1 Matriz de avaliación .................................................................................................... 217 6.2.4.2 Mapeo de actores ......................................................................................................... 224 ALBERTO NÚÑEZ SABARÍS 18 6.2.5 Recolección de datos .......................................................................................................... 224 6.2.6 Comunicación dos resultados: evidencias e achados ......................................................... 226 6.2.7 Formulación da conclusións e recomendacións ................................................................. 243 6.2.8 Resume de achados do caso 2 ............................................................................................ 246 7 DISCUSIÓN FINAL E CONCLUSIÓNS ....................................................................................... 248 7.1 Verificacion de hipótseses e resposta ás preguntas ................................................................... 248 7.2 Implicacións teóricas, limitacións e liñas potenciais de investigación ...................................... 256 8 BIBLIOGRAFÍA .............................................................................................................................. 260 9 ANEXOS.......................................................................................................................................... 276 9.1 ANEXO: CASO AVALIACION PROGRAMA DE PAÍS ...................................................... 276 9.2 ANEXO: CASO AVALIACION DE PROXECTO .................................................................. 315 9.3 ANEXO: CASO INICIATIVAS DE DESENVOLVEMENTO DE CAPACIDADE NUN PAÍS ......................................................................................................................................................... 357 LISTA DE ABREVIATURAS ........................................................................................................... 370 ÍNDICE DE TÁBOAS ........................................................................................................................ 372 ÍNDICE DE FIGURAS ....................................................................................................................... 373 ÍNDICE DE GRÁFICAS .................................................................................................................... 375 19 1 INTRODUCIÓN A capacidade e o desenvolvemento de capacidade (DC) foron conceptos xeneralizados na cooperación internacional para o desenvolvemento desde finais dos anos oitenta. Sen embargo, tanto a capacidade entendida como resultado, como o desenvolvemento de capacidade entendido como proceso, atraeron pouca atención da investigación (Baser e Morgan, 2008). Este patrón comezou a cambiar a partir dunha importante iniciativa do Programa das Nacións Unidas para o Desenvolvemento (PNUD) titulada Reforming Technical Cooperation (PNUD, 1993), que criticou a débil contribución da asistencia técnica ao desenvolvemento de capacidade dos países receptores das políticas de desenvolvemento (Sakiko Fukuda-Parr et al., 2002). A axuda ao desenvolvemento tivo a ambición de conseguir resultados sostibles e de fomentar as capacidades endóxenas dos países que fixeran que a axuda fose redundante. Diferentes propostas de desenvolvemento de capacidade, como formación en habilidades ou asistencia técnica, foron ofrecidas e implementadas nos países destinatarios como os principais aportes dos doadores para acadar estes fins. As tres últimas revisións cuadrienais amplas da política relativa ás actividades operacionais do sistema das Nacións Unidas para o desenvolvemento1 pediron, entre outras disposicións, que o sistema das Nacións Unidas apoiara o desenvolvemento de capacidades nacionais para a planificación do desenvolvemento, a recompilación e análise de datos, a implementación, así como a presentación de informes de seguimento e avaliación. Paralelamente á ampliación da visión sobre o desenvolvemento de capacidade, durante as últimas décadas os doadores teñen aplicado gradualmente enfoques baseados en resultados nesta área. Sen embargo, as avaliacións orientáronse máis a captar datos sobre efectos tanxibles e facilmente medibles, e menos a medir fenómenos menos visibles, como os cambios nas habilidades e comportamentos individuais ou nos sistemas e estruturas organizativas (SIDA, 2015). En consecuencia, ten sido difícil verificar a hipótese de que as modalidades de apoio dos doadores con compoñentes de DC sexan máis eficaces e produzan resultados máis sostibles que aquelas que carecen dun enfoque claro de DC, xa que a base de evidencias resultou insuficiente (SIDA, 2015). O interese por estas cuestións é a base da investigación que se describe nesta tese de doutoramento. Esta xurde desde a traxectoria académica e práctica profesional do autor no ámbito das políticas ao desenvolvemento e aplicación de metodoloxías de avaliación en diferentes contextos. Esta experiencia e estudo da bibliográfica sobre a temática levou a construír a premisa de partida que se pode formular así: (i) se se elaboran teorías do cambio de programas e proxectos de desenvolvemento, entón mellores estratexias e intervencións de desenvolvemento de capacidade poden ser formuladas; e (ii) se as avaliacións incorporan o enfoque da análise de contribución e estas integran a perspectiva do desenvolvemento de capacidades, entón podemos medir se as políticas e programas ao desenvolvemento están conseguindo resultados e se estes son sostibles. En definitiva, mellores deseños programáticos 1 Resolución 67/226 aprobada pola Asemblea Xeral da ONU o 21 decembro 2012, Resolución 71/243 aprobada pola Asemblea Xeral da ONU o 21 de decembro de 2016, e Resolución 75/233 aprobada pola Asemblea Xeral da ONU o 21 de decembro de 2020 ALBERTO NÚÑEZ SABARÍS 20 e avaliacións poden, á súa vez, aumentar a eficacia das intervencións de desenvolvemento de capacidade e, finalmente, conseguir mellores resultados de desenvolvemento. O interese e preocupación última do autor é como lograr e medir unha capacidade sostible nos países receptores de axuda para o desenvolvemento. A tese estrutúrase en dúas partes diferenciadas. A primeira parte da investigación ten un enfoque exploratorio e busca determinar en que medida se integra o enfoque de desenvolvemento de capacidade nas avaliacións das políticas ao desenvolvemento. A investigación articúlase en tres análises: (i) análise de contido de cincuenta avaliacións levadas a cabo por tres axencias da ONU2, (ii) análise de percepción dos actores nacionais sobre o DC recibido polas intervencións das axencias de desenvolvemento, e (iii) análise de caso de como operan as iniciativas de DC nun país. Esta tripla análise responde á estratexia de investigación que aplica a triangulación de información como método seguido para validar os achados e formular as conclusións baseados en diferentes fontes. Figura 1. Explicación xeral do proceso de investigación Fonte: elaboración do autor A segunda parte da tese, a partir dos achados do estudo exploratorio, ten un enfoque de aplicación de deseño e busca a integración do enfoque de desenvolvemento de capacidades nas avaliacións. A investigación articúlase en dous momentos: (i) elaboración dunha proposta de modelo de avaliación que integra a perspectiva do desenvolvemento de capacidade, e (ii) dous 2 Fondo das Nacións Unidas para a Infancia (UNICEF), Fondo de Poboación das Nacións Unidas (UNFPA) e o Programa das Nacións Unidas para o Desenvolvemento (PNUD). Revisión da bibliografía académica e dos marcos teóricos das organizacións multilaterais Proceso da investigación 2017 Deseño da investgación: preguntas de investigación, hipóteses, indicadores e ferramentas 1ª Parte: explorativa Determinar en que medida se integra o enfoque de desenvolvementode capacidades nas avaliacións das políticas ao desenvolvemento 2ª Parte: deseño Explorar e aplicar unha modalidade de integración do enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións con dous obxectos de estudo 2023 1. Revisión documental de 50 avaliacións de axencias das Nacións Unidas 2. Perspectiva dos actores con foco en 8 países 3. Estudo de caso das iniciativas de desenvolvemento de capacidade nun país 1. Análise de caso de aplicación do modelo proposto: avaliación dun Programa de País 2. Análise de caso de aplicación do modelo proposto: avaliación dun proxecto ou intervención INTRODUCIÓN 21 casos nos que este modelo é aplicado e analizado por parte do autor, con dous obxectos de estudo: Programas de País das axencias de desenvolvemento, e proxectos ou intervencións específicas das axencias. Os dous casos realizáronse nos últimos catro anos, e analízanse seguindo unha metodoloxía común e respondendo a un conxunto común de variables no ámbito do desenvolvemento de capacidades. Como se sinalou a triangulación de información é a o método seguido para validar os achados e formular as conclusións. Un risco para as investigacións é o nivel de calidade e dispoñibilidade da información que, en caso de ser defectuosa, podería levar á extracción de conclusións erróneas. Para minimizar este risco, contémplase a triangulación da información con enfoques e fontes diferentes: revisión dunha mostra de cincuenta avaliacións, datos de percepción de actores clave e estudos de caso sobre intervención de desenvolvemento de capacidade. A triangulación da información buscou tamén reducir, senón eliminar, o sesgo ou prexuízos do autor e das percepcións dos actores, permitindo contrastar datos e informacións de distintas fontes. A definición do concepto de capacidade e desenvolvemento de capacidade adoptada nesta tese é a do Comité de Axuda ao Desenvolvemento da Organización para a Cooperación e o Desenvolvemento Económicos (CAD-OCDE). O CAD-OCDE define capacidade como “capacidade das persoas, as organizacións e a sociedade no seu conxunto para xestionar os seus asuntos con éxito” (OECD-DAC, 2006: 12)3; o desenvolvemento de capacidade enténdese como “proceso mediante o cal as persoas, as organizacións e a sociedade no seu conxunto liberan, fortalecen, crean, adaptan e manteñen a capacidade ao longo do tempo” (OECD-DAC, 2006: 12). Utilízanse os criterios de avaliación segundo a definición do CAD-OCDE para relevancia ou pertinencia, eficacia, eficiencia, impacto e sostibilidade. O deseño do estudo baseouse nos tres niveis de desenvolvemento de capacidade segundo o sistema das Nacións Unidas para o desenvolvemento (individual, organizacional e creación de ambiente propicio) e na taxonomía proposta polo Centro para o Desenvolvemento Internacional de Harvard (CID). Tómase como enfoque de avaliación a análise de contribución utilizando a Teoría do Cambio que é adaptada ao contexto das axencias de desenvolvemento. A tipoloxía analítica utiliza criterios para clasificar as tarefas ou actividades en catro tipos de capacidades: (i) formulación de políticas, (ii) xestión loxística, (iii) prestación de servizos de implementación intensiva, (iv) imposición de obrigas de implementación intensiva. Isto permitiu clasificar e analizar o tipo de capacidade que necesitaría unha organización para ter éxito. Este esquema de clasificación é transversal, xa que dentro de cada sector (educación, regulación, xustiza, infraestructura, saúde, etc.) existen categorías de tarefas moi diferentes. En definitiva, os resultados da tese pretenden contribuír á bibliografía existente que investiga sobre desenvolvemento de capacidades e a avaliación. A principal contribución deste traballo reside na investigación sistemática da avaliación do desenvolvemento de capacidade por axencias de desenvolvemento, introducindo tamén supostos sobre factores e mecanismos condicionantes. O valor práctico deste traballo reside en tirar conclusións de como se pode mellorar a práctica da avaliación e de como as avaliacións poden estar vinculadas coa mellora das políticas. Este documento de tese está organizado en diferentes capítulos que seguen a estrutura de investigación descrita. Despois desta introdución do traballo (Capítulo 1) que resume de forma 3 OECD-DAC (2006). The Challenge of Capacity Development – Working towards good practice. DAC Guidelines and Reference Series. Paris: OECD. ALBERTO NÚÑEZ SABARÍS 22 breve o obxectivo, estrutura da investigación e principais elementos da metodoloxía, descríbese o marco teórico (Capítulo 2) froito da revisión da bibliografía. A revisión bibliográfica é a base, xunto coa aproximación epistemolóxica do autor, para o deseño da investigación e metodoloxía (Capítulo 3). No final deste apartado unha táboa sintetiza os principais elementos: preguntas de investigación, hipóteses, indicadores e métodos aplicados. A investigación ten dúas partes diferenciadas, a primeira parte (Capítulo 4) estuda a aplicación do enfoque de desenvolvemento de capacidade na planificación e avaliación das políticas ao desenvolvemento. A segunda parte da investigación desenvólvese en dous apartados. En primeiro lugar (Capítulo 5) faise unha proposta de modelo para a avaliación das estratexias de desenvolvemento de capacidade. Posteriormente este modelo é aplicado en dous casos (Capítulo 6) que son estudados. No capítulo 7 faise a discusión final e provense as conclusións. En primeiro lugar sinálanse os principais resultados e conclusións en termos de verificación das hipóteses e preguntas de investigación. En segundo lugar preséntase as implicacións para a teoría e a práctica das avaliacións, así como as limitacións e as direccións potenciais para futuras investigacións. Finalmente inclúese a bibliografía, aplicando para as citas a sétima edición do Manual de publicación da APA4 e os anexos que soportan algúns aspectos sinalados da investigación. Na parte final do documento inclúese a lista de abreviaturas e o índice de táboas, figuras e gráficas. O documento atendeu as normas e recomendacións da USC en canto a formato para a elaboración de teses doutorais. 4 American Psychological Association 23 2 MARCO TEÓRICO Figura 2. Ilustración dos pasos no proceso de investigación. Elaboración do autor 2.1 DESENVOLVEMENTO DE CAPACIDADE NAS POLÍTICAS AO DESENVOLVEMENTO O termo construción de capacidade (capacity-building), que despois foi desprazado polo de desenvolvemento de capacidade (capacity development), apareceu na década de 1970 nos Estados Unidos en referencia á necesidade de mellorar a capacidade dos gobernos estatais e locais para implementar políticas de descentralización fiscal (Venner, 2014). O concepto de desenvolvemento de capacidade gañou protagonismo no discurso do desenvolvemento na década de 1990 como unha forma de orientar as políticas neste campo (Venner, 2014). As condicións adversas que moitos países en desenvolvemento experimentaron nese período, especialmente os países africanos, destacaron a falta de eficacia dos esforzos de desenvolvemento. Estes esforzos non conseguiron producir cambios duradeiros nin reforzaron a capacidade das institucións dos países destinatarios. A cooperación técnica proporcionada durante as décadas anteriores polos doadores internacionais a miúdo non tiveron un impacto duradeiro, nin conseguiron autosuficiencia (PNUD, 1993). O informe do PNUD de 1993 foi o primeiro intento de abordar estas deficiencias de forma sistemática. Segundo este informe, as razóns da ineficacia incluían a falta de apropiación local e de compromiso causado polo modelo centrado nos doadores da cooperación técnica, a falta de incentivos para o persoal local mal remunerado e os enfoques ríxidos baseados en resultados predefinidos que fallaban en capturar os cambios reais necesarios para producir un efecto transformador. En resposta a isto, en 1998, o PNUD elaborou un marco de directrices para o fomento da capacidade. O enfoque destas directrices requiría unha comprensión integral da capacidade tanto nun contexto de xestión estratéxica como a varios niveis: a nivel individual, a nivel da organización ou da entidade; e ao nivel do sistema máis amplo ou do entorno propicio ou habilitador (enabling environment) dentro do cal operan as organizacións e os individuos (PNUD, 1998). Máis adiante na revisión bibliográfica afóndase no concepto da desenvolvemento de capacidade dende a aproximación que fai o Sistema das Nacións Unidas. Como se mencionou, desde mediados da década de 1990, as principais axencias de axuda multilaterais e bilaterais, e organizacións non gobernamentais adoptaron o desenvolvemento de Revisión da bibliografía académica e dos marcos teóricos das organizacións multilaterais Proceso da investigación 2017 Deseño da investgación: preguntas de investigación, hipóteses, indicadores e ferramentas 1ª Parte: explorativa Determinar en que medida se integra o enfoque de desenvolvementode capacidades nas políticas e avaliacións do SNU 2ª Parte: deseño Explorar e aplicar unha modalidade de integración do enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións con dous obxectos de estudo 2023 1. Revisión documental de 50 avaliacións de axencias das Nacións Unidas 2. Perspectiva dos actores con foco en 8 países 3. Estudo de caso das iniciativas de desenvolvemento de capacidade nun país 1. Análise de caso de aplicación do modelo proposto: avaliación dun Programa de País 2. Análise de caso de aplicación do modelo proposto : avaliación dun proxecto ou intervención ALBERTO NÚÑEZ SABARÍS 30 2.1.2 O concepto de desenvolvemento de capacidade Independentemente de cal dos enfoques de desenvolvemento de capacidade se utilice, é importante entender que é o que se busca en termos de capacidade e sexa utilizado como base para identificar intervencións que axudarán ó seu desenvolvemento, en lugar de asumir que certos mecanismos aumentará automaticamente a capacidade. O coñecemento e o desenvolvemento de capacidade implica algo máis que o fortalecemento das habilidades e competencias individuais. As persoas formadas necesitan un ambiente axeitado e a combinación adecuada de oportunidades e incentivos para utilizar os coñecementos adquiridos (Alaerts e Kaspersma, 2009). O papel e a natureza das políticas para o desenvolvemento foi o tema de varios Foros de Alto Nivel sobre a Eficacia da Axuda en Roma (2003), París (2005), Accra (2008) e Busan (2011) que deron lugar a compromisos globais, principios e prácticas de desenvolvemento. O último Foro de Alto Nivel celebrado en Busan7 en 2011 deu lugar á The Global Partnership for Effective Development Co-operation (OCDE, 2011). Nos resultados deste foro, e tamén dos anteriores, o desenvolvemento de capacidade foi acordado como prioridade da cooperación para o desenvolvemento (Pearson, 2011). Ademais do anterior, os Obxectivos de Desenvolvemento Sostible (ODS) incorporan o DC de forma explícita, centrándose nos aspectos de implementación; en comparación cos Obxectivos de Desenvolvemento do Milenio (ODM) (Joshi, Hughes e Sisk, 2015). O énfase posto no desenvolvemento de capacidades, supón un cambio substancial considerado agora como un mecanismo para cumprir os ODS e para manter estes logros a longo prazo (Wehn, 2014). Algún autores fan referencia especificamente, no desenvolvemento teórico de capacidade e desenvolvemento de capacidade, á capacidade do Estado. Skocpol (1985) considérao un concepto multidimensional importante na ciencia política. A capacidade do estado é a capacidade dun estado para acadar os seus obxectivos desde tres contextos diferentes de capacidade: administrativo, extractivo e coercitivo. Por exemplo, no contexto da capacidade administrativa, Skocpol definiu a capacidade do estado como aquela capacidade para implementar os seus obxectivos. Andrews et al. (2017) fan fincapé na capacidade do Estado na implementación de políticas. No contexto da capacidade extractiva, Levi (1988) sostén que debido a que os gobernos son maximizadores de ingresos, a capacidade do Estado é a capacidade de extraer recursos da sociedade para manter o poder. Besley e Persson (2008), pola súa parte, argumentan que a capacidade fiscal para aumentar os ingresos por impostos para apoiar a provisión de bens públicos é unha dimensión clave da capacidade do Estado. No contexto da capacidade coercitiva, Krasner e Risse (2014) sosteñen que a capacidade do Estado baséase na capacidade de ter o monopolio da violencia e facer cumprir as regras e políticas. Hanson (2018) sostén tamén na mesma liña de Skocpol, que as capacidades administrativas, coercitivas e extractivas son as tres dimensións fundamentais da capacidade estatal. A capacidade administrativa é a capacidade de deseñar e aplicar políticas. A capacidade coercitiva é aquela que permite que o Estado domine a sociedade e reduza a oposición mediante a forza coercitiva. A capacidade extractiva é a capacidade dun Estado para recadar ingresos da súa poboación para consolidar o seu poder. A xestión de crises e resposta a emerxencias é unha das capacidades coa que os países e as axencias das Nacións Unidas lidan habitualmente e que representan un importante volume de recursos para os orzamentos de axuda ó desenvolvemento. A bibliografía resalta a importancia 7 Outros foron os de Roma (2003), París (2005) ou Accra (2008) como se sinalou. MARCO TEÓRICO 31 da capacidade do Estado para a xestión de crises e resposta a emerxencias. A capacidade do Estado xoga un papel crucial no establecemento dun sistema eficaz de xestión de crise xa que permite aos gobernos xestionar as crises coordinando diferentes organizacións, tratando e analizando información e prestando servizos públicos Christensen et al. (2016). Para estes autores o concepto de capacidade estatal no ámbito da xestión de crises e resposta a emerxencias debe incorporar catro dimensións: a capacidade de obter e analizar a información, a capacidade de toma de decisións e de implementación de políticas, a capacidade coercitiva e a capacidade de mobilización e cooperación. Así, a capacidade administrativa inclúe non só a capacidade de toma de decisións e de implementación, senón tamén a capacidade de obter, analizar e producir información. Boin et al. (2017) afondan na mesma liña sinalando a importancia da recollida, procesamento e intercambio de información para axudar aos gobernos a detectar crises. Desde o punto de vista de reposta a crises e emerxencias, a capacidade coercitiva é a capacidade que o goberno ten para obrigar aos cidadáns a cumprir coas medidas contra a crise e resposta á emerxencia, e proporcionarlles seguridade pública debido ao monopolio do poder coercitivo (Fukuyama, 2004). A capacidade extractiva tamén é importante para a xestión de crises e resposta a emerxencias xa que mostra a capacidade do Estado para mobilizarse e cooperar con empresas e organizacións da sociedade civil. Moitas das definicións de desenvolvemento de capacidade incorporan tres niveis: institucional ou entorno, organizativo e individual. Nas políticas ao desenvolvemento os termos institucións e organizacións son ás veces utilizados indistintamente (Teskey, 2005). Outros elementos que se teñen en conta para o desenvolvemento de capacidade inclúen o sistema político (como a separación de poderes en executivo, lexislativo e xudicial), a base da lexitimidade dos estados (como os sistemas electorais) e as estruturas culturais e sociais (Fukuyama, 2004). Teskey (2005:4) proporciona a seguinte analoxía para demostrar a diferenza entre o desenvolvemento organizativo e institucional: O desenvolvemento organizativo pode compararse co adestramento dun equipo de fútbol. ¿Que xogadores deben xogar en que posición? ¿Cal debe ser a táctica do equipo? ¿En que momento debemos traer un substituto? Pola contra, o desenvolvemento institucional centraríase nas regras do xogo. ¿Debería cambiarse a lei do fóra de xogo? ¿As porterías son demasiado pequenas? ¿Debemos permitir 13 xogadores en lugar de 11? E quizais o máis importante, ¿debería o equipo renunciar a xogar ao fútbol e tomar cricket no seu lugar? As institucións e organizacións están entrelazadas e cada unha está influenciada pola outra, de xeito que a capacidade institucional será determinada, en primeiro lugar, polas capacidades específicas das organizacións estatais e, en segundo lugar, polo grao en que as normas formais e informais se aliñan para regular as organizacións estatais e promover a calidade, os resultados e o rendemento Teskey (2005). Os doadores recoñecen cada vez máis a influencia das institucións no desenvolvemento organizativo e individual (Bossuyt, 2001). As reformas que promoven as políticas de desenvolvemento teñen como obxectivo establecer novas e máis eficaces institucións públicas para apoiar diferentes cambios como por exemplo unha economía de mercado; apoiar ambientes legais; e sistemas xudiciais eficaces, eficientes, abertos e transparentes (Bossuyt, 2001). As institucións configuran as accións dos individuos e os individuos dan forma ás institucións (Chabal, 2009). O foco non se centra só nas estruturas do Estado e do goberno, senón tamén nas institucións, patróns de comportamento e procesos informais, e nas relacións ALBERTO NÚÑEZ SABARÍS 32 entre institucións formais e informais e o seu impacto na política (Leftwich, 2007). A vida das persoas réxese por leis formais, dereitos de propiedade, separación de poderes e acordos administrativos e organizativos que son ”creados, comunicados e aplicados a través de canles amplamente aceptadas como oficiais” (Helmke and Levitsky, 2004: 727 citado en Leftwich, 2007). As regras formais e informais persisten mentres a maioría das persoas sintan que son beneficiosas. Polo tanto, o cambio prodúcese cando a maioría sente que as regras existentes non son beneficiosas e buscan crear outras novas (Bossuyt, 2001; Leftwich, 2007). Xerencialismo ou “Managerialism” Na reforma do sector público, a capacidade individual é vista no contexto da capacidade organizativa ou institucional segundo o enfoque seguido. As teorías do cambio sobre organizacións e individuos poden considerarse subconxuntos de teorías de cambio das institucións. Espérase que as persoas que traballan nas organizacións teñan os coñecementos, habilidades, actitudes e confianza necesarias para desempeñar o traballo que require a organización para cumprir os seus obxectivos. Un concepto clave nesta teoría do cambio que sustenta as reformas do sector público nas últimas dúas décadas foi o concepto de "xestión" que se desenvolveu, en parte, dentro da axenda da nova de xestión pública. A nova xestión pública xurdiu tanto da crise da aproximación tradicional que forxara un certo paradigma burocrático (Barzelay, 1992), como dos propios cambios que foron convertendo as administracións públicas en grandes empresas de servizos, necesitadas de grandes recursos e cun entorno cambiante que cada vez permite menos manter as rutinas e ritmos doutros tempos (Subirats, 1993). As teorías do cambio sobre as organizacións tamén se enmarcan a miúdo en ideas sobre a velocidade e alcance do cambio. Kettl (1997) describe o xerencialismo ou managerialism no termo en inglés, como o concepto impulsor das reformas do sector público en Australia, Nova Zelandia e o Reino Unido desde a década de 1980. Desde a experiencia acumulada nos estudos e análises da xestión de empresas, a súa aplicación ó ámbito de actuación das administracións públicas foi estendéndose como unha forma de mellorar a racionalidade da súa actuación. O énfase ponse nunha mellor e máis eficiente utilización de recursos e nunha maior capacidade analítica á hora de definir a estratexia e desenvolver procesos (Subirats, 1993). Segundo Subirats (1993) os estudos sobre a xestión ofrecen todo un abanico de instrumentos para racionalizar a toma de decisións. Desde a análise coste-beneficio, ata a orzamentación por programas, ou a análise de sistemas. En todas estas aproximacións os elementos chave que deben permitir avanzar nunha maior racionalidade decisional basease na existencia duns obxectivos xa formulados e na dispoñibilidade dun caudal de información suficiente e fiable. Finalmente, tamén se pode ter en conta o concepto de rendemento institucional barallado por Pérez Castreje (2020:156) que, seguindo a Subirats e Gallego (2002), utiliza unha idea centrada na capacidade dos poderes públicos de desenvolveren as súas funcións de xeito efectivo. Así, a avaliación sobre os resultados acadados deberá ter en conta a relación de eficiencia e eficacia, e centrarse no estado da conta de resultados. É importante a súa consideración no campo do desenvolvemento internacional porque sustenta moitas das reformas do sector público implementadas nos países en desenvolvemento. O xerencialismo pretende substituír as burocracias xerárquicas tradicionais que se caracterizan por estruturas estables, por organizacións flexibles e capaces de cambiar os procesos segundo MARCO TEÓRICO 33 sexa necesario para operar dentro dun ambiente de competencia nun mercado (Kettl, 1997). Dentro do xerencialismo, desenvolvéronse dous enfoques diferentes. En primeiro lugar, o enfoque de "deixar que os xestores xestionen" (let managers manage) adoptado en Suecia e Australia, baséase na premisa de que os xestores saben que facer pero están limitados polas regras e procedementos existentes. Dáselle aos xestores a liberdade de resolver os problemas, o que á súa vez impulsa ás organizacións a adaptarse mediante a mellora continua, que é parte do enfoque de xestión da calidade total proposto por Deming (1986). Este enfoque require que se cree un equilibrio entre o aumento do risco que se espera que tomen os xestores e a dotación de incentivos para apoiar aos xestores (Kettl, 1997). O segundo enfoque é “facer que os xestores xestionen” (making managers manage), adoptado por Nova Zelandia e Reino Unido. Este enfoque baséase na crenza de que "a xente ten que ser controlada ou incentivada para facer que se comporten" (Eyben, 2007: 11). Os incentivos son as estratexias externas positivas ou negativas desenvolvidas para influír a motivación e comportamento das persoas, grupos e organizacións (PNUD, 2006). Baixo este enfoque, baseado nas teorías de elección racional (Bossuyt, 2001 e Leftwich, 2007), establécense axencias executivas, e servizos públicos tradicionais son contratados a empresas privadas. Ámbolos dous enfoques céntranse en establecer obxectivos, medir resultados e usar a información para a toma de decisións. Kettl (1997) suxire que algúns reformadores seleccionaron reformas sen considerar as ideas nas que se basean e que polo tanto poden acabar escolléndose reformas conflitivas. Kettl (1997) tamén argumenta que o xerencialismo proporciona unha teoría parcial do cambio xa que non considera a relación entre os xestores públicos e os funcionarios, as conexións entre o desempeño dos xestores de servizos públicos e os orzamentos gobernamentais; e a influencia dos gobernos sobre as organizacións non gobernamentais. O foco no cliente anula as estruturas tradicionais de rendición de contas de arriba cara abaixo, obrigando aos xestores do sector público a mirar cara fóra das súas organizacións para obter resultados e non o enfoque tradicional centrado nos procesos internos. No é de estrañar que poidan xurdir dificultades cando as teorías orixinarias de países occidentais se implementan en países en desenvolvemento. Schick (2003), por exemplo, suxire que se os países en desenvolvemento carecen de sistemas de rendición de contas e que pode ser prematuro pasar da administración pública que fai fincapé no cumprimento da norma, á xestión pública (paradigma xerencialista) que fai fincapé nunha maior flexibilidade. Porén ,a implementación de teorías parciais ou erróneas tende a dar lugar a resultados limitados, negativos ou non desexados (Schick, 2003). Alén, da dificultade e risco de aplicar ideas e propostas do mundo desenvolvido ao en desenvolvemento; Guy Peters (2008) sinala a importancia de ter en conta a variable da tradición administrativa. Como sinala Ongaro (2009) a literatura internacional sobre a reforma da xestión pública dedicou a atención principalmente ao ámbito anglosaxón, prestando pouca atención a outras tradicións administrativas que tamén sufriron importantes procesos de cambio desde o punto de vista político e institucional nos últimos tres decenios. Como o mesmo Ongaro apunta desde un punto de vista teórico, unha tradición administrativa enteira, a tradición administrativa napoleónica, está insuficientemente representada nos estudos comparativos de xestión pública. Isto ten o seu efecto nunha ampla rexión xeográfica como é a latinoamericana ou as antigas colonias francesas. Este autor ofrece un marco para entender o concepto de tradición administrativa e propón a súa aplicación aos sistemas administrativos napoleónicos, entre os que se inclúe a tradición ALBERTO NÚÑEZ SABARÍS 34 administrativa española e os países latinoamericanos. Aínda que as tradicións administrativas non son totalmente determinantes, si configuran parámetros para a acción, y calquera reforma da xestión pública vai premer sobre estes parámetros afectando ó proceso de deseño e sobre todo de implementación da reforma. Co fin de superar algunhas das limitacións das descricións simples do concepto de tradición administrativa, Peters (2008) desenvolve un conxunto de dimensións que son útiles para a comprensión dunha ampla gama de sistemas administrativos. Realiza unha proposta de dimensións nas que é importante deterse pola incidencia no resultado dos procesos de desenvolvemento de capacidade e resúmese da seguinte maneira: 1. Relación entre Estado e sociedade: esta dimensión refírese á relación entre o Estado e sociedade presentando una dicotomía entre as concepcións orgánicas e contractualistas. Mentres a concepción orgánica presupón que o Estado está vinculado desde os seus inicios coa sociedade e por iso non se entenden un separado do outro; a concepción contractualista presupón un Estado que xurde dun contrato consciente, expresado a través dunha constitución ou outros acordos constitutivos, entre os membros da sociedade e das institucións que os dirixirán. As concepcións orgánicas tenden a atribuír un menor rol autónomo aos cidadáns asumindo o Estado a obriga de defender á sociedade. O Estado e os seus gobernantes recoñecen poucos límites e a consecuencia é unha concepción centrada na gobernabilidade do Estado (Peters e Pierre, 2002) como ente reitor. No contexto da reforma da xestión pública, polo tanto, a posición estatocéntrica limita a introdución de reformas centradas no cidadán, por exemplo, cara unha orientación a usurario ou cliente (segundo a visión da reforma) dos servizos públicos. 2. Relación entre lei e xestión: unha segunda característica que define as tradicións administrativas é a preponderancia que lle é dada á lei e á xestión na definición das tarefas e procesos da administración. Por un lado, na visión máis garantista do rol da administración, defínese o papel principal da administración pública na súa responsabilidade por administrar o dereito. Desde este punto de vista, a boa administración ten que ver co concepto weberiano de administración. Trátase, polo tanto, de aplicar a lei apropiada e de maneira eficaz para alcanzar os fins públicos. Por outro lado, a orientación xerencial, sen negar a importancia do imperio da lei, recoñece que a primeira responsabilidade do servidor público de alto nivel (directivo público) é acadar resultados, e facer que a organización teña o mellor desempeño posible. 3. Relación entre administración e política: esta dimensión vén definida pola relación entre políticos e funcionarios. A cuestión de referencia é ata que punto se espera que os funcionarios públicos sexan independentes das presións políticas. En tódalas tradicións administrativas existe a concepción de que polo menos unha parte da función pública debe ser apolítica no marco da administración da lei, da forma máis xusta e imparcial posible. O grao de politización da función pública aumentou nos últimos anos, mesmo en países que se gababan de ter un sistema de acceso ao mérito forte e un servizo público neutral desde o punto de vista da inxerencia política (Peters e Pierre, 2002). A tradición napoleónica adoita ter menos barreiras entre o político e o administrativo que a maioría das outras tradicións. Os funcionarios adoitan ter carreira política, xa sexa como políticos activos ou como designados para cargos do gabinete ou estruturas similares vinculadas a líderes políticos. Carles Ramió afondou nesta relación entre políticos e funcionarios no contexto español (Ramió, 2012). MARCO TEÓRICO 35 4. Carreira profesional do funcionariado: está implícita na discusión anterior sobre a relación da política coa administración. Trátase dunha concepción da carreira da función pública que se diferencia, polo menos en parte, non só das carreiras políticas, senón tamén das do sector privado. Unha característica que diferenciou as tradicións administrativas é a existencia dunha carreira distinta como funcionario público e o grao en que os individuos tenden a permanecer en postos de administración ao longo da súa vida laboral. Aínda que a función pública difire en xeral doutras carreiras profesionais, existen diferenzas significativas entre as tradicións administrativas no grao de aceptación do intercambio de carreiras nos sectores público e privado. 5. Uniformidade: a igualdade é un valor central da administración pública, e os cidadáns deben ser tratados de forma xusta e igualitaria segundo as súas necesidades. A uniformidade foi, sen dúbida, un dos principios inspiradores na construción do Estado por parte de Napoleón no caso de Francia, co obxectivo de crear unha nación unificada a partir dun conxunto de estruturas feudais que tiñan distintos graos de lealdade á monarquía anterior A aparición de novas ideas sobre a contratación ou externalización de servizos públicos ou a participación da sociedade na prestación de servizos públicos (coprodución, innovación social) incrementan a diversidade nas formas de prestación e recepción dos servizos públicos, polo que estas fórmulas poden non ser tan aceptadas nos estados cunha clara orientación cara á uniformidade, como na tradición administrativa napoleónica. 6. Relación Estado e sociedade (II): na relación Estado e sociedade, ademais da visión orgánica ou contractual, hai outro aspecto importante que ten que ver co papel que xogan os actores da sociedade civil no deseño e execución de políticas públicas. A concepción alternativa á dos intereses da sociedade en relación co goberno é que a súa participación menoscaba en certa medida a autoridade do Estado, e supón unha incursión inxustificada nas prerrogativas estatais. Tamén hai un elemento administrativo implicado nesta dimensión xa que o principal punto de contacto entre a sociedade e o Estado é a administración pública. Os estados cunha orientación máis estatal e cunha visión orgánica do mesmo poden tender a excluír a influencia dos grupos de interese e tratar de preservar a súa autonomía ante a presión dos actores. Frecuentemente dende a tradición napoleónica, como recorda Peters, os grupos de interese considéranse intervencións ilexítimas contra a autonomía do Estado. Estes intereses, polo tanto, non están incorporados á xestión pública como no norte de Europa, e a administración pública tende a ser selectiva sobre cales son os intereses que se incorporan á deliberación pública, sendo en xeral os que están dispostos a aceptar a tutela do Estado. 7. Rendición de contas: esta dimensión da tradición administrativa fai referencia á forma en que se aplica a rendición de contas no sector público. Esta dimensión das tradicións administrativas está moi relacionada coa mencionada dimensión da relación entre dereito e xestión. Tamén aquí hai elementos distintivos na forma en que se fai a rendición de contas dentro das distintas tradicións. En tódolos sistemas políticos existe unha delegación de competencias nas burocracias e, en consecuencia, os mecanismos de rendición de contas deben limitar e controlar o exercicio de dito poder. Na tradición napoleónica, a rendición de contas ten unha orientación formal e legalista, en contraste coas ideas da nova xestión pública. Aínda que existen elementos de control político nos que os parlamentos e mesmo os cidadáns poden participar nos procesos de control, os principais elementos de control son eminentemente legais. Moitos dos controis son ex ante, polo que os xestores públicos adoitan ter que obter a aprobación antes de que se tome a decisión, ALBERTO NÚÑEZ SABARÍS 36 en lugar de actuar e render contas despois do feito. Este patrón favorece o cumprimento da lei, pero tamén pode dificultar unha xestión áxil e eficaz. A importancia do traballo de Peters descrito radica no desenvolvemento do concepto de tradición administrativa, proporcionando un marco teórico sobre o que validar hipóteses e ideas subxacentes sobre a administración e a xestión pública, e os seus procesos de reforma nas políticas ao desenvolvemento. Velocidade e alcance do cambio Os enfoques para o desenvolvemento organizativo enmárcanse a miúdo en torno ao proceso, velocidade e alcance do cambio. Weick e Quinn (1999) distinguen o cambio episódico e descontinuo do cambio continuo e incremental. As innovacións radicais que son arriscadas e complexas poden implementarse de forma episódica, co obxectivo de perturbar o equilibrio en organizacións inertes para que o cambio sexa intencional e irreversible. En comparación, o cambio incremental e acumulativo prodúcese durante un período prolongado para permitir que as persoas se adapten. A premisa é que os pequenos cambios frecuentes e concorrentes fanse gradualmente comúns e rutineiros, o que leva a cambios máis significativos. Con outra aproximación, Robinson (2007) suxire que os esforzos incrementais poden dificultar cambios máis substanciais, xa que os pequenos cambios lentos non abordan as barreiras substantivas e máis profundas do cambio. Thelen (2003) diferencia dous grupos de enfoques na explicación de como se crean, reproducen y cambian as institucións: constant-cause e path-dependence. Segundo o enfoque constant-cause os mesmos factores explican tanto a xénese como o cambio nas institucións a través do tempo; mentres que o enfoque path-dependence mantén que diferentes factores interveñen na xénese e cambio das institucións. Thelen examina dous mecanismos de cambio incremental: layering e conversion das institucións. Layering institutions é un concepto que implica a renegociación parcial dalgúns elementos dun conxunto dado de institucións, deixando outros no seu lugar (Thelen, 2003). Co concepto de layering subxace a idea de que existe unha negociación continua dos acordos sobre os que se basea a institución e as súas funcións. Bezes e Lodge (2006) propoñen tres mecanismos de cambio incremental: drift, diffusion e displacement. O concepto de diffusion é de interese para explicar como se ten producido un cambio de reforma gradual. A difusión opera a través de mecanismos de bechmarking, aprendizaxe, transferencia de coñecementos e procesos similares. Segundo Bezes e Lodge eses procesos débense a razóns como a dependencia nos recursos, a busca de lexitimidade e de consenso entre profesionais. Os termos cambio transaccional e transformacional tamén se usaron na bibliografía para describir o alcance do cambio que se desexa. O cambio transaccional céntrase en obxectivos operativos, como a capacidade dunha organización para producir certos produtos. O cambio está adaptado aos valores das persoas. Pola contra, o cambio transformacional refírese ao desenvolvemento de capacidades a longo prazo onde unha organización produce os seus propios servizos ou produtos. O cambio transformacional repercute nos valores e crenzas das persoas (Munduate e Bennebroek Gravenhorst, 2003). 2.1.3 Desenvolvemento de capacidade e rendemento institucional Existen moitas formas de medir o rendemento institucional. Boyne et al. (2005) e Hatry (2006) son algúns dos autores que revisaron as diferentes formas de medición. As avaliacións MARCO TEÓRICO 37 de rendemento poden variar nun continuum que vai de máis obxectiva a máis subxectiva (Andrews et al. 2006) segundo a visión dalgúns autores: Medicións obxectivas ou obxectivamente verificables son vistos tradicionalmente como o "patrón ouro" da xestión pública (Andrews et al. 2006). As avaliacións obxectivas do rendemento teñen as súas debilidades e ás veces non captan completamente as diferentes dimensións do rendemento (Andrews et al. 2006). Algúns estudosos argumentan que o rendemento da organización está construído socialmente e que tódalas avaliacións son finalmente subxectivas (Brewer 2006). Brewer sostén que os resultados do seu estudo demostran que a xestión é moi importante para conseguir os resultados. Os supervisores de primeira liña xogan un papel importante no rendemento organizacional e a supervisión é un determinante importante do alto rendemento organizativo. Afonda este autor en que as axencias de alto rendemento tamén adoitan ter xestores de alto nivel, fortes culturas organizacionais que valoran aos empregados así como políticas que capacitan a eses empregados. Andrews et al. (2006) apuntan tamén a que as avaliacións obxectivas se seleccionan con frecuencia en función da dispoñibilidade e facilidade de medición o que, dalgunha forma, condiciona os resultados. Medicións subxectivas do rendemento representan as percepcións dos actores sobre varios aspectos das actividades das organizacións (Andrews et al. 2006; Brewer 2006). Tales medicións representan un equilibrio de produtos (outputs) e resultados (outcomes) e poden ofrecer unha visión máis global da situación organizacional. As medicións subxectivas adoitan sufrir un sesgo ou prexuízo de método, causado pola tendencia dos entrevistados a dar respostas similares a preguntas distintas das enquisas (Andrews et al. 2006; Brewer 2006). Outra debilidade apuntada polos autores é que as medicións subxectivas dependen da lembranza e que os entrevistados poden carecer dunha comprensión completa dos problemas organizativos. Ademais da dicotomía subxectivo-obxectivo, as medicións de rendemento diferéncianse por outros criterios: ss medicións poden basearse nos xuízos de actores internos ou externos (Walker e Boyne 2006). O rendemento do sector público pode abarcar moitos aspectos diferentes: eficacia, eficiencia, calidade, cumprimento, implantación, cumprimento dos estándares de bo goberno, sostibilidade, etc. Boyne (2002) identifica tres aspectos do rendemento do sector público no que el denomina o modelo inputs-outputs-outcomes (IOO) de rendemento organizacional. Respecto a este modelo, vese que en primeiro lugar, as saídas (produtos) refírense tanto á cantidade (por exemplo, número de operacións realizadas nos hospitais, horas lectivas impartidas nos centros educativos, número de vivendas construídas) como á calidade (por exemplo, rapidez e fiabilidade dos servizos, trato do persoal) na prestación de servizos públicos. En segundo lugar, os outcomes refírense aos resultados (por exemplo, porcentaxe de estudantes que aprobaron exames, porcentaxe de pacientes hospitalizados tratados con éxito) da prestación de servizos públicos. En terceiro lugar, existe unha relación entre os produtos (outputs) e os os recursos financeiros (financial inputs): a eficiencia, así como a relación entre os resultados e os recursos financeiros (value for money). Overman e van Thiel (2016) no seu estudo sobre o modelo de axencias conclúen que o sector público dun país debe funcionar ben se os produtos (outputs) e os resultados (outcomes) son altos. Se os gobernos conseguen estes resultados con custos baixos, o sector público é eficiente e ofrece una boa relación calidade-custo. Estes autores deixan fóra dimensións como a satisfacción e a capacidade de resposta e indican que os factores que inflúen no desempeño das organizacións do sector público son numerosas. Boyne (2003) identifica cinco grupos de variables explicativas para o rendemento do sector público: recursos, regulación, estrutura de mercado, organización e xestión. ALBERTO NÚÑEZ SABARÍS 38 Porén, a aplicación dun concepto tan aparentemente sinxelo no contexto da administración pública presenta notables dificultades (Moore, 1984; Metcalfe e Richards, 1987). Como sinala Moore, por unha banda, a decisión sobre o camiño a seguir para aumentar a eficiencia non pode basearse en criterios meramente técnicos, xa que pode verse afectada por consideracións políticas. Por outra banda, cómpre considerar a dificultade, non só de cuantificar, senón simplemente de definir os resultados de numerosas actividades públicas, o que conleva o risco de identificar os resultados con aquela parte delas susceptible de ser obxecto de medición cuantitativa. Moore, alertando dos riscos de subestimar o valor creado polas organizacións públicas a partir da interpretación máis común da eficiencia, sinala que este concepto só se pode aplicar no sector público se se formula como a relación entre custos e o valor realmente producido. Moore desenvolve na súa obra o concepto de valor público. Segundo Metcalfe e Richards (1987) o concepto de eficiencia ten varias ramificacións: eficiencia técnica que relaciona recursos e resultados, e eficiencia económica que busca unha valoración económica. Esta pode separarse en eficiencia distributiva (óptima distribución de recursos entre actividades alternativas) e a eficiencia que busca a optimización de recursos empregados nunha actividade concreta. Moitos programas de reforma e avaliación asumen o concepto da eficiencia que se traduce na redución de custos, independentemente dos resultados. Así definida, a eficiencia resulta un valor perigoso cando non existe unha medida previa de eficacia. A definición tradicional da eficacia é o grao no que se acadan os obxectivos previstos. Sen embargo, é frecuente que no sector público os obxectivos non estean definidos, sexan múltiples e parcialmente contraditorios ou estean suxeitos a cambios constantes no tempo (Echebarría e Mendoza, 1999). Segundo estes autores, nesas condicións, o pensamento organizativo recorreu a reformular o concepto de eficacia como a busca de condicións de fiabilidade e flexibilidade, nas que unha noción estrita de eficiencia, baseada na homoxeneidade, a estandarización e a eliminación de solapamentos, choca con demandas de diversidade e duplicidade. Metcalfe e Richards (1987) fan a distinción entre o concepto de eficiencia operativa, que se repite invariablemente nos programas de reforma e que é coherente en presencia de obxectivos precisos e duradeiros, e o concepto de eficiencia adaptativa nas circunstancias inversas. O Goal Attainment Model (que se podería traducir como Modelo de Consecución de Obxectivos) do desempeño organizacional define a eficacia como a medida en que unha organización alcanza os seus obxectivos (Etzioni, 1964). Sen embargo, varios autores desafiaron este modelo, sinalando que as organizacións adoitan perseguir diferentes obxectivos e ás veces en conflito. Quinn e Rohrbaugh (1983) propuxeron un modelo de rendemento, o Competiting Values Framework, que combina o Goal Attainment Model con teorías de rendemento que enfatizan a situación interna da organización e a capacidade de explotar recursos e oportunidades externas. Finalmente Connolly, Conlon e Deutsch (1980) propuxeron o Multiple Constituency Model argumentando que se unha organización está a facer un bo traballo ou non depende de quen responde á pregunta e non de aspectos obxectivamente verificables do rendemento. O concepto do éxito nas políticas ó desenvolvemento ven sendo discutido na bibliografía sobre a temática. Influenciados por unha énfase da Nova Xestión Pública no 'rendemento', pode pensarse que as políticas son exitosas se alcanzan os seus obxectivos predefinidos. Moitas das perspectivas no traballo do desenvolvemento internacional afianza esa crenza, centrándose na entrega de produtos e resultados dos programas e dos proxectos. Non obstante, esta MARCO TEÓRICO 39 comprensión é menos clara para algúns autores, a medida que se observan situacións nas que se acadan os obxectivos, pero o traballo político era visto como un fracaso, e onde os obxectivos non se acadaron pero as políticas eran eloxiadas como éxitos (Andrews, 2012). Os estudos sobre políticas públicas arroxan luz sobre este particular, mostrando que as concepcións do éxito varían e que o éxito implica moito máis que acadar os obxectivos dos proxectos ou os programas (Bovens et al. 2001 e McConnell. 2010). Compton e Hart consideran, máis recentemente, que o éxito é "multi-dimensional, multi-perspectivist, and political" (Compton e Hart 2019, pp.4-5) identificando catro tipos principais de éxito: programático, de proceso, político e de resistencia (endurance). Desde a perspectiva da literatura sobre xestión de proxectos, especialmente aplicadas ao desenvolvemento internacional, Shenhar et al. (2001) identifican criterios de éxito como eficiencia, impacto no cliente, éxito empresarial e preparación para o futuro. O Cadro de mando ou Balanced Scorecard de Robert Kaplan, aplicado principalmente no ámbito da empresa privada, desempeñou un papel importante e benvido nas organizacións sen ánimo de lucro, xa que as organizacións sen ánimo de lucro tiñan dificultades para medir o seu rendemento. Moitas organizacións sen ánimo de lucro tomaron inspiración xeral e orientación operativa específica das ideas avanzadas nese importante traballo de Kaplan (Moore, 2003). Este traballo supuxo unha gran contribución para axudar ás organizacións sen ánimo de lucro a afrontar o reto de medir o seu rendemento. Porén, Moore sostén que os conceptos básicos do Balanced Scorecard non foron suficientemente adaptados do mundo privado con ánimo de lucro onde naceron, ao ámbito sen ánimo de lucro onde se están aplicando. Propón unha forma diferente de pensar sobre a estratexia sen ánimo de lucro e vinculala á medición do rendemento, que é máis sinxela e fiable para as organizacións sen ánimo de lucro. 2.2 A INTEGRACIÓN DO DESENVOLVEMENTO DE CAPACIDADE NOS MARCOS E POLÍTICAS DE DESENVOLVEMENTO O desenvolvemento de capacidades está recollido na Declaración de París sobre a Eficacia da Axuda (Paris Declaration on Aid Effectiveness, 2005), así como na Axenda 2030 para o Desenvolvemento Sostible. En consecuencia, para as axencias das Nacións Unidas o desenvolvemento de capacidades, xunto co diálogo sobre políticas e o fortalecemento do sistema institucional, é un compoñente importante da estratexia de desenvolvemento. Segundo o European Parliamentary Research Service (EPRS, 2007) as principais características dos marcos dos organismos internacionais de desenvolvemento de capacidades resúmense nas seguintes características: O desenvolvemento de capacidade é un traballo complexo que implica un cambio a múltiples niveis. A noción de cambio é fundamental para moitos documentos que enmarcan o concepto de construción e desenvolvemento de capacidade (capacity development / building). Toma da socioloxía as ideas sobre a forma en que as organizacións se transforman, a multiplicidade de factores que afectan o cambio, o carácter fluído e dinámico do proceso e a importancia da apropiación e liderado dos individuos e as organizacións afectadas. A pesar desta complexidade dos procesos transformadores, os informes dos doadores sobre o desenvolvemento de capacidade intentan proporcionar orientación técnica, paso a paso, tratando de captar a esencia dos procesos transformadores e a forma en que poden ser efectuadas e influenciadas. Algúns doadores tamén intentan proporcionar indicadores de resultados medibles. A apropiación local de tódalas intervencións considérase crucial, e é un dos principais elementos que distinguen o novo enfoque das visións tradicionais sobre a cooperación técnica. ALBERTO NÚÑEZ SABARÍS 46 Figura 5. Tres niveis de capacidade interconectados Fonte: Grupo de Desenvolvemento das Nacións Unidas, 2019. Na literatura dos organismos internacionais atópanse outras categorizacións. O Centro Europeo para a Xestión de Políticas de Desenvolvemento (ECDPM) distingue entre "competencias individuais" (a capacidade dun individuo para facer algo) e "capacidades colectivas" (as habilidades dun grupo, organización ou sistema para levar a cabo unha función) (European Centre for Development Policy Management, 2011). Estes interactúan co contexto para crear "capacidade de sistema" (a capacidade xeral dun sistema para facer unha contribución). O ECDPM tamén identifica cinco capacidades centrais que se poden definir con máis detalle en contextos específicos: comprometerse e participar, realizar tarefas, construír relacións e atraer recursos, adaptarse e renovarse, e atopar un equilibrio entre coherencia e diversidade. O Centro para o Desenvolvemento Internacional de Harvard (CID) propón unha taxonomía baseada no tipo de necesidade de capacidade que se intenta desenvolver (Andrews, M., Pritchett, L., Woolcock M., 2017). O exercicio de desenvolver a capacidade dos países (organizacións estatais e non estatais) ten que comezar cunha taxonomía dos tipos de actividades que se van realizar e as capacidades que esas actividades necesitan. A tipoloxía analítica utiliza catro preguntas para clasificar as tarefas ou actividades en cinto tipos de capacidades: (i) formulación de políticas, (ii) loxística, (iii) prestación de servizos de implementación intensiva, (iv) imposición de obrigas de implementación intensiva, e (v) “wicked hard”. O obxectivo do traballo destes autores foi clasificar e analizar o tipo de capacidade que necesitaría unha organización para ter éxito. Este esquema de clasificación é transversal, xa que dentro de cada sector (educación, regulación, xustiza, infraestructura, saúde, etc.) existen categorías de tarefas moi diferentes, en concreto: Formulación de políticas: non intensiva en transaccións, require relativamente poucas persoas, tamén pode incluír institucións de elite ou de segundo nivel en moitos sectores. Loxística: a capacidade das organizacións para inducir a un gran número de axentes a seguir patróns relativamente simples que se superan en feitos facilmente observables e xulgables. MARCO TEÓRICO 47 Prestación de servizos de implementación intensiva: tarefas que son discrecionais (a diferenza da loxística) e intensivas en transaccións (a diferenza da formulación de políticas); requiren grandes organizacións con axentes involucrados en accións complicadas. A distinción clave é se estas accións se dedican a "servizos" nos que os axentes interactúan con persoas que en principio se benefician directamente dunha implementación exitosa. Imposición de obrigas de implementación intensiva: como vixilancia, impostos ou regulación. O cumprimento de tales tarefas implica vencer a resistencia daqueles aos que se lles impoñen obrigas; os destinatarios poden tratar de usar todo, desde a resistencia pasiva ata as ameazas físicas e os incentivos materiais para inducir aos axentes a ser menos dilixentes no desempeño das súas funcións. Wicked hard: son as tarefas máis difíciles que combinan transaccións intensivas (necesitan participar un gran número de axentes), discrecionais (as decisións que toman os axentes baséanse en coñecementos difíciles de verificar) e non baseadas nunha tecnoloxía coñecida. Andrews, Pritchett e Woolcock (2017) sosteñen que o risco de non ter unha taxonomía adecuada da capacidade organizativa é que non coincidan o enfoque para construír unha organización eficaz e a tarefa no seu núcleo técnico. Estes autores sosteñen que a tendencia dominante nas organizacións do sector público foi a de impoñer o “leito de Procusto”27 de forma que as organizacións do sector público son organizacións ben "de elaboración de políticas" ou "loxísticas". As organizacións que son responsables da implementación son tratadas como burocracias weberianas estándar, o que sería adecuado se as tarefas de loxística están no núcleo técnico, pero non son acordes cando as actividades máis intensivas en implementación están no núcleo técnico. 2.3 O DESPREGAMENTO CONCEPTUAL NO SISTEMA DE DESENVOLVEMENTO DA ONU Mencionouse máis arriba o desenvolvemento conceptual feito polas nacións Unidas en tres niveis de capacidade. Neste apartado afonda na visión das Nacións Unidas sobre o concepto de desenvolvemento de capacidade e como se articula para a súa implementación. A nivel mundial, o Grupo das Nacións Unidas para o Desenvolvemento Sostible (GNUDS ou UNSDG nas súas siglas en inglés)28 serve como un foro de alto nivel para a formación conxunta de políticas e a toma de decisións do Sistema das Nacións Unidas. O GNUDS guía, apoia, fai seguimento e supervisa a coordinación das operacións de desenvolvemento en 162 países e territorios. O mandato do GNUDS deriva da Revisión Ampla da Política das actividades operacionais para o desenvolvemento do sistema das Nacións Unidas, unha 27 O leito de Procusto é unha expresión proverbial que se refire a quen pretenden acomodar sempre a realidade aos seus intereses ou á súa visión das cousas 28 O GNUDS reúnese dúas veces ó ano baixo a dirección da Presidenta do GNUDS, Vicesecretaria Xeral da ONU, quen preside o GNUDS en nome do Secretario Xeral da ONU. O Administrador do PNUD ocupa a Vicepresidencia do Grupo. A Oficina de Coordinación do Desenvolvemento (OCD) sirve como la Secretaría do Grupo. O Grupo está composto polos xefes executivos das entidades membros do GNUDS. O Vicepresidente do GNUDS tamén convoca ó Grupo Central do GNUDS composto por DESA, FAO, OIT, PNUD, UNESCO, UNFPA, ACNUR, UNICEF, ONU Mulleres, PMA, OMS e o presidente rotatorio das Comisións Económicas Rexionais. ALBERTO NÚÑEZ SABARÍS 48 resolución da Asemblea Xeral (72/279)29 que sirve como un instrumento para o seguimento e a avaliación das operacións de desenvolvemento das Nacións Unidas. A Asemblea Xeral supervisa o traballo do GNUDS e moitas das súas entidades membros a través do seu Comité Económico e Financeiro (Segunda Comisión). Este comité aborda cuestións relacionadas co crecemento económico e o desenvolvemento, como cuestións de política macroeconómica, financiamento para o desenvolvemento, desenvolvemento sostible, erradicación da pobreza, globalización e interdependencia, actividades operativas para o desenvolvemento e tecnoloxías da información e a comunicación para o desenvolvemento. A través da súa Segunda Comisión, a Asemblea Xeral leva a cabo un exame exhaustivo das políticas, das actividades operacionais para o desenvolvemento do sistema das Nacións Unidas. Esta resolución responde ó mandato definido pola Asemblea Xeral30 e o Consello Económico e Social (ECOSOC)31. A resolución 72/279 da Asemblea Xeral das Nacións Unidas eleva o Marco de Axuda para o Desenvolvemento das Nacións Unidas (rebautizado como Marco de Cooperación para o Desenvolvemento Sostible das Nacións Unidas32 – UNSDCF nas súas siglas en inglés) como o instrumento máis importante para a planificación e execución das actividades das Nacións Unidas para o desenvolvemento en cada país, en apoio da implementación da Axenda 2030 para o Desenvolvemento Sostible (Axenda 2030). Dadas as aspiracións da Axenda 2030 e a urxencia do seu calendario, a resolución supón un cambio significativo. O Marco de Cooperación guía agora todo o ciclo do programa, impulsando a planificación, implementación, seguimento, presentación de informes e avaliación do apoio colectivo da ONU para acadar a Axenda 2030 nun país. O Marco de Cooperación determina e reflicte as contribucións do sistema de desenvolvemento da ONU no país e establece a configuración dos activos da ONU necesarios dentro e fóra do país33. O GNUDS definiu as directrices aos equipos das Nacións Unidas nos países para que planifiquen, financien, executen e avalíen o seu apoio ós países co fin de acadar os Obxectivos de Desenvolvemento Sostible (ODS), polo xeral durante un ciclo de cinco anos. O Marco de Cooperación das Nacións Unidas para o Desenvolvemento Sostible (“Marco de Cooperación”) ocupa un lugar central do ciclo e está deseñado e asinado conxuntamente polo sistema das Nacións Unidas para o desenvolvemento e o Goberno do país receptor. 29 Resolución 72/279 aprobada pola Asemblea Xeral o 31 de maio de 2018. Novo posicionamento do sistema das Nacións Unidas para o desenvolvemento no contexto da revisión cuadrienal ampla da política relativa ás actividades operacionais do sistema das Nacións Unidas para o desenvolvemento. 30 Que establece orientacións clave de políticas en todo o sistema para a cooperación ó desenvolvemento e as modalidades a nivel de país do sistema da ONU. 31 Que proporciona coordinación e orientación ó sistema da ONU para garantir que esas políticas se implementen. 32 Aplicación da resolución 71/243 da Asamblea Xeral sobre a revisión cuadrienal amplia da política relativa ás actividades operacionais do sistema das Nacións Unidas para o desenvolvemento, 2019, informe do Secretario Xeral, A/74/73-E/2019/4. Versión avanzada sen editar, párrafo 47. 33 GNUDS | Orientaciones relativas al Marco de Cooperación de las Naciones Unidas para el Desarrollo Sostenible MARCO TEÓRICO 49 Figura 6. O ciclo do Marco de Cooperación das Nacións Unidas Fonte: GNUDS, 201934 Segundo esas directrices, materializadas na Guía para elaboración do Marco de Cooperación para o Desenvolvemento Sostible das Nacións Unidas - Directrices internas (UNSDG, 2019) o Marco de Cooperación utiliza tres modalidades de aplicación que se reforzan mutuamente: Programación centrada nos resultados: Os ODS constitúen o marco de referencia para a formulación e aplicación do Marco de Cooperación. Polo tanto, os obxectivos dos ODS deben reflectirse en resultados prioritarios que representen cambios nas capacidades institucionais e de comportamento para o desenvolvemento. Facendo uso da xestión baseada en resultados, o sistema de desenvolvemento das Nacións Unidas garante que os recursos se dirixan á mellora das condicións de desenvolvemento das poboacións ás que se dirixen os proxectos. Isto require determinar as hipóteses clave sobre o contorno de programación e avaliar os riscos e as medidas de xestión asociadas. Defínense indicadores para supervisar o progreso e medir a consecución de resultados, prestando atención aos datos, á xeración de información e ao apoio aos sistemas estatísticos e de información nacionais. As responsabilidades deben estar claramente establecidas e apoiadas por sólidos mecanismos de presentación de informes. A atención cara os resultados debe manterse ao longo de todo o ciclo do Marco de Cooperación, tamén durante o seguimento e avaliación. Desenvolvemento de capacidade: os resultados en materia de desenvolvemento deben ser sostidos e consolidarse. O desenvolvemento da capacidade – o proceso polo cal os individuos, as organizacións e a sociedade no seu conxunto despregan, fortalecen, crean, adaptan e manteñen a súa capacidade ao longo do tempo – é fundamental para manter os resultados relativos ao desenvolvemento social, económico e ambiental. Ademais, tamén serve para maximizar a eficacia e a eficiencia do desenvolvemento e a implicación nacional nel, garantindo que os actores nacionais poidan xestionar e prestar servizos aos grupos obxectivo de forma eficaz, eficiente e autosuficiente. 34 UNSDG (2019). Marco de cooperación de las Naciones Unidas para el Desarrollo Sostenible. Directrices Internas. ALBERTO NÚÑEZ SABARÍS 50 Apoio político coherente: a natureza interconectada dos ODS require coherencia política e enfoques intersectoriais máis integrados. O sistema das Nacións Unidas para o desenvolvemento debe combinar os seus diversos mandatos e complementarios, os seus coñecementos e as súas aportacións técnicas para proporcionar un apoio político eficaz, completo e coherente aos socios nacionais. A coherencia das políticas garante que non haxa contradicións entre os marcos de políticas e programas nacionais, e que estes estean harmonizados cos compromisos de desenvolvemento e a adhesión ao dereito internacional. Polo tanto, os marcos de cooperación deben: “a) aliñarse coas prioridades e plans nacionais, as estratexias e obxectivos nacionais dos ODS e os marcos de políticas acordados a nivel internacional e rexional que definen enfoques integrados para o desenvolvemento sostible; b) mellorar as sinerxías entre os ámbitos de intervención (coherencia horizontal) e a súa harmonización cos obxectivos nacionais de desenvolvemento; e c) reforzar a coherencia entre as iniciativas de desenvolvemento, asistencia humanitaria e de consolidación da paz e mecanismos de dereitos humanos en contextos relevantes para a consecución e a sostibilidade da paz e o progreso do desenvolvemento” (UNSDG, 2019:15). Así pois, o desenvolvemento de capacidade aparece na centralidade das estratexias das axencias da ONU nos países. O GNUDS propón unha serie de accións para a integración do desenvolvemento de capacidade no Marco de Cooperación do Sistema das Nacións Unidas nos países. Destacase a continuación os principais elementos35: 1. A participación dos actores clave é fundamental para o desenvolvemento de capacidade durante todo o ciclo do Marco de Cooperación, xa que prepara o terreo para a apropiación, a rendición de contas e a complementariedade. O obxectivo nos momentos iniciais de preparación do Marco de Cooperación é comezar un diálogo co fin de construír unha asociación entre os actores, os diferentes socios de desenvolvemento e as axencias do sistema da ONU. Tendo en conta o principio de non deixar a ninguén atrás (LNOB), é fundamental colaborar con todos os actores relevantes, incluídos os grupos con organizacións que os representan, a miúdo débiles ou inexistentes. Identificar asociacións que poidan apoiar o desenvolvemento de capacidade mediante intervencións complementarias é un requisito previo para conseguir resultados. O diálogo e a coordinación continuados deben contribuír a garantir a coherencia e a complementariedade nas intervencións de desenvolvemento de capacidades realizadas por diversos actores e socios. Os pasos principais que se deben levar a cabo nesta fase do Marco de Cooperación inclúen: un mapeo completo dos actores realizada a través dun esforzo colaborativo no que participan directamente os actores; identificación de asociacións estratéxicas; e unha avaliación preliminar para identificar posibles necesidades de desenvolvemento de capacidades para permitir que os actores participen de forma máis eficaz no proceso. 2. A Análise Común de País36 (ACP) inclúe avaliacións de capacidade e análise de organizacións e funcionarios gobernamentais que poden informar 35 UNDG (2019). UNDAF COMPANION GUIDANCE: Capacity Development. 36 A análise común das Nacións Unidas sobre o país é a avaliación (é dicir, unha descripción da situación dun país) e análise (é dicir, unha descripción das causas e as súas repercusións) de carácter independente, imparcial e colectivo que leva a cabo o MARCO TEÓRICO 51 sobre a identificación de prioridades para o fortalecemento institucional e oportunidades para a colaboración en función das fortalezas comparativas das Nacións Unidas. A ACP inclúe, entre outros contidos, unha avaliación das capacidades dos titulares de obrigas (duty-bearers) para promover e protexer a capacidade dos titulares de dereitos (rights-holders) para reclamar os seus dereitos. A ACP debe identificar as principais capacidades a nivel individual, organizativo e do entorno propicio que aínda non estean plenamente implantadas, as causas profundas da falta de capacidade e enfoques para desenvolver esas capacidades. A ACP debe establecer as liñas de base para o seguimento e a avaliación, e debe informar a teoría do cambio, que explora os enfoques que poden apoiar o desenvolvemento de capacidade a través de programas e proxectos e/ou a través da cooperación Sur-Sur e triangular e outras asociacións. A Visión 2030 da ONU37 sitúa a avaliación e análise a medio prazo da ACP sobre as brechas de capacidade e das necesidades de desenvolvemento de capacidades nunha perspectiva a longo prazo. Os pasos clave que se deben levar a cabo nesta fase inclúen: unha avaliación completa das necesidades de capacidade centrada nos niveis individuais, organizativos e do entorno propicio; un inventario de enfoques baseado en evidencias para apoiar o desenvolvemento da capacidade; e establecemento de liñas de base relacionadas coa capacidade e consolidación de asociacións estratéxicas. 3. A teoría do cambio do Marco de Cooperación articula as vías para o desenvolvemento de capacidade, é dicir, as explicacións de por que se cre que determinados resultados e actividades conducen a un aumento da capacidade. O cadro de resultados do Marco de Cooperación establece os obxectivos dos esforzos de desenvolvemento de capacidade, é dicir, cambios medibles na capacidade. Polo tanto, na formulación da teoría do cambio o fortalecemento de capacidade é tanto un medio de implementación do MC como un obxectivo de desenvolvemento para maximizar os resultados e facelos sostibles. As asociacións estratéxicas deben integrarse en compromisos concretos neste momento. Os pasos clave que se deben levar a cabo inclúen: identificación e formulación de oportunidades para o desenvolvemento de capacidades, baseándose en evidencias e enfoques probados; identificación e formulación de obxectivos de desenvolvemento de capacidades no cadro de resultados do MC; e integración de asociacións estratéxicas e establecemento dunha división do traballo. Segundo o UNDG (2019), e no marco das políticas para o desenvolvemento das Nacións Unidas, unha teoría do cambio é un método que explica como se espera que unha determinada intervención, ou conxunto de intervencións, conduza a un cambio de desenvolvemento específico, baseándose nunha suposición causal, baseada en evidencias dispoñibles. A teoría do cambio para o Marco de Cooperación debe estar impulsada por sistema das Nacións Unidas sobre a situación dun país para o seu uso interno na elaboración do Marco de Cooperación. Nel examínanse os avances, as deficiencias, as oportunidades e os obstáculos con respecto ó compromiso dun país en cumprir a Axenda 2030, as normas e estándares das Nacións Unidas e os principios da Carta das Nacións Unidas, en particular segundo se reflicte nos principios reitores do Marco de Cooperación (UNEG, 2019). 37 O exercicio da ONU Visión 2030 debe axudar ao UNCT (Equipo de País das Nacións Unidas) a contextualizar o seu plan cunha perspectiva a longo prazo, aliñada coa visión e as prioridades do goberno e doutros actores, durante a duración da Axenda 2030. Polo tanto, é esencial aproveitar as capacidades e recursos nacionais. Algúns países levan a cabo unha planificación multianual da visión, e os equipos de país poden preparar a Visión 2030 da ONU aliñando cos instrumentos nacionais (UNDAF COMPANION GUIDANCE: THE UN VISION 2030, UNDG. ALBERTO NÚÑEZ SABARÍS 52 análises sólidas, consultada con actores clave e partir da aprendizaxe sobre o que funciona e o que non en diversos contextos extraídos das experiencias da ONU e dos seus socios. A teoría do cambio debe axudar a identificar solucións para abordar eficazmente as causas dos problemas que dificultan o progreso e guían as decisións sobre que enfoque debe adoptarse, considerando as vantaxes comparativas das Nacións Unidas, a eficacia, a viabilidade e as incertezas que forman parte de calquera proceso de cambio. A teoría do cambio tamén axuda a identificar os supostos e riscos subxacentes que serán vitais para comprender e revisitar durante todo o proceso para garantir que o enfoque contribúe ao cambio desexado. 4. Fomenta a formulación de programas e proxectos da ONU (conxuntos ou específicos de cada axencia) co desenvolvemento de capacidades como factor de base para a consecución de resultados de desenvolvemento. O cadro de resultados do MC debe presentar os resultados previstos dos esforzos de desenvolvemento de capacidades, vinculándoos así coa consecución dos obxectivos, resultados e metas de desenvolvemento nacionais. Os pasos clave que se deben levar a cabo nesta fase inclúen: a formulación de programas e proxectos da ONU que integren obxectivos/resultados de desenvolvemento de capacidades e a súa medición; definición dunha teoría do cambio e selección do camiño crítico que se centre no progreso do desenvolvemento impulsado por capacidades; identificación de oportunidades para conectar coñecementos e solucións de forma sostible; ter en conta a innovación, incluso a través de asociacións co sector privado, fundacións e filantropía cara novas formas de transferir coñecemento e fortalecer as institucións e as capacidades individuais; e identificación de oportunidades de cooperación Sur-Sur e triangular que mellor poidan servir ao propósito dun progreso rápido e sostible mediante a aprendizaxe mutua e os intercambios horizontais de coñecemento e experiencia. 5. Implementar proxectos e intervencións de desenvolvemento de capacidade, supervisar o progreso e tomar medidas correctoras baseadas en evidencias. Para obter resultados máis sostibles a longo prazo, a implementación deberá xestionarse a través de sistemas e procesos nacionais en lugar de a través dos sistemas paralelos de socios externos. O feito mesmo de utilizar sistemas nacionais pode axudar a fortalecer capacidades esenciais, como a xestión de proxectos e a contratación. Os pasos clave nesta fase inclúen: implementación de programas e proxectos en colaboración e/ou consulta cos actores nacionais e outras axencias e socios das Nacións Unidas; involucrar un organismo nacional (preferentemente xa existente) composto por actores clave e axencias da ONU para supervisar o seguimento e avaliación dos programas e proxectos; establecer obxectivos e fitos e realizar regularmente exercicios de seguimento do progreso ao longo do período de execución, en consonancia coa teoría do cambio e o cadro de resultados do MC, e co liderado do órgano de seguimento e avaliación; e revisar as estratexias segundo sexa necesario en consonancia cos resultados do seguimento. 6. Realizar regularmente avaliacións de programas e proxectos de acordo co marco de avaliación establecido pola ONU e contra as liñas de base determinadas durante a análise da capacidade. Os pasos clave que se deben levar a cabo nesta fase inclúen: baixo o liderado do órgano de seguimento e avaliación, establecer un calendario de avaliación regular, que inclúa polo MARCO TEÓRICO 53 menos unha avaliación intermedia e unha avaliación final dos proxectos; incluír criterios de avaliación específicos para as intervencións de desenvolvemento de capacidades de acordo cos criterios de avaliación da calidade do Marco de Cooperación e discutir recomendacións de avaliación e tomar as medidas necesarias para mellorar as intervencións de desenvolvemento de capacidades; e establecer unha estratexia de comunicación sobre os resultados da avaliación. 2.4 AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO No cambio de século houbo un aumento da importancia dada ao seguimento e avaliación (M&E na súa terminoloxía en inglés usada de forma cotiá) das políticas ao desenvolvemento que foi descrita como un tema e negocio de crecente interese (Leeuw, 2001). Chen (1990) argumenta que a aparición do M&E como profesión reflicte a tendencia de crecente interese pola racionalización e rendición de contas nas políticas ao desenvolvemento. Como se sinalou anteriormente neste documento, as reformas do sector público dos últimos anos, fundamentalmente dende os anos 80, impactaron nos enfoques e necesidade crecente da rendición de contas e avaliación. Coa crecente percepción de que a asistencia para o desenvolvemento non levou a melloras sostibles, os gobernos dos países occidentais desenvolvidos están sometidos a unha presión cada vez maior para demostrar que os seus limitados recursos financeiros se están gastando de forma eficiente e que os resultados do desenvolvemento se están a realizar (Owen, 2004). Owen sostén no seu estudo que o énfase na avaliación do rendemento dos anos 90 e principios de século adoptou un enfoque da nova xestión pública, relacionado co uso do pago por resultados. Isto implica informar dos resultados a unha autoridade superior para xustificar os recursos empregados en relación aos resultados obtidos. Non obstante, Owen suxire que tal enfoque de avaliación produce pouca información útil para as autoridades superiores. Con demasiada frecuencia, estes informes conteñen información simple que, finalmente, non inflúe na toma de decisións sobre o programa ou organización obxecto de revisión. Ademais, as relacións baseadas na rendición de contas convencional son moitas veces de natureza antagónica. Isto leva a situacións nas que os xestores fan o necesario para xustificar o que fixeron, co fin de protexerse a si mesmos, ás súas organizacións e aos seus orzamentos (Owen, 2004). O enfoque de xestión pública e o desenvolvemento de novos acordos internacionais, como a Declaración de París sobre a eficacia da axuda (Paris Declaration on Aid Effectiveness) (OECD, 2005), influíron na forma en que se prestou a axuda ao desenvolvemento. Diminuíu a asistencia baseada en proxectos, onde os doadores mantiñan un alto grao de control sobre o deseño, implementación e xestión de iniciativas de desenvolvemento, mentres aumentaron os programas e o apoio orzamentario. Cun menor papel dos doadores no deseño e implementación dos programas baixo os novos acordos de axuda, o papel e responsabilidades dos gobernos dos países receptores da axuda para planificar, implementar, supervisar e avaliar o seu propio desenvolvemento convertéronse no centro de atención (Banco Mundial, 2004). Como consecuencia, un dos factores principais que motivaron que os gobernos dos países en desenvolvemento desenvolveran a súa capacidade de M&E foi satisfacer a demanda dos doadores en rendición de contas sobre os resultados do desenvolvemento (Banco Mundial, 2004). Como tal, depositáronse expectativas significativas nos países en desenvolvemento para desenvolver unha capacidade de M&E que satisfaga as necesidades de múltiples actores (Banco Mundial, 2004; Holvoet e Renard, 2005). Holvoet e Renard (2007) afirman que os doadores queren resultados de M&E de alto alcance e de forma rápida, ao contrario das leccións para o desenvolvemento de capacidade que se comentaron anteriormente nesta tese, no sentido de requiren procesos longos e pilotados dende o local. Polo tanto, o peso das expectativas dos ALBERTO NÚÑEZ SABARÍS 54 doadores pode minar a capacidade dos países para desenvolver sistemas de M&E (Holvoet e Renard, 2007). Un consenso clave que impulsa o desenvolvemento de sistemas de M&E é que medir os procesos e/ou os resultados é valioso, e contribúen positivamente a unha boa xestión do sector público e a unha mellor prestación de servizos. Como foi sinalado previamente nesta tese, o desempeño ou rendemento organizacional foi unha preocupación fundamental para os estudosos da xestión pública (Amirkhanyan, Kim e Lambright 2008; Boyne 2003; Boyne et al. 2005; Brewer e Selden 2000; Meier et al. 2007; Moynihan e Pandey 2005; Rainey e Steinbau 1999; Selden e Sowa 2004 como se citou en Amirkhanyan et al, 2014). No campo do desenvolvemento internacional, pódese mellorar a gobernanza, a rendición de contas, a transparencia e desenvolver unha cultura centrada no rendemento mediante sistemas rutineiros de retroalimentación baseados na información (Banco Mundial, 2004). Algúns autores, como Bedi et al. (2006) nun estudo para o Banco Mundial, sinalan que a medición regular do desempeño, utilizando indicadores cuantitativos e cualitativos que se centran principalmente na eficiencia dos inputs, actividades e produtos, serve como fonte de autoridade, para informar e lexitimar as decisións directivas. A expectativa é que a medición garantirá que as organizacións realicen as súas funcións asignadas e, unha vez que a información de medición estea dispoñible, os políticos, os burócratas, os parlamentarios e outros utilizarán a información para tomar decisións de desenvolvemento xunto coas axencias e doadores. Polo tanto, a información ten un uso instrumental que conduce a decisións e accións que se supón que son mellores e teñen máis probabilidades de levar a resultados positivos. 2.4.1 A definición dos criterios de avaliación O Comité de Axuda ao Desenvolvemento (CAD) da Organización para a Cooperación e o Desenvolvemento Económico (OCDE) estableceu por primeira vez os criterios de avaliación (relevancia ou pertinencia, eficacia, eficiencia, impacto e sostibilidade) nos Principios de Avaliación da Axuda ao Desenvolvemento da OCDE DAC en 199138 e, posteriormente, definiu os seus termos en 2002 no Glosario dos principais termos de avaliación e xestión por resultados. Estes cinco criterios convertéronse na referencia básica para a avaliación de proxectos, programas e políticas de desenvolvemento e acción humanitaria internacional. Máis aló do ámbito da cooperación ao desenvolvemento, os avaliadores e quen as encargan tamén empregan estes criterios noutros ámbitos da política pública. Segundo o Glosario de termos do 2002, os criterios quedaron definidos da seguinte forma (OECD-DAC, 2002): Pertinencia ou relevancia: medida en que os obxectivos dunha intervención para o desenvolvemento son congruentes cos requisitos dos beneficiarios, as necesidades do país, as prioridades globais e as políticas dos asociados e doadores. Nota: En retrospectiva, a cuestión da pertinencia soe referirse a se os obxectivos ou o deseño dunha intervención seguen sendo axeitados ainda cando mudaran as circunstancias (OECD-DAC, 2002:32). Eficacia: medida en que se lograron ou se agarda lograr os obxectivos da intervención para o desenvolvemento, tomando en conta a súa importancia relativa. Nota: Utilízase tamén como medida agregada o xuízo sobre o mérito 38 OECD, 1991. DAC Principles for Evaluation of Development Assistance Development Assistance Committee. OECD, Paris, 1991 MARCO TEÓRICO 55 ou o valor dunha actividade, é dicir, o grao no cal unha intervención acadou, ou se espera que acade, os seus principais obxectivos pertinentes de maneira eficaz, en forma sostible, e cun impacto institucional positivo no desenvolvemento (OECD-DAC, 2002:20). Eficiencia: medida en que os recursos/insumos (fondos, tempo, etc.) se converteron economicamente en resultados (OECD-DAC, 2002:21). Impactos: efectos de longo prazo positivos e negativos, primarios e secundarios, producidos directa ou indirectamente por unha intervención para o desenvolvemento, intencionadamente ou non (OECD-DAC, 2002:24). Sostibilidade: continuidade dos beneficios dunha intervención para o desenvolvemento despois de concluída. Probabilidade de que continúen os beneficios no longo prazo. Situación na que as vantaxes netas son susceptibles de resistir os riscos co paso do tempo (OECD-DAC, 2002:36). No ano 2017, o CAD da OCDE decidiu39 estudar a adaptación dos cinco criterios clave de avaliación de acordo coa Axenda 2030. A Rede de avaliación do Desenvolvemento do CAD (EvalNet)40 levou a cabo tal adaptación nos anos 2018 e 2019. Segundo a revisión, introdúcense diferentes matices nos criterios de avaliación co seguinte resultado por criterio (CAD-OCDE, 2019)41 que é o usado nesta tese: 2.4.1.1 Relevancia ou pertinencia O grao en que os obxectivos e deseño da intervención responden ás necesidades, as políticas e prioridades dos beneficiarios42, dos socios/institucións e do país, así como ás prioridades globais, e continúan facéndoo aínda cando as circunstancias cambien. Segundo a nota do DAC-OCDE (2019) “Responder a" significa que os obxectivos e deseño da intervención teñen en conta as condicións económicas, ambientais, de equidade, sociais, políticas e de capacidade nas que se realiza a intervención. O termo "socios/institucións" inclúe os gobernos (nacionais, rexionais, locais), organizacións da sociedade civil, entidades privadas e organizacións internacionais que participan no financiamento, execución ou supervisión da intervención. Avaliar a relevancia implica examinar as diferenzas e os compromisos entre as diferentes prioridades ou necesidades. Require unha análise dos posibles cambios no contexto para avaliar en que medida a intervención pode ser (ou foi) adaptada para seguir sendo relevante. Así, chámase a atención sobre algúns aspectos novidosos na nova definición (ver Figura abaixo). 39 Comunicado do DAC OCDE de Alto Nivel do 31 de outubro de 2017 40 Organismo subsidiario do CAD responsable de apoiar o proceso de avaliación e consolidar unha base de evidencias para a formulación de políticas e a aprendizaxe 41 OECD/DAC Network on Development Evaluation (2019). Better Criteria for Better Evaluation Revised. Evaluation Criteria Definitions and Principles for Use. 42 Segundo a definición do DAC-OCDE enténdese persoas beneficiarias como os "individuos, grupos ou organizacións, destinatarias ou non, que se benefician directa ou indirectamente da intervención de desenvolvemento". Poden utilizarse outros termos, como "titulares de dereitos" ou "persoas afectadas" ALBERTO NÚÑEZ SABARÍS 62 ocorre o cambio, Weiss (2000) distingue entre dous tipos de teoría do cambio: implementación e programática. En consonancia cos outros autores mencionados anteriormente, describe a teoría do programa como os mecanismos causais que fan que os cambios ocorran. Cando este autor se refire á teoría de implementación describe os pasos a dar na implementación dun programa. A diferencia radica en que un programa pode ter unha teoría programática global, pero se o programa se implementa en diferentes lugares pode ter diferentes teorías de implementación que explican como se desencadean os mecanismos causantes. Os mecanismos son un elemento importante das teorías do cambio. Chen (2004) refírese ós mecanismos como unha variable de apalancamento. Leeuw (2003) describe as causas como os mecanismos que poden considerarse os motores que impulsan as políticas ou programas e que os fan efectivos. Pawson e Tilley (1997) tamén introducen o concepto de mecanismos a través da súa noción de avaliación realista xa mencionada. Na avaliación realista, segundo estes autores, a teoría do programa está composta de contexto, mecanismo e resultados. O contexto refírese á localización espacial e institucional, así como ás normas, valores e interrelacións existentes onde opera o programa. Os mecanismos son as opcións e capacidades que conducen a patróns de comportamento regulares. Os resultados, tanto os pretendidos como os non desexados, son os resultados xerados a partir da implementación do programa. Estes autores argumentan que os programas presentan oportunidades que as persoas que operan dentro de estruturas e organizacións poden optar por tomar. Os resultados resultantes dependerán de como actúen nun contexto determinado os mecanismos. Polo tanto, as teorías do cambio poden distinguir factores causais externos e internos. Un factor causal externo pode desencadear un factor causal interno se se dan as condicións adecuadas (Pawson and Tilley, 1997). Para Leeuw (2003) e Pawson e Tilley (1997), as teorías sociais próbanse a través da implementación do programa. Así os programas poden basearse nunha serie de suposicións comprobables a partir das interaccións dos tres compoñentes das teorías do cambio: contexto, mecanismos e resultados. Unha vez probadas, poden desenvolverse hipóteses que poden levar ao desenvolvemento de proposicións causais xerativas ou teorías do cambio. A avaliación realista tamén dá importancia ás persoas e ás súas accións, aumentando a complexidade de desenvolver teorías do cambio. A propia conciencia das persoas sobre as regras e patróns que proporcionan ou limitan as súas oportunidades pode provocar un desexo de cambio. Porén, a realización do cambio depende dos recursos dispoñibles para aqueles que queren o cambio, así como dos recursos dos que non queren o cambio. O contexto tamén transforma a ruta real do cambio, pode dificultar as accións das persoas e influír para que os mecanismos se activen ou non. Polo tanto, o coñecemento incompleto e imperfecto do contexto fai que o cambio sexa imprevisible e dificulta a súa explicación (Pawson e Tilley, 1997). O uso das teorías do cambio foi revisado por varios autores. En xeral, todos sinalan que, aínda existindo un acordo xeral sobre os contidos mínimos dunha teoría do cambio como modelos que describen como se supón que funcionan as intervencións; hai unha proliferación de diferentes interpretacións do que na práctica implica unha teoría do cambio, como desenvolvela e como representala (James (2011), Vogel (2012), e Stein e Valters (2012) citados en Mayne, 2015) Van der Knaap (2004) describe catro funcións básicas da teoría do cambio. En primeiro lugar, a teoría do cambio pode aumentar o foco programático para manexar mellor a complexidade. Con todo, o autor menciona a precaución ou risco de que o aumento do foco pode levar a unha distorsión da problemática. En segundo lugar, a articulación dunha teoría MARCO TEÓRICO 63 proporciona un marco de referencia para os actores constituíndo unha ferramenta para o debate articulando a participación sobre políticas ou programas. A teoría pode servir como punto de partida para realizar axustes e obter aprendizaxe para a mellora ou a innovación. Interesante para esta tese centrada no desenvolvemento de capacidades, o traballo de Stame (2004) destaca que as avaliacións baseadas na teoría poden axudar a desenvolver capacidades do sector público, así como desempeñar un papel educativo para que o público lles axude a comprender e afrontar mellor os procesos en torno ao desenvolvemento e implementación de programas. As teorías do cambio tamén poden informar e educar os actores sobre o alcance dos programas e os límites do cambio. Baseándose nesta idea, Reeler (2009) avoga pola teoría do cambio como instrumento para axudar aos actores a construír o seu pensamento e comprensión de procesos sociais complexos. Nunha revisión da calidade da avaliación do Departamento de Desenvolvemento Internacional do Reino Unido (DFID nas siglas en inglés), Perrin (2009: 28) sinala que: É necesario o desenvolvemento e uso de modelos de teoría do cambio axeitados que articulen e comecen a abranguer a natureza complexa e difusa dos enlaces entre o que fai o DFID e un impacto máis amplo. Esta xustificación apoia as realizadas por outros autores xa sinalados previamente nesta revisión, como van der Knaap (2004), Stame (2004) e Reeler (2007). Desde unha perspectiva de política ou de xestión, Chen (1990) promove que as avaliacións usen enfoques baseados na teoría, alegando que articular a teoría subxacente do cambio do programa permite que se probe de maneira que se revele que se o programa fallou pode atribuírse ao fracaso da implementación ou da teoría. Patton (2008) reitera, no mesmo senso, a necesidade de distinguir entre o fracaso da teoría e o fracaso da implementación, particularmente se a avaliación vai ser útil para a toma de decisións. O fracaso da teoría está relacionado co feito de que a teoría na que se baseaba un programa non funcionou. O fallo de implementación significa que a eficacia da teoría subxacente do cambio non foi probada porque non se implementou adecuadamente. Por último, en forma de resumo, Mayne e Jhonson (2015) sinalan que as teorías do cambio teñen unha ampla gama de posibles usos no desenvolvemento, xestión e avaliación das intervencións; e o uso vén definido pola orientación en diferentes dominios: Deseño/planificación de intervencións 1. Deseño de intervencións 2. Comprensión e consenso das intervencións cos grupos de interese 3. Identificación e abordaxe de cuestións de equidade, xénero e emporwerment 4. Avaliación ex ante das intervencións Xestión de intervencións 5. Deseño de sistemas de seguimento 6. Comprensión da implementación, xestión adaptativa e aprendizaxe Avaliación das intervencións 7. Deseño de preguntas, métodos e ferramentas de avaliación 8. Elaboración de afirmacións causais sobre o impacto 9. Elaboración de informes de resultados ALBERTO NÚÑEZ SABARÍS 64 Expansión ou escalado 10. Xeneralizar a teoría da intervención a outras localizacións e para ampliar a escala. A continuación sinálanse algunhas ideas desenvolvidas respecto dos enfoques da teoría do cambio na avaliación de programas. Hai máis de trinta anos Wholey et al. (1970) e Weiss (1972), no contexto de estudos sobre avaliacións e o seu impacto na mellora dos programas, fixeron unha defensa dos enfoques baseados na teoría como un enfoque adecuado para mellorar o deseño de programas, a súa implementación e avaliación. Weiss suxeriu que o uso dos resultados da avaliación podería mellorarse se houbese unha análise dos fundamentos teóricos dos programas, mostrando a articulación dos enlaces entre os recursos e os resultados. A pesar destas conclusión os enfoques impulsados pola teoría non foron adoptados substancialmente para mellorar os programas para o desenvolvemento ata épocas recentes. Weber (2006) aportou ó debate dúas explicacións sobre por que os enfoques de teoría do cambio non foron adoptados amplamente. En primeiro lugar, o interese predominante por variables e aproximacións estatísticas levou a un desinterese pola comprensión dos procesos e a causalidade. En segundo lugar, diferentes posicións epistemolóxicas e ontolóxicas por parte dos académicos levaron a unha falta de compromiso crítico mantendo as súas posicións teóricas invariables. En xeral, existe unha tensión central que subxace aos enfoques da teoría do cambio, isto é a medida en que se espera que se poidan elaborar mellores programas. Van der Knaap (2004) sinala que se pode argumentar que é posible saber e xerar coñecemento que nos poida dicir o que funciona e por que. A avaliación, neste contexto, consiste en buscar a verdade e debe levar a melloras na teoría existente ou ao desenvolvemento doutras novas. Pawson e Tilley (1997), á vez que promoven os enfoques de teoría do cambio, recoñecen que existe unha limitación nas ambicións explicativas de avaliación realista. Sanderson (2002) suxire de forma similar que é necesario ser modesto en canto ás expectativas sobre o que a avaliación baseada na teoría pode ofrecer. Pawson and Tilley (1997) sosteñen que non hai unha solución única e óptima, e aínda que a avaliación pode ser un proceso de aprendizaxe pode non ser un proceso que conduza ao desenvolvemento de leis ou teorías universais. Rogers (2008) sostén que as teorías do cambio son un enfoque útil para avaliar non só intervencións simples, senón tamén complexas como foi anteriormente sinalado. Para este autor son as discusións que teñen lugar no desenvolvemento de lóxicas de programas complicados e complexos os que son valiosas. Rogers avala a necesidade de xerar procesos comunicativos, interactivos e participativos no desenvolvemento da teoría de programas para orientar a planificación, a xestión e a avaliación. Weiss (1987, citado en Stame, 2004) comenta que a avaliación é unha actividade racional nun ambiente político. No ámbito do desenvolvemento internacional, a avaliación das intervencións de desenvolvemento de capacidades está politizada polos doadores e os seus representantes que desexan demostrar os resultados dos programas, por parte dos gobernos destinatarios que poden desexar obter máis financiamento, e por consultores que poden ter tamén intereses comerciais. Van der Knaap (2004) argumenta que as fortalezas e debilidades da avaliación baseada na teoría esixen unha comprensión máis ampla da racionalidade. Os que desenvolven, implementan e avalían políticas e programas deben estar abertos á incerteza, á complexidade, ao cuestionamento e á discusión. MARCO TEÓRICO 65 Segundo o Grupo das Nacións Unidas para o Desenvolvemento Sostible44 unha teoría do cambio é un método que explica como se espera que unha determinada intervención, ou conxunto de intervencións, conduza a un cambio de desenvolvemento específico, baseándose nunha suposición causal, a partir de evidencias dispoñibles. Unha teoría do cambio para a elaboración do Marco de Cooperación das Nacións Unidas debe estar impulsada por análises sólidas, con consulta a actores clave e partir da aprendizaxes sobre o que funciona e o que non en diversos contextos extraídos das experiencias da ONU e dos seus socios. Unha teoría do cambio debe axudar a identificar solucións para abordar eficazmente as causas dos problemas que dificultan o progreso e guían as decisións sobre que enfoque debe adoptarse, considerando as vantaxes comparativas das Nacións Unidas, a eficacia, a viabilidade e as incertezas que forman parte de calquera proceso de cambio. Unha teoría do cambio tamén axuda a identificar os supostos e riscos subxacentes que serán vitais para comprender e revisitar durante todo o proceso para garantir que o enfoque contribúe ao cambio desexado. Este é o enfoque utilizado nesta tese. No apartado 4. Proposta de modelo para avaliación das estratexias de desenvolvemento de capacidade, afóndase na revisión dos enfoques de análise de contribución e da aplicación das teorías do cambio. 44 UNDAF COMPANION GUIDANCE: Theory of Change, UNDG ALBERTO NÚÑEZ SABARÍS 66 3 ESQUEMA DA INVESTIGACIÓN Figura 12. Ilustración dos pasos no proceso de investigación. Elaboración do autor O obxecto de estudo da tese é o desenvolvemento de capacidade e a avaliación das políticas ao desenvolvemento, en especial as deseñadas e executadas polas axencias do Sistema das Nacións Unidas. Como máis adiante neste documento se analiza, a pesar da existencia do Grupo das Nacións Unidas para o Desenvolvemento45, cada axencia ten as súas políticas de avaliación tendo en común a práctica de realizar avaliacións de proxectos, intervencións temáticas ou dos Programas de País, que son aqueles programas multianuais asinados polos gobernos dos países e as axencias, documento onde se establecen os obxectivos e resultados buscados de forma conxunta. Esta tese parte da premisa que: (i) se se elaboran teorías do cambio dos programas e proxectos de desenvolvemento, entón mellores estratexias e intervencións de desenvolvemento de capacidade poden ser formuladas; e (ii) se as avaliacións incorporan o enfoque da análise de contribución e estas integran a perspectiva do desenvolvemento de capacidades, entón podemos medir se as políticas e programas ao desenvolvemento están conseguindo resultados e se son sostibles. En definitiva, mellores deseños programáticos e avaliacións poden, á súa vez, aumentar a eficacia das intervencións de desenvolvemento de capacidades e, finalmente, conseguir mellores resultados de desenvolvemento. O obxectivo da investigación foi dobre: • Determinar en que medida se integra o enfoque de desenvolvemento de capacidades nas avaliacións das políticas ao desenvolvemento; • Explorar e aplicar unha modalidade de integración do enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións con 45 United Nations Sustainable Development Group no seu nome en inglés, é un órgano creado polo Secretario Xeral das Nacións Unidas en 1997 para mellorar a efectividade das actividades de desenvolvemento da ONU a nivel nacional. Revisión da bibliografía académica e dos marcos teóricos das organizacións multilaterais Proceso da investigación 2017 Deseño da investgación: preguntas de investigación, hipóteses, indicadores e ferramentas 1ª Parte: explorativa Determinar en que medida se integra o enfoque de desenvolvementode capacidades nas políticas e avaliacións do SNU 2023 1. Revisión documental de 50 avaliacións de axencias das Nacións Unidas 2. Perspectiva dos actores con foco en 8 países 3. Estudo de caso das iniciativas de desenvolvemento de capacidade nun país 2ª Parte: deseño Explorar e aplicar unha modalidade de integración do enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións con dous obxectos de estudo 1. Análise de caso de aplicación do modelo proposto: avaliación dun Programa de País 2. Análise de caso de aplicación do modelo proposto : avaliación dun proxecto ou intervención ESQUEMA DA INVESTIGACIÓN 67 dous obxectos de estudo: Programas de País das axencias das Nacións Unidas, e de un proxecto ou intervención específica. Dende o punto de vista temporal, a investigación comezou en 2017 ata fins de 2022. Este marco temporal permitiu o traballo en campo do investigador e a oportunidade de recadar información directa e aplicar conceptos na práctica da avaliación das políticas de desenvolvemento nos continentes americano, asiático e africano. A cobertura xeográfica do estudo é global e considera os países nos diferentes niveis de ingreso46. A figura 12 ilustra o proceso e principais elementos do esquema de investigación seguido. O dobre obxectivo perseguido estrutura a tese en dúas partes e enmarca as preguntas de investigación, así como a tipoloxía da investigación. Seguindo a Van Thiel (2021) a pregunta de investigación non só especifica o obxecto de estudo, tamén traza outros aspectos, como por exemplo as unidades de observación, indicación do tempo e lugar, ou que teorías se van usar. Así cada tipo de obxectivo de investigación está relacionada cun tipo de pregunta. A táboa 2 foi utilizada como referencia teórica para o encadre da investigación. Táboa 2. Tipoloxía de investigación por obxectivo e pregunta Obxectivo Pregunta Exemplo Exploración As preguntas son abertas e suponse que non hai moito coñecemento sobre o tema de estudo De que maneira usan as organizacións A e B indicadores para medir o seu rendemento? Descrición As preguntas céntranse nas características do tema de estudo Pode incluír unha descrición en termos teóricos Que indicadores usan as organizacións A e B para medir o seu rendemento? Que tipo de indicadores de input e output usan as organizacións A e B para medir o seu rendemento? Explicación Acostuma iniciar coa cuestión “por que” e o investigador trata de establecer as causas e circunstancias que permitiron certas actitudes ou políticas Baixo que condicións o uso de indicadores de rendemento polas organizacións A e B conducen a un rendemento máis produtivo? Ensaio Acostuman ser preguntas de tipo si/non. Baseado na teoría o investigador formula certas expectativas (hipóteses) O uso de indicadores de rendemento polas organizacións públicas A e B conducen a un rendemento máis produtivo se os empregados estiveron implicados no desenvolvemento deses indicadores? É verdade que canto máis implicados están os empregados nas etapas iniciais, máis produtivo será o seu rendemento finalmente? Diagnóstico As preguntas tratan de identificar problemas prácticos ou escollos Que problemas organizativos e financeiros encontran as organizacións A e B cando intentan introducir indicadores para medir o rendemento? Deseño As preguntas están orientadas a encontrar solucións a certos problemas. Normalmente refírese a medidas para mellorar, ou normas como “mellor” ou “máis eficiente” Como poden as organizacións públicas A e B introducir indicadores de rendemento sen encontrar resistencia do seu persoal? 46 O Banco Mundial clasifica os países en catro grupos, en función da renda nacional bruta per cápita: países de renda alta, media-alta, media-baixa e baixa. ALBERTO NÚÑEZ SABARÍS 68 Avaliación As preguntas de avaliación a miúdo proban cambios que se produciron nos procesos e resultados (intervencións) Conduciu a un rendemento máis produtivo do persoal a introdución de indicadores de rendemento nas organizacións A e B? Fonte: van Thiel, 2021 A primeira parte da investigación é do tipo exploratorio e está orientada a dar resposta a á pregunta: ¿Ata que punto se integra e mide o desenvolvemento de capacidade nas avaliacións dos programas e proxectos de desenvolvemento? As hipóteses formuladas a partir da literatura revisada sobre a temática, foron: - H1.1: as axencias do sistema das Nacións Unidas aplican o desenvolvemento de capacidade nos seus programas e proxectos mais non consideran o corpo teórico existente desenvolvido unha taxonomía ou tipoloxía das mesmas. - H1.2: as avaliacións das axencias das Nación Unidas non consideran de forma sistemática e maioritaria o corpo teórico existente sobre o desenvolvemento de capacidade no seu enfoque e metodoloxía. A segunda parte da investigación é do tipo deseño e está orientada a dar resposta a á pregunta: ¿É posible integrar e aplicar o enfoque de desenvolvemento de capacidade nas avaliacións dos programas e proxectos de desenvolvemento? As hipóteses foron construídas a partir dos resultados da primeira parte da investigación así como da literatura revisada sobre a temática: - H2.1: o desenvolvemento de capacidade pode ser integrado nos enfoques e metodoloxías de avaliación dos programas e proxectos de desenvolvemento. - H2.2: os esforzos de desenvolvemento de capacidade poden dar mellores resultados en termos de adopción, seguimento e sostibilidade dos programas e proxectos, só se se planifican, aplican e miden considerando os conceptos, características e tipoloxías existentes. Seguindo a Verschuren e Doorewaard (2010) a pregunta de investigación ten que ser viable e incorporar unha serie de atributos como que sexa relevante, precisa, útil, congruente e internamente lóxica e consistente. As preguntas que se buscan responder nesta investigación enténdese relevantes e aliñadas á bibliografía sobre a temática. Intenta contribuír a dotar de maior evidencia sobre a temática. Como xa se mencionou na introdución e se afonda na revisión bibliográfica, ten sido difícil verificar en que medida as modalidades de apoio dos doadores con compoñentes de desenvolvemento de capacidade teñen sido máis eficaces e produciron resultados máis sostibles que aquelas que carecen dun enfoque claro de desenvolvemento de capacidade, xa que a base de evidencias resultou insuficiente (SIDA, 2015). Ademais, observouse unha preeminencia da orientación das avaliacións cara a captar datos sobre efectos tanxibles e facilmente medibles, e menos a medir fenómenos menos visibles, como os cambios nas habilidades e comportamentos individuais ou nos sistemas e estruturas organizativas (SIDA, 2015). Segundo Andrews (2014) a boa definición do problema mobiliza aos actores a buscar solucións a desafíos complexos como os que as axencias da ONU están a traballar. A deconstrución do problema, desde un enfoque da Teoría do Cambio, axuda a fomentar esa acción, permitindo que os doadores, os reformadores e os responsables políticos pensen onde deberían actuar. Este exercicio pode axudar a identificar onde existe un gran espazo de cambio e onde está limitado, e mesmo como se pode construír o espazo de cambio ou enchemos o ESQUEMA DA INVESTIGACIÓN 69 espazo de cambio existente (Andrews, 2014). Así, as dúas preguntas de investigación buscan ser relevantes e contribuír a un maior coñecemento sobre a aplicación e avaliación do desenvolvemento de capacidade nas políticas ao desenvolvemento. As preguntas buscan tamén ser precisas na medida que o tema é singular, dentro das políticas ao desenvolvemento, pon o foco no desenvolvemento de capacidade utilizando taxonomías e tipoloxías propostas pola academia e os organismos. A investigación está delimitada en termos de unidades de observación, tempo e lugar. Así, xeograficamente ten dimensión global coas salvedades lingüísticas47 indicadas máis adiante, e no tempo, desde 2017 ata 2022; e centrase no estudo documental e de casos específicos. Dentro das políticas ao desenvolvemento, a tese está limitada ao sistema de desenvolvemento das Nacións Unidas, ainda que considera para a análise conceptual e discusión final organizacións fora deste ámbito. O seguinte atributo buscado coas preguntas é o de utilidade da investigación con orientación a dar unha resposta á problemática estudada. Por iso, o traballo non se queda no primeiro ámbito de estudo, isto é determinar en que medida se integra o enfoque de desenvolvemento de capacidades nas avaliacións do SNU; senón que busca, tralos resultados e constatación das hipóteses, aportar un modelo que é testado en dous casos. A orientación é que se sexa útil para avaliadores de políticas de desenvolvemento cun modelo de referencia que, a partir dos resultados conseguidos na súa aplicación, poidan ser tomadas as conclusións para futuras intervencións similares. Pretende tamén a tese mostrar a congruencia narrativa entre a teoría existente, detallada no apartado anterior, coa metodoloxía e modelo propostos. De igual forma, na discusión final e conclusións búscase a vinculación co coñecemento existente. Por último, buscouse que a investigación fose internamente lóxica e consistente. Así a investigación articulouse en dúas preguntas de investigación, coas súas hipóteses, indicadores de medición e métodos de investigación. As hipóteses reflexan os pasos intermedios que o investigador deu para testar os atributos da pregunta de investigación. 3.1 METODOLOXÍA Para dar resposta a este traballo serán utilizados diferentes métodos de investigación e tratamento da información. Como foi sinalado, a investigación está estruturada en dúas partes pola que se explica a metodoloxía organizada da mesma maneira. En todo caso, a metodoloxía aplicada para a segunda parte explícase con máis detalle no capítulo 5. Proposta de modelo para avaliación das estratexias de desenvolvemento de capacidade. Parte 1 O traballo de investigación comezou cunha revisión da bibliografía sobre a materia de desenvolvemento de capacidade e avaliación, con especial interese no enfoque da análise de contribución coa aplicación da Teoría do Cambio. A revisión bibliográfica considera tanto a produción investigadora publicada en libros e revistas académicas, como a produción normativa dos principais actores no eido do desenvolvemento internacional, como son o Sistema das Nacións Unidas, a Organización para a Cooperación e o Desenvolvemento Económicos (OCDE) ou o Banco Mundial, ademais de outros considerados. En segundo lugar, fíxose unha revisión documental dunha mostra de 50 avaliacións de tres axencias das Nacións Unidas, en concreto do Fondo das Nacións Unidas para a Infancia 47 O alcance da revisión é global limitada no caso dos informes de avaliación a aqueles en lingua inglesa, castelán, portugués e ruso. ALBERTO NÚÑEZ SABARÍS 70 (UNICEF), Fondo de Poboación das Nacións Unidas (UNFPA) e o Programa das Nacións Unidas para o Desenvolvemento (PNUD). A mostra foi aleatoria e inclúe países de tódolos continentes. O obxectivo desta revisión foi comprobar en que medida se incorpora o enfoque do desenvolvemento de capacidade nas avaliacións desas axencias. Estas axencias representan máis da metade dos recursos orzamentados nun país para o SNU nas súas políticas ao desenvolvemento; e teñen un mandato que abarca unha ampla variedade temática: (i) UNFPA: saúde sexual e reproductiva, xénero, xuventude e adolescencia, e temas de poboación e desenvolvemento; (ii) PNUD: desenvolvemento económico, medio ambiente e cambio climático, gobernanza democratica e dereitos humanos; e (iii) UNICEF: dereitos e protección da infancia, así como atender as dúas necesidades e fomentar oportunidades. Todas incorporan nas súas políticas enfoques transversais como o xénero, dereitos humanos ou o principio de “non deixar a ninguén atrás”. En terceiro lugar, fíxose unha análise focalizada en varios países dos continentes asiático, africano e americano sobre a percepción de actores clave de axencias da ONU (ou socios na terminoloxía das axencias das Nacións Unidas) que recibiran intervencións de desenvolvemento de capacidade. O obxectivo neste caso foi coñecer cal é a percepción dos actores sobre o traballo de desenvolvemento de capacidade na súa contorna. A fontes foron extraídas das avaliación sinaladas na bibliografía. A investigación realizou a análise de datos secundarios a partir de enquisas no marco de traballos máis amplos, o que permitiu ao investigador afondar en temas particulares do desenvolvemento de capacidades segundo é percibido polos receptores. En cuarto lugar, analizouse un caso de como se aplicou o desenvolvemento de capacidade nun País. O obxectivo foi, dunha forma máis intensiva, analizar un caso concreto dun país de ingresos medios-baixos (Taxiquistán)48 e axencia (UNICEF) para comprobar como operan as variables de investigación sobre o desenvolvemento de capacidade nunha análise focalizada aproveitando a posibilidade de observación directa e obtención de datos primarios por parte do investigador. En definitiva, cos métodos sinalados espérase poder medir e probar a existencia nas avaliacións examinadas dunha serie de indicadores chave: Existencia de matriz de avaliación, incluíndo variables ou indicadore sobre desenvolvemento de capacidade. Existencia de análise ou descrición da tipoloxía de intervencións de DC. Existencia de análise das necesidades do país en desenvolvemento de capacidades. Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de desenvolvemento de capacidade. Grao de valoración dos socios das axencias que reciben programas de desenvolvemento, especialmente intervencións de desenvolvemento de capacidade. Análise preliminar de resultados: triangulación da información. A triangulación de información é a o método seguido para validar os achados e formular as conclusións. A análise inicial serve para xerar información que permita documentar as cuestións 48 Data for Tajikistan, Lower middle income | Data (worldbank.org) consultado en decembro do 2022 ESQUEMA DA INVESTIGACIÓN 71 plantexadas na tese. Os primeiros resultados, de carácter cuantitativo, incorpóranse á perspectiva cualitativa, analizándoos no marco da revisión bibliográfica e normativa. Un risco para a investigación supón o nivel de calidade e dispoñibilidade da información que, en caso de ser defectuosa, podería levar á extracción de conclusións erróneas. Para minimizar este risco, contémplase a triangulación da información con tres enfoques e fontes diferentes: revisión dunha mostra de cincuenta avaliacións, datos de percepción de actores clave e estudo de caso sobre intervención de desenvolvemento de capacidade. A triangulación da información permite reducir a marxe de erro das interpretacións causais dos datos dispoñibles, identificando posibles produtos negativos ou nulos para obter o efecto buscado na hipótese ou, pola contra, posibles produtos positivos non identificados que afectan a validez da hipótese. Por outra banda, o sistema de triangulación da información permite reducir o sesgo ou prexuízos dos actores consultados, permitindo contrastar datos e informacións de distintas fontes. Con este uso refórzase a fiabilidade das conclusións e discusión da tese. En resumo, reprodúcese a lóxica empírica practicada na tese: En primeiro lugar, recóllense para cada hipótese da tese todas as evidencias e achados resultantes da análise dos datos e da documentación. Para cada unha das evidencias e achados elabórase unha relación de interpretacións. Determínase que relacións existen realmente a partir da análise triangulada da información obtida das técnicas mencionadas anteriormente. Posteriormente, desconsideráronse conclusións e interpretacións que non resistan o contraste de datos e informacións. Selecciónase as mellores interpretacións. Finalmente o autor enumera as conclusións, reformuladas se é o caso, e procede á discusión final Sempre que aparezan discrepancias substanciais ao comparar a información obtida de diferentes métodos de recollida, o autor tratou de descubrir o motivo. No caso de que isto non fose posible, descartáronse os resultados considerados. Na táboa resume do final deste apartado, indícanse os indicadores e métodos por pregunta de investigación. Parte 2 A partir dos resultados da investigación da parte primeira e da revisión bibliográfica, deseñouse unha proposta de modelo de avaliación que integrara o desenvolvemento de capacidades no enfoque da mesma. A segunda parte da investigación busca dar resposta á pregunta se é posible integrar e aplicar o enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións de Programas de País das axencias das Nacións Unidas e de intervencións ou proxectos. Así, a hipótese a comprobar é que o corpo teórico do desenvolvemento de capacidades pode ser integrado nos enfoques e metodoloxías de avaliación dos programas de país das axencias das Nacións Unidas e das intervención ou proxectos das mesmas axencias. O modelo proposto ten tres elementos fundamentais: (i) os criterios de avaliación tal como foron definidos pola OCDE-DAC, (ii) a taxonomía proposta polos investigadores en políticas do desenvolvemento do CID da Harvard e os niveis de desenvolvemento de capacidade segundo a doutrina das Nacións Unidas, e (iii) o enfoque de avaliación de análise de contribución ALBERTO NÚÑEZ SABARÍS 78 analizouse un caso concreto dun país de ingresos medios-baixos (Taxiquistán)1 e axencia (UNICEF) para comprobar como operan as variables de investigación sobre o desenvolvemento de capacidade nunha análise focalizada aproveitando a posibilidade de observación directa e obtención de datos primarios por parte do investigador. Preséntanse a seguir o resultados para cada unha das tres análises realizadas. 4.1 ANÁLISE DO TRATAMENTO DO DESENVOLVEMENTO DE CAPACIDADE NAS AVALIACIÓNS Como foi sinalado, fíxose unha revisión das avaliacións realizadas polas tres axencias das Nacións Unidas mencionadas tomando unha mostra aleatoria con representación xeográfica proporcional por continente, de cincuenta informes de avaliación máis os seus anexos, que foron producidos entre os anos 2018, 2019 e 2020 e están dispoñibles de forma aberta nas webs institucionais de ditas axencias. Desde o punto de vista xeográfico consideráronse tódolos continentes sempre que o informe estivese escrito en inglés, castelán, portugués ou ruso. Fíxose lectura e análise de contido das mesmas, utilizando unha ferramenta excel para sistematizar o estudo e analizando a presenza das seguintes variables: -Existencia dalgunha pregunta de avaliación sobre desenvolvemento de capacidades -Existencia de matriz de avaliación no informe de avaliación -A matriz de avaliación, si existe de acordo co punto anterior, inclúe variables ou indicadores relativos a desenvolvemento de capacidade que midan resultados máis alá do nivel de actividades ou productos, como formacións realizadas2. -Considérase no deseño ou a análise a tipoloxía de intervencións de DC, como por exemplo individual, organizativa e ambiente propicio. -Ofrécese unha análise das necesidades do país en canto a capacidades e a relevancia das intervencións realizadas -Evidencias de resultados (habilidades e destrezas) adquiridas como resultado das intervencións de DC Ademais destas variables, categorizáronse as avaliacións por (i) Nome da avaliación; (ii) Axencia da ONU; (iii) País da avaliación; (iv) Ano da avaliación e (v) Obxecto de análise indicando se é Programa de País ou Proxecto3. A seguir móstrase a táboa analítica que ofrece un valor numérico para cada variable, sendo 1=si, 0=non. 1 Data for Tajikistan, Lower middle income | Data (worldbank.org) 2 Se a resposta é negativa no primeiro punto porque se inclúe unha matriz deficiente segundo os estándares das políticas de avaliación das Nacións Unidas, a resposta tamén será negativa para este segundo punto. 3 Como cada axencia ten unha aproximación diferente ao traballo nos países, entendese proxecto dunha maneira ampla, todas aquelas intervencións que teñen unha orientación a resolver un problema nacional específico. 79 Táboa 5. Táboa de análise de DC nas de avaliacións de proxectos e programas de desenvolvemento. Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC 1 OUTCOME 1 Evaluation (sustainable livelihood opportunities, including economic recovery and social inclusion) PNUD Syria 2019 Programa de País 1 0 0 0 1 1 2 Sistema Nacional Público de Salud en el marco de una Política de Estado: La Comisión de Alto Nivel PNUD Panama 2018 Proxecto 1 0 0 0 0 0 3 Evaluación del Proyecto "Provisión de agua potable para comunidades indígenas en el Chaco paraguayo" PNUD Paraguay 2019 Proxecto 0 1 0 0 0 0 4 Evaluación de medio término del Proyecto Bosques para el Desarrollo Sostenible PNUD Paraguay 2018 Proxecto 0 0 0 0 0 0 5 Final evaluation of the Project on UN-REDD Mongolia National Programme PNUD Mongolia 2018 Proxecto 0 0 0 0 1 1 1 Programa de País ou Proxecto 2 Conforme modelo da axencia ALBERTO NÚÑEZ SABARÍS 80 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC 6 Evaluación Final del Programa de Primera Respuesta y Atención a Desastres PNUD Bolivia 2018 Proxecto 0 0 0 0 1 1 7 Evaluación final del proyecto ps 50363/output 62184 PNUD Panama 2018 Proxecto 1 0 0 0 0 0 8 Final Evaluation PREJUVE PNUD RBLAC 2018 Proxecto 1 0 0 0 1 0 9 Annual Evaluation of Project: Sustainable Development and Integrated Water Management PNUD Saudi Arabia 2019 Proxecto 0 0 0 0 1 1 10 Mid-term Evaluation for the project "Fostering Regional and Local Development in Georgia", Phase 2 PNUD Xeorxia 2020 Proxecto 0 0 0 0 0 0 11 Procurement Support Services to the Ministry of Health of Ukraine PNUD Ucraina 2020 Proxecto 1 1 1 0 1 0 12 Cross-border Cooperation for Sustainable Peace and Development Tajikistan_Kyrgyzstan PNUD Kirguizistán 2019 Proxecto 1 0 0 0 0 0 APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 81 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC 13 Final Evaluation of Social Protection Policy Support (SPPS) Programme PNUD Bangladesh 2020 Proxecto 0 0 0 1 1 0 14 HCFC Phase Out National Programme PNUD Brazil Proxecto 15 Mid-Term evaluation of "Leave No One Behind"' project PNUD Albania 2020 Proxecto 1 1 1 1 0 0 16 Final Evaluation of joint programme ONUREDD PNUD Honduras 2020 Proxecto 0 0 0 0 0 0 17 Evaluación general de Territorios Sostenibles y Adaptados PNUD Colombia 2019 Proxecto 0 0 0 0 0 0 18 Final Evaluation of Community Recovery and Resilience Programme (C2RP) PNUD Bangladesh 2020 Proxecto 0 1 0 0 0 0 19 Accreditation System of mitigation actions with potential in the carbon market (PMR) PNUD Peru 2020 Proxecto 0 0 0 0 0 0 20 Final evaluation of the “Promotion of social and economic opportunities for women and youth in Zerafshan Valley of Tajikistan” PNUD Taxiquistan 2020 Proxecto 1 0 0 0 0 0 ALBERTO NÚÑEZ SABARÍS 82 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC 21 Third UNFPA Country Programme: Armenia 2016-2020 UNFPA Armenia 2019 Programa de País 1 1 1 0 0 0 22 Evaluación Final del VI Programa País Ecuador 2015-2018 UNFPA Ecuador 2018 Programa de País 1 1 1 0 0 0 23 UNFPA seventh Country Programme 2012-2018 Evaluation UNFPA Malawi 2018 Programa de País 1 1 1 0 0 0 24 UNFPA Country Programme Evaluation: Myanmar CP3: 2012 - 2017 UNFPA Myanmar 2017 Programa de País 0 1 1 0 1 1 25 Evaluación del Programa de país de Nicaragua 2013-2017 UNFPA Nicaragua 2018 Programa de País 0 1 1 0 0 0 26 Evaluación del programa país Paraguay VII ciclo de cooperación 2015-2019 UNFPA Paraguai 2019 Programa de País 1 1 1 0 0 0 27 Evaluation of the unfpa 7th country programme of assistance to the Philippines UNFPA Filipinas 2018 Programa de País 1 1 1 1 0 1 28 Government of South Africa/UNFPA 4th Country UNFPA África do Sur 2019 Programa de País 1 1 1 0 0 0 APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 83 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC Programme 2013-2019 Evaluation 29 UNFPA Country Program Evaluation Report UNFPA Turquía 2019 Programa de País 1 1 1 1 0 1 30 Evaluación del programa de país del UNFPA: Venezuela Período: 2015– 2019 UNFPA Venezuela 2019 Programa de País 1 1 1 0 0 0 31 Thematic evaluation of Government interventions and UNICEF contribution to reducing vulnerabilities, strengthening resilience and promoting the rights of adolescents in Belarus UNICEF Bielorrusia 2018 Proxecto 0 1 1 0 0 0 32 Promoting and protecting the rights of children: a formative evaluation of unicef’s child protection programme in cambodia UNICEF Camboia 2018 Proxecto 1 1 1 0 1 0 33 Impact Evaluation of the Teen Club Programme for Adolescents Living with HIV in Eswatini UNICEF Eswatini 2018 Proxecto 1 1 1 0 1 1 34 Evaluation of Ghana’s child protection system UNICEF Ghana 2018 Proxecto 1 1 1 0 0 0 ALBERTO NÚÑEZ SABARÍS 84 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC strengthening initiatives at the district level: final report 35 Evaluación formativa de la respuesta de UNICEF en Guatemala a la epidemia del virus del zika UNICEF Guatemala 2019 Proxecto 1 1 1 0 0 0 36 Comprehensive evaluation of the UNICEF-supported specialized child protection case management response in Jordan 2013-2017 UNICEF Xordania 2018 Proxecto 1 1 1 0 0 0 37 Evaluation of the National Early Childhood Development Program UNICEF Nepal 2018 Proxecto 0 0 0 0 0 0 38 End of Programme Evaluation on Promoting Child Rights in Cotton Farming Areas (CRCFA) Programme of Pakistan UNICEF Paquistán 2018 Proxecto 1 1 1 0 0 0 39 Formative Evaluation of the Child Rights Monitoring UNICEF Usbequistán 2018 Proxecto 1 1 1 0 0 0 APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 85 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC Programme in Uzbekistan 2016-2018 40 Summative Evaluation of UNICEF Support for Education in Zimbabwe UNICEF Zimbabue 2018 Proxecto 1 1 1 1 0 1 41 Evaluación del Programa País de Panamá - III Ciclo de cooperación 2016-2020 UNFPA Panamá 2020 Programa de País 0 1 0 0 0 0 42 Government of Uganda /UNFPA 8th Country Programme 2016 – 2020 evaluation UNFPA Uganda 2020 Programa de País 1 1 1 0 1 0 43 Government of Ethiopia/UNFPA 8th Country Programme [20162020] Final Evaluation Report UNFPA Etiopía 2020 Programa de País 0 1 0 0 0 0 44 Evaluación del Programa de País de UNFPA en Cuba 2014-2018 Informe final de evaluación UNFPA Cuba 2018 Programa de País 1 1 1 0 1 0 45 8th Country Programme Evaluation: Zambia UNFPA Zambia 2019 Programa de País 1 1 1 0 1 0 46 Impact Evaluation of the Lumière Project Final Report UNICEF Burundi 2018 Proxecto 0 0 0 0 0 0 ALBERTO NÚÑEZ SABARÍS 86 Nº Nome da avaliación Axencia da ONU País da avaliación Ano da avaliación Obxecto de análise1 Variables de análise Existencia de pregunta de avaliación sobre DC Existencia de matriz de avaliación2 Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervención s de DC Análise das necesidades do país en desenvolvement o de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da intervención de DC 47 End line Evaluation of GARIMA Project in Uttar Pradesh (2013-2016) Evaluation Report UNICEF India 2018 Proxecto 0 0 0 1 1 1 48 Evaluation of inclusive basic education in the UNICEF Country Programmes 2012-2016 and 2017-2021 UNICEF Mongolia 2019 Programa de País 0 0 0 0 1 0 49 Evaluation of a Postnatal Home Visiting Program for mothers, neonates and their families in Gaza, State of Palestine, over the period 2011 – 2016 UNICEF Palestina 2018 Proxecto 1 1 1 1 0 0 50 Evaluation of UNICEF Viet Nam Rural Sanitation and Hygiene Programme (RSHP) 2012 – 2016 UNICEF Vietnam 2018 Proxecto 1 1 1 0 0 0 Fonte: Elaboración do autor 87 A continuación analízanse os resultados da análise das avaliacións no sentido descrito máis arriba. Por unha parte destácase a diferencia entre a consideración do desenvolvemento de capacidade no deseño das avaliacións, respecto da menor aplicación na metodoloxía das avaliacións. Se o 58% das avaliacións consideran o desenvolvemento de capacidade nas preguntas de avaliación e o 52% presentan unha matriz de avaliación que incorporan variables ou indicadores relativos a desenvolvemento de capacidade, so un 20% presentan evidencias de resultados acadados a nivel desas iniciativas de desenvolvemento de capacidade. En canto á consideración da tipoloxía de intervencións de DC no deseño das avaliacións así como na análise, so un 14% considera en algunha medida unha tipoloxía de intervencións de DC na súa análise. Ningunha avaliación das revisadas fai un uso sistemático da tipoloxía de desenvolvemento de capacidade asumido polas Nacións Unidas, estruturados no nivel individual, organizativo e ambiente propicio. Gráfica 1. Resultados totais da análise do desenvolvemento de capacidade nas avaliacións. Fonte: Elaboración do autor Se se pon o foco no deseño das avaliacións, destaca a diferenza entre o declarado nas preguntas e matrices de avaliación, coa calidade e afondamento sobre a temática na análise das intervencións. So o 14% da avaliacións considera dalgunha forma o estudo das tipoloxías de desenvolvemento de capacidade no seu deseño ou aplicación. Gráfica 2. Inclusión do enfoque de desenvolvemento de capacidade no deseño das avaliacións. 58% 60% 52% 14% 30% 20% 50 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Existencia de pregunta de avaliación sobre DC Existencia de Matriz de Avaliación Matriz de avaliación inclúe DC con indicadores de medición Análise ou descrición da tipoloxía de intervencións de DC Análise das necesidades do país en desenvolvemento de capacidades Evidencias de resultados (habilidades e destrezas adquiridas) nas formacións resultado da… Total de avaliacións analizadas Avaliacións sobre proxectos ou Programa de País de PNUD, UNFPA e UNICEF ALBERTO NÚÑEZ SABARÍS 94 O 63% dos actores manifestan que non realizan unha avaliación pre e post-test das intervencións de desenvolvemento de capacidade. A falta desta práctica, sobre todo da elaboración de liñas de base sobre o nivel de capacidade previo á intervención (pre-test) é recoñecido como unha lagoa importante para a medición do cambio das capacidades como resultado das accións para o desenvolvemento de capacidade. Gráfica 11. Existencia dalgún tipo de avaliación sobre a eficacia das intervencións de desenvolvemento de capacidades. Fonte: Elaboración do autor Por último, sobre o nivel (central ou local4) no que as intervencións son definidas, aprobadas e operacionalizadas; a maioría dos respondentes (55% de 20 respostas) afirman que son definidas e aprobadas a nivel central e operacionalizadas a nivel local. Isto apunta a unha preeminencia por unha lóxica vertical na definición e aprobación das intervencións. Os actores institucionais subnacionais, nomeadamente os gobernos locais e rexionais e os parlamentos, son actores non privilexiados á luz dos acordos internacionais (Pazos Vidal, 2019), e tamén, no ámbito das políticas ao desenvolvemento, dos acordos entre os países por medio do Goberno e a Axencia das Nacións Unidas. Así, non gozan dos privilexios nin do acceso que os gobernos nacionais teñen nos procesos de toma de decisións. Non obstante, os niveis subnacionais, están afectados por estes acordos e son en gran medida receptores das intervencións. 4 Como cada país ten a súa estrutura administrativa diferente, enténdese nivel central como aquel que opera a nivel ministerial, e nivel local como aquel que opera en calquera nivel descentralizado (rexión, provincia, municipio ou comunidade) 38% 63% 0% 10% 20% 30% 40% 50% 60% 70% Si Non Existencia dalgún tipo de avaliación sobre a eficacia das intervencións de desenvolvemento de capacidades APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 95 Gráfica 12. Nivel de definición e operacionalización das intervencións de DC. Fonte: Elaboración do autor 4.3 ANÁLISE DE CASO SOBRE INICIATIVAS DE DESENVOLVEMENTO DE CAPACIDADE NUN PAÍS Como se sinalou previamente, estudouse o caso dun país de ingresos medios-baixos (Taxiquistán) e axencia do sistema das Nacións Unidas (UNICEF) para comprobar como operan as variables de investigación sobre o desenvolvemento de capacidade nunha análise focalizada. Así o estudo de caso é sobre as intervencións de desenvolvemento de capacidade que executou Unicef en Taxiquistán. Neste apartado recóllense os elementos que son relevantes para a investigación dentro do estudo máis amplo que foi realizado polo investigador permitindo observación directa e acceso a datos primarios (ver os termos de referencia do estudo no anexo). Táboa 6. Datos principais do caso de estudo Datos principais País Taxiquistán Tipoloxía Avaliación temática sobre desenvolvemento de capacidade nunha axencia da ONU nun país ingresos medios-baixos Axencias da ONU UNICEF Datas da análise Novembro de 2018 a Xuño de 2019 Obxecto Intervencións para o desenvolvemento de capacidade realizadas por Unicef Definido, aprobado e operacionalizado a nivel central 35% Definido e aprobado a nivel central e operacionalizado a nivel local 55% Definido e operacionalizado a nivel local e aprobado a nivel central 10% Definido, aprobado e operacionalizado a nivel local 0% Nivel de definición e operacionalización das intervencións de DC ALBERTO NÚÑEZ SABARÍS 96 Principais fontes e materiais utilizados56 Informes de deseño e avaliación, notas de entrevistas e visitas de observación, minutas de reunións, presentacións a actores Fonte: elaboración do autor 4.3.1 Antecedentes e estratexia de estudo de caso O Programa de País7 2016-2020 para UNICEF en Taxiquistán tiña como obxectivo acelerar o progreso cara á realización dos dereitos de tódolos nenos e nenas, prestando especial atención a pechar as brechas de equidade nas diferentes etapas do ciclo vital8. O programa de país está aliñado coas políticas e estratexias clave do goberno de Taxiquistán, en particular a Estratexia Nacional de Desenvolvemento, a Estratexia Nacional de Mellora do Nivel de Vida e as estratexias e políticas sectoriais relevantes. Está aliñado coas tres áreas temáticas do Marco de Asistencia para o Desenvolvemento das Nacións Unidas 2016-2020 (UNDAF) contribuíndo directamente a cinco dos seis resultados de dito UNDAF. Os resultados do programa tamén están aliñados co Plan Estratéxico de UNICEF e o Plan de Acción de Xénero para 2014-2017 e esperase que contribúa aos Obxectivos de Desenvolvemento Sostible post-2015. Identifícanse os seguintes compoñentes de Programa de País no que se deben encadrar as intervencións de desenvolvemento de capacidade (UNICEF, 2015): Sobrevivir e prosperar nos primeiros anos (Surviving and thriving in the Early Years): identifica a calidade da atención nos servizos como elemento que repercute na prestación de servizos de saúde materno-infantil e, polo tanto, preténdese contribuír a mellorar a calidade da atención, mediante a asistencia técnica e o desenvolvemento da capacidade para mellorar o control da infección nos servizos de saúde materna, neonatal e infantil, o fortalecemento do sistema de inmunización dos servizos. Ensino inclusivo e de calidade (Inclusive and quality learning): busca apoiar a mellora do acceso e da calidade da educación, baseándose nos esforzos continuos para reforzar a formación inicial e continua dos mestres para promover o ensino centrado no alumnado e apoiar un sistema educativo inclusivo. O Programa de País prevía axudar ao Goberno na transición prevista cara un sistema educativo de 12 anos. UNICEF pretendía desenvolver o Ministerio de Educación e Ciencia para fortalecer capacidade para o deseño de políticas, a planificación, o seguimento e o orzamento baseados na evidencia. Plena participación dos adolescentes (Full participation of adolescents): tiña como obxectivo desbloquear o potencial dos adolescentes, facultándoos para que participen plenamente en tódolos aspectos da vida e das institucións gobernamentais nacionais e locais e da sociedade civil para promover a concienciación dos dereitos e o desenvolvemento de habilidades para a vida. Unicef no país tamén pretendía a ampliación da prestación de servizos para os adolescentes. Ambiente protector da infancia (Protective environment for children): pretendía contribuír a fortalecer o marco político e legal para a protección da infancia e a protección social, a 5 Foron tratados mantendo a confidencialidade e anonimizadas. 6 O investigador participou en calidade de “team leader” facendo dúas visitas de traballo ao país permitindo observación directa e coleta de datos primarios (ver os termos de referencia do estudo no anexo), así como presentación de resultados e discusión de conclusións e recomendacións. 7 Ver no capítulo seguinte a descrición sobre un Programa de País dunha axencia da ONU 8 UNICEF (2015) Country programme document for Tajikistan. United Nations Children’s Fund Executive Board Second regular session 2015 8-10 September 2015. APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 97 asignación de recursos de forma equitativa e baseada en evidencias e promover unha coordinación intersectorial máis forte para conseguir un mellor ambiente protector. Unicef pretendía traballar para conseguir un sistema de protección da infancia con roles e responsabilidades institucionais mellor identificados, un mecanismo de control reforzado, así como unha mellora da capacidade para garantir a dispoñibilidade e accesibilidade a servizos de calidade. O Programa de País adoptaba unha mestura de estratexias que se pretendía que reforzaran mutuamente: comunicación para o cambio social; avogacía e comunicación social para promover os dereitos e a equidade na infancia; reforzamento da capacidade nos sistemas nacionais de recollida e análise de datos e de vixilancia dos dereitos da infancia; creación de capacidades sostibles de todo o sistema para a prestación equitativa de servizos; fomento da participación xuvenil; e redución do risco a desastres e preparación para emerxencias. Da lectura do Programa de País destaca que en tódolos resultados do programa, o desenvolvemento de capacidades a nivel nacional e subnacional é identificada como unha prioridade estratéxica para permitir a entrega de servizos e unha ampliación da escala xeográfica máis rápida dos programas para a infancia. Para iso, cada compoñente do programa identificou áreas específicas nas que o desenvolvemento de capacidades é unha estratexia importante para impulsar un cambio sostible para os nenos. Por último, espérase que as actividades de Unicef no país apoien a implementación das Observacións finais de 2017 da CRC das Nacións Unidas9 (UN CRC Concluding Observations) que chaman a preparar e adoptar políticas da infancia que abarquen tódolos ámbitos contemplados na Convención e, en función da política, desenvolver unha estratexia con elementos para a súa aplicación, apoiada en medios humanos, técnicos e financeiros suficientes. Estratexia de estudo de caso A análise seguiu as Normas e Estándares do Grupo de Avaliación das Nacións Unidas (UNEG) e respondeu aos principais criterios de avaliación da OCDE-DAC, ámbolos dous marcos foron previamente descritos nesta tese. A análise baseouse na taxonomía proposta polo Harvard Center for International Development (CID) tamén anteriormente descrita neste documento, cos axustes necesarios para o contexto de Taxiquistán. En esencia, este instituto sostén que a estratexia de construír a capacidade dos países (organizacións estatais e non estatais) ten que comezar cunha taxonomía dos tipos de actividades a realizar polos actores nacionais e das capacidades que esas actividades precisan para ser realizadas con éxito. A tipoloxía analítica utiliza catro preguntas para clasificar tarefas ou actividades en catro tipos de capacidade que require. Os catro tipos son: (i) formulación de políticas, (ii) xestión loxística, (iii) prestación de servizos, (iv) imposición de obrigas. O paso inicial é clasificar o tipo de capacidade que necesita unha organización para poder cumprir cos seus obxectivos. Este esquema de clasificación atravesa sectores xa que dentro de cada sector (educación, xustiza, infraestruturas, sanidade, etc.) existen categorías de tarefas moi diferentes. De forma específica para este estudo considerouse os seguintes tipos da tipoloxía do Harvard Center for International Development (CID): Formulación de políticas: non intensiva en transaccións; require relativamente poucas persoas; e normalmente inclúe institucións estratéxicas ou de elite en varios sectores. 9 https://www.ecoi.net/en/file/local/1418454/1930_1511431905_g1732688.pdf ALBERTO NÚÑEZ SABARÍS 98 Xestión loxística: dirixida á capacidade das organizacións para inducir a un gran número de axentes a seguir guións relativamente sinxelos que se basean en feitos facilmente observables e predecibles. Prestación de servizos de implementación intensiva: tarefas discrecionais (a diferenza da loxística) e intensivas en transaccións (a diferenza da formulación de políticas); requiren grandes organizacións con axentes implicados en accións complicadas. A distinción fundamental é se estas accións se dedican a "servizos" nos que os axentes interactúan con persoas que en principio se benefician directamente dunha implantación exitosa. Imposición de obrigas de implementación intensiva. A execución deste tipo de tarefas supón superar a resistencia de quen se lles impón unha obriga como pode ser o traballo da policía, axentes fiscais ou aplicación de regulación. Os destinatarios poden intentar utilizar diferentes medidas, desde a resistencia pasiva, ameazas físicas ata incentivos materiais (sobornos) para inducir aos axentes a ser menos dilixentes no desempeño das súas funcións. Este marco teórico enmarcou a análise dos resultados das intervencións de desenvolvemento de capacidades e, como tal, convertéronse nun conxunto de variables de análise tras ser adaptadas ao campo de traballo de UNICEF en Taxiquistán, como se pode ver máis adiante na táboa de variables de investigación de desenvolvemento de capacidades. Para extraer leccións é fundamental coñecer a teoría que subxace ás intervencións. Polo tanto, a análise baseouse na reconstrucción da teoría do cambio segundo o Programa de País e os seus respectivos compoñentes anteriormente descritos. As intervencións de DC foron organizadas polos catro compoñentes do Programa de País, coa creación de capacidades como estratexia transversal. Esto permitiu valorar a contribución das intervencións á consecución dos resultados, para verificar o grao de relevancia, eficacia, eficiencia e sostibilidade das intervencións. Ademais, analizáronse as principais categorías de tarefas (elaboración de políticas, xestión loxística, prestación de servizos, imposición de obrigas) segundo o tipo de capacidade organizativa e como a tarefa ou intervención facilita ou dificulta o seu fortalecemento. Este enfoque baseouse na taxonomía proposta para o marco teórico descrito anteriormente. Definíronse unha serie de variables que se tiveron en conta para a análise, por criterio, foron: Táboa 7. Criterios e variables para a avaliación do desenvolvemento de capacidade Criterio Variables/indicadores Relevancia Existencia de vínculos entre cada intervención de Desenvolvemento de Capacidade (CD) e unha prioridade nacional e/ou necesidades/lagoas indicadas na análise de situación Nivel de coherencia dos obxectivos e estratexias das intervencións de DC cos resultados do Programa de País Capacidade para responder a escenarios cambiantes, suposicións falladas e/ou resposta a solicitudes realizadas por actores nacionais. Grao de flexibilidade na redirección de fondos e adaptación APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 99 das intervencións á luz dos cambios nas prioridades nacionais Medida en que a equidade de xénero se consideraron no deseño das intervencións de desenvolvemento de capacidade Eficacia Grao de consecución dos produtos especificadas nas intervencións de DC Contribución positiva en produtos e resultados segundo os supostos enunciados na matriz de resultados do Programa de País % de intervencións relacionadas coa prestación de servizos/formulación de políticas/loxística, procesos e xestión /imposición de obrigas que se consideraron satisfactorias Número de supostos e condicións fallidas informadas nos documentos Eficiencia Número de profesionais destinatarios de intervencións de DC Cobertura xeográfica da poboación receptora de intervencións de DC Medida en que os recursos, os modelos, o marco conceptual están unificados na Teoría do Cambio. Ausencia de procesos irracionais ou duplicacións Relación Custo - eficacia nos produtos de DC Existencia de sinerxías no uso dos recursos Existencia de mecanismos de coordinación das Nacións Unidas para enfoques e estratexias comúns de DC Dispoñibilidade e medida en que os sistemas de seguimento e avaliación das intervencións de DC son usados Sostibilidade Existencia de estratexias e mecanismos de apropiación por parte dos actores nacionais Nivel de integración de módulos formativos/curriculares en estándares/protocolos nacionais/sistemas de acreditación Existencia de compromisos formais políticos e financeiros para soster os resultados das intervencións de DC Existencia de análises ou estratexias para expandir as intervencións a escala nacional Fonte: Elaboración do autor ALBERTO NÚÑEZ SABARÍS 100 A recompilación preliminar de información básica (indicadores socioeconómicos, documentos e informes do Programa País en Taxiquistán, inventario de actividades de desenvolvemento de capacidades; mapeo de actores) permitiu avaliar mellor o volume de traballo e os esforzos específicos de recollida e análise de datos necesarios. A análise tivo como actividade central o mapeamento de tódalas intervencións de desenvolvemento de capacidade realizadas pola Oficina País de UNICEF entre 2016 e 2018 en Taxiquistán. Esta cartografía serviu para varios propósitos iniciais: (i) recompilar información exhaustiva sobre as intervencións de desenvolvemento de capacidade realizadas no período de tempo sinalado; (ii) Identificar os principais grupos de interese. Elaborouse unha mostra das intervencións que considerou a diversidade de temas, en áreas relacionadas cos catro resultados de UNICEF en Taxiquistán; considerando a perspectiva de xénero e o enfoque de equidade. Táboa 8. Mostra de intervencións de desenvolvemento de capacidade de Unicef en Taxiquistán 2016-2018. Áreas de resultado do Programa de País Total Sobrevivir e prosperar nos primeiros anos 41 Ensino de calidade e inclusiva 21 Desenvolvemento adolescente e participación 6 Ambiente protector para nenos 17 Total 85 Fonte: Elaboración do autor a partir do mapeamento das intervencións Realizouse unha revisión dos principais documentos nacionais e estratexias de UNICEF. Isto permitiu unha mellor comprensión do contexto do país e das carencias nacionais de capacidade. Ademais, a través da revisión, identificáronse actores adicionais. Recolléronse datos secundarios de documentos que permitiron comprobar hipóteses, sacar conclusións iniciais, validar e cruzar datos preliminares. Unha vez definido o obxecto, alcance e variables de análise, elaborouse unha matriz para mapear as intervencións para operativizar as variables. Esta foi a ferramenta central, e como se indicou a tarefa foi recompilar, revisar e mapear as intervencións en desenvolvemento de capacidade en Taxiquistán por UNICEF entre 2016-2018, incluíndo a seguinte información para cada intervención: Ano Duración Nome da actividade / intervención Área do programa / Carteira Ámbito xeográfico Importe dos fondos gastados, USD Número / Perfil dos participantes Pre-/postavaliación realizada? (Si/non) Foi unha única actividades ou unha parte dunha iniciativa máis ampla? Fíxose algunha actividade preparatoria ou de seguimento? Axencia de implementación / execución (axencia / organización que levou a cabo a actividade de capacidades) Localización (en Taxiquistán) APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 101 Destinatario das intervencións (departamento/institución de gob.)? Quen iniciou a actividade Información adicional (referencia a algún documento (informe, presentación...) que explica o programa/proxecto no que se enmarca a actividade; ou a propia actividade Recomendación de avaliación/xustificación Para o contraste dos resultados do mapeamento e afondamento da análise, usáronse os datos das enquisas pasadas a receptores das formacións e a actores clave. 4.3.2 Resultados do caso de estudo Neste capítulo preséntanse as evidencias e achados froito da análise de resultados. Segundo o documento do Programa de País, UNICEF en Taxiquistán traballa organizada en catro áreas programáticas: (i) Sobrevivir e prosperar nos primeiros anos; (ii) Ensino de calidade e inclusivo; (iii) Desenvolvemento adolescente e participación; (iv) Ambiente protector para nenos. As intervención de desenvolvemento de capacidade pretenden ser unha estratexia central para conseguir os resultados definidos. A continuación preséntanse os resultados que se consideran relevantes para esta tese: análise das intervencións de desenvolvemento de capacidade, satisfacción dos participantes que recibiron accións de desenvolvemento de capacidade e cambios no coñecemento e habilidades, análise de contribución das intervencións de desenvolvemento de capacidade, e análise en profundidade dunha intervención de desenvolvemento de capacidade de nivel organizativo. Os datos das enquisas foron compilados e estudados para permitir a identificación de tendencias e patróns. 4.3.2.1 Análise das intervencións de desenvolvemento de capacidade En primeiro lugar, analizouse a relevancia, isto é até que punto son coherentes os obxectivos das intervencións de desenvolvemento de capacidade coas prioridades e políticas de desenvolvemento do países, e estiveron aliñadas coas carencias identificadas pola axencia no país. Como primeiro paso foi fundamental considerar polo menos tres documentos políticos principais: a Estratexia Nacional de Desenvolvemento da República do Taxiquistán para o período ata 2030 (NDS-2030)10, o Programa Estratéxico a Medio Prazo 2016-202011 e o Marco de Axuda ao Desenvolvemento das Nacións Unidas (UNDAF) para o Taxiquistán 2016-202012. Os actores consultados validaron o aliñamento entre as intervencións de desenvolvemento de capacidade de UNICEF e as prioridades nacionais establecidas en documentos estratéxicos clave do Taxiquistán: a maioría clasificou a súa colaboración con UNICEF como moi importante, o que confirma a relevancia de UNICEF no desenvolvemento nacional. As intervencións en DC son coherentes e relevantes para as prioridades nacionais definidas pola Estratexia Nacional de Desenvolvemento da República do Taxiquistán para o período ata 2030 (NDS-2030), no Programa Estratéxico a Medio Prazo 2016-2020 e outros documentos e plans de política sectorial como son: Estratexia Nacional de Saúde (2010-2020), Programa Nacional de rehabilitación de discapacitados en Taxiquistán (2017-2020), Estratexia Nacional de Educación (2012-2020), Estratexia de estilo de vida saudable (2011-2020); Estratexia do 10 National Development Strategy of the Republic of Tajikistan for the period up to 2030 (NDS–2030) 11 Mid-Term Strategic Programme 2016-2020 12 United Nations Development Assistance Framework (UNDAF) for Tajikistan 2016–2020 ALBERTO NÚÑEZ SABARÍS 102 Valedor do Pobo de Dereitos da Infancia (2018-2020), Programa Estatal de Desenvolvemento Social e Xuvenil (2016-2018)13. O Programa de País de UNICEF en Taxiquistán 2016-2020 foi revisado para analizar a súa aliñación co Plan Estratéxico de UNICEF 2014-2017 así como con dúas liñas estratéxicas específicas incluídas no Plan Estratéxico de UNICEF 2018-2021, que son a inclusión do Comité dos Dereitos da Infancia da ONU e a Axenda de Desenvolvemento Sostible 2030. A partir da experiencia dos beneficiarios das intervencións en DC, administrouse un cuestionario con enquisa aos profesionais que prestan servizos que participaron nas intervencións de desenvolvemento de capacidade de UNICEF. Os enquistados foron cuestionados sobre conceptos principais ou coñecementos que aprenderon nos adestramentos. Os principais conceptos expresados por eles como máis valorados foron: experiencia na educación inclusiva; educación para a paz; formación baseada nas competencias; discapacidade infantil; identificación precoz e análise de datos; importancia da xustiza xuvenil e traballo con nenos e adolescentes; inmunización segura; nutrición neonatal, infantil e materna. A maioría dos directivos nacionais consultados citaron a importancia da colaboración con UNICEF, xa que UNICEF é a axencia líder en educación, protección da saúde e dos dereitos da infancia. Ademais, UNICEF ten unha enorme experiencia traballando noutros países, e as mellores prácticas tamén se poderían replicar no Taxiquistán. Isto tamén confirma que o mandato de UNICEF no ámbito da infancia é moi relevante no Taxiquistán, o que confirma aínda máis o papel relevante de UNICEF no sistema nacional de cooperación ao desenvolvemento. Principais carencias de capacidade segundo os profesionais da axencia, identificados por orde de importancia:14 1. Orzamento nacional inadecuado para a prestación de servizos - 6.1 2. Falta de sistema de M&E/datos para políticas baseadas na evidencia - 5.5 3. Baixa capacidade das persoas que prestan servizos - 5.4 4. Alta rotación do persoal profesional na prestación de servizos - 5.4 5. Número (cantidade) inadecuado de profesionais - 5.3 6. Institucións nacionais de formación deficiente - 5.3 7. Falta de infraestruturas, mercadorías e equipamentos - 5.2 8. Falta de modelos causais e baseados na evidencia na formulación de políticas - 5.1 9. Falta de cooperación interinstitucional - 5 10. Baixa capacidade dos individuos que definen políticas - 4.9 11. Absentismo profesional - 4.9 12. Resistencia ás innovacións dos responsables políticos – 4.9 13. Resistencia ás innovacións polos profesionais que prestan os de servizos - 4.8 14. Carencias nos procesos administrativos - 4.8 15. Comprensión inadecuada da realidade local na formulación de políticas (enfoques verticais de arriba cara abaixo) - 4.8 13 National Health Strategy (2010-2020), National Programme on Rehabilitation of Disabled in Tajikistan (2017-2020), National Education Strategy (2012-2020), Healthy Lifestyle Strategy (20112020); Child Rights Ombudsmen Strategy (2018-2020), State Programme on Youth Social Development (2016-2018) 14 Clasificaron cada fenda de 1 a 7, sendo 1 indicando sen fenda, e 7 unha fenda moi significativa. Proporcionase a clasificación media de cada fenda no total das respostas recibidas. APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 103 16. Formulación de políticas excesivamente normativas - 4.6 Cabería esperar que as intervencións de desenvolemento de capacidade, porén, buscasen eliminar ou mitigar os retos identificados do país. Como se indica no marco teórico desta tese, a taxonomía dos tipos de actividades a realizar permitirá identificar que tipo de capacidade se está priorizando. Esperábase que as intervencións de DC eliminasen ou estreitasen estas fendas. Identificáronse un total de 85 intervencións de DC repartidas nos catro resultados do Programa de País. Tendo en conta a taxonomía tomada como referencia identificáronse catro tipos principais de tarefas en función do tipo de capacidade organizativa coa seguinte distribución: (i) Formulación de políticas: 18 intervencións (21%), (ii) Xestión loxística: 14 intervencións (16%), (iii) Implementación de políticas – Prestación de servizos: 45 intervencións (53%), e (iv) Implementación de políticas – Imposición de obrigas: 8 intervencións (9%). Como se observa, a prestación de servizos foi o tipo de tarefa onde se fixeron a maioría dos esforzos de desenvolvemento de capacidade. Isto é lóxico porque a prestación de servizos é intensiva en transaccións e hai evidencias da baixa calidade na prestación de servizos como brecha nacional. Gráfica 13. Intervencións de desenvolvemento de capacidade de UNICEF en Taxiquistán por tipo de tarefa. Fonte: Elaboración do autor a partir do mapeamento de intervencións de DC O desenvolvemento de capacidade para a formulación de políticas recibiu para o período analizado o 21% das intervencións de Unicef no país. Esta categoría distínguese das demais pola súa natureza de non ser intensiva en transaccións. A realización da tarefa require relativamente poucas persoas e inclúe institucións de elite ou do ápice en moitos sectores. Case tódolos sectores teñen institucións principais (como un hospital terciario de referencia, unha universidade nacional co centro de investigación, un tribunal de apelación máis alto, por exemplo) que poden involucrar so a uns poucos centos de profesionais e, polo tanto, non requiren transaccións intensivas. A capacidade na formulación de políticas, segundo a taxonomía tomada, é a capacidade de enmarcar obxectivos, analizar opcións e, en base a métodos e evidencias, elixir a mellor política. Volvendo ao caso, UNICEF implementou (i) Formulación de políticas 21% (ii) Xestión loxística 16% (iii) Implementación de políticas – Prestación de servizos 54% (iv) Implementación de políticas – Imposición de obrigas 9% Intervencións de desenvolvemento de capacidade de UNICEF en Taxiquistán por tipo de tarefa ALBERTO NÚÑEZ SABARÍS 110 Gráfica 17. Satisfacción coa formación recibida. Fonte: Elaboración do autor a partir dos datos da enquisa aos profesionais provedores de servizos que recibiron intervencións de DC Non obstante, os entrevistados e enquistados proporcionaron suxestións para mellorar a formación. Estes piden ainda unha formación máis práctica, ampliar a duración das sesións de formación, recibir apoio e supervisión post-formación, recibir formación de actualización. Gráfica 18. Suxestións para mellorar as intervencións de desenvolvemento de capacidades (%) por parte dos receptores das intervencións Fonte: Elaboración do autor a partir dos datos da enquisa a receptores de formacións. Incluído no informe de avaliación UNICEF (2019a:39) 70,9 43,6 63,6 58,2 10,9 61,8 36,4 25,5 34,5 30,9 30,9 30,9 32,7 45,5 3,6 21,8 5,5 5,5 38,2 5,5 18,2 5,5 14,5 To what extent do you feel you have learned from the UNICEF training received? Were the length of the training appropriate enough? Were the contents of the training appropriate enough? How useful was the training for your day to day work? Was the time spent in work centres (health, schools, etc.) enough and useful? Were Tutors of training helpful? Was it practicaloriented or theoreticaloriented training? 5 Stongly agree 4 Agree 3 Neuitral 2 Disagree 1 Strongly disagree 72,2 88,8 90,7 79,6 77,7 Increase the training period Repeat the training again or at regular intervals Less theory and more practice during the training More support after the training Follow up with other activities (mentoring/monitoring/coaching) APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 111 4.3.2.3 Análise de contribución das intervencións de desenvolvemento de capacidade Esta parte do estudo analizou o grao en que as intervencións de DC reforzaran a capacidade nacional, e ata que punto os produtos contribuíron á consecución dos resultados ata a data de observación. O estudo baseouse na análise de contribución estruturado segundo o Programa de País de UNICEF en Taxiquistán nos seus catro compoñentes de programa: (i) Sobrevivir e prosperar nos primeiros anos; (ii) Ensino de calidade e inclusivo; (iii) Desenvolvemento adolescente e participación; e (iv) Ambiente protector para nenos. En primeiro lugar, analizáronse os resultados a nivel de proceso e de produto para a prestación de servizos, toma de decisións / formulación de políticas, imposición de obrigas e xestión loxística. En segundo lugar, a análise de contribución realizouse utilizando as teorías do cambio reconstruidas conforme formulada no Programa de País, con respecto aos resultados e produtos previstos e supostos subxacentes. Ademais realizouse unha comparación entre os tests pre e post-formación no coñecemento dos participantes que foi descrito anteriormente. Da análise da intervencións fíxose unha representación gráfica das intervencións realizadas por UNICEF no período de análise. Esta representación gráfica do alcance xeográfico das intervencións fíxose a dous niveis: (i) a nivel local aquelas que tiñan unha enfoque de traballo nun espazo xeográfico acotado; e (ii) a nivel nacional aquelas que tiñan un nivel de cobertura de todo o país, fundamentalmente aquelas que van dirixidas ao nivel central dos ministerios participantes. Figura 16. Mapa de alcance xeográfico das intervención de desenvolvemento de capacidade en Taxiquistán a nivel local Fonte: Elaboración do autor para a presentación de análise de contribución feita a actores nacionais As actividades de DC realizáronse nos seguintes niveis: nacional nun 43,9%; rexional, nun 24,4%; e distrital, nun 29,7%. Debido ao compromiso de UNICEF nalgúns distritos obxectivo e ere cute alnutri on ) ni ersal alt odisa on o om u forecas n micro lannin arl arnin s stem ild friendl order crossin rocedures arl arnin s stem out ar ci a on ni ersal alt odisa on o om u forecas n micro lannin s c olo ical edical eda o onsulta on nlusi e udca on c ools out ar ci a on ni ersal alt odisa on o om u forecas n micro lannin ild disa ilit earl detec on and inter en on nclusi e educa on sc ools arl arnin s stem ild friendl order crossin rocedures e ere cute alnutri on c ool ased trainin model nte rated ana ement of ild ood llness irls tranis on to secondar educa on isa ilit and ommunit ased e a ilita on aternal and ild ealt ni ersal alt odisa on nte rated ana ement of ild ood llness ild disa ilit earl detec on and inter en on o om u forecas n micro lannin nlusi e udca on c ools irls tranis on to secondar educa on c ool ased trainin model nte rated ana ement of ild ood llness nfant and oun ild eedin e ere cute alnutri on ) ild friendl order crossin rocedures ni ersal alt odisa on o om u forecas n micro lannin inancial and o era nal mana ement arl ild ood duca on nte rated ilin ual educa on arl ild ood e elo ment eace uildin om etenc ased learnin nlusi e udca on c ools out riendl ealt er ices nte rated ana ement of ild ood llness irls tranis on ALBERTO NÚÑEZ SABARÍS 112 polas súas necesidades, a maioría das actividades de DC realizáronse nestes distritos. Dos 12 distritos seleccionados por UNICEF como prioritarios, seis están localizados na rexión de Sughd, tres nos Distritos de Subordinación Republicana (DRS), e tres na Rexión Autónoma de Gorno-Badakhshan (GBAO). A maioría das actividades de DC realizáronse na rexión de Sughd e DRS, seguidas das rexións de GBAO e Khatlon. Ademais dos distritos específicos seleccionados, UNICEF incluíu outros distritos do país para intervencións en DC, tendo en conta a brecha identificada na prestación de servizos. Sen embargo, as intervencións de desenvolvemento de capacidade usualmente se definen e implementan mediante un enfoque de arriba cara abaixo, tendo os niveis locais ou rexionais pouca capacidade para influír na formulación ou deseño das intervencións. Segundo a enquisa administrada aos actores nacionais, so o 10% das intervencións en DC foron definidas e operativizadas a nivel local. En parte, isto é causado pola tradición administrativa do Estado, altamente centralizada. Os entrevistados expresaron opinións similares indicando un baixo nivel de participación local na definición dos problemas e solucións. Figura 17. Mapa de alcance xeográfico das intervención de desenvolvemento de capacidade en Taxiquistán a nivel nacional Fonte: Elaboración do autor para a presentación de análise de contribución feita a actores nacionais Anteriormente sinalouse a ausencia dunha estratexia integral de desenvolvemento de capacidades por parte de UNICEF no país onde se planifiquen estratexicamente as actividades con este fin. Non se identificou ningunha taxonomía de capacidade nacional nin unha estratexia global de desenvolvemento de capacidade para o país que identifique as necesidades a nivel de país e as carencias de capacidade, destinatarios obxectivos baseados en necesidades e taxonomía; cun marco de resultados completo (onde as cuestións de xénero sexa incluído ou outras relacionadas co principio de non deixar a ninguén atrás, como poden ser as persoas con ni ersal alt odisa o arl ild ood nter en ons utri on a acit e elo ment calin utri on eonatal care e orn care and ne orn resuscia on n etro iral treatment re en on of and amon c ildren educ on of ris s for infec on transmission ud et forecast and rocurement of tests limina on of for mana ement in ediatrics r lood ot es n nac ated olio accine old c ain u l of ealt emer enc amil ased care ild rotec on and us ce for c ildren m udsman for c ild ri ts ocial rotec on trate umanitarian cas transfer inancial and o era nal mana ement re en on of c ool dro outs oca onal sc ools to su ort s ild centered teac in and learnin dolescent mental ealt uman centered desi n ) to deli er APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 113 discapacidades). Como foi discutido previamente, considérase esta taxonomía necesaria porque non todas as tarefas necesitan as mesmas capacidades. A análise incluíu os datos dispoñibles sobre os indicadores de resultado e nivel de produto do Programa de País de UNICEF combinados cos datos proporcionados nos Informes Anuais da Oficina de País (COARs – Country Office Annual Reports), contrastados coa TdC. A continuación descríbese a análise de contribución das intervencións de desenvolvemento de capacidade por cada uno dos catro compoñentes de Programa de País. 4.3.2.3.1 Sobrevivir e prosperar nos primeiros anos A Teoría do Cambio para este compoñente do Programa quedou definido así (UNICEF, 2015:5,6): As principais brechas para a supervivencia e desenvolvemento infantil agrúpanse en catro categorías: 1) mal financiamento sanitario; 2) Prácticas de coidado familiar deficientes, incluídas a alimentación, a procura da saúde e a hixiene e o saneamento. 3) mala calidade dos servizos; e 4) Falta de coordinación a tódolos niveis. Polo tanto, se se abordan estas catro grandes brechas, con especial atención aos primeiros 1.000 días de vida do neno que teñen implicacións durante toda a vida, entón os nenos terán mellores posibilidades de realizar os seus dereitos sobre a supervivencia e o desenvolvemento, á saúde, incluíndo nacer libre de VIH e benestar integral. O compoñente do programa ten como obxectivo reducir as carencias de equidade para os nenos e nenas en áreas pouco atendidas e dos nenos con discapacidade. Para iso, este compoñente do programa aplica catro estratexias clave: (i) promover unha asignación e utilización orzamentaria aumentada, eficiente, transparente e equitativa en favor da saúde materna e infantil e a nutrición; (ii) a mellora das prácticas de coidado familiar; (iii) a mellora da calidade dos servizos e (iv) mellorar a capacidade do goberno na coordinación multisectorial. A calidade na prestación de servizos identifícase como unha brecha que incide na prestación de servizos de saúde materna, neonatal e infantil. Así este compoñente do programa ten como obxectivo mellorar a calidade asistencial, a través da asistencia técnica e a creación de capacidades para mellorar o control de infeccións nos servizos de saúde materna, neonatal e infantil, reforzar os sistemas de inmunización e aumentar a rendición de contas dos provedores de servizos. Neste caso fíxose unha proposta de presentación para a comunicación aos actores clave co resumo das contribucións das intervencións de desenvolvemento de capacidade para a consecución dos resultados e, por ende, da situación dos nenos. Pretendeuse con isto, que fora mellor entendida a contribución das accións de desenvolvemento de capacidade cara o cambio buscando, mostrando en esquema tipo espiña de peixe ou diagrama de ishikawa a contribución a diferentes niveis. ALBERTO NÚÑEZ SABARÍS 114 Figura 18. Resumo das principais contribucións de desenvolvemento de capacidade en sobrevivir e prosperar nos primeiros anos Fonte: Elaboración do autor para a presentación de análise de contribución feita aos actores nacionais Da análise das intervencións de capacidade analizadas, non se encontrou contribución significativa no ámbito da formulación de políticas e no seguimento da implantación de proxectos na área de saúde materna, neonatal, infantil e nutrición; agás na capacidade para orzamentar en saúde grazas á asistencia técnica para costear o paquete básicos de servizos de saúde materno, neonatal, infantil e adolescente. A baixa capacidade de xestión e a falta de apropiación por parte dos actores clave crean barreiras para a aplicación efectiva dos protocolos clínicos, especialmente no ámbito da atención neonatal. Co apoio de UNICEF e outros socios actualizáronse módulos de formación sobre reanimación e atención neonatal esencial, así como a xestión da hemorraxia posnatal e incorporáronse ao currículo formativo existente na educación formal do país. Non obstante, a actualización periódica e o seguimento da aplicación doutros protocolos clínicos seguen sendo un reto. En Taxiquistán non hai formación específica sobre nutrición. En consecuencia as intervencións de desenvolvemento de capacidade aumentaron para dotar de maior concienciación da importancia e coñecemento por parte do persoal sanitario. Actualmente, segundo a Estratexia Nacional de Desenvolvemento, a seguridade alimentaria e a nutrición son prioridades do Goberno. A formación sobre previsión orzamentaria e adquisición de probas de VIH para aumentar a cobertura de probas entre as mulleres embarazadas nos servizos de saúde materna e planificación a nivel de atención primaria de saúde permitiu mellorar a planificación a nivel local centrada na equidade e na evidencia, así como o orzamento e o seguimento de gastos para APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 115 intervencións esenciais de saúde materna, neonatal, infantil, adolescente e nutrición. No seguinte apartado afóndase no estudo desta intervención. Realizáronse actividades de sensibilizaicón en Universal Salt Iodization, así como formación e reunións a nivel comunitario e con produtores en dúas rexións para promover o uso de sal iodizado. Con todo, os sistemas de monitorización existentes tanto do Goberno como de UNICEF non permiten avaliar plenamente a eficacia destes esforzos de construción de capacidades medido no uso poboacional de sal iodizado. O compoñente do programa “Sobrevivir e prosperar nos primeiros anos” (ou Early Years no seu termo corto en inglés), co seu foco na saúde e nutrición materna e infantil, é o máis consistente na aplicación de intervencións de desenvolvemento de capacidades para a prestación de servizos. Isto pode ser, en certa medida, explicado por décadas de experiencia global e rexional de UNICEF, así como por ter conceptos e sistemas estandarizados e probados. Ao mesmo tempo, como pasa con con outros compoñentes do programa, a recepción de sevizos depende moito da capacidade da poboación para demandar servizos, o que require un enfoque de DC que debería ser parte indispensable da estratexia global de DC por parte da Oficina País de UNICEF. 4.3.2.3.2 Ensino de calidade e inclusivo A Teoría do Cambio para este compoñente do Programa quedou definido así (UNICEF, 2015:6,7): As principais brechas na educación agrúpanse ao redor (i) do acceso á escola, especialmente para nenos con discapacidade e nenas na educación secundaria superior; (ii) a insuficiente calidade da ensinanza; (iii) Acceso a e uso de oportunidades de aprendizaxe temperá para nenos pequenos; (iv) Ambiente escolar seguro. Polo tanto, a TdC sostén que se os nenos e nenas, incluídos os máis marxinados (como os nenos con discapacidade, de minorías étnicas, familias con escasos recursos, migrantes) teñen acceso á educación e reciben unha instrución de ensino/aprendizaxe centrada nos nenos e nenas nun ambiente de aprendizaxe seguro, e se os nenos pequenos poden acceder á aprendizaxe temperá na súa lingua materna, entón todos os nenos do país terán os seus dereitos sobre a educación realizados. Este compoñente do Programa de UNICEF estivo apoiando un mellor acceso á educación e de maior calidade, baseándose nos esforzos continuos para fortalecer a formación dos educadores para promover o ensino centrado no alumnado e apoiar un sistema educativo inclusivo. No programa de país 2010-2015 conseguíranse notables avances na educación infantil, a través do desenvolvemento dun modelo alternativo, que foi adoptado polo Goberno e que se está replicando, co obxectivo de duplicar a matrícula e alcanzar o 25 por cento dos nenos de 3 a 6 anos en 2020. UNICEF apoiará ao Goberno para alcanzar este obxectivo, aproveitando recursos e mantendo un enfoque de calidade e equidade no acceso. Isto é crucial xa que, aínda unha vez conseguidos os plans do Goberno para 2020, tres cuartas partes dos nenos de 3 a 6 anos seguirán sen estar matriculados en centros de ALBERTO NÚÑEZ SABARÍS 116 educación. O programa axuda ao Goberno na transición prevista a un sistema educativo de 12 anos, incluíndo a reforma curricular asociada. UNICEF traballa co Ministerio de Educación e Ciencia para reforzar a política, planificación, seguimento e orzamento baseados na evidencia. O desenvolvemento de capacidades é unha das estratexias clave para garantir que as reformas planificadas sexan deseñadas e cumpridas para resolver os problemas aos que se enfronta o sector educativo en Taxiquistán. Figura 19. Resumo das principais contribucións de desenvolvemento de capacidade en ensino inclusivo e de calidade Fonte: Elaboración do autor para a presentación de análise de contribución feita a actores nacionais Segundo datos do Programa de País, durante os anos 2014-2017, a taxa de matriculación da educación preescolar non aumentou por encima do 12,5%. Considerando as insuficientes asignacións de recursos públicos, as dinámicas demográficas cun crecemento intensivo da poboación, a dependencia do financiamento externo e a inasumibilidade dos pais para cubrir taxas, o obxectivo do Programa, porén, foi aumentar a matrícula 25 por cento para nenos de 3 a 6 anos ata 2020. Co fin de mellorar a equidade e a calidade da educación desde os primeiros anos para nenos pertencentes a minorías, desenvolveuse un módulo de educación plurilingüe para os profesores baseado na lingua materna e pilotouse en centros de educación en zonas fronteirizas onde a maioría dos nenos proceden de minorías étnicas. Neste marco, UNICEF desenvolveu e pilota un modelo sobre educación bilingüe integrada en quince centros educativos, que inclúe formación do profesorado, dotación de materiais a profesorado, e creación de centros de recursos. APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 117 O desenvolvemento de habilidades e competencias para a empregabilidade de adolescentes é un tema prioritario para UNICEF e desenvolveron conxuntamente entre diferentes compoñenetes da Oficina de País un marco de competencias para adolescentes que permitise guiar a programación de UNICEF en Taxiquistán. Como resultado formáronse adolescentes con aprendizaxe baseada en competencias en contornas formais e informais. Unha das áreas clave das intervencións no marco do compoñente de Ensino do Programa de País está centrada en nenos con discapacidade e educación inclusiva. A pesar de que o Goberno ten políticas para proporcionar educación inclusiva, os nenos con discapacidade representan o grupo de nenos máis marxinados cun 80 por cento fóra da escola, segundo datos da OCDE de 2009. As observacións finais do Comité dos Dereitos do Neno (CRC) en 2017 afirman que os nenos con discapacidade teñen un acceso extremadamente limitado á educación. UNICEF desenvolveu capacidade nas escolas de formación profesional para apoiar aos nenos con discapacidade. En resumo, as características esenciais dos esforzos de desenvolvemento de capacidade no marco deste compoñente do programa son (i) orientación cara á institucionalización dos módulos formativos en educación formal curricular en institucións de formación; (ii) a súa integración con outros compoñentes do programa da Oficina de País de UNICEF; (iii) enfoque sistemático que incorpora desenvolvemento/revisión de currículos, módulos, directrices e formación física e supervisión de apoio aos aprendices. 4.3.2.3.3 Desenvolvemento adolescente e participación (ADAP) A Teoría do Cambio para este compoñente do Programa quedou definido así (UNICEF, 2015:7,8): Os beneficiarios primarios do programa ADAP son os e as adolescentes e nenos/as con 10 a 19 anos. Estes compoñen o 21% da poboación do país, e os mozos ata os 24 anos segundo a definición de mocidade da ONU (15 a 24 anos). Polo tanto, a TdC sostén que Se os adolescentes e os mozos/as, incluídos os procedentes de minorías étnicas e persoas con discapacidade, con VIH ou cun historial de conflitos coa lei, reciben unha atención de saúde de calidade, incluída a saúde mental, se teñen acceso e se benefician dunha educación de calidade e de oportunidades para un emprego, e se están capacitados para tomar decisións sobre a súa vida e sobre as súas comunidades, entón serán capaces de realizar todo o seu potencial e ser axentes de cambio e defensores de sociedades inclusivas, tolerantes e pacíficas. O resultado do programa oriéntase a un (i) marco mellorado e orzamento ampliado para que os adolescentes promovan a realización dos seus dereitos á información, servizos de calidade e participación (con enfoque específico na xeración de evidencias e na política baseada na evidencia); (ii) mellora da demanda e o acceso dos/as adolescentes, incluídos ALBERTO NÚÑEZ SABARÍS 118 os máis marxinados, a información e servizos amigables para mozos/as; (iii) mellora das oportunidades para que os/as adolescentes participen na toma de decisións e contribúan ao desenvolvemento e cohesión social nas súas comunidades. Entre outras estratexias, o compoñente do programa prevé o desenvolvemento de capacidade para diferentes actores: portadores de deberes a nivel local e nacional; os servizos prestados nos sectores da educación e a saúde, e os propios adolescentes e nenas. Figura 20. Resumo das principais contribucións de desenvolvemento de capacidade para o compoñente dos adolescentes Fonte: Elaboración do autor para a presentación de análise de contribución feita a actores nacionais O que se encontrou foi que a capacidade a nivel local e nacional construíuse, sobre todo, para a entrega de servizos de saúde mental aos adolescentes, con formación a especialistas en saúde mental procedentes de sectores sanitarios e educativos. Houbo un esforzo por institucionalizar a formación con incorporación do módulo na formación profesional rutineira existente. Algunhas das restricións neste campo incluían a falta de formadores cualificados dentro do país dada a natureza das intervencións, a falta de colaboración intersectorial entre os actores clave, a alta rotación de profesionais, a apertura limitada ao coñecemento novo e innovador. Púxose en marcha un programa de saúde mental adolescente liderado polo goberno, poñendo de manifesto que o programa de saúde mental foi identificado como unha das prioridades emerxentes por parte do goberno. 4.3.2.3.4 Ambiente protector para nenos A Teoría do Cambio para este compoñente do Programa quedou definido así (UNICEF, 2015:9): APLICACIÓN DO ENFOQUE DE DESENVOLVEMENTO DE CAPACIDADE NA PLANIFICACIÓN E AVALIACIÓN DAS POLÍTICAS AO DESENVOLVEMENTO 119 Os nenos enfróntanse a varios tipos de risco e vulnerabilidades en todas as etapas da súa infancia. A configuración institucional para a protección da infancia en Taxiquistán non está claramente definida e está dotada con escasos recursos; a cobertura e calidade dos servizos de benestar e protección infantil son insuficientes. A gran maioría dos nenos e nenas con discapacidade non teñen acceso aos principais servizos sociais. Os nenos e nenas de familias numerosas enfróntanse a maiores privacións no acceso aos servizos públicos e no goce dos seus dereitos. Polo tanto, a TdC sostén que Se a política e o marco legal para a protección da infancia e a protección social se basean na evidencia e ten funcións e responsabilidades ben identificadas, isto servirá de base para unha asignación equitativa dos recursos e promoverá unha coordinación intersectorial máis forte cara a un ambiente protector mellorado e un mecanismo de vixilancia reforzado, se as familias e as comunidades entenden os efectos prexudiciais da violencia contra os nenos, e se as entidades gobernamentais teñen maior capacidade para facer fronte á violencia contra os nenos e aplican a xustiza con enfoque infantil (child-friendly justice), entón os nenos e nenas de tódalas idades, incluídos os máis vulnerables (nenos con discapacidade, en contacto e conflito coa lei, de familias con poucos recursos e migrantes) terán un mellor acceso e beneficiaranse dunha maior calidade dos servizos, creando así un ambiente cara a prevención da violencia e responde a privacións, violencias, abusos, explotación e abandono, especialmente para os máis vulnerables. O compoñente do programa de ambiente protector da infancia apoia ao Goberno, para (i) mellorar o sistema de protección infantil e protección social existente, incluíndo a medición da pobreza infantil; (ii) traballar na prevención da violencia contra a infancia a nivel familiar e comunitario; (iii) promover o uso de evidencias xeradas (enquisas e sistemas administrativos de recollida de datos) na formulación de políticas de protección social e asignación de recursos; (iv) sensibilizar sobre a inclusión social de nenos e mulleres con discapacidade. Así, as principais estratexias aplicadas, ademais de crear un ambiente propicio, cambiar as normas sociais e o marco lexislativo, é capacitar aos funcionarios policiais para que apliquen xustiza con enfoque infantil. ALBERTO NÚÑEZ SABARÍS 126 (goberno, comunidades, parlamentarios, medios de comunicación, sociedade civil, etc.) en tódalas fases de desenvolvemento e implementación de intervencións de desenvolvemento de capacidades, que é fundamental para a sustentabilidade dos resultados. As alianzas, especialmente a nivel local, tamén son necesarias para garantir a adopción de servizos e toma de decisións melloradas derivadas das actividades de DC, que, á súa vez, poden garantir a súa mellora continua se son apoiadas pola demanda da poboación. A estratexia de centrarse no desenvolvemento de capacidade dos portadores de deberes (poboacións beneficiarias) e garantes de dereiros (xeralmente funcionarios públicos) dentro dos sistemas gobernamentais foi identificado como un factor de éxito para a sustentabilidade das intervencións das Nacións Unidas. Ao mesmo tempo, segue existindo un baixo nivel de participación local na definición dos problemas e solucións, e capacidade limitada para influír na formulación de políticas e estratexias debido a unha toma de decisións preeminentemente centralizado. Por último, os acordos internacionais, como a Declaración de París, determinan que os países en desenvolvemento deben ser máis responsables e facultados para xestionar o deseño, implementación e seguimento da axuda ao desenvolvemento que reciben. Con este cambio de rol vén unha maior presión para ser responsable e demostrar resultados. Como consecuencia, os doadores engadiron capacidade de M&E á longa lista doutras capacidades que se espera que adquiran rapidamente os gobernos dos países en desenvolvemento. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 127 PARTE 2 Figura 22. Ilustración dos pasos no proceso de investigación, parte 2. Elaboración propia 5 PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE A segunda parte da investigación busca dar resposta á pregunta se é posible integrar e aplicar o enfoque de desenvolvemento de capacidade nas avaliacións das políticas ao desenvolvemento. Así a hipótese é que o corpo teórico do desenvolvemento de capacidades poden ser integrado nos enfoques e metodoloxías de avaliación dos programas das axencias das Nacións Unidas e das intervención ou proxectos das mesmas axencias. Neste capítulo faise unha proposta de modelo de avaliación que integra o enfoque de desenvolvemento de capacidades nacionais. Este modelo tomado como referencia posteriormente en casos considerando dous tipos de avaliacións no marco do Sistema das Nacións Unidas. Os dous tipos considerados son: Avaliación de Programa de País Avaliación de Proxecto ou intervención Revisión da bibliografía académica e dos marcos teóricos das organizacións multilaterais Proceso da investigación 2017 Deseño da investgación: preguntas de investigación, hipóteses, indicadores e ferramentas 1ª Parte: explorativa Determinar en que medida se integra o enfoque de desenvolvementode capacidades nas políticas e avaliacións do SNU 2ª Parte: deseño Explorar e aplicar unha modalidade de integración do enfoque de desenvolvemento de capacidades na tipoloxía de avaliacións con dous obxectos de estudo 2023 1. Revisión documental de 50 avaliacións de axencias das Nacións Unidas 2. Perspectiva dos actores con foco en 8 países 3. Estudo de caso das iniciativas de desenvolvemento de capacidade nun país 1. Análise de caso de aplicación do modelo proposto: avaliación dun Programa de País 2. Análise de caso de aplicación do modelo proposto : avaliación dun proxecto ou intervención ALBERTO NÚÑEZ SABARÍS 128 A figura abaixo destaca os principais elementos do modelo de metodoloxía proposto. Este ten tres compoñentes que o enmarcan: (i) os criterios de avaliación tal como foron definidos pola OCDE-DAC, a taxonomía proposta polos investigadores en políticas do desenvolvemento do CID da Harvard e os niveis de desenvolvemento de capacidade segundo a doutrina das Nacións Unidas, e (iii) o enfoque de avaliación de análise de contribución segundo a proposta desenvolvida por de John Mayne. Figura 23. Marco teórico do modelo proposto para a avaliación das intervencións de desenvolvemento de capacidade Fonte: Elaboración do autor Na explicación do modelo e de forma xeral nesta tese, úsase o termo “intervención” como unidade de avaliación que abrangue o traballo das axencias da ONU en desenvolvemento de capacidade, sexa a nivel de Programa de País, proxecto ou iniciativas específicas. Os casos aplicáronse sobre tres das axencias das Nacións Unidas: UNICEF, PNUD e UNFPA. Tómase como enfoque a análise de contribución (Budhwani e McDavid, 2017; Dybdal, Nielsen, e Lemire, 2010) utilizando a Teoría do Cambio que é adaptada en función da tipoloxía de avaliación. A análise da contribución (AC) é un enfoque baseado na teoría que se utilizou amplamente nos últimos anos para realizar avaliacións de intervencións para as que pode resultar difícil ou imposible determinar a contribución dunha intervención mediante outras metodoloxías existentes. Budhwani e McDavid (2017) fan unha revisión crítica da literatura e exploran a análise de contribución en detalle, discutindo os seus métodos, a evolución dos seus fundamentos epistemolóxicos para establecer a causalidade e algúns retos metodolóxicos que se presentan cando se aplica a AC na práctica. O seu artigo investiga a análise das contribución, a partir da ferramenta analítica creada por John Mayne, desde unha perspectiva tanto teórica como operativa. Dybdal, Nielsen, e Lemire (2010) estudan o alcance da análise de contribución mediante a revisión dos seus principios teóricos e metodolóxicos, e examinan a súa aplicabilidade práctica en relación a dúas avaliacións. Os autores consideran que a análise de Criterios de avaliación – OCDE DAC Análise de contribución Proposta de modelo de avaliación con enfoque no desenvolvemento de capacidades Aplicación a avaliaicóns de (i) Programa de País de axencia ONU, e (ii) proxecto / intervención - Relevancia - Eficacia - Eficiencia - Sostibilidade - Bases teóricas desenvolvidas por John Mayne Taxonomía e niveis de desenvolvemento de capacidades - Formulación de políticas - Xestión loxística - Prestación de servizos - Imposición de obrigas Taxonomía DC do CID - Harvard Niveis de DC da ONU - Individual - Organizativo - Ambiente propicio PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 129 contribución ten moito que ofrecer ao panorama actual da avaliación baseada na teoría, pero que tamén se precisa unha maior elaboración do marco metodolóxico. Por iso, considérase relevante incluír nesta tese unha proposta de modelo de avaliación que integre o desenvolvemento de capacidade nun enfoque de análise de contribución con aplicación da teoría do cambio. Para o modelo proposto, considéranse os criterios de avaliación formulados polo Comité de Axuda ó Desenvolvemento (CAD) da Organización para a Cooperación e o Desenvolvemento Económico (OCDE): relevancia, eficacia, eficiencia e sostibilidade. Estes foron amplamente descritos e discutidos previamente nesta tese. Criterios adicionais tais como cobertura, coordinación, coherencia ou impacto serán considerados en función do obxecto de análise. Ademáis o modelo enmarcase nas Normas e Estándares do Grupo de Avaliación das Nacións Unidas (UNEG)18 e da Organización para a Cooperación e o Desenvolvemento Económico (OCDE), incluíndo as directrices éticas para as avaliacións da UNEG. Outro documento de referencia é o Integrating Human Rights and Gender Equality in Evaluation – Towards UNEG Guidance (UNEG, 2011). 5.1 CONCEPCIÓN XERAL DO MODELO DE AVALIACIÓN O modelo proposto aplica o enfoque de análise de contribución con aplicación da Teoría do Cambio. As intervencións de DC serán organizadas arredor dos compoñentes do Programa de País ou dunha intervención ou proxecto, coa creación de capacidades como estratexia transversal. Isto axuda a vincular e valorar a contribución das intervencións á consecución dos resultados, para verificar o grao de relevancia, eficacia, eficiencia e sostibilidade das intervencións. Ademais, deben considerarse as principais categorías de tarefas segundo a taxonomía tomada (elaboración de políticas, xestión loxística, prestación de servizos, imposición de obrigas) e como a tarefa ou intervención facilita ou dificulta o seu fortalecemento. A seguinte figura tenta indicar pasos para operacionalizar o modelo. A partir duns criterios de avaliación, xa descritos, propóñense unha serie de variables específicas para o DC que se xuntan a outras orientadas a outras aproximacións; e uns indicadores de medición así como unha proposta para a presentación dos resultados e achados . Figura 24. Esquema de operacionalización do modelo de avaliación proposto Fonte: Elaboración do autor 18 http://www.uneval.org/document/detail/1914 riterios ele ancia cacia ciencia os ilidade aria les ) u ostos ) eracionali ación ) edición ) c ados ontri ución tri ución ALBERTO NÚÑEZ SABARÍS 130 O deseño de avaliación proposto é non experimental, e busca responder a preguntas descritivas e normativas, para analizar a contribución das intervencións de DC na consecución dos resultados. A premisa de partida é que aplicando certos mecanismos (incluíndo agora especificamente a ollada nas intervencións de DC) nas variables independentes (X), producirase un efecto sobre a variable dependente (Y), tendo en conta certos supostos que poden xerar efectos inesperados. Para coñecer o efecto producido sobre as variables dependentes foi importante definir os indicadores destas variables. Non se orienta a avaliación nin se pretende establecer ningunha análise de atribución dada a falta dun grupo de control (ou de comparación)19. O modelo proposto está orientado a problemas (problem driven). Andrews, Pritchett e Woolcock (2015) estudaron o valor que teñen os problemas para impulsar unha construción efectiva de capacidades institucionais nun estudo de 44 proxectos do sector saúde que levaran a cabo o Banco Mundial e o Fondo Global a finais dos anos 90 e comezos da década seguinte (Andrews 2013). Tratando de explicar por que algúns proxectos eran considerados máis satisfactorios que outros, os autores encontraron evidencia que apuntaba cara dúas dimensións cruciais, unha delas era o “foco no problema” no deseño e a implementación dos proxectos: os proxectos exitosos ocupábanse de problemas específicos, definidos localmente, implementados dun modo continuo e comprobable. Como se mencionou, aplícase un enfoque de análise de contribución baseado na teoría. A análise da contribución utiliza unha teoría explícita do cambio, que pasa por un proceso de avaliación para contrastar a teoría contra a lóxica e a evidencia. Este proceso permite confirmar ou non se a axencia contribuíu aos resultados esperados. Hai moitas formas de representar as teorías do cambio. A figura 25 ilustra unha teoría do cambio xenérica básica que resultou útil en varios escenarios (Mayne, 2015), e será o modelo de partida usado. 19 A contribución considera que a túa influencia é só un dos moitos factores que contribuíron a un cambio, mentres que a atribución considera que a túa intervención foi o único motivo do cambio. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 131 Figura 25. Teoría do cambio básica para intervencións complexas Fonte: Mayne, 2015 A secuencia de recadros da figura é a vía de impacto asociada como cadea de resultados. Os compoñentes da TdC segundo foi definido por Mayne (2015:122) inclúen: Os bens e servizos producidos son os produtos directos resultantes das actividades realizadas pola axencia. O alcance e a reacción son os grupos obxectivo que están destinados a recibir os bens e servizos da intervención da axencia, así como a súa reacción inicial. Os cambios de capacidade son os cambios nos coñecementos, actitudes, habilidades, aspiracións e oportunidades dos que recibiron ou utilizaron os bens e servizos da intervención da axencia. Os cambios de comportamento son os cambios nas prácticas reais que se producen, e dicir, o grupo obxectivo da axencia fai as cousas de forma diferente ou usan os produtos da intervención. Os beneficios directos son as melloras no estado dos beneficiarios individuais. Estes poden ser beneficios como o aumento de ingresos, o aumento do uso dos servizos de saúde, unha agricultura máis produtiva, ou, por exemplo, que os nenos teñan unha dieta máis nutritiva. Os cambios de impacto ou benestar son as melloras acumuladas a longo prazo do benestar xeral dos beneficiarios individuais, como unha mellor saúde, a redución da pobreza e unha mellor seguridade alimentaria. As hipóteses ou supostos do vínculo causal que se mostran nas caixas de puntos da figura identifican cales son os eventos e condicións que teñen que ocorrer para que cada vínculo da vía causal funcione como se esperaba. Son factores de apoio (support factors na terminoloxía Alcance e reacción Cambio nascapacidades Cambio no comportamento Impacto Supostos dos beneficarios directos Supostos do cambio de comportamento Supostos do cambio de capacidades Supostos do alcance Influencias Externas Cambio nos beneficiarios directos Supostos de impacto Liñado tempo Actividade e productos ALBERTO NÚÑEZ SABARÍS 132 de Cartwright e Hardie (2012)), que xunto coas actividades da intervención son o paquete causal representado pola TdC que se espera que sexa suficiente para contribuír aos resultados esperados. É dicir, se se producen as actividades e se cumpren os supostos ou factores de apoio, entón conseguirase a contribución esperada. Se os factores de apoio por si só non son suficientes para provocar a contribución esperada, entón a intervención é unha parte necesaria do paquete causal e pódese dicir que a intervención é unha causa contributiva (Stern et al., 2012). En resume, a proposta de modelo explorará os resultados conseguidos a través da avaliación da contribución que a axencia fai ao país. Trátase de verificar a teoría do cambio detrás das intervencións tendo en conta outros factores de contexto. Algúns críticos suxiren que a análise de contribución contén un prexuízo ou sesgo positivo inherente debido ao seu foco no grao de contribución, o que suxire que o enfoque levaría a que sempre se atope unha contribución (Patton, 2012 citado por Budhwani e McDavid, 2017). Este problema de sesgo positivo tamén se identificou de forma máis ampla para o propio campo da avaliación independentemente do paradigma utilizado (Scriven, 1993). Especificamente na análise de contribución, esta noción pode xurdir debido á ausencia de estándares ou de un nivel dado de evidencia polo que se pode validar a relación de contribución cun posible sesgo subxectivo implicado na identificación e valoración da importancia de cada enlace causal nunha teoría do cambio, ou pola falta de explicacións alternativas debido á aplicación dunha “lóxica estreita" durante a fase de deseño ou reconstrucción (Budhwani e McDavid, 2017). Como sinalan estes autores, estes desafíos poden ser inherentes a tódalas avaliacións baseadas na teoría. Unha solución a este desafío é o estándar proposto por Mayne (2011, 2015) mediante o cal se pode determinar a contribución ao realizar a análise. Mayne suxire usar catro condicións mínimas para inferir causalidade. (i) A primeira condición é a plausibilidade (plausibility): a teoría do cambio postulada para a intervención en cuestión é crible se a cadea de resultados e a relación subxacente de como a intervención conduce aos resultados son plausibles, robustas e están baseadas e validadas por resultados existentes nas investigación e polo menos algúns actores clave. (ii) A segunda condición é a fidelidade (fidelity): as actividades de intervención son realizadas tal e como se propón na teoría do cambio. (iii) A terceira condición é unha teoría do cambio verificada: a teoría do cambio foi verificada polas evidencias recollidas, incluíndo que se observou realmente a cadea de resultados esperados e que se confirmaron tódolos supostos causais. Finalmente, a (iv) cuarta condición é ter en conta outros factores que teñen influencia garantindo que tódolos factores contextuais non tiveran influencia na teoría do cambio ou, se o fixeron, as súas achegas relativas foron consideradas dentro da teoría do cambio. Considerando todo isto, o modelo proposto pretende afondar e ampliar a análise das relacións causais da cadea de resultados aliñada cos sistemas de funcionamento das axencias de Nacións Unidas. A lóxica da intervención describe, mediante hipotéticos vínculos causaefecto, como se espera que o programa alcance os seus obxectivos (UNFPA, 2019). Na fase de deseño, os avaliadores deben estudar e examinar en detalle a lóxica de intervención para cada área programática. Os principais elementos dunha lóxica de intervención no contexto das Nacións Unidas están ilustrados na Figura abaixo. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 133 Figura 26. Compoñentes da lóxica de intervención das axencias ao desenvolvemento da ONU Fonte: Adaptado de UNFPA Evaluation Handbook, 2019 As necesidades corresponden ás demandas, problemas ou retos que deben abordar as intervencións financiadas pola axencia e os obxectivos (é dicir, os efectos previstos) deben responder ás necesidades. Os avaliadores poden atopar información sobre as necesidades iniciais no Programa de País. A Análise Común de País (CCA) e o UNDAF, previamente descritos nesta tese, tamén conteñen información sobre as principais prioridades e necesidades dos países, pero o seu alcance vai máis aló das áreas programáticas da axencia. Durante a fase de campo obterase máis información sobre as necesidades. Os insumos ou recursos (inputs) son os recursos financeiros, humanos e materiais postos a disposición pola axencia de Nacións Unidas para levar a cabo as actividades. Información relevante sobre os recursos poden ser conseguidas nos Plans Anuais de Traballo das axencias e nos sistemas de información das mesmas. Os compoñentes da lóxica de intervención da axencia ONU Necesidades Obxectivos Insumos Actividades Produtos Resultados Impactos/ ODS Intervención da axencia ONU Efectos Recursos financeiros e humanos da axencia ONU Efectos planeados e/ou esperados O que a axencia ONU fai (formación, asistencia…) Entregas da axencia ONU (produtos, servizos) O que os gobernos e parceiros logran mudar na vida das persoas - en parte co apoio da axencia ONU Conseguir resultados e impactos como responsabilidade directa de gobernos e parceiros O que gobernos e parceiros fan diferente -en parte co apoio da axencia ONU ALBERTO NÚÑEZ SABARÍS 134 As actividades son accións realizadas ou traballos realizados, mediante os cales se mobilizan recursos para producir produtos (outputs) específicos. Nos Programas de País das axencias das Nacións Unidas, as actividades poden consistir nunha variedade de propostas: formacións, asistencia técnica, adquisición de equipos e medicamentos, apoio ó diálogo político etc. Os Planos Anuais de Traballo deben proporcionar información sobre as actividades planificadas. Os produtos (outputs) corresponden aos entregables, é dicir, os produtos e servizos que resultan directamente das intervencións financiadas polas axencias das Nacións Unidas nun país. Polo tanto, os resultados neste nivel son totalmente atribuíbles ás intervencións das oficinas de país das axencias. A descrición dos resultados previstos das oficinas de país pódese atopar no Programa de País, nos Planos Anuais de Traballo e nos documentos de Proxecto. Os resultados (outcomes) son efectos a curto e medio prazo derivados dos produtos producidos pola axencia das Nacións Unidas combinados con intervencións doutros axentes de desenvolvemento. Os resultados tamén se ven afectados por factores externos que están fóra do control da axencia (contexto socioeconómico e político nacional, eventos climáticos, etc.). Corresponden a melloras tanxibles dos beneficiarios obxectivo en comparación coa situación de referencia. Implican unha mellora na calidade de vida dos beneficiarios e/ou na medida en que os beneficiarios fan as cousas de forma diferente. A descrición dos resultados esperados pódese atopar no Programa de País e nos documentos de proxecto. O impacto correspóndese con efectos de nivel superior, xeralmente descritos en termos de progreso cara á consecución dos Obxectivos de Desenvolvemento Sostible ou avance no cumprimento dos compromisos adoptados polos países e axencias a nivel internacional. Como foi descrito previamente o modelo propón afondar na análise do desenvolvemento de capacidades da lóxica de intervención en tres compoñentes da Teoría do Cambio para paliar as eivas identificadas na primeira parte da tese. Eses tres compoñentes da Teoría do Cambio que se toman da proposta de Mayne (2015) e se aliñan no sistema das Nacións Unidas son: alcance e reacción, cambio conseguido nas capacidades e cambio no comportamento das persoas. Esa análise permitirá valorar en mellor medida a relación dos produtos do Programa de País ou dun proxecto cos resultados esperados. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 135 Figura 27. Compoñentes da lóxica de intervención das Nacións Unidas e integración co enfoque da análise de contribución Fonte: Elaboración do autor A sostibilidade do desenvolvemento de capacidade Como foi sinalado, as teorías do cambio son amplamente utilizadas na planificación e avaliación de intervencións para diversos propósitos. Poden axudar a deseñar intervencións, servir de base para avaliacións baseadas na teoría, axudar a xestionar intervencións ou constituír un marco para informar sobre o rendemento (Mayne e Johnson, 2015). A maioría das intervencións teñen a expectativa que os beneficios obtidos continúen unha vez que remate a propia intervención. Porén, como sinalan Sridharan e Nakaima (2019) raramente se realiza a planificación para a sostibilidade das intervencións, e tampouco no desenvolvemento das teorías do cambio se soen identificar os problemas de sostibilidade. Estes autores suxiren que tomar unha perspectiva de planificación orientada cara a sostibilidade fomentará un recoñecemento dos programas como sistemas complexos que operan ademais en organizacións complexas. Así, o enfoque de sostibilidade non só argumentará sobre os impactos causais dun programa específico, senón que tamén demostrará como un programa implementado dentro de contextos organizativos específicos pode servir como catalizador para unha variedade de intervencións. Unha ollada na sostibilidade tamén prestará atención a liñas de tempo realistas en canto ao impacto, en lugar de tratar de establecer impactos dentro dun marco burocrático predeterminado (Sridharan e Nakaima, 2019). Seguindo co traballo destes autores o modelo proposto nesta tese incorpora a sostibilidade como elemento de especial necesidade nos exercicios de avaliación, en liña cos problemas de sostibilidade das intervencións de desenvolvemento de capacidade amplamente discutidos no capítulo dedicado ao marco teórico e normativo da axuda ao desenvolvemento nomeadamente a Axenda 2030. A sostibilidade é entendida como o grao no que os beneficios netos dunha intervención continúan ou é probable que continúen e se manteñan no tempo (OECD/DAC, 2019). Adáptase ao contexto dos programas das axencias da ONU, a proposta de Mayne (2020) que pon o foco ALBERTO NÚÑEZ SABARÍS 142 • Intervencións de desenvolvemento da capacidades para crear ambiente propicio (regras, políticas) • Mulleres e homes participaron e accederon en igualdade de condicións ás oportunidades de capacitación (porcentaxe de homes e mulleres participantes no curso) • Risco de factores ambientais (por exemplo, aumento do nivel do mar, patrón de precipitación cambiante, tamaño e distribución das poboacións biolóxicas) que dificulten os resultados da intervención Fonte: Elaboración do autor O seguinte paso (3) é reunir as evidencias. A recollida de datos e evidencias será un proceso iterativo, primeiro reunindo todo o material dispoñible, deixando unha investigación máis exhaustiva para máis tarde. A evidencia para validar a teoría do cambio será necesaria para os tres niveis: resultados observados, supostos sobre a teoría do cambio e outros factores que inflúen. Será útil recoñecer dous tipos diferentes de cambios de capacidade e comportamento. Os primeiros son cambios incrementais ou adicionais ao estado previo á intervención, como aprender novas técnicas e habilidades ou adoptar novas prácticas. Estes son relativamente máis fáciles de levar a cabo que outros cambios máis difíciles de observar, como pensar os problemas de forma diferente ou cambiar as prácticas de comportamento. Por este motivo, para reforzar a evidencia e a triangulación da información, proponse a realización de enquisas aos destinatarios de intervencións de desenvolvemento de capacidades. O cuarto paso será construír e redactar o relato da contribución. Analizarase se a cadea de resultados é forte (boa evidencia dispoñible, lóxica forte, baixo risco e/ou ampla aceptación polos actores) e cales son febles (pouca evidencia dispoñible, lóxica débil, alto risco e/ou pouco acordo entre os actores); e se os actores clave están de acordo coa interpretación. Deseñarase un modelo de diagrama de teoría do cambio causal, como os presentados anteriormente, para mostrar as vías de impacto e os detalles dos supostos do vínculo causal da teoría do cambio. O quinto paso é buscar probas adicionais a partir das presentacións e retorno por parte dos actores. Utilizaranse técnicas de triangulación para asegurar a calidade técnica. O sexto paso é revisar e reforzar a historia da contribución para a súa presentación e entrega definitiva. 5.2 COMPOÑENTES E FERRAMENTAS DO MODELO DE AVALIACIÓN Unha vez que se definiu o marco do modelo de avaliación, as bases teóricas e se describiron os pasos para a súa operativización, neste apartado descríbense cales son os compoñentes do modelo de avaliación proposto con enfoque de análise de contribución e incorporación do corpo teórico do desenvolvemento de capacidade. Debe precisarse que se propoñen aqueles elementos engadidos a ser incluídos nas avaliacións de programas de país e intervencións ou proxectos de axencias da ONU, non excluíntes doutros elementos das avaliacións. O primeiro dos compoñentes do modelo é o deseño da avaliación e xira arredor de dous instrumentos: a matriz de avaliación e o mapeo e mostra de actores que participarán. O segundo compoñente é o de recolección de datos e propón o uso, no mínimo, de entrevistas individuais e grupais, enquisas, e revisión documental. En terceiro lugar para a redacción e comunicación dos resultados proponse un esquema de relatorio de resultados tanto da lóxica de intervención como de resultados da análise de contribución. Por último, o cuarto compoñente é unha proposta de rúbrica para as conclusións e formulación de recomendacións propoñéndose un esquema para PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 143 a análise e formulación das mesmas. A figura 30 resume os compoñentes e ferramentas que se propoñen para a aplicación do modelo de avaliación. Figura 30. Compoñentes do modelo de avaliación proposto e ferramentas Fonte: Elaboración do autor 5.2.1 Deseño da avaliación A fase de deseño da avaliación está dedicada á estruturación do proceso de avaliación. O obxectivo desta fase é adquirir unha comprensión profunda tanto da intervención (Programa de País ou proxecto) da axencia da ONU como do contexto do país. Formularanse as preguntas de avaliación e propóñense os métodos máis axeitados para a recollida e análise de datos. A partir dun marco de mostraxe/mapeamento de actores, os avaliadores tamén seleccionan unha mostra de actores ós que se aplicarán as ferramentas no traballo de campo para a recolección de datos. A continuación descríbense dúas ferramentas principais de avaliación onde son incorporadas variables que incorporan a perspectiva de desenvolvemento de capacidade. 5.2.1.1 Matriz de avaliación Para o modelo de matriz aplícase a proposta desenvolvida polo UNFPA (2019) xa que se adapta ben ó enfoque de Teoría do Cambio ó tomar como base de análise o suposto ou hipótese relacionada con cada pregunta de avaliación. A matriz de avaliación resume os aspectos fundamentais do exercicio de avaliación: especifica o que se avaliará e como se fará. Na fase de deseño, a matriz delinea o foco da avaliación. Reflicte o proceso que comeza coa definición dos criterios de avaliación e remata coa determinación dos requisitos de datos en canto ás fontes e métodos de recollida empregados para responder ás preguntas de avaliación. A matriz proposta especifica: as preguntas de avaliación; os supostos ou hipóteses particulares que se van avaliar en cada pregunta; os indicadores, as fontes de información que se utilizarán para responder ás preguntas; e os métodos e ferramentas de recollida de datos que se aplicarán para recuperar os datos. ALBERTO NÚÑEZ SABARÍS 144 Durante a fase de campo, a matriz empregarase como marco de referencia para comprobar que tódalas preguntas de avaliación están sendo contestadas. Ao final da fase de campo, a matriz será utilizada para verificar que se recolleron evidencias suficientes para responder a tódalas preguntas da avaliación. Como parte do exercicio de transparencia das evidencias, a matriz de avaliación deberá incluírse no documento de informe de avaliación, cousa que non sempre se aplica como se evidenciou nos resultados da análise das avaliacións que se mostraron no capítulo cuarto desta tese. Táboa 15. Proposta de matriz de avaliación Preguntas de avaliación: Incluiranse as preguntas de avaliación por cada criterio24. - Incluír subpreguntas de avaliación – que serán despois despregadas en supostos a ser testados Supostos a avaliar É a unidade mínima do obxecto de avaliación e relaciona a pregunta de avaliación coas fontes de información. Limita máis a pregunta de avaliación especificando en que deben centrarse os avaliadores e que deben comprobar con precisión cando intentan responder á pregunta. Indicadores/Criterios Inclúe aqueles indicadores que se empregarán para informar do cumprimento ou non dos elementos enumerados na columna “supostos a avaliar”. Fontes de información Nesta columna especifícanse os documentos e informantes que proporcionarán os datos e a información que analizarán os avaliadores para responder ás preguntas. A táboa de mapeo de actores clave debe estar aliñada coas fontes de información para identificar e preseleccionar os informantes clave. Métodos e ferramentas para a recollida de datos Nesta columna indícanse as técnicas que se empregarán para recoller os datos das fontes. Os métodos propostos no modelo, como xa se indicou, son a análise documental, as entrevistas individuais, as discusións en grupo focais e cuestionarios. Fonte: Elaboración do autor adaptado do modelo proposto polo UNFPA (2019) As variables relacionadas co desenvolvemento de capacidades serán incluídas nos supostos e indicadores de medición. Algúns indicadores, que se operativizan máis adiante nas ferramentas de avaliación son: Táboa 16. Variables mínimas para análise de Desenvolvemento de Capacidades. Variables mínimas para análise de DC Relación entre obxectivos e resultados da/s intervención/s e as necesidades do país en desenvolvemento de capacidades Estudos de xustificación e alcance de intervencións das actividades de desenvolvemento de capacidades con identificación de poboación obxectivo Tipoloxía e niveis das intervencións de desenvolvemento de capacidade Identificación xeográfica (Localidades ou provincias) onde se realizaron os adestramentos/talleres/actividades de desenvolvemento de capacidades e cobertura de persoas receptoras Lagoas ou deficiencias de capacidade do país en xeral, e da organización receptora da intervención en particular Habilidades e destrezas adquiridas nas formacións resultado da intervención de desenvolvemento de capacidade 24 Debe considerarse que unha pregunta de avaliación pode dar resposta a un ou varios criterios PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 145 Produtos resultado da intervención de desenvolvemento de capacidade Cambios en políticas, leis ou normas sociais resultado da intervención de desenvolvemento de capacidade Fonte: Elaboración do autor 5.2.1.2 Mapeamento25 de actores A proposta de modelo considera que os avaliadores deben ter unha visión completa dos actores clave (goberno, socios de execución, beneficiarios, sociedade civil, doadores, etc.) que: (i) participaron na preparación e implementación do Programa de País ou do proxecto; ou (ii) foi afectado directa ou indirectamente pola súa aplicación. Os actores clave identificados serven como fontes importantes de información para os avaliadores. Poden proporcionar tanto datos cuantitativos como información cualitativa, que os avaliadores deberían utilizar para analizar a contribución da axencia aos cambios para cada resultado do programa de país ou proxecto. O criterio para a mostra dos actores clave deberá incluír: 1. Actores implicados en intervencións da axencia da ONU no país tanto con bo como con mal rendemento. 2. Todo tipo de actores para cada produto/resultado do Programa Pais, proxecto ou intervención, é dicir, socios gubernamentais, axencias de execución, outros socios, beneficiarios directos e indirectos (incluídos grupos marxinados e mozos) e doadores. 3. Para cada produto/resultado, os actores asociados ás actividades en curso, así como ás actividades (atendendo aos Plans Anuais de Traballo da axencia da ONU) que xa foron rematados. 4. Actores involucrados en actividades tanto na capital como nas rexións/provincias/distritos do país. 5. Actores involucrados en actividades con orzamentos grandes e modestos. 6. Actores involucrados tanto en actividades regulares como en intervencións puntuais ou piloto. 7. Actores implicados en actividades de execución nacional (NEX) e coa modalidade de execución directa26. 8. Actores implicados con intervencións rexionais ou internacionais. 9. Actores que traballan nos mesmos temas que a axencia da ONU ou mesmos espazos pero que non son socios. 10. Actores que recibiran formación ou transferencia de capacidades por parte da axencia de Nacións Unidas. Este último criterio incorpora o nivel de receptor de formación sobre o que poder aplicar e analizar a formación recibida. 25 O “mapeamento” consiste na identificación de toda a gama de actores directa ou indirectamente implicados e/ou afectados polo Programa de País, proxecto ou intervención (UNFPA, 2019). 26 NEX úsase cando existe a capacidade adecuada no Goberno para acometer as funcións e actividades do Programa de País ou proxecto. NEX: overall responsibility and assumption of accountability by host Government for the formulation and management of UNDPsupported programmes and projects” (Governing Council decision 92/22 of 26 May 1992). NEX should be the norm, taking into account needs and capacities of recipient countries UN General Assembly (Resolution 47/199 of 22 December 1992). (ver UNDP Delivery Methods NEX DEX ou policy and procedures for development and approval of the Country Programme Action Plan (CPAP), 2012). NEX: overall responsibility and assumption of accountability by host Government for the formulation and management of UNDPsupported programmes and projects” (Governing Council decision 92/22 of 26 May 1992). NEX should be the norm, taking into account needs and capacities of recipient countries UN General Assembly (Resolution 47/199 of 22 December 1992). ALBERTO NÚÑEZ SABARÍS 146 5.2.2 Recolección de datos Un dos obxectivos das avaliacións das axencias das Nacións Unidas é producir unha análise rigorosa que conduza a recomendacións operativas. Os métodos de recollida de datos e a súa correcta aplicación, así como a selección das técnicas e métodos de análise de datos, determinarán a calidade do informe e a utilidade dos resultados da avaliación (UNFPA, 2019). Os seguintes métodos son os propostos para o modelo desenvolvido: 5.2.2.1 Revisión documental A revisión documental será usada para comprender o contexto do país e a intervención da axencia da ONU (Programa de País ou proxecto), para identificar os actores clave, para recoller datos secundarios cualitativos e cuantitativos conforme descrito na matriz de avaliación, identificar preguntas específicas da entrevista, e validar e contrastar as conclusións preliminares da avaliación. Os documentos máis habituais son: informes previos de avaliación; documentos do proxecto como poden ser informes de progreso e seguimento, estudos técnicos sobre unha área temática concreta; resumos e informes estatísticos, etc. A operacionalización das variables para analizar o desenvolvemento de capacidade na revisión documental é a busca de evidencias que mostren a racionalidade na identificación e selección das intervencións para o desenvolvemento de capacidades. Así, as variables que se deben ter en conta no momento da revisión documentan son, sen ánimo de exclusividade, as seguintes: Análise de como os obxectivos e resultados da/s intervención/s están relacionadas coas necesidades do país en desenvolvemento de capacidades. Identificación de estudos de xustificación e alcance de intervencións das actividades de desenvolvemento de capacidades e identificación de poboación obxectivo. Existencia dunha tipoloxía de intervencións de desenvolvemento de capacidade. Identificación das localidades/provincias onde se realizaron os adestramentos/talleres/actividades de desenvolvemento de capacidades. Identificación dos produtos desenvolvidos resultado das intervencións da axencia da ONU. Identificación de cambios en políticas, leis ou normas sociais resultado das intervencións da axencia da ONU. Os datos secundarios obtidos mediante a revisión documental complementarán os datos primarios (obtidos mediante entrevistas individuais e grupais) mediante o exercicio de triangulación, é dicir, verificar e contrastar a validez dos resultados preliminares. 5.2.2.2 Entrevista individual e discusión en grupo A entrevista é a técnica pola que o investigador solicita respostas a unha persoa a preguntas predeterminadas deseñadas para obter información detallada sobre as impresións ou experiencias desa persoa, ou para obter máis información (PNUD, 2021). Tamén se consideran entrevistas grupais, a un pequeno grupo (de seis a oito persoas), para explorar opinións en profundidade dos actores chave, puntos de vista similares ou diverxentes sobre unha iniciativa PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 147 ou política de desenvolvemento, para recoller información sobre os cambios tanxibles e non tanxibles derivados dunha iniciativa (PNUD, 2021). A entrevista pode estar estruturada ou ter un formato menos estruturado (Gubrium e Holstein, 2001). Para o modelo desta tese son propostas entrevistas semiestructuradas e entrevistas grupais. Na entrevista semiestruturada o guión ou lista de temas será usado de maneira aberta. O guión da entrevista lista unha serie de temas sobre os que o investigador quere entrevistar. Esta lista pode incluso se compartida previamente co entrevistado. En estudos dedutivos as preguntas da entrevista estarán baseadas na operacionalización das variables derivadas do marco teórico (Van Thiel, 2021). Para o caso, e no ámbito concreto do desenvolvemento de capacidade, as variables a introducir no guión de entrevista son: Principais lagoas ou deficiencias de capacidade do país en xeral, e da organización en particular. Beneficios para a organización obtidos na intervención da axencia da ONU en desenvolvemento de capacidade. Uso na organización das habilidades e destrezas adquiridas nas formacións ou produtos resultado da intervención de desenvolvemento de capacidade. Lagoas ou deficiencias de capacidade do país en xeral, e da organización receptora da intervención en particular. Identificación de produtos resultado das intervencións da axencia da ONU. Identificación de cambios en políticas, leis ou normas sociais resultado das intervencións da axencia da ONU. 5.2.2.3 Enquisa ou cuestionario A enquisa ou cuestionario proporciona un enfoque estandarizado para obter información sobre unha ampla gama de temas dun gran número e diversidade de actores sobre as súas actitudes, crenzas, opinións, percepcións, nivel de satisfacción, etc. respecto das operacións, produtos, resultados e factores contextuais dunha intervención da axencia (PNUD, 2021). Igualmente como no caso da entrevista, no cuestionario estarán incluídas preguntas que permiten operacionalizar as variables de estudo. O cuestionario proposto é dirixido a tres grupos polo que as cuestións serán diferentes: 1Cuestionario dirixido a nivel de xerentes ou directores de institucións nacionais. Variables a incluír: Tipo (gobernamental, ONG, OSC, etc.), tamaño e sector da organización. Posto dentro da organización. Brecha na capacidade que se quería superar coas intervencións financiadas pola ONU. Tema da intervención de desenvolvemento de capacidade que recibiu a organización. Valoración da intervención de desenvolvemento de capacidade. Uso das habilidades e destrezas adquiridas nas formacións ou produtos resultado da intervención de desenvolvemento de capacidade. Existencia de actividades, discusións ou seguimento relacionados con formación ou outras actividades de desenvolvemento de capacidade. ALBERTO NÚÑEZ SABARÍS 148 Figura 31. Proposta de cuestionario a xerentes aliñando criterios de avaliación e operativización das variables Fonte: elaboración do autor 2Cuestionario dirixido a receptores directos de accións para o desenvolvemento de capacidades. Variables a incluír: Tipo (gobernamental, ONG, OSC, etc.) e sector da organización. Posto dentro da organización. Percepción de aprendizaxe adquirida coa formación recibida da ONU (escala Likert). Adecuación da duración da formación recibida. Adecuación do contido da formación recibida. Utilidade da formación no desenvolvemento do posto laboral. Tempo de práctica nos centros de traballo (sanidade, escolas, etc.). Valoración dos titores de formación. Orientación teórica ou práctica da formación. Percepción de novas habilidades e coñecementos adquiridos. Aprendizaxes que se necesitaba e/ou esperaba aprender durante a formación e non se deron. Existencia de avaliación ao final da formación. Conceptos ou coñecementos principais que aprendeu dos adestramentos. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 149 Figura 32. Proposta de cuestionario a receptores de formación aliñando criterios de avaliación e operativización das variables Fonte: elaboración do autor 3Cuestionario dirixido a nivel de xerentes ou directores de institucións nacionais. Variables a incluír: Área programática na que traballa. Principais brechas de capacidade identificadas no país. Nivel administrativo onde son formuladas e implementadas as intervencións de desenvolvemento de capacidade. ALBERTO NÚÑEZ SABARÍS 150 Nivel de detalle no deseño das intervencións de desenvolvemento de capacidade. Foco das intervencións de desenvolvemento de capacidade. Grao de aplicación de novas ferramentas ou coñecementos no país por medio das intervencións de desenvolvemento de capacidade. Existencia de medición das capacidades adquiridas tralas intervencións de desenvolvemento de capacidade. Figura 33. Proposta de cuestionario a profesionais das axencias de desenvolvemento aliñando criterios de avaliación e operativización das variables Fonte: elaboración do autor 5.2.3 Comunicación dos resultados: evidencias e achados Os participantes dun seminario realizado con funcionarios das Nacións Unidas identificaron cales eran as áreas que consideraban prioritarias para a innovación na avaliación (Rogers e Macfarlan, 2018). A seguinte figura destaca entre as prioridades sinaladas, conseguir unha mellor comunicación e uso dos resultados das avaliacións. O modelo proposto nesta tese, atendendo a esta necesidade e ao apuntado na revisión bibliográfica sobre a necesidade dun maior uso das avaliacións, suxire unha presentación dos resultados da eficacia dos programas e proxectos nos dous niveis de análise sinalados: da lóxica de intervención e da análise de contribución ó desenvolvemento nacional. PROPOSTA DE MODELO PARA AVALIACIÓN DAS ESTRATEXIAS DE DESENVOLVEMENTO DE CAPACIDADE 151 Figura 34. Áreas prioritarias para a innovación na avaliación Fonte: Rogers e Macfarlan, 2018 5.2.3.1 Resultados da lóxica de intervención Para a comunicación dos resultados lóxica de intervención a nivel de eficacia, mostrarase una táboa co conxunto dos resultados (outcomes) e produtos (outputs) recollidos no Programa de País, así como con el nivel de consecución de cada obxectivo. Os indicadores presentaranse segundo se mostran a continuación. Para o caso dun proxecto ou intervención dependerá de como fóra deseñado e, en todo caso, da existencia dun marco lóxico no deseño cunha matriz de resultados. Táboa 17. Matriz de análise da eficacia-lóxica de intervención. Lendas. Resultado (Outcome) Descrición do Produto (output) Indicadores Obxectivo conseguido ALBERTO NÚÑEZ SABARÍS 254 de coñecementos e habilidades, que se se aplican, manteranse durante algún tempo, sempre que a formación sexa feita de forma regular. Pero para un efecto duradeiro e sostible, debería haber unha estratexia a longo prazo para afrontar estes retos, con fortes elementos de demostración, práctica no campo e supervisión de apoio. En canto ao deseño e execución das intervencións de desenvolvemento de capacidade, o enfoque sectorial e a fragmentación limitan a eficacia e sostibilidade das intervencións de desenvolvemento de capacidade. As consideracións xeográficas son igualmente importantes para permitir a ampliación das intervencións, para garantir a súa sostibilidade. A natureza dos problemas aos que sen enfrontan as axencias nos países en desenvolvemento é complexa, polo que require solucións integrais, actuando sobre a oferta con demanda reforzada. Ademais, a evidencia demostra que as intervencións multidimensionais aumentan a resiliencia da poboación. O investimento en infraestruturas só pode ter éxito se vai acompañado de capacidade para ofrecer programas e servizos de calidade. Confirmáronse algunhas funcións chave que a literatura sobre desenvolvemento identifica como significativas para axudar a moldear a forma en que as políticas de desenvolvemento eficaces poden ser deseñadas e implementadas. As intervencións e os proxectos son eficaces cando poden identificar innovacións políticas, especialmente a nivel local como no segundo caso analizado (modelo UPHV), e axudan aos gobernos a idear formas de estendelas nunha escala xeográfica superior. As axencias foron vistas polos actores nos dous casos analizados, así como na revisión da parte primeira da tese, como positivas e influíntes cando foron capaces de proporcionar un acompañamento e asistencia sofisticada e de calidade en materia de políticas (é dicir, unha consellería precisa e ben contextualizada, informado por un coñecemento detallado das experiencias pasadas e actuais, así como das limitacións orzamentarias e políticas) aos distintos niveis de goberno. A nivel de avogacía sobre normas e protocolos, os programas e proxectos foron máis exitosos onde a incidencia e transferencia de capacidade foi integrada en tódalas actividades, desde o apoio para a colocación na axenda política ata o seguimento e avaliación ou a prestación dos servizos. Isto require non só deseñar iniciativas de apoio a proxectos ou políticas, senón tamén fomentar unha cultura interna arredor desas normas e estándares dentro dos socios implementadores. Así, a avogacía ou incidencia política demostrou posibilidade de obter resultados cando se considera o esforzo das axencias a dous niveis: alto nivel político e a un nivel técnico. O alto nivel implica a capacidade de influír e ter un impacto na toma de decisións dos altos cargos gobernamentais para fomentar e ampliar un novo modelo de atención ou unha iniciativa para reducir a desnutrición por exemplo, como foi descrito no capítulo previo, desde a reflexión sobre as opcións políticas ata a concienciación sobre os principais desafíos ata a difusión dos resultados das análises. A nivel técnico ou secundario implica desenvolver formas de asociarse cos gobernos para que a información relacionada co desenvolvemento sexa accesible e dispoñible para o público máis amplo posible utilizando recursos como publicacións, redes sociais e outros medios de comunicación. Moitas iniciativas de reforma de políticas non logran melloras sostidas no rendemento institucional porque son simplemente imitación isomórfica ou conformidade da axenda en lugar de funcionalidades melloradas adaptadas ao contexto local. A énfase na forma (o que semellan as reformas) sobre a función (o que realmente fan) é unha característica crucial da “trampa da capacidade” (Andrews M, Pritchett L, e Woolcock M, 2017) á que se enfrontan moitos países. O segundo caso analizado, o modelo UPHV mostrou como se centrou máis na función que na DISCUSIÓN FINAL E CONCLUSIÓNS 255 forma, e en resposta a problemas desde a definición local dos mesmos. O reto de escapar da trampa de capacidade implica centrarse na funcionalidade mellorada como chave para mellorar a capacidade do país. Tendo en conta esta base, o segundo caso analizado aporta algunhas leccións en canto ao defendido por Andrews, Pritchett e Woolcock (2017) no seu “modelo de triple A (authority, acceptance e ability)” para identificar espazos de cambio: A importancia do apoio necesario (autoridade) para a implantación das reformas, a diferentes niveis: político, xurídico ou organizativo. A aceptación por parte dos afectados polas reformas (por exemplo os directores dos centros de APS no caso do modelo visitas a domicilio). Os diferentes tipos de cambios requiren diferentes niveis de aceptación e a clave está en recoñecer que aceptación previa existe e que lagoas hai que pechar para favorecer o cambio. E a necesidade de centrarse no lado operativo da reforma: tempo, orzamento, habilidades mínimas para iniciar calquera tipo de intervención. O desenvolvemento de capacidade mostrouse como un gran compoñente da estratexia de reforma. Estes tres elementos, en maior ou menor medida, foron identificados como importantes para o deseño e aplicación de reformas. É útil para unha execución eficaz das reformas revisar as lagoas de capacidade nestes tres ámbitos: autoridade, aceptación e capacidade; e facer propostas de recomendacións en sintonía. Ese foi o compoñente final do modelo testado e mostrouse útil e relevante sempre que haxa unha participación efectiva de actores nacionais involucrados na discusión final dos achados da avaliación e un proceso de construción de consenso sobre as vías de cambio futuro. Para a análise de contribución, identificouse a pertinencia de usar un marco normativo de referencia, coa que establecer un referente normativo. Por exemplo, no primeiro caso de estudo, como marco normativo da gobernanza democrática, foron seguidos os documentos Assessing the Quality of Democracy of the International Institute for Democracy and Electoral Assistance (2008) e o Democratic Governance Reader of the UNDP (2009) en sintonía cos enfoques da axencia nestes temas; e no segundo caso como marco normativo foi seguido o modelo da atención primaria de saúde definido por Barbara Starfield (1992), amplamente aceptado pola comunidade na area de estudo. Isto permitiu establecer un marco normativo contra os que discutir os achados das avaliacións e perfeccionar a análise de contribución, non so contra a liña de base dos datos de capacidade no país senón tamén contra o ideal normativo. Por último, a hipótese menciona que o desenvolvemento de capacidade pode dar mellores resultados se se “...planifican, aplican e miden...”, mais como se indicou previamente a xeración e uso do coñecemento é o paso posterior necesario para cumprir a hipótese. O desenvolvemento dos mecanismos de seguimento e avaliación, como parte dun sistema holístico máis amplo dunha axencia nun país e orientado a resultados para todo o Programa de País baseado no enfoque da teoría do cambio, fará posible identificar a contribución realizada polas intervencións de desenvolvemento de capacidade. Coa identificación dun indicador relacionado con desenvolvemento de capacidade para cada resultado do Programa de País ou proxecto poderá ser medida a contribución do cambio de comportamento e habilidades ao resultado global conseguido. Sistematizar a xestión do coñecemento, por exemplo coa práctica de medir e documentar as habilidades adquiridas partindo da identificación da liña de base sobre cambios de capacidade, revélase como unha estratexia pertinente neste sentido. ALBERTO NÚÑEZ SABARÍS 256 7.2 IMPLICACIÓNS TEÓRICAS, LIMITACIÓNS E LIÑAS POTENCIAIS DE INVESTIGACIÓN No apartado anterior apuntáronse algunhas conclusións relacionadas coas hipóteses da investigación, pero a seguir abúndase nalgunhas implicacións prácticas desta investigación sobre o que os actores, principalmente os doadores e axencias de desenvolvemento poderían considerar para mellorar o desenvolvemento da capacidade e a súa avaliación. Esta investigación tenta sumarse á literatura sobre as políticas ao desenvolvemento e máis concretamente sobre as avaliacións con enfoque de análise de contribución, e as teorías do cambio relacionadas co desenvolvemento de capacidades. A partir da análise realizada, constátase como as axencias de desenvolvemento están a facer contribucións significativas ao desenvolvemento de capacidade nas organizacións destinatarias e os países receptores da axuda. Nas intervencións estudadas, este apoio centrouse nunha variedade de capacidades necesarias para que os socios poidan prover os seus produtos e servizos. Os actores nacionais valoran polo xeral as intervencións que levaron ao fortalecemento dos coñecementos e habilidades individuais. En menor medida, as intervencións abordaron as estruturas administrativas ou as infraestruturas e equipamentos das organizacións. Algunhas das intervencións informaron de resultados desiguais en diferentes niveis administrativos e xeográficos. Isto sinala a importancia de adaptar coidadosamente o apoio ás necesidades e prioridades dos países receptores a tódolos niveis. As intervencións estudadas demostraron que as axencias de desenvolvemento operan nunha diversidade de contextos e apoian iniciativas de desenvolvemento de capacidade con diferentes niveis de complexidade temática, xeográfica e organizativa. A análise feita demostrou que unha adecuada experiencia técnica e a capacidade de relacionarse con múltiples actores e de adaptarse a diferentes contextos son factores importantes para que as intervencións poidan acadar resultados en desenvolvemento de capacidade. As axencias estudadas demostraron ser un socio ben valorado e son benvidas polos países para apoiar o desenvolvemento de capacidade. Nas intervencións analizadas, as axencias da ONU foron consideradas como socios lexítimos, capaces de apoiar procesos de cambio cunha capacidade técnica e de xestión adecuada. O enfoque de traballar a través de socios de cooperación, como ONGs ou organizacións da sociedade civil, mellorou a apropiación e o compromiso local. Outros factores que contribuíron á lexitimidade do doador foron o equilibrio na toma de decisións entre as direccións das axencias e dos actores nacionais, a confianza mutua e a duración da relación axencia-socio nacional. Neste sentido, as cooperacións máis longas aumentaron a confianza e a lexitimidade, ademais de permitir que se desenvolvan con máis tempo e incorporen capacidades nas organizacións destinatarias. Unha comprensión adecuada do contexto é fundamental para a definición dos obxectivos. A análise mostrou que as axencias en xeral teñen un alto nivel de comprensión do contexto no que teñen lugar as intervencións. Este é considerado como un aspecto crítico para deseñar intervencións e enfoques aliñados cos intereses e capacidade dos socios, e tamén un ingrediente para a lexitimidade de cara aos doadores internacionais. Os estudos de caso tamén demostraron a importancia dunha comprensión adecuada do contexto en tódolos niveis de intervención, desde o nivel político ao técnico. Considerouse que a avaliación e uso da capacidade dispoñible localmente facilita o compromiso coas organizacións socias e os grupos de actores locais, así como para reforzar a sustentabilidade das intervencións. A calidade dos marcos de xestión é dispar entre as intervencións revisadas. De acordo coa orientación das axencias, tódalas intervencións estudadas incluíron marcos de resultados DISCUSIÓN FINAL E CONCLUSIÓNS 257 desenvolvidos durante o deseño ou as fases iniciais de implementación. A calidade destes marcos de resultados varía considerablemente. Ningún dos marcos de resultados estudados na primeira parte da tese, nin matrices de avaliación incluíron un desglose exhaustivo dos resultados, produtos, obxectivos, actividades e os correspondentes indicadores e medios de verificación para tódalas dimensións do desenvolvemento de capacidade, de acordo aos marcos teóricos. En consecuencia, o seguimento e avaliación de cada unha destas dimensións do desenvolvemento de capacidade non se realizou de forma sistemática. En definitiva, o desenvolvemento de capacidade dá mellores resultados se é sensible e adaptado ao contexto, e se está orientado a resultados (outcomes). Así, como resume destas ideas, pódese afirmar que se conseguirán mellores resultados se (i) se consigue un apoio nacional para o desenvolvemento de capacidade dimensionado á complexidade das capacidades a desenvolver; (ii) se as axencias, doadores e socios entenden e responden ao problema e contexto no que se desenvolve a intervención; e (iii) se comparten o foco na consecución de resultados e constrúen de forma conxunta a Teoría do Cambio. As teorías do cambio son amplamente utilizadas na planificación e avaliación de intervencións para diversos propósitos. Poden axudar a deseñar intervencións, servir de base para avaliacións baseadas na teoría, axudar a xestionar intervencións ou constituír un marco para informar sobre o rendemento, como apuntan Mayne e Johnson (2015). A maioría das intervencións teñen a expectativa que os beneficios obtidos continúen unha vez que remate a propia intervención. Sridharan e Nakaima (2019) suxiren que tomar unha perspectiva de planificación orientada cara a sostibilidade fomentará un recoñecemento dos programas como sistemas complexos que operan ademais en organizacións complexas. Así, o enfoque de sostibilidade non só argumentará sobre os impactos causais dun programa específico, senón que tamén demostrará como un programa implementado dentro de contextos organizativos específicos pode servir como catalizador para unha variedade de intervencións. Unha ollada na sostibilidade tamén prestará atención a liñas de tempo realistas en canto ao impacto, en lugar de tratar de establecer impactos dentro dun marco burocrático predeterminado (Sridharan e Nakaima, 2019). Nesta tese faise proposta de integración deste enfoque na avaliación de programas e proxectos ao desenvolvemento e comprobouse a súa idoneidade e aplicabilidade. Este estudo pretendeu ampliar a investigación empírica previa sobre a avaliación do desenvolvemento de capacidade, identificando conceptualmente e examinando empíricamente os efectos non só a nivel individual, senón tamén a nivel organizativo e ambiente propicio. O estudo proporciona coñecementos que contribúen a unha mellor comprensión de como se deseñan e aplican as avaliacións e como afectan ao comportamento dos actores e a elaboración de intervencións, e que factores e mecanismos poden axudar a un mellor uso e procesamento do coñecemento xerado a partir dos procesos ou resultados de avaliación. Conclúese da análise que a aprendizaxe apoia a elaboración de accións correctoras por parte das axencias de desenvolvemento. A este respecto, e a pesar das eivas identificadas, observouse que as intervencións analizadas utilizaron xeralmente os resultados de avaliacións anteriores no deseño de novas intervencións ou novas fases dunha mesma intervención; e que as axencias fixeron un uso sistemático da información producida nas intervencións para a súa xestión. A partir das conclusións ás que chega a investigación sobre as políticas ao desenvolvemento e a avaliación, propóñense algúns posibles campos de investigación relevantes. Ao longo do documento sinálase como unhas mesmas hipóteses de partida ofrecen resultados diferentes en cambios de capacidade, por este motivo sería importante afondar nas ALBERTO NÚÑEZ SABARÍS 258 diferenzas nos modelos de desenvolvemento de capacidade implantados nos distintos países ou grupos de países, e cales son aquelas variables que independentes que ofrecen evidencias de mellores resultados. En caso de iniciativas a nivel país con rexións participantes e outras non, o estudo de métodos experimentais ou cuase-experimentais con grupos control e de tratamento é posible que ofreza resultados nese sentido. Adicionalmente, a presente investigación está limitada a unhas axencias de desenvolvemento e un marco xeográfico que aínda sendo amplo pode ser ampliado. Por iso, será pertinente continuar a análise de como se integra o desenvolvemento de capacidade tomando unha mostra de casos máis ampla de casos, con diferentes características: proxectos en diferentes sectores, ou países con diferentes categoría de desenvolvemento. Tamén se debería incluír institucións de cooperación bilateral para estudar se operan diferentes mecanismos que na axuda multilateral que foi o foco desta tese. Ao mesmo tempo, a nivel interno dos países, é pertinente ampliar a análise intersectorial para encontrar patróns diferenciais entre sectores e nas transformacións da xestión pública entre tipos de organismos públicos, segundo a finalidade de proporcionar servizos ou non destes, por exemplo entre provedores de servizos ou entres reguladores. Así, unha análise máis ampla podería permitir afondar nas diferenzas que se xeran nos modelos de xestión entre organizacións de diferentes sectores, como por exemplo o sector sanitario ou social, coas de desenvolvemento económico. Na tese tratouse o tema da tradición administrativa, e como algunha destas tradicións administrativas está insuficientemente representada nos estudos comparativos de xestión pública. Aínda que as tradicións administrativas non son totalmente determinantes, si configuran parámetros para a acción, y calquera reforma da xestión pública vai premer sobre estes parámetros afectando ó proceso de deseño e sobre todo de implementación da reforma. É por iso que é unha oportunidade investigar como operan as iniciativas de desenvolvemento de capacidade en función da tradición administrativa do país receptor da axuda. Outro ámbito de interese para a futura investigación, importante desde o punto de vista da eficacia e a sostibilidade, é como a estratexia de desenvolvemento de capacidades incorpora mecanismos de escalada ou expansión no caso da experiencias piloto ou iniciativas acotadas xeograficamente; e en que circunstancias son asumidos polas autoridades nacionais. Nesta liña, é pertinente estudar en profundidade os procesos de difusión, transferencia e aprendizaxe a partir das reformas para aumentar a capacidade de toma de decisión dos deseñadores de políticas de desenvolvemento, así como para enriquecer o debate sobre o tema. En 2005, a Declaración de París sobre a Eficacia da Axuda sinalou que a capacidade de planificar, xestionar, implementar e medir os resultados das políticas e programas é fundamental para acadar os obxectivos de desenvolvemento. Afondar na avaliación dos resultados dos programas e proxectos, incorporando a perspectiva de desenvolvemento de capacidade, permitirá mellorar a mesma práctica da avaliación e de como as avaliacións poden estar vinculadas coa mellora das políticas. A tese usa a taxonomía dos tipos de actividades que deben realizar os países e as capacidades que esas actividades necesitan. A tipoloxía analítica utilizou preguntas para clasificar as tarefas ou actividades en catro tipos de capacidades (Andrews, M., Pritchett, L. e Woolcock M., 2017): (i) formulación de políticas, (ii) xestión loxística, (iii) prestación de servizos de implementación intensiva, (iv) imposición de obrigas de implementación intensiva. Isto permitiu clasificar e analizar o tipo de capacidade que necesitaría unha organización para DISCUSIÓN FINAL E CONCLUSIÓNS 259 ter éxito. Esta tese contribuíu a afondar no uso da liña de investigación destes autores, vinculados ao Center for International Development da Harvard Kennedy School. Sería pertinente afondar no futuro na práctica e análise da integración desta taxonomía, ou outras similares, no traballo das axencias do sistema das Nacións Unidas para o desenvolvemento da capacidade dos países. As Nacións Unidas enfocan conceptualmente o desenvolvemento de capacidade en niveles (individual, organizativo e ambiente propicio) mais, a tenor dos resultados da investigación, crese relevante usar a taxonomía proposta para definir intervencións que teñan en conta, de forma estruturada, o tipo de capacidades que deben ser desenvolvidas. Un dos desafíos que orientan o modelo de avaliación proposto é o de integrar o enfoque da análise de contribución cos criterios de avaliación do DAC-OCDE. Enténdese que é especialmente relevante definir esa relación, cando se aplica o enfoque de análise de contribución, tanto a nivel do deseño das avaliacións como da comunicación dos resultados. Nesta tese faise unha proposta de integrar a análise de contribución co uso da Teoría do Cambio nos criterios de relevancia, eficacia, impacto e sostibilidade. Con esta tese agárdase ter contribuído a responder á demanda expresada polo Grupo de Desenvolvemento das Nacións Unidas (UNDG, 2019) no sentido da necesidade de incluír criterios de avaliación específicos para as intervencións de desenvolvemento de capacidades, discutir recomendacións e tomar as medidas necesarias para mellorar as intervencións de desenvolvemento de capacidades; así como establecer unha estratexia de comunicación sobre os resultados da avaliación. Esa foi a orientación da segunda parte da tese e será pertinente poder continuar no futuro a investigación sobre o nivel de implementación efectiva das recomendacións. Neste senso, e en liña co estipulado polo UNDG (2019) esta tese confirmou a relevancia de facer avaliacións das necesidades de capacidade centrada nos niveis individuais, organizativos e do entorno propicio, un inventario de enfoques baseado en evidencias para apoiar o desenvolvemento da capacidade, e o establecemento de liñas de base relacionadas coa capacidade e consolidación de asociacións estratéxicas. A Resolución 75/233 da Asemblea Xeral da ONU de decembro de 2020 é a última sobre a revisión cuadrienal ampla da política relativa ás actividades operacionais do sistema das Nacións Unidas para o desenvolvemento. Na mesma ponse de manifesto a necesidade de que os países impulsen a creación de maior capacidade para o desenvolvemento sostible. Esta tese fai algunhas achegas e mostra algunhas evidencias en termos de enfoque e operativización do desenvolvemento de capacidade de tres axencias do sistema das Nacións Unidas, así como da súa avaliación. O autor espera ter contribuído a ampliar o coñecemento sobre esta temática e a facilitar a inclusión do enfoque de desenvolvemento de capacidade na avaliación das políticas ao desenvolvemento. ALBERTO NÚÑEZ SABARÍS 260 8 BIBLIOGRAFÍA African Union and NEPAD Agency (2012). Strategic Framework for Capacity Development in Africa. Midrand, South Africa. Aguilar, L.F. (2006). Gobernanza y gestión pública. México, Fondo de Cultura Económica. Alaerts, G. J. and Kaspersma, J. (2009). Chapter: Progress and Challenges in Knowledge and Capacity Development Book Capacity Development for Improved Water Management. Edition 1st Edition. Amirkhanyan, A. A., Kim, H. J. and Lambright, K. T. (2014). The Performance Puzzle: Understanding the Factors Influencing Alternative Dimensions and Views of Performance. Journal of Public Administration Research & Theory. Jan2014, Vol. 24 Issue 1, p1-34. 34p. Andrews, M. (2013). The Limits of Institutional Reform in Development: Changing Rules for Realistic Solutions. Cambridge: Cambridge University Press. Andrews, M. (2018). Public Policy Failure: "How Often?" and “What is Failure, Anyway?": A Study of World Bank Project Performance. Center for International Development at Harvard University Andrews, M. (2021). Successful Failure in Public Policy Work. CID Faculty Working Paper No. 402. Center for International Development at Harvard University Andrews, M., Pritchett, L. and Woolcock, M. (2017). Building State Capability: Evidence, Analysis, Action. Oxford: Oxford University Press Andrews, M., Pritchett, L. and Woolcock, M. (2015). Doing Problem Driven Work. HKS Working Paper No. 073 Andrews, M., Pritchett, L. and Woolcock, M. (2017). Looking like a state: The seduction of isomorphic mimicry. Building State Capability: Evidence, Analysis, Action (Oxford, 2017; online edn, Oxford Academic, 16 Feb. 2017) Andrews, R., Boyne, G. A. and Walker, R. M. (2006). Subjective and objective measures of organizational performance: An empirical exploration. In Public service performance: Perspectives on measurement and management, ed. George A. Boyne, Kenneth J. Meier, Laurence J. O’Toole, Jr., and Richard M. Walker, 14–34. New York, NY: Cambridge Univ. Press Babayeva B., Kim N., Yessimova D., Sukhanberdiyev K. and Tikhonova L. (2018). Universal progressive model oh home-viiting for pregnant women and young children at the primary health care level: Methodical recommendations for implementation in primary health care organizations. Astana. BIBLIOGRAFÍA 261 Baizerman, M. et al. (2002). Toward a definition of the ECB process: A conversation with the ECB literature. Bakewell, O. and Garbutt, A. (2005). The Use and Abuse of the Logical Framework Approach. Stockholm: SIDA Baser, H. and Morgan, P. (2008). Capacity, Change and Performance Study Report. Discussion Paper No 59B April 2008 Bedi, T., Coudouel, A., Cox, M., Goldstein, M. and Thornton, N. (2006). Beyond the Numbers: Understanding the Institutions for Monitoring Poverty Reduction Strategies (Tanzania country case study). Washington D.C.: World Bank. Besley, T. and Persson, T. (2008). Wars and State Capacity. Journal of the European Economic Association 6(2–3): 522–530 Bezes, Ph. and Lodge, M. (2006). Historical legacies and dynamics of institutional change in administrative systems. Paper presented at the International Political Science Association (IPSA) in World Congress in Fukuoka, Japan, July 9-13 Boin, A., ‘t Hart, P., Stern, E., and Sundelius, B. (2016). The Politics of Crisis Management: Public Leadership under Pressure (2nd ed.). Cambridge: Cambridge University Press. Bossuyt, J. (2001). Mainstreaming Institutional Development – Why is it Important and How Can it be Done? Maastricht: European Centre for Development Policy Management Bovens, M.A., T'Hart, P. and Peters, B.G. eds. (2002) Success and failure in public governance: A comparative analysis. Edward Elgar Publishing. Boyne, G. A. (2002) Theme: Local Government: Concepts and Indicators of Local Authority Performance: An Evaluation of the Statutory Frameworks in England and Wales. Public Money & Management 22 (2): 17–24. Boyne, G. A. (2003), Sources of Public Service Improvement: A Critical Review and Research Agenda, Journal of Public Administration Research and Theory, Volume 13, Issue 3, July 2003, Pages 367–394, Boyne, G. A., Kenneth J., Meier, L. J. O’Toole, Jr., and Richard M. W. (2005). Where next? Research directions on performance in public organizations. Journal of Public Administration Research and Theory 15:633–9 Brewer, G. A. (2006). All measures of performance are subjective: More evidence on US federal agencies. In Public service performance: Perspectives on measurement and management, ed. George A. Boyne, Kenneth J. Meier, Laurence J. O’Toole, Jr., and Richard M. Walker, 35–54. New York, NY: Cambridge Univ. Press Browne, S. (2002). Developing Capacity Through Technical Cooperation: Country Experiences. London: Earthscan. Budhwani, S and McDavid, J. (2017). Contribution Analysis: Theoretical and Practical Challenges and Prospects for Evaluators. Canadian Journal of Program Evaluation. Vol. 32 ALBERTO NÚÑEZ SABARÍS 262 Cartwright, N. and Hardie, J. (2012). Evidence-based Policy: Doing It Better. A Practical Guide to Predicting If a Policy Will Work for You. Oxford: Oxford University Press Chabal, P. (2009). Africa: The Politics of Suffering and Smiling. London: Zed, 2009. Chen, H. T. (1990). Theory-Driven Evaluations. Newbury Park, California: Sage Publications. Chen, H. T. (2004). The roots of theory-driven evaluation: current views and origins. In M. C. Alkin (Ed.), Evaluation Roots. Thousand Oaks, California: Sage Publication Chen, H. T. (2015). Practical program evaluation: Theory-driven evaluation and the integrated evaluation perspective (2nd ed.). Thousand Oaks, CA: Sage Christensen T., Laegreid P., Rykkja L. H. (2016). Organizing for Crisis Management: Building governance capacity and legitimacy. Public Administration Review 76(6): 887–897 Clark, H. and Anderson, A. (2004). Theories of Change and Logic Models: Telling them Apart. Paper presented at the American Evaluation Association Conference, Altanta, Georgia (November, 2004). UNICEF, UNDP, UNFPA. (2018) Common country programme document for Cabo Verde, 20182022, Pages 2:9. Executive Board of UNDP, UNFPA and UNOPS First regular session 2018 22-26 January 2018, New York Items 2 (UNDP) and 6 (UNFPA) of the provisional agenda. Executive Board of UNICEF First regular session 2018 6-8 February 2018, New York Item 6 of the provisional agenda. Compton, M. and Hart, P.T. eds. (2019). Great policy successes. Oxford University Press. Connolly, T., Conlon, E. M., and Deutsch, S. J. (1980). Organizational effectiveness: A multiple constituency approach. Academy of Management Review 5:211–218 Currie, B. (1996). Governance, democracy and economic adjustment in India: conceptual and empirical problems. Third World Quarterly, 17(4), 787–807 Joshi, D.K., Hughes, B.B. and Sisk, T.D. (2015). Improving governance for the post-2015 sustainable development goals: Scenario forecasting the next 50 years. World Development, 70, pp. 286-302 Davidson, M. (2011). Improving Maternal and Child Health and Well-Being in CEE/CIS Through Strengthened Home Visiting and Outreach. Canadian Public Health Association Demings, W. E. (1986). Out of the Crisis. Cambridge, Massachusetts: MIT Press. DiMaggio, P. and Powell, W. (1983). The iron cage revisited: institutional isomorphism and collective rationality in organizational fields. American Sociological Review 48(2), pp. 147–60. DiMaggio, P. and Powell, W. (1991). The New Institutionalism in Organizational Analysis. Chicago, IL: University of Chicago Press. Dybdal, L., Bohni Nielsen, S. and Lemire, S. (2010). Contribution analysis applied: Reflections on scope and methodology. Canadian Journal of Program Evaluation. Vol. 25. BIBLIOGRAFÍA 263 ECDPM (European Centre for Development Policy Management) (2011). Bringing the invisible into perspective – reference document for using the 5Cs framework to plan, monitor and evaluate capacity and results of capacity development processes, ECDPM Maastricht, the Netherlands. Echebarría, K. y Mendoza, X. (1999). “La especificidad de la gestión pública: el concepto del management público” en ¿De burócratas a gerentes? Las ciencias de la gestión aplicadas a la administración del Estado. Banco Interamericano de Desarrollo. EPRS (2007). Understanding capacity-building/capacity development. A core concept of development policy. Etzioni, A. A. (1964). Modern organizations. Englewood Cliffs, NJ: Prentice Hall European Parliament (2007). Understanding capacity-building/ capacity development. A core concept of development policy. Working paper. Evans, P. (2004). Development as institutional change: The pitfalls of monocropping and the potentials of deliberation. Studies in Comparative International Development 38(4), pp. 30–52. Eyben, R. (2007). Power, Mutual Accountability and Responsibility in the Practice of International Aid: A Relational Approach. Brighton: Institute of Development Studies FAO (2015). Enhancing FAO’s practices for supporting capacity development of member countries. Fukuyama F. (2004). State-Building: Governance and World Order in the 21st Century. Ithaca, NY: Cornell University Press Gasper, D. (2000). Evaluating the Logical Framework Approach towards Learning-Oriented Development Evaluation. Public Administration and Development, 20: 17-28. Gubrium, J.F, and Holstein, J.A. (Eds). (2001). The Handbook of Interview Research, London: SAGE Hanson, J. K. (2018). State Capacity and the Resilience of Electoral Authoritarianism: Conceptualizing and measuring the institutional underpinnings of autocratic power. International Political Science Review 39(1): 17–32 Hatry, H. P. (2006). Performance measurement: Getting results. Washington, DC: Urban Institute Press. Holvoet, N. and Renard, R. (2005). Putting the New Aid Paradigm to Work: Challenges for Monitoring and Evaluation. Antwerp: Institute of Development Policy and Management. Holvoet, N.and Renard, R. (2007). Monitoring and evaluation under the PRSP: solid rock or quicksand? Evaluation and Programme Planning, 30, 66–81. Hood, Ch. (1991). “A Public Management for All Seasons?”. Public Administration. 69:3-19 JLN (2014). Costing of Health Services for Provider Payment: A Practical Manual Based on Country Costing Challenges, Trade-offs, and Solutions. Özaltın, A., and C. Cashin, eds. Joint Learning Network for Universal Health Coverage. ALBERTO NÚÑEZ SABARÍS 270 UNSDG (2019). Marco de cooperación de las Naciones Unidas para el Desarrollo Sostenible. Directrices Internas. USAID (2010). Human and institutional capacity development handbook a USAID model for sustainable performance improvement. van der Knaap, P. (2004). Theory-based evaluation and learning: possibilities and challenges. Evaluation, 10(1), 16–34. van Thiel, S. (2021). Research Methods in Public Administration and Public Management: An Introduction (2nd ed.). Routledge. Venner, M. (2014). Capacity Development: Old wine in new bottles?. Paper presented to the Sixth Oceanic Conference on International Studies, University of Melbourne. Verschuren, P., Doorewaard, H., and Mellion, M. J. (2010). Designing a research project (Vol. 2). The Hague: Eleven International Publishing. Walker, R. M., and Boyne, G. A. (2006). Public management reform and organizational performance: An empirical assessment of the U.K. Labour government’s public service improvement strategy. Journal of Policy Analysis and Management 25:371–93 Weber, K. (2006). From nuts and bolts to toolkits: theorising with mechanisms. Journal of Management Inquiry, 15(2), 119–123 Wehn, U. (2014). Effective knowledge and capacity development for enhancing the post-2015 development goals. Paper presented at the International Development Studies Lecture Series 2014– 2015. University of Amsterdam. Weick, K. E. and Quinn, R. E. (1999). Organizational change and development. Annual Review of Psychology, 50, 361–386 Weiss, C. (1972). Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, N.J.: Prentice-Hall. Weiss, C. (2000). Which links in which theories shall we evaluate? New Directions for Evaluation, 87(Fall), 35–45. Wholey, J. S., Scanlon, J. W., Duffy, D. G., Fukumoto, J. S., and Vogt, L. M. (1970). Federal Evaluation Policy: Analysing the Effects of Public Programs. Washington D.C.: Urban Institute World Bank (1994). Governance: The World Bank’s Experience. Washington, D.C: World Bank World Bank (2004). 2003 Annual report on operations evaluation: a renewed focus on results. Precis, Winter 2004(235) Zimmerman, B., Lindberg, C. and Plsek, P. (2009). A Complexity Science Primer: What is Complexity Science and Why Should I Learn About It?. Aid on the Edge BIBLIOGRAFÍA 271 Informes de avaliación revisados para a análise do tratamento do desenvolvemento de capacidade nas avaliacións 1. Análise do tratamento do desenvolvemento de capacidade nas avaliacións PNUD (2019). OUTCOME 1 Evaluation (sustainable livelihood opportunities, including economic recovery and social inclusion). Syria. https: Evaluation Search Results (undp.org) PNUD (2018) Sistema Nacional Público de Salud en el marco de una Política de Estado: La Comisión de Alto Nivel. Panamá. https: Evaluation Search Results (undp.org) PNUD (2019) Evaluación del Proyecto "Provisión de agua potable para comunidades indígenas en el Chaco paraguayo". Paraguay. https: Evaluation Search Results (undp.org) PNUD (2018) Evaluación de medio término del Proyecto Bosques para el Desarrollo Sostenible. Paraguay. https: Evaluation Search Results (undp.org) PNUD (2018) Final evaluation of the Project on UN-REDD Mongolia National Programme. Mongolia. https: Evaluation Search Results (undp.org) PNUD (2018) Evaluación Final del Programa de Primera Respuesta y Atención a Desastres. Bolivia . https: Evaluation Search Results (undp.org) PNUD (2018) Evaluación final del proyecto ps 50363/output 62184. Panama. https: Evaluation Search Results (undp.org) PNUD (2018) Final Evaluation PREJUVE. Regional Office. https: Evaluation Search Results (undp.org) PNUD (2019) Annual Evaluation of Project: Sustainable Development and Integrated Water Management. Saudi Arabia. https: Evaluation Search Results (undp.org) PNUD (2020) Mid-term Evaluation for the project "Fostering Regional and Local Development in Georgia", Phase 2. Xeorxia. https: Evaluation Search Results (undp.org) PNUD (2020) Procurement Support Services to the Ministry of Health of Ukraine. Ucraina. https: Evaluation Search Results (undp.org) PNUD (2019) Cross-border Cooperation for Sustainable Peace and Development Tajikistan_Kyrgyzstan. Kirguizistán. https: Evaluation Search Results (undp.org) PNUD (2020) Final Evaluation of Social Protection Policy Support (SPPS) Programme. Bangladesh. https: Evaluation Search Results (undp.org) PNUD (2019) HCFC Phase Out National Programme. Brazil. https: Evaluation Search Results (undp.org) ALBERTO NÚÑEZ SABARÍS 272 PNUD (2019) Mid-Term evaluation of "Leave No One Behind"' project. Albania. https: Evaluation Search Results (undp.org) PNUD (2020) Final Evaluation of joint programme ONUREDD. Honduras. https: Evaluation Search Results (undp.org) PNUD (2019) Evaluación general de Territorios Sostenibles y Adaptados. Colombia. https: Evaluation Search Results (undp.org) PNUD (2020) Final Evaluation of Community Recovery and Resilience Programme (C2RP). Bangladesh. https: Evaluation Search Results (undp.org) PNUD (2020) Accreditation System of mitigation actions with potential in the carbon market (PMR). Peru. https: Evaluation Search Results (undp.org) PNUD (2020) Final evaluation of the “Promotion of social and economic opportunities for women and youth in Zerafshan Valley of Tajikistan”. Taxiquistan. https: Evaluation Search Results (undp.org) UNFPA (2119) Third UNFPA Country Programme: Armenia, 2016-2020. Armenia. https://www.unfpa.org/evaluation/database UNFPA (2018) Evaluación Final del VI Programa País Ecuador 2015-2018. Ecuador. https://www.unfpa.org/evaluation/database UNFPA (2018) UNFPA seventh Country Programme 2012-2018 Evaluation. Malawi. https://www.unfpa.org/evaluation/database UNFPA (2017) UNFPA Country Programme Evaluation: Myanmar 2012 – 2017. Myanmar. https://www.unfpa.org/evaluation/database UNFPA (2018) Evaluación del Programa de país de Nicaragua 2013-2017. Nicaragua. https://www.unfpa.org/evaluation/database UNFPA (2019) Evaluación del programa país Paraguay VII ciclo de cooperación 2015-2019. Paraguai. https://www.unfpa.org/evaluation/database UNFPA (2018) Evaluation of the unfpa 7th country programme of assistance to the Philippines. Filipinas. https://www.unfpa.org/evaluation/database UNFPA (2019) Government of South Africa/UNFPA 4th Country Programme 2013-2019 Evaluation. África do Sur. https://www.unfpa.org/evaluation/database BIBLIOGRAFÍA 273 UNFPA (2019) UNFPA Country Program Evaluation Report UNFPA. Turquía. https://www.unfpa.org/evaluation/database UNFPA (2019) Evaluación del programa de país del UNFPA: Venezuela Período: 2015–2019. Venezuela. https://www.unfpa.org/evaluation/database UNICEF (2018) Thematic evaluation of Government interventions and UNICEF contribution to reducing vulnerabilities, strengthening resilience and promoting the rights of adolescents in Belarus. Bielorrusia. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Promoting and protecting the rights of children: a formative evaluation of unicef’s child protection programme in cambodia. Camboia. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Impact Evaluation of the Teen Club Programme for Adolescents Living with HIV in Eswatini. Eswatini. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Evaluation of Ghana’s child protection system strengthening initiatives at the district level: final report. Ghana UNICEF (2019) Evaluación formativa de la respuesta de UNICEF en Guatemala a la epidemia del virus del zika. Guatemala. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Comprehensive evaluation of the UNICEF-supported specialized child protection case management response in Jordan 2013-2017. Xordania. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Evaluation of the National Early Childhood Development Program. Nepal. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) End of Programme Evaluation on Promoting Child Rights in Cotton Farming Areas (CRCFA) Programme of Pakistan. Paquistán. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Formative Evaluation of the Child Rights Monitoring Programme in Uzbekistan 2016-2018. Usbequistán. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Summative Evaluation of UNICEF Support for Education in Zimbabwe. Zimbabue. https://www.unicef.org/evaluation/reports#/ UNFPA (2020) Evaluación del Programa País de Panamá - III Ciclo de cooperación 20162020. Panamá. https://www.unicef.org/evaluation/reports#/ UNFPA (2020) Government of Uganda /UNFPA 8th Country Programme 2016 – 2020 evaluation. Uganda. https://www.unicef.org/evaluation/reports#/ ALBERTO NÚÑEZ SABARÍS 274 UNFPA (2020) Government of Ethiopia/UNFPA 8th Country Programme [2016-2020] Final Evaluation Report. Etiopía. https://www.unicef.org/evaluation/reports#/ UNFPA (2018) Evaluación del Programa de País de UNFPA en Cuba 2014-2018 Informe final de evaluación. Cuba. https://www.unicef.org/evaluation/reports#/ UNFPA (2019) 8th Country Programme Evaluation: Zambia. Zambia. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Impact Evaluation of the Lumière Project Final Report. Burundi. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) End line Evaluation of GARIMA Project in Uttar Pradesh (2013-2016) Evaluation Report. India. https://www.unicef.org/evaluation/reports#/ UNICEF (2019) Evaluation of inclusive basic education in the UNICEF Country Programmes 2012-2016 and 2017-2021. Mongolia. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Evaluation of a Postnatal Home Visiting Program for mothers, neonates and their families in Gaza, State of Palestine, over the period 2011 – 2016. Palestina. https://www.unicef.org/evaluation/reports#/ UNICEF (2018) Evaluation of UNICEF Viet Nam Rural Sanitation and Hygiene Programme (RSHP) 2012 – 2016. Vietnam. https://www.unicef.org/evaluation/reports#/ 2. Informes revisados para a análise da perspectiva dos actores e de caso sobre iniciativas de desenvolvemento de capacidade nun país UNFPA (2021) Evaluation of the UNFPA Brazil 6th Country Programme. Brasil. https://www.unfpa.org/evaluation/database UNFPA (2021) Final evaluation of the Program "Strengthen the protection and exercise of Sexual and Reproductive Rights through improved access to comprehensive SRHR / GBV information and services in Central America". América central. https://lac.unfpa.org/es/publications/evaluaci%C3%B3n-%E2%80%9Cfortalecimiento-de-laprotecci%C3%B3n-y-ejercicio-de-los-derechos-sexuales-y UNDP, UNICEF, UNFPA (2022) Final Evaluation of the Common Country Programme – UNDP, UNFPA and UNICEF – for Cabo Verde 2018 – 2022. Cabo Verde. http://web.undp.org/evaluation/evaluations/adr/cabo-verde.shtml UNICEF (2019a) Evaluation of UNICEF’s Capacity Development Investments for Children in Tajikistan. Taxiquistán. https://www.unicef.org/evaluation/reports#/ BIBLIOGRAFÍA 275 UNICEF (2019b) Evaluation of Primary Health Care (PHC) Impact on Infant and Child Mortality Reduction in Kazakhstan. Casaquistán. https://www.unicef.org/evaluation/reports#/ UNFPA (2021) Thematic Evaluation of the Country Program for the Dominican Republic: Reducing Adolescent Pregnancy. República Dominicana. https://www.unfpa.org/evaluation/database 3. Informes revisados para a análise de caso de aplicación do modelo de avaliación UNDP, UNICEF, UNFPA (2022) Final Evaluation of the Common Country Programme – UNDP, UNFPA and UNICEF – for Cabo Verde 2018 – 2022. Cabo Verde. http://web.undp.org/evaluation/evaluations/adr/cabo-verde.shtml UNICEF (2019b) Evaluation of Primary Health Care (PHC) Impact on Infant and Child Mortality Reduction in Kazakhstan. Casaquistán. https://www.unicef.org/evaluation/reports#/ ALBERTO NÚÑEZ SABARÍS 276 9 ANEXOS 9.1 ANEXO: CASO AVALIACION PROGRAMA DE PAÍS 9.1.1 Ferramentas de avaliación: entrevistas Elaboráronse os seguintes protocolos para estruturar os contidos das entrevistas cos principais actores. En todo caso, esta proposta xenérica axustouse en función dos interlocutores de cada sesión de traballo. Táboa 28. Guión de entrevista semiestructurada. Roteiro para o pessoal do Escritório da JO Informações gerais: organização interna, resultados do programa país de sua responsabilidade, principais parceiros para a implementação General information: internal organization, common country program outputs of its responsibility, main implementing partners Em que medida os objetivos do PCP da JO são consistentes com as prioridades e políticas de desenvolvimento do país? PERTINÊNCIA To what extent are the objectives of the CCP of JO consistent with country development priorities and policies? RELEVANCE Como é a posição estratégica da JO em relação às demais agências internacionais e com relação aos stakeholders nacionais / governamentais PERTINÊNCIA - POSIÇÃO ESTRATÉGICA How is the strategic position of JO with respect to the other international agencies and with respect to the national / governmental stakeholders RELEVANCE – ESTRATEGIC POSITION Em que medida os resultados obtidos através da implementação dos diferentes projetos respondem aos outputs e outcomes definidos, tanto pelos resultados quanto pelo público-alvo? PERTINÊNCIA – EFECTIVIDADE To what extent the results achieved through the implementation of the different projects respond to the defined outputs and outcomes, both by results and target audience? RELEVANCE – EFECTIVENESS Como foi o processo de implementação dos projetos? (Eficácia) (identificar fatores / desafios limitantes internos ou externos que dificultam a realização dos resultados esperados), quais recursos foram utilizados? Foram suficientes? EFICIÊNCIA How was the implementation process of the projects? (Effectiveness) (identify internal or external limiting factors / challenges that hinder the achievement of the expected results), What resources were used, were these enough? EFICIENCY ANEXOS 277 Até que ponto o Joint office tem sido flexível, inovador e ágil na entrega de seu programa adaptado à pandemia Covid-19? Como os atuais objetivos, abordagens e modalidades do Programa Comum de País podem ser mais relevantes e adaptados ao contexto do país pós-Covid-19 para o próximo Programa Comum de País? - RELEVÂNCIA - EFICÁCIA To what extent has the Joint office been flexible, innovative and agile in delivering its programme to adapt to the Covid-19 pandemic? How can the current Common Country Programme objectives, approaches and modalities be most relevant and adapted to the post Covid-19 country context for the next Common Country Programme? – RELEVANCE - EFFECTIVENESS Você acha que o JO será capaz de sustentar os outputs e os outcomes produzidos até o momento a longo prazo? Por que / por que não? O que você percebe como fatores internos ou externos que limitam a sustentabilidade dos resultados do PCP? SUSTENTABILIDADE Do you think that the JO will be able to sustain the outputs and outcomes produced so far in the long term? Why/ Why not? What do you perceive as internal or external factors that limit the sustainability of the results of the CCP? SUSTAINABILITY Até que ponto a modalidade de coordenação do Escritório Conjunto foi eficaz em termos de custo-efectividade no que diz respeito às três agências: PNUD, UNFPA e UNICEF? - EFICIÊNCIA To what extent has the Joint Office coordination modality been cost-effective with respect to the three agencies , and ’s mandate and resources? - EFICIENCY Até que ponto a modalidades de Escritório Conjunto no contexto da reforma do UNDS garantem o avanço dos mandatos das 3 agências? - COERÊNCIA To what extent does the Joint Office Modalities in the context of UNDS reform ensure the advancement of the 3 agencies mandates? – COHERENCE Como funciona o sistema de M&A do PCP? Em que medida você o acha adequado? ¿Facilita ou dificulta o trabalho da organização? Sistema de M&A How does the M&E system of the CCP work? To what extent do you think it is adequate? ¿Does it facilitate or inder t e or ani ation’s or ? M&E System No nível programático os objetivos são claramente definidos? Eles respondem a um Programa geral onde os resultados são definidos - objetivos, indicadores e demais elementos programáticos? Como são integradas as questões transversais: gênero, direitos humanos, resposta humanitária, capacitação? ALINHAMENTO ESTRATÉGICO At the programmatic level, are the objectives clear? and do they respond to a much larger Program where outcomes are defined – goals, indicators and so on? How are cross cutting issues integrated: gender, human rights? ESTRATEGIC ALIGNMENT Como define seu planejamento anual a organização? Em conjunto, individualmente? INTEGRAÇÃO TRANSVERSAL / Em que medida você acha que o Processo de Aprovação dos projetos é implementado eficientemente? Quais são os principais entraves neste processo? EFICIÊNCIA How the organization defines their annual planning? Jointly, individually? CROSS-SECTIONAL INTEGRATION / To what extent do you think that the Approval Process of projects is efficiently implemented? What are the main bottlenecks in this process? EFFICIENCY ALBERTO NÚÑEZ SABARÍS 278 Solicite informações sobre resultados alcançados até o momento, resultados inesperados; com detalhes das fontes de informação sobre indicadores de outputs e outcomes Request information on outputs achievements so far, unexpected results; with detail of the sources of information on output and outcome indicators Roteiro para stakeholders governamentais do CCP Em quais projetos você participou em colaboração com a Oficina Comum de Pais (Nações Unidas)? In what projects have you participated in collaboration with JO (United Nations)? Como foi essa colaboração? Você percebe obstáculos que impeçam uma colaboração e implementação efetivas com a JO? PERTINÊNCIA - ALINHAMENTO ESTRATÉGICO How was this collaboration? Do you see any obstacles that hinder an effective collaboration and implementation with JO? RELEVANCE – STRATEGIC ALIGNMENT Como foi o processo de implementação do projeto / Programa Comum de País? (Planejamento, definição de metas, implementação, recursos, gerenciamento, resultados e sustentabilidade). Em que medida a JO contribui a sua organização para a entrega eficaz do Programa e a obtenção de resultados? EFICIÊNCIA EFICÁCIA How has been the process of implementing the project/Common country program? (From planning, goal setting, implementation, resources, management, results and sustainability) To what extent does JO contri ute to our or ani ation’s effecti e ro ramme deli er mandate and achievement of results? EFFICIENCY - EFFECTIVENESS Quais aspectos você gostaria de destacar sobre a parceria com a JO? Ambos, positivos e aqueles que precisam ser melhorados. Também sobre alguns importantes temas transversais: capacitação, resposta humanitária e capacidade para estabelecer parcerias efetivas. VALOR ADICIONADO - EFICIÊNCIA What aspects would you like to highlight about the partnership with JO Country Office? Both positive and those which need to be improved. Also about some important cross cutting issues: capacity building, humanitarian response and ability to establish effective partnerships. EFFICIENCYADDED VALUE Explique brevemente a sua percepção sobre o principal valor adicionado da JO no contexto de Cabo Verde. VALOR AGREGADO Please briefly explain your perception on the main added value of JO in the broader context of the country of Cabo Verde ADDED VALUE O programa investiu adequadamente e se concentrou no desenvolvimento da capacidade nacional para garantir a sustentabilidade? Os produtos de conhecimento (relatórios, estudos, etc.) fornecidos pelo programa são utilizados pelo país? - SUSTENTABILIDADE Did the programme adequately invest in, and focus on, national capacity development to ensure sustainability? Are the knowledge products (reports, studies, etc.) delivered by the programme utilized by the country? – SUSTAINABILITY ANEXOS 279 Em que medida os projetos da JO estão alinhados às prioridades do país e aos Planos Nacionais de Desenvolvimento? PERTINÊNCIA - SUSTENTABILIDADE - VALOR ADICIONADO To what extent are JO projects at country level aligned to the country priorities and the National Development Plans? RELEVANCE - SUSTAINABILITY - VALUE ADDED Solicite informações sobre resultados alcançados até o momento, resultados inesperados; com detalhes das fontes de informação sobre indicadores de outputs e outcomes Request information on outputs achievements so far, unexpected results; with detail of the sources of information on output and outcome indicators Roteiro para stakeholders ONG do CCP Em que âmbito trabalha a sua organização? Informações gerais: organização interna, resultados do programa país de sua responsabilidade, principais parceiros para a implementação What does your organization work on? Presentation of the evaluation project and request for general information: internal organization, review the country program outputs of its responsibility, main implementing partners at local level Em quais projetos você participou em colaboração com a Oficina da JO? In what projects have you participated in collaboration with JO Country Office? Como foi essa colaboração? Você percebe obstáculos que impeçam uma colaboração e implementação efetivas com a JO? PERTINÊNCIA - ALINHAMENTO ESTRATÉGICO How was this collaboration? Do you see any obstacles that hinder an effective collaboration and implementation with the JO? RELEVANCE – STRATEGIC ALIGNMENT Como foi o processo de implementação do projeto / Programa Comum de País? (Planejamento, definição de metas, implementação, recursos, gerenciamento, resultados e sustentabilidade). Em que medida a JO contribui a sua organização para a entrega eficaz do Programa e a obtenção de resultados? EFICIÊNCIA EFICÁCIA How has been the process of implementing the project/Common country program? (From planning, goal setting, implementation, resources, management, results and sustainability) To what extent does JO contri ute to our or ani ation’s effecti e ro ramme deli er mandate and achievement of results? EFFICIENCY - EFFECTIVENESS Quais aspectos você gostaria de destacar sobre a parceria com a JO? Ambos, positivos e aqueles que precisam ser melhorados. Também sobre alguns importantes temas transversais: capacitação, resposta humanitária e capacidade para estabelecer parcerias efetivas. VALOR ADICIONADO - EFICIÊNCIA What aspects would you like to highlight about the partnership with JO? Both positive and those which need to be improved. Also about some important cross cutting issues: capacity building, humanitarian response and ability to establish effective partnerships. EFFICIENCYADDED VALUE ALBERTO NÚÑEZ SABARÍS 286 4) More support after the training 5) Follow up with other activities (mentoring/monitoring/coaching) 6) Other 12. Please list the three main concepts or knowledge you learned from the capacity development initiatives [Document text truncated for crawler view.]