La Evaluación, herramienta para mejorar las políticas de empleo

LA EVALUACIÓN, I - IERRAvIIENTA PARA MEJORAR LAS POLÍTICAS DE EMPLEO José Luis Osuna Llaneza Universidad de Sevilla Purificación López Igual Instituto de Desarrollo Regional RESUMEN Las actuales tasas de desempleo en la sociedad europea demztestrau el importante desarrollo de las políticas activas de empleo_ En este narco, la bcesqueda c/c técnicas _y métodos que hacen posible la introducción de racionalidad en el impacto de los efectos de cada política, es uno de los elementos a tener en cuenta, a fin c/c que estas políticas puedan resultar efectivamente aplicables. Este artículo se centra en el papel que juega la Evaluación como herramienta para el análisis y el perfeccionamiento de las políticas públicas. Palabras clave: Evaluación, políticas activas de empleo, indicadores. ABSTRAcr: The current stages of unemployment rates in the European society have as an immediate consequence the significant development of the Active Employment Policies. In this framework, the search of techniques and methodologies that make possible the introduction of' rationality in the assessment of the effects of such policies, is one of the main aims to take into account, so that these can be applied effectively. This article concentrates on the role that Evaluation plays as a tool for the analysis and improvement of the public policies. Key words: Evaluation, Active Employment Policies, indicators TRABAJO 10 (2001) 137-155 Universidad de Huelva 2009 138  JOSÉ Luis OSUNA LLANEz ' PURIFICACIÓN LÓPEZ IGUAL Los dos vicios que caracterizan al sistema en el que vivimos son, en primer lugar, que en él no está asegurado el pleno empleo y, en segundo, que el reparto de la riqueza y de la renta es arbitrario e injusto. J.M. Keynes Tradicionalmente, una de las preocupaciones fundamentales de la economía ha sido el problema del pleno empleo. Aproximadamente en 1966 los economistas se dieron por vencidos; creo que es una actitud errónea. No puede ser un problema insoluble. Difícil sí, pero no imposible... Es nuestro deber ser optimistas. Sólo de esa forma podemos estar activos y hacerlo que esté dentro de nuestras posibilidades. Karl Popper El problema del desempleo El paro, unido a las graves consecuencias económicas y sociales a las que va unido, es el principal problema de la sociedad europea en la actualidad, aunque no se trata de un problema nuevo. La persistencia de este hecho en toda Europa lo convierte en un problema que necesariamente debe ser tratado en todos los foros de decisión política, a la vez que constituye una de las principales preocupaciones de los ciudadanos. La evolución general de la sociedad ha tomado una configuración específica en lo que al tema del empleo se refiere. Los cambios progresivos en la estructura social, la emergencia de nuevos valores, el aumento del paro, el crecimiento de los procesos de exclusión del mercado laboral de determinados colectivos, la dualización social y el mantenimiento de la discriminación sexual, son los principales efectos que, sobre la población activa, se pueden corroborar fehacientemente. Por otro lado, no se pueden olvidar otros fenómenos, como la tecnificación del proceso de trabajo y la redistribución local de actividades productivas en la nueva división internacional del trabajo, que vienen a agravar el problema del desempleo. Las notables dificultades de las economías para generar empleo y la persistencia de elevadas tasas de paro, incluso en fases expansivas de la economía, pone de manifiesto que para superar la situación no existen soluciones simples. Se puede constatar cómo las sociedades actuales han perdido capacidad de generar empleo, al menos, al mismo ritmo que crean riqueza. A lo largo de la historia del pensamiento económico, el desempleo ha sido analizado desde diversos ángulos y enfoques teóricos que han influido en las políticas adoptadas en cada momento. El desempleo se ha analizado tanto desde enfoques económicos globales (economía clásica o el keynesianismo), como parciales, (así, los de la economía neoclásica, de corte liberal, centrados en el funcionamiento del mercado laboral). Estas teorías liberales han dominado el mundo académico y la política económica durante los últimos :años. TRABAJO 10 (2001) Universidad de Huelva 2009 LA EVAI.UACIóN, 11ERRAMIEN rA PARA MEJORAR LAS POLITICAS Ir FMI'LEO  139 Más allá del posicionamiento personal del aserto keynesiano versus optimismo popperiano, la realidad es tozuda y los cambios experimentados en las sociedades más avanzadas provocan nuevas tipologías políticas, económicas, territoriales, sociales y culturales, pero no consiguen acabar con el desempleo, al tiempo que llevan aparejados graves fenómenos de marginación social. Así, los rápidos y profundos procesos de cambio tecnológico, el proceso de envejecimiento de la población y la transición a nuevos modelos de vida en el seno de las unidades familiares convencionales, dejan al sector público poco margen de actuación para combatir el desempleo estructural que atenaza a buena parte de las economías. más desarrolladas. La estabilidad macroeconómica, la reestructuración como vía para aumentar la competítividad y el combate contra la inflación provocan — mediante la aplicación ultraortodoxa del catecismo monetarista— el aumento de la inversión y el crecimien- to económico, pero nos quedamos esperando niveles de empleo parangonables con las altas tasas de beneficio alcanzadas en los ochenta. Es decir, se sacrificó el empleo para reducir la inflación y, en buena lógica, no hubo lugar para políticas de empleo sino que éstas fueron subordinadas al ajuste y la apertura. El empecinamiento contumaz en tales actuaciones ha traído como consecuencia en el último quinquenio de los noventa una creciente fractura social del mercado de trabajo, provocando incluso la alarma de los organismos financieros internacionales, fieles seguidores de quienes hacían bailar al mercado de trabajo al son de la curva de Phillips'. Con envoltorio tan antiguo, todavía hoy, a comienzos del siglo XXI se pretende preservar la sacrosanta competencia, en tanto que exigencia de la "nueva economía ", entre los algodones de la flexibilidad y la desregulación. La amenaza es clara: sin ellos, no habrá empleo. Hasta ahora, el problema de los bajos niveles de empleo se ha intentado resolver por parte de las autoridades regulando un marco laboral más flexible. Ciertamente, esas medidas han contribuido a la creación de empleo. Pero, desde luego, no en la medida deseable ni en la dirección más adecuada. En efecto, la liberalización del mercado de trabajo en España, y concretamente en Andalucía, que se ha producido a raíz de todas esas medidas flexibilizadoras ha tenido como resultados que crezca el empleo. Pero, sobre todo, lo que ha crecido es 'la contratación. Es decir, estamos asistiendo a una situación en la que la contratación crece a un ritmo mucho más fuerte del que lo hace el 1. Por cierto, en el más puro falsacionismo popperiano, el análisis de Phillips ("The Relation Between Umployment and the Rate of Change of Money Wage Rales") fue realizado para una economía líder mundial (Reino Unido) en un tiempo, 1861/1957, convengamos que, ciertamente, pasado. En fin, una música "rancia" y sin más actualidad que la que le da la posición hegemónica instalada en una Academia también rancia. TRABAJO 10 (2001) Universidad de Huelva 2009 140  Jose Luis OsuNA LLANEZA • PURIFICACIÓN LÓPEZ IGUAL total del empleo. Esta situación evidencia que estamos ante una fuerte rotación en el empleo, que, a su vez, es de muy escasa calidad. Además, el mayor volumen de empleo que se está generando al abrigo de ese nuevo marco laboral no está suponiendo un mayor volumen de tiempo de trabajo. Al contrario. El tiempo de trabajo medido en horas sigue en los mismos niveles o. quizás inferiores, lo que nos indica que buena parte de esos nuevos puestos de trabajo creados son el resultado del desdoblamiento de otros existentes, es decir; la transformación de puestos de trabajo a tiempo completo en otros a tiempo parcial y de carácter temporal. Así, se ha producido un reparto del tiempo de trabajo a coste nulo o negativo para la empresa en el que la Administración ha jugado el doble papel de espectador complacido y de ingeniero que se felicita por posibilitar los medios para que esa operación pueda tener lugar. Hasta ahora el coste de esa creación de empleo ha corrido a cargo de los nuevos empleados y, en alguna medida, de los antiguos. Podríamos decir que estamos asistiendo durante estos años de flexibilidad laboral a un "abuso" de esos instrumentos de contratación que permiten, con el fin de crear nuevo empleo, generar una situación de transitoriedad (precariedad) poco deseable tanto para los que entran en el mercado de trabajo como para los que ya están dentro. Esa precariedad se manifiesta no solo en la temporalidad, que podría contemplarse como un asunto distinto, sino en otros aspectos, tales como menores salarios; mayor dificultad para la defensa de los derechos del trabajador, peores condiciones de trabajo y mayor probabilidad de prácticas contractuales que se salen del marco de la legalidad o que resultan abusivas por parte de la empresa. Pero ni siquiera con este nuevo marco legal se han conseguido superar los obstáculos que limitan seriamente la creación de empleo, pues incluso a pesar del crecimiento de esta magnitud, el ritmo al que lo hace no permite absorber ese excedente de recursos humanos formados y dispuestos a incorporarse al mercado de trabajo 2 .. En conclusión, estas políticas de empleo se han visto desbordadas de forma sucesiva en su intento de dar respuesta al reto de crear empleo. Y, además, empleo de calidad. Esta incapacidad para ofrecer respuestas a un problema que ya no es tan nuevo hace que la sociedad y sus responsables se planteen otras formas de abordarlo. Si el paradigma tradicional se ha quedado obsoleto, quizás sea la hora de cuestionarlo, de cambiarlo por otro. 2. El diferencial en la tasa de desempleo entre la UE y España se encuentra en tomo a los 10 puntos, al igual que entre Andalucía y España. En esta materia no hay convergencia. Y ello a pesar de las bajas tasas de actividad que se registran en Andalucía. Si la predisposición a incorporarse al mercado de trabajo en Andalucía fuera la misma que la existente en el resto de la Comunidades Autónomas españolas, y esta , actitud podría llegar a serlo si las condiciones para encontrar empleo 'fueran más favorables de lo que. sóñ,. entonces el volumen de parados probablemente sería considerablemente mayor al que :es ahofra. TRABAJO 10 (2001) Universidad de Huelva 2009 LA EVALUACIÓN, IIERRAMIENTA PARA MEJORAR LAS POLITICAS DE: EMPLEO 141 Con este panorama del mercado de trabajo, no debe sorprender a nadie que se intenten buscar otras soluciones para mejorar la situación impuesta por la falta de creación de empleo suficiente. Aunque las tesis tradicionales justifican el papel fundamental de la política macroeconómica como instrumento para asegurar un alto nivel de empleo y reducir la tasa de paro, sin embargo, entre sus objetivos se definen fines a corto plazo que, por definición, se consideran más urgentes. Así, nos encontramos con que prevalece la necesidad de reactivar la actividad económica, estabilizar o reducir la inflación y los tipos de interés, o la corrección de los desequilibrios de balanza de pagos o de déficit público. Adicionalmente, las poli ticas macroeconómicas son claramente inadecuadas para hacer frente a problemas cuyo origen sea estructural o de escala microeconómica. Reformas como la reintroducción de un cierto proteccionismo comercial en la Unión Europea para frenar una supuesta pérdida de empleo frente a países competidores, especialmente aquéllos con menores costes laborales; la reducción del tiempo de trabajo; o una solución inspirada en el ejemplo de EEUU, de corte liberal, en la que se abogue por una mayor desregulación del mercado de trabajo y desmantelamiento del Estado de Bienestar, han sido esbozadas como soluciones rápidas al problema. Quienes estamos de forma inequívoca a favor de la intervención del Estado en la economía, no podemos por menos que alentar la preocupación de los gobiernos europeos más progresistas 3 por la situación de los desempleados y de la calidad de los nuevos empleos. Actualmente, hay un amplio grado de consenso alcanzado sobre la idea de que la competencia interempresas y/o interterritorios está en su capacidad para la flexibilidad organizativa, la adecuación, innovación o adquisición de nuevas tecnologías basadas en el conocimiento y, todo ello está en relación directa con las características del empleo y del mercado de trabajo. En definitiva, las políticas de empleo, ante la compleja realidad social que afrontan, deben ser consideradas como un conjunto vinculado al desarrollo social y eco -nómico de las personas. Las políticas que la Unión Europea ha puesto en marcha para el desarrollo de los recursos humanos y el empleo se han articulado, fundamentalmente, a través del Fondo Social Europeo (FSE 4 ). Éste es uno de los Fondos Estructurales, creado por el artículo 123 del Tratado de Roma, con el objetivo de fomentar, dentro de la Comunidad, las oportunidades de empleo y la movilidad geográfica y profesional de los trabajadores, así como de 3. El gobierno francés ha suscitado con sus propuestas parlamentarias un amplio debate en el seno de la sociedad gala. 4. Se considera que sin su ayuda sería difícil mantener los niveles de recursos financieros y la actual intensidad de los incrementos de las cuantías dedicadas a políticas activas de empleo. TRABAJO 10 (2001) Universidad de Huelva 2009 142  JOSÉ LUIS OSUNA LLANEZA ' PURIFICACIÓN LÓPEZ IGUAL facilitar su adaptación a las transformaciones industriales y a los cambios de los sistemas de producción, especialmente mediante la formación y la reconversión profesional. Sin embargo, este fondo no prestó su apoyo, en un principio, a las políticas activas de empleo' y de mercado de trabajo, por considerarse, en el seno de la comunidad, que los problemas de desempleo se resolverían por sí solos gracias al crecimiento económico y el establecimiento de un mercado sin fronteras. Desde su creación, el FSE ha ido cambiando, de acuerdo con los nuevos retos que se le han ido planteando. En este sentido, ha desplazado su centro de atención desde los programas basados esencialmente en la formación para convertirse en un instrumento orientado a las políticas, con una amplia gama de medidas para invertir en los recursos humanos. Fue a principios de los años noventa cuando, a raíz de la recesión económica y el empeoramiento del problema del desempleo en Europa, saltó la voz de alarma ante la necesidad de un cambio en la estrategia económica de lucha contra el paro y sus consecuencias' . El actual enfoque seguido por la Comisión Europea, la denominada Estrategia Europea de Empleo' , que coincide con el argumento que subyace en las recomendaciones de otros organismos internacionales (como pueden ser la OCDE o el G-7), entiende que los argumentos de orden macroeconómico no pueden ser los únicos, por ser insuficientes, a la vez que pecan de excesiva simplicidad para poder explicar las causas y consecuencias del paro y de los fenómenos de dualización social, precarización y desigualdad, ligados al desempleo. Aun reconociendo que un ritmo fuerte y estable de crecimiento es fundamental para crear empleo, no pueden ignorarse otras causas de naturaleza estructural que, de hecho, explican la mayor parte de la mano de obra desocupada en la actualidad" . 5. Se caracterizan por su capacidad anticipadora y combativa, y los mecanismos típicos de actuación son los de ajuste de la oferta y demanda de trabajo, los destinados a mejorar mecanismos de educación y formación para posibilitar una mejor cualificación de los trabajadores,.y las de promoción directa del empleo. 6. El Tratado de la Unión Europea (TUE), firmado en Maastricht en 1992, establece objetivos concretos para la intervención del FSE. A la vez, se aprueba anejo al Tratado, el Protocolo número 14 con el objeto de avanzar en la política social de la Unión Europea. 7. La inclusión en el Tratado de Amsterdam (en octubre de 1997) de un capítulo sobre •Empleo• ha hecho posible un avance significativo en el desarrollo del componente del mercado laboral en Europa. La adopción de orientaciones comunes, incluyendo objetivos específicos verificables, su transposición en los planes nacionales de acción para el empleo y el control multilateral de estos planes, se han combinado para situar el tema del empleo en el primer lugar de la agenda política. El Consejo Europeo extraordinario de Luxemburgo, celebrado los días 20 y 21 de noviembre de 1997, acordó un marco de acción común de la política de empleo en tomo a cuatro ámbitos fundamentales ( "pilares "): empleabilidad, espíritu de empresa, adaptabilidad e igualdad de oportunidades: 8. En el Consejo Europeo de Copenhague, de junio de 1993, se argumentó que el principio de que las políticas macroeconómicas "sanas" era necesario, pero no suficiente. )estas deben ser acompañadas de reformas estructurales y acciones específicas por el empleo. Así nació el concepto de una estrategia :global de empleo a medio y largo plazo, común a los Estados miembros, cuyo diseño se encargó a la. Comisión Europea en colaboración con los gobiernos nacionales. TRABAJO 10 (2001) Universidad de Huelva 2009 LA EVALLIACIÓN, HERRAMIENTA PARA MEJORAR LAS POLD ICAS DE EMPLEO  143 Las ideas que fundamentan la estrategia adoptada en la política de empleo común de los países de la Unión Europea se pueden sintetizar de la siguiente manera 9 : • Las causas del paro en Europa son múltiples, y están compleja y profundamente vinculadas al tejido económico, ligadas al ciclo económico, al cambio estructural y al progreso tecnológico. • Los sistemas fiscales actuales se caracterizan por ser poco progresivos. • En algunos países la incorporación de mujeres y jóvenes al mercado de trabajo expande la oferta de trabajo y compensa la retirada de trabajadores de edad avanzada. • Se agravan los costes económicos y sociales del paro, especialmente el de larga duración, así como la exclusión social. Volviendo a la idea desarrollada al principio de este artículo, los numerosos cambios acaecidos en las sociedades actuales condicionan las posibilidades de actuación del sector público. En una época de restricción presupuestaria como la actual, el debate sobre el papel del sector público en la sociedad, y por tanto, la cuestión sobre los límites en que debe situarse la dimensión del Estado del Bienestar, vuelven a estar en boga. La discusión pasa a centrarse no sólo en la contención del crecimiento del gasto público sino, fundamentalmente, en el uso más eficiente posible que pueda hacerse de él. Por otro lado, en el marco actual, donde se conjugan procesos de globalización de la economía con los de descentralización político - administrativa del poder y de las decisiones en las regiones y entidades menores, se reclama más eficacia y responsa -bilidad en la gestión y ejecución de los presupuestos públicos. Y esto, sobre todo, ante la pugna por conseguir mayores competencias y transferencias de recursos. La aparición de multiplicidad de entidades territoriales con crecientes competencias exige un control que evite duplicidades y despilfarro de recursos; todo ello, unido al interés creciente de las Administraciones por involucrar, al menos en el diseño de sus actuaciones, al beneficiario último de los servicios que prestan, y a la obligación de informar al ciudadano del uso que se hace de sus aportaciones al Estado en forma de impuestos. Esto hace que la legitimación de la intervención pública pase ineludiblemente por garantizar la transparencia en la gestión y ejecución de sus actuaciones, y no exclusivamente en el cumplimiento de legalidad y regulación social a través de las normas. 9. Papeles de Economía. N° 72, 1997: "El mercado de trabajo en perspectiva europea. El combate contra el paro en la unión europea: una estrategia común ". Guillermo Dávila Muro. TRABAJO 10 (2001) Universidad de Huelva 2009 144  JosE Ltns OsuNA LLAN=A • PtnuF1CACfON LÓPEz IGUAL La búsqueda de técnicas y metodologías que hagan posible introducir racionalidad en la valoración de los resultados conseguidos por las políticas desarrolladas por los entes públicos y en la estimación de sus efectos socioeconómicos se ha conve rt ido, en las últimas décadas, en la principal preocupación de los analistas de políticas públicas y, concretamente, de políticas de empleo. Pero el interés por estas cuestiones no es sólo teórico. El reto al que se enfrentan los poderes públicos es hacer que las poli ticas de empleo funcionen. Para ello, es fundamental hacer un seguimiento y evaluación flexible de las estrategias de empleo puestas en marcha, con objeto de alcanzar mayor eficiencia en la intervención y el intercambio de experiencias nacionales. El objetivo es permitir, si es necesario, un ajuste de la estrategia en función del progreso observado en el mercado de trabajo.La intensificación de su seguimiento y evaluación podría utilizarse como una herramienta positiva para la mejora y el aumento de los impactos de los fondos invertidos en la consecución del fin último de crecimiento del empleo. Cada medida incluida en la política de empleo debe encuadrarse en su contexto, teniendo en cuenta su posible interacción con otras reformas. También es esencial mejorar las estadísticas sociales disponibles (entre otras, de empleo y salarios), necesarias para proveer de información oportuna, rigurosa y comparable a escala internacional. La evaluación se presenta, por tanto, como una herramienta de ayuda para el diseño, ejecución y mejora de los efectos e impactos de las políticas de empleo. La evaluación como herramienta de trabajo Toda acción pública pretende incidir en la sociedad actuando sobre las necesidades y problemas detectados con el objetivo de provocar un impacto o cambio en esa realidad. Para ello, se define y articula un conjunto de objetivos y se pone en marcha una serie de instrumentos. El propósito de la evaluación es analizar las distintas etapas, desde que se decide intervenir hasta que se manifiestan los impactos, valorando el diseño, gestión, aplicación y resultado de las intervenciones programadas. El incremento del gasto público y la necesidad de gestionar de una forma más racional los recursos escasos de una sociedad que demanda mejoras constantes en la prestación de bienes y servicios, hace que la evaluación se haya convertido en una herramienta imprescindible al servicio del gestor para mejorar la eficacia y eficiencia de las medidas que se ponen en marcha. Así, esta técnica de análisis ha recibido una creciente atención en nuestro país por su importancia como instrumento para mejorar la planificación, programación y ejecución de los programas y políticas públicas, especialmente en un contexto caracterizado por: • Modernización de la Administración Pública y toma de conciencia por parte de la sociedad de sus derechos a conocer en qué se gasta su dinero y qué mejoras sociales se derivan de dicho gasto. TRABAJO 10 (2001) Universidad de Huelva 2009 LA EVALUACIÓN, HERRAMIENTA PARA MEJORAR LAS POLI11CAS I)I? EMPLEO  145 • Descentralización político - administrativa y la consecuente multiplicidad de entes territoriales con crecientes competencias, lo que exige un control de la actividad pública que evite repeticiones, duplicaciones y despilfarro de recursos. • Necesidad de controlar el déficit público y, por consiguiente, de justificar la eficiencia de las medidas aplicadas. • Obligación legal ante la Unión Europea de justificar la utilidad, aplicación correcta y eficacia de las actuaciones cofinanciadas con Fondos Estructurales. La tendencia general ha sido la de identificar a la evaluación con el análisis de los resultados e impactos de las políticas o programas públicos. Sin embargo, desde nuestro punto de vista, esta orientación es demasiado restrictiva y fragmentaria, pues- to que el alcance de la evaluación es mucho mayor. Así, frente al esquema tradicional lineal que la considera la última fase del proceso de planificación, centrada exclusivamente en la valoración de los resultados de los programas ya aplicados, la perspectiva holística, integradora, la incluye en todas sus etapas: desde la fase de detección de problemas y necesidades hasta la de ejecución y puesta en marcha de la política, con independencia del momento en que la evaluación se realice. La evaluación debe incorporarse, por tanto, desde el primer momento de la planificación, convirtiéndose en procesos relacionados y complementarios que caminan a la par. Se trata de examinar, de un modo sistemático, la idoneidad de la lógica y de las relaciones de causalidad entre las actividades programadas, objetivos y fines, y la adecuación de los sistemas articulados para la ejecución de la política. También trata de analizar el grado de aceptación y capacidad de los decisores políticos, gestores y técnicos para la puesta en funcionamiento del seguimiento y evaluación. En definitiva, la evaluación trata de dar respuesta a preguntas tales como: ¿cuál es la naturaleza y dimensión del problema que se desea resolver con la intervención pública ?, ¿están los objetivos establecidos en los programas de forma clara y medible?, ¿se está llevando a cabo la política tal como se diseñó ?, ¿está alcanzando el programa o política a su población objetivo ?, ¿cuáles son los impactos de la inte rv ención?, ¿cuál es el coste e,p relación con los beneficios y a la utilidad de la política ?, etc. Por todo esto, ha sido necesario el desarrollo de instrumentos que permitan valorar la eficacia y eficiencia de las políticas puestas en práctica, para no caer en apreciaciones reduccionistas y excesivamente dependientes de la coyuntura económica y social, y dar así a la actuación pública la valoración que merece. Desde esta perspectiva, la evaluación es una herramienta útil y necesaria, que permite satisfacer las exigencias de información y transparencia de cuantos agentes participan en el proceso socioeconómico: de forma genérica, informa a la sociedad en su conjunto, como destinataria última de las evaluaciones realizadas; y, de forma específica, a los órganos representativos del poder ejecutivo en las Administraciones TRABAJO 10 (2001) Universidad de Huelva 2009 152  JOSÉ Luis OSUNA LLANEZA ' PURIFICACIÓN LÓPEZ IGUAL Adicionalmente, un buen sistema de seguimiento debe considerar los siguientes cuestiones: • Que el sistema abarque todos los aspectos de la política, describiéndolos en detalle. • Su adaptación y ajuste a las estructuras organizativas de los órganos gestores y ejecutores de la intervención. Esto es, debe estar integrado en la gestión diaria y contar con todos los implicados en la ejecución y gestión de la política. • La adecuación de las herramientas utilizadas para su instrumentación y la fiabilidad de la información que suministra. En la medida de lo posible, es aconsejable el uso de medidas cuantificadas para realizar el seguimiento, reforzadas con información de carácter cualitativo que añada matizaciones o explicaciones sobre la ejecución física y financiera, la gestión, la participación de la población objetivo y sobre la evolución del contexto socioeconómico de la intervención. Sin embargo, conviene no sacralizar objetivos cuantitativos de creación de empleo, excepto para ilustrar la magnitud del desafío 15 ; además, es necesario tener en cuenta también criterios cualitativos sobre, por ejemplo, el tipo de empleo creado o la medida en que la creación de puestos de trabajo beneficia a los parados con especiales dificultades (sobre todo, los colectivos con mayores dificultades de entrada y permanencia en el mercado de trabajo: jóvenes, parados de larga duración y mujeres). Por esta razón, para optimizar un sistema de seguimiento, se plantea la necesidad de contar con un buen sistema de indicadores, no como un fin en sí mismo, sino como un instrumento para facilitar la mejora, el control y la valoración de las actuaciones que se están realizando o las ya finalizadas. 4. DISEÑAR UN SISTEMA DE INDICADORES "La adopción de un conjunto de indicadores comunes de empleo consensuado, basado en datos comprables para todos los países de la Unión, es una condición 15. En el Consejo Europeo de Lisboa, celebrado los días 23 y 24 de marzo de 2000, se consideró que el objetivo global de las medidas de política activa de empleo debería ser, basándose en las estadísticas disponibles, aumentar la tasa de empleo actual de una media del 61% a tan cerca como sea posible del 70% con el 2010 como fecha límite y aumentar el número actual de mujeres empleadas de una media actual del 51% a más del 60%, en el mismo plazo. Aun reconociendo sus diferentes puntos de partida, los Estados miembros deberían considerar la posibilidad de establecer objetivos nacionales para lograr tasas de empleo superiores. Y ello, incrementando los efectivos laborales al tiempo que se refuerza la sostenibilidad de los sistemas de protección social. TRABAJO 10 (2001) Universidad de Huelva 2009 Ln r'ALancIÓN, IERRAMIEYPA PARA iMMI=IORAH LAS pOIflic, S nl. [{.\ 7rt>  153 necesaria para una evaluación de la Estrategia, tanto en los Estados miembros como en la Unión como un todo. Por tanto, el tema de los indicadores no es ya un simple tema estadístico, sino un problema con importantes implicaciones políticas ""' Los indicadores muestran sólo aspectos parciales de las variables, que se pretenden medir; por ello, ningún indicador resulta completo ni perfecto. Consecuentemente, es necesario definir una "batería de indicadores" que recoja exhaustivamente todos los aspectos de la realidad de las actuaciones puestas en marcha y dé una visión global de las mismas. No se puede establecer taxativamente el número óptimo de indicadores a definir, ya que depende de la especificidad de la actividad que se quiere analizar, pero en ningún caso debe ser inferior al necesario para conocer la entidad de la acción concreta, ni tan numeroso que produzca una sobrecarga de información que dificulte su estudio y tratamiento. Características básicas de los indicadores han de ser, entre otras, la verosimilitud, accesibilidad, objetividad o pertinencia, que aseguren una medición mínima de la realización y de los resultados obtenidos y posibiliten, por consiguiente, su interpretación conjunta de cara a la evaluación. Los indicadores deberían establecerse ex-ante para así poder garantizar la evaluabilidad de la política, de ahí la importancia que se les otorga en el marco de la evaluación. Pero esto no implica que a lo largo del período de ejecución de una actuación, y debido a distintas razones, se pueda aumentar el número de indicadores que forman parte de la "batería" diseñada en el principio. Adicionalmente, deben abarcar la diversidad de contenidos previstos para la evaluación de la política: realización (que miden la ejecución física y financiera), resultados (que miden los resultados, los efectos directos o inmediatos, la calidad y el rendimiento que la realización de una acción deberá conseguir) e impactos (hacen referencia a las consecuencias de las actuaciones más allá de los efectos inmediatos sobre sus beneficiarios directos, efectos generales). Por otra parte, se deben definir indicadores de contexto y de gestión. Estos indicadores se denominan básicos. De forma adicional debe elaborarse una batería de indicadores, denominados complementarios, entre los que se encuentran los siguientes: Indicadores de eficacia: relacionan lo obtenido con lo esperado. Un indicador de eficacia puede, de esta forma, calcularse a través de la división de dos valores del mismo indicador de realización, resultado o impacto: el valor observado en una determinada fecha y el valor previsto en un principio. 16. Armindo Silva. La estrategia de empleo en la L. El problema del empleo en el siglo .J. Instituto de Desarrollo Regional; Ministerio de Trabajo y Asuntos Sociales. Sevilla, 2000. TRABAJO 1'0 (2001) Universidad de Huelva 2009 154  JOSÉ Luis OSUNA LLANEZA ' PURIFICACIÓN LÓPEZ IGUAL Indicadores de eficienciarelacionan lo que se obtuvo con los recursos movilizados para obtenerlo. Un indicador de eficiencia es, por tanto, la relación entre dos indicadores: la medida de lo que se obtuvo dividido por el cálculo de los recursos utilizados para obtenerlo. Otros instrumentos utilizados en el seguimiento, además de los indicadores, son: • La elaboración de informes periódicos de seguimiento. Son estudios ad hoc sobre aspectos de una determinada actuación que exigen un análisis particular y exhaustivo. • La observación directa. En muchos casos, la posibilidad de valorar hasta qué punto se están modificando las condiciones socioeconómicas de una determinada área exige la interacción personal de los analistas con dichas variables como única vía para realizar su seguimiento. • La realización de encuestas y entrevistas en profundidad. Su utilidad reside en la posibilidad que ofrecen de conocer, a través de la población objetivo, en qué medida las intervenciones que se desarrollan en un área están modificando las condiciones de la misma, así como la satisfacción de dicha población con estos cambios. 5. LA EVALUACIÓN TIENE QUE SER ÚTIL. DISEÑO DE UN MODELO DE EVALUACIÓN EN FUNCIÓN DE LOS RECURSOS HUMANOS Y MATERIALES DE QUE SE DISPONGA El sistema de seguimiento establecido debe asegurar la recogida de la información, así como prever los recursos materiales y humanos necesarios para esta tarea. De nada serviría, por tanto, un sistema de seguimiento cuidadosamente diseñado si no se le dota de los recursos humanos, materiales y financieros adecuados, al igual que debe contar con una presentación y tratamiento de los datos de forma que se facilite su interpretación y su análisis posterior. El método más adecuado para ello es el establecimiento de unos registros normalizados, a los que podríamos denominar "fichas biográficas ", que recojan todos los indicadores relevantes y pertinentes de la actuación llevada a cabo, así como la información complementaria que aporten otros instrumentos sobre todos los ámbitos de seguimiento. En algunas ocasiones es preferible disponer de información concisa y de calidad a tiempo, que esperar a tener complejos informes cuando las negociaciones para concertar las políticas de empleo han concluido. Para posibilitar la agregación, cuando sea necesaria, y el tratamiento de los datos,. estos registros deberían tener soporte informático, a modo de base de datos u hoja de cálculo, u otra aplicación informática, que posibilite no sólo el seguimiento financiero. de las acciones sino también el físico. TRABAJO 10 (2001) Universidad de Huelva 2009 LA EVALUACI()N, IIERRAMIENI1 PARA ME ORAK LAS POLITICAS 1)E EMPLEO 155 BIBLIOGRAFÍA Consejería de Empleo y Desarrollo Tecnológico. Dirección General de Empleo e Inserción. FSE. La política de empleo en la Unión Europea (I) y ( IL). La estrategia europea del empleo. 2000. Consejería de Empleo y Desarrollo Tecnológico. junta de Andalucía. Portal de Empleo. [en línea]. <http//www.cedt.junta-andalucia.es /empleo />. [Consulta: mayo 20011. Dávila Muro, Guillermo. El mercado de trabajo en perspectiva europea. El combate contra el paro en la Unión Europea: una estrategia común. Papeles de Economía, n° 72. 1997. European Commission. D.G. Employment and Social Affairs. PeerRevieu' Programme 2000. [en línea]. <http://peerrevieu'.alinp.org>. [Consulta: mayo 2001]. European Commission. Evaluating socio -econojnfc programmes. MEANS Collection. 6 vol. Lyon, France 1999. Giarini, Orio y Patrick M. Liedtke. El dilema del empleo. El futuro del trabajo. Informe al Club de Roma. Galaxia Gutenberg. Barcelona, 1998. Instituto de Desarrollo Regional. Plan de empleo en zonas urbanas de la provincia de Sevilla. Casos testigo: Sevilla, Alcalá de Guadaira, Dos Hermanas y Carmona. Sevilla, 1999. Instituto de Estadística de Andalucía. Nuevos _yacimientos de empleo en Andalucía, situación actual y potencial de crecimiento y empleo. Sevilla, 2000. Junta de Andalucía. Fondos Europeos. Normas de Gestión. 2000. Junta de Andalucía. Pactos por el Empleo (el modelo andaluz). Acuerdos de concertación social firmados en Andalucía durante la década de los 90. Sevilla, 1999. L. Toharia; y otros. El mercado de trabajo en España. McGRAW-HILL. Madrid 1998. Luis Toharia. El mercado de trabajo: teoría y aplicaciones. Alianza. 1999. Márquez Guerrero, Carolina. Autonomía Política y Desarrollo Regional, Instituto de Desarrollo Regional. Sevilla, 1997. Osuna, JL. y C. Márquez (Dir.) y A. Cirera y C. Vélez (Red.). Guía para la Evaluación de Políticas Públicas, Instituto de Desarrollo Regional, Sevilla, 2000. Silva, Armindo. La estrategia de empleo en la UE. El problema del empleo en el siglo XXI. Instituto de Desarrollo Regional; Ministerio de Trabajo y Asuntos Sociales. Sevilla, 2000. Sistema Mutuo de Información sobre Políticas de Empleo (MISEP). Comisión Europea. La Política de Empleo en España. Informe de base sobre instituciones, procedimientos y medidas de política de empleo. Ministerio de Trabajo y Asuntos sociales. 1998. Vedung, Evert. Evaluación de Políticas Públicas y Programas. Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales. Madrid. 1997. TRABAJO 10 (2001) Universidad de Huelva 2009