Dificultad en la definición de indicadores

      !"#$%&$$!  PNECU (Plan Nacional de Evaluación de la Calidad de las Universidades 1996-2000) PECU (II Plan de Evaluación de la Calidad de las Universidades 2001-2003) PACU (Plan Andaluz de Calidad de las Universidades 2003-2006) PEI (Programa de Evaluación Institucional de la ANECA 2003-2008) Programa piloto de Acreditación de la ANECA (2003). Experiencias piloto sobre EEES (2005-). RD 1393; VERIFICA (2009) Grupos, Comisiones, Libros, Tesis, ……… GRUPO GyA Antecedentes en la definición de indicadores “Dificultad en la definición de indicadores” Y después de casi 14 años no disponemos de un grupo de indicadores homogéneos para el Sistema Universitario No debe ser fácil Deben existir intereses que lo impiden Tareas para disponer de indicadores •Establecer un formato de ficha para definir indicadores – Campos de la ficha – Contenidos y extensión de los campos •Establecer el conjunto de magnitudes que representan a la actividad universitaria (Docencia, investigación, gestión, …) – actividad, resultados, aprendizaje, innovación, costes, recursos humanos empleados, … •Establecer el conjunto de indicadores para representar a los aspectos seleccionados de actividad universitaria •Definir procedimiento de cálculo para cada indicador – Calculo de carácter general – Tratamiento de las particularidades “Dificultad en la definición de indicadores” Tareas para disponer de indicadores • formato de ficha • conjunto de magnitudes • conjunto de indicadores • procedimiento de cálculo “Dificultad en la definición de indicadores” Formato de ficha para definir indicadores Código (Código que tiene asignado el indicador) Versión y Fecha Denominación (Nombre corto por el cual se identifica el indicador) Descripción, justificación e interpretación (Descripción breve del significado del indicador conteniendo todas aquellas reflexiones que sean necesarias para comprender correctamente su justificación y su interpretación). Tipología (Indicador cuantitativo simple (ejemplo, estudiantes nuevos de 1º) Ratio (ejemplo, estudiantes nuevos de 1º/total de estudiantes) Indicador multivariable (ejemplo, estudiantes nuevos de 1º por género y por provincia de procedencia) Cálculo (Debe expresarse con precisión para que no existan dudas sobre como es obtenido el indicador). Representación (Forma en la que debe representarse el indicador). Ejemplo (Ejemplo de la forma en que se calcularía el indicador). Fuente de la definición (Origen de la definición del indicador) Nivel de desagregación o análisis (Se indicará los distintos niveles en los que el indicador se desagrega.Centro, Titulo, Plan de Estudio, Asignatura, Profesor, Departamento, …). Periodicidad (Semanal, mensual, trimestral, anual) Disponibilidad de la información (Fecha en la que se publica el indicador). Histórico disponible (Fecha desde la que se dispone de históricos) Fuente de datos (Responsable y unidad generadora de los datos) Palabras claves asociadas Método de comprobación /evidencia (método de comprobación o evidencia de los datos) Grado de fiabilidad (Depende en gran medida del método de comprobación o evidencia, no obstante pueden existir otros factores relacionados con el método de cálculo o inherentes al propio indicador, que afecten al grado de fiabilidad. Utilizar una escala de tres valores: Fiabilidad total, media y baja) “Dificultad en la definición de indicadores” Código (Código que tiene asignado el indicador) Versión y Fecha Denominación (Nombre corto por el cual se identifica el indicador) Descripción, justificación e interpretación (Descripción breve del significado del indicador conteniendo todas aquellas reflexiones que sean necesarias para comprender correctamente su justificación y su interpretación). Tipología (Indicador cuantitativo simple (ejemplo, estudiantes nuevos de 1º) Ratio (ejemplo, estudiantes nuevos de 1º/total de estudiantes) Indicador multivariable (ejemplo, estudiantes nuevos de 1º por género y por provincia de procedencia) Cálculo (Debe expresarse con precisión para que no existan dudas sobre como es obtenido el indicador). Representación (Forma en la que debe representarse el indicador). Ejemplo (Ejemplo de la forma en que se calcularía el indicador). Fuente de la definición (Origen de la definición del indicador) Nivel de desagregación o análisis (Se indicará los distintos niveles en los que el indicador se desagrega.Centro, Titulo, Plan de Estudio, Asignatura, Profesor, Departamento, …). Periodicidad (Semanal, mensual, trimestral, anual) Disponibilidad de la información (Fecha en la que se publica el indicador). Histórico disponible (Fecha desde la que se dispone de históricos) Fuente de datos (Responsable y unidad generadora de los datos) Palabras claves asociadas Método de comprobación /evidencia (método de comprobación o evidencia de los datos) Grado de fiabilidad (Depende en gran medida del método de comprobación o evidencia, no obstante pueden existir otros factores relacionados con el método de cálculo o inherentes al propio indicador, que afecten al grado de fiabilidad. Utilizar una escala de tres valores: Fiabilidad total, media y baja) “Dificultad en la definición de indicadores” Acuerdo sin problemas. La mayor parte de las fichas de indicadores son iguales en un 90% Formato de ficha para definir indicadores conjunto de magnitudes que representan a la actividad universitaria Magnitudes centradas en actividades parciales (Comparaciones internas) Académica (Titulaciones, Centros, …) Investigadora (Grupos de investigación, investigadores,…) Gestión (Unidades o Servicios Universitarios) Magnitudes globales a la Universidad (Comparaciones externas) Académicos (Resultados, inserción, oferta, demanda, …) Investigación (Resultados, financiación, transferencia, …) Económicos (recursos, presupuestos, inversiones, …) Servicios (relativos a la misión de las unidades administrativas o servicios universitarios) “Dificultad en la definición de indicadores” conjunto de magnitudes que representan a la actividad universitaria Magnitudes centradas en actividades parciales (Comparaciones internas) Académica (Titulaciones, Centros, …) Investigadora (Grupos de investigación, investigadores,…) Gestión (Unidades o Servicios Universitarios) Magnitudes globales a la Universidad (Comparaciones externas) Académicos (Resultados, inserción, oferta, demanda, …) Investigación (Resultados, financiación, transferencia, …) Económicos (recursos, presupuestos, inversiones, …) Servicios (relativos a la misión de las unidades administrativas o servicios universitarios) “Dificultad en la definición de indicadores” En todas las Universidades se ha conseguido con la salvedad de algunos problemas en los servicios de gestión. Hay un cierto consenso sobre que habría que medir globalmente en una Universidad. Problemas importantes para valorar la relación entre Entorno y Universidad (¿Puede estar en este punto el problema?)                     