La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada a la educación en europa desde PISA

Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 LA INFLUENCIA DE LAS EVALUACIONES INTERNACIONALES SOBRE LAS POLÍTICAS EDUCATIVAS: UNA MIRADA A LA EDUCACIÓN EN EUROPA DESDE PISA A influência das avaliações internacionais nas políticas de educação: um olhar sobre a educação em Europa a partir do PISA The influence of international assessments on education policies: a look at education in Europe from PISA Encarnación Sánchez Lissen Universidad de Sevilla [US]– ES. RESUMEN Si miramos hacia Europa en estos momentos, podemos apreciar la gran pluralidad educativa que existe, fruto de los países que la componen. Si diversos son los sistemas escolares, diversos son también los resultados y las cifras educativas que caracterizan a cada uno de ellos. A lo largo del artículo advertimos que las evaluaciones internacionales se han convertido en una herramienta controvertible aunque, en ocasiones, eficaz y aprovechable para conocer los modelos educativos de cada país. Nos detenemos en el Programme for International Student Assessment (PISA) y analizamos diversos indicadores educativos con especial mención a la equidad en Europa y, más concretamente, en los países miembros de la Unión Europea. En general, las evaluaciones a gran escala ofrecen un material excelente para conocer el estado actual de los sistemas educativos, para valorar las tendencias o para definir los nuevos desafíos. Su influencia sobre las políticas educativas es notoria. Palabras - clave: Sistemas educativos. Evaluaciones internacionales. PISA. Indicadores educativos. Política educativa. RESUMO Se olharmos agora para a Europa, podemos apreciar a grande pluralidade educativa, fruto dos países que a compõem. Se os sistemas escolares são diversos, os resultados e as figuras educacionais que caracterizam cada um deles também são diversos. Ao longo do artigo notamos que as avaliações internacionais se tornaram uma ferramenta controversa, embora às vezes eficazes e utilizáveis, daí ser imortante conhecer modelos educacionais de cada país. Analisamos o Programme for International Student Assessment (PISA) e vários indicadores educacionais com referência à equidade na Europa e, mais especificamente, nos países membros da União Europeia. Em geral, as avaliações em larga escala oferecem excelente material para conhecer o estado atual dos sistemas educacionais, para avaliar tendências ou para definir novos desafios. A sua influência nas políticas educativas é bem conhecida. Palavras-chave: Sistemas educacionais. Avaliações internacionais. PISA. Indicadores educacionais. Política de educação. ABSTRACT If we look at Europe at this moment, we can appreciate the great educational plurality, which is product of the countries that compose this region. If the school systems are diverse, the results and educational figures that characterize each one of them are also diverse. Throughout the article we notice that international evaluations have become a controversial tool although, sometimes, these evaluations are effective and usable to get to know the educational models of each country. We look at the Programme for International Student Assessment (PISA) and we analyse various educational indicators with special reference to equity in Europe and, more specifically, in the member States of the European Union. In general, large-scale evaluations offer excellent material for finding out the current state of education systems, for assessing trends or for defining new challenges. Their influence on education policies is well known. Keywords: Educational systems. International assessments. PISA. Educational indicators. Educational policy. DOI: https://doi.org/10.24115/S2446-6220202062852p. SÁNCHEZ LISSEN, E. • 20 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 Introducción i echamos una mirada a la Europa actual podemos advertir su diversidad, su gran diversidad. Una pluralidad que se refleja tanto en la cultura, la historia, la economía o la política de cada país pero que, a su vez, representa su riqueza más intrínseca. De igual modo existen diferentes modelos de gestión y Administración Educativa, de ideales y estilos de enseñanza o de estándares de formación que rigen cada país. Sin embargo, podríamos decir que existen fines comunes (GAUTHIER, 1995), aunque en cada caso, cada país, se haya ido construyendo de una manera y haya ido recorriendo diferentes caminos para alcanzar objetivos compartidos. A lo largo del artículo nos acercamos a esta Europa diversa que camina de manera desigual pero acompasada, que comparte intereses, aunque muestre diversos perfiles y diversos resultados educativos. Aunque miramos a Europa en un sentido amplio, sin embargo, nos centramos en los 28 países que forman parte de la Unión Europea (UE-28), incluyendo por tanto al Reino Unido, aunque ya se haya producido su desconexión. Si nos preguntamos qué podemos saber de la educación de estos países, de su calidad o del nivel educativo y de rendimiento de sus estudiantes, podemos encontrar una respuesta más o menos directa, más o menos detallada y valiosa en los informes que publica cada país sobre el estudio y la evaluación efectuada. Cada evaluación tiene sus propios objetivos, implica a ciertos sectores educativos, incluye determinados instrumentos y suele estar coordinada por un Organismo nacional o internacional específico. Entre ellas, las evaluaciones internacionales más consideradas son PISA (Programme for International Student Assessment), PISA para Centros Educativos (PISA for Schools), TALIS (Teaching and Learning International Survey) y PIAAC (Programme for the International Assessment of Adult Competencies). También caben destacar los estudios de la International Association for the Evaluation of Educational Achievement (IEA) muy centrada en describir y comparar, para mejorar la educación alrededor del mundo. Bajo el paraguas de esta asociación sin ánimo de lucro, participan un amplio número de países en programas como: PIRLS (Progress in International Reading Literacy Study) y TIMSS (Trends in International Mathematics and Science Study). Pues bien, cada uno de estos estudios tendrán verdadera utilidad en la medida en que aporten información relevante y actualizada de la educación de cada país, que ofrezcan contenido acreditado para comprender las políticas educativas, para valorar su realidad, para mejorar los indicadores o para favorecer los procesos educativos. Ciertamente, la mayor parte de ellos, a partir de los datos que ofrecen, se están convirtiendo en un cajón de información complementaria para conocer la educación en cada país y, en su caso, para tomar decisiones al respecto. Por tanto, no es extraño que los gestores y responsables de la Administración Educativa, antes de iniciar una reforma, echen una mirada a los resultados, a las puntuaciones y al nivel de rendimiento que han obtenido los estudiantes de su país en uno de estos programas, aunque tampoco es inútil que la mirada vaya dirigida a los resultados de otros países, a fin de encontrar modelos y experiencias de las que aprender, no para copiar, pero sí para conocer, valorar, comparar. Ciertamente no es la panacea, pero podemos encontrar importantes sugerencias. En esta línea, en las últimas décadas, diversos países han emprendido reformas de gran interés a la luz de los ejemplos, ya experimentados, por otras naciones. En esta presentación y repercusión de los modelos, los propios medios de comunicación han tenido un papel relevante para la difusión, para hacerse oír, proyectando buena parte de los resultados. De todos los programas de evaluación citados anteriormente, quizá sea PISA el más popular de todos. También nosotros lo elegimos para este estudio por su trayectoria, por la relevancia de los conceptos que analiza, por las competencias que valora y, más concretamente, por una de sus características más categórica que apuesta por: “Orientar las políticas educativas, una vez relacionados los resultados de los estudiantes con su origen y entorno socioeconómico y cultural, sus actitudes y los factores asociados a su aprendizaje” (MINISTERIO DE EDUCACIÓN Y FORMACIÓN PROFESIONAL, 2019, p.17). S . • 21 La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada... Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 Este principio nos ayuda a plantear el valor de la equidad educativa entre los países de la UE-28, valorando el rendimiento de los estudiantes, sus capacidades y la influencia que puede tener el contexto y otros aspectos sobre los resultados. Se trata de un indicador que nos informa si estamos ante un sistema educativo más o menos equitativo. Se puede estar a la cabeza en resultados, pero alejado de conceptos como la equidad o, por el contrario, puede existir sintonía entre ambos. Veremos, a lo largo de este artículo, algunos ejemplos. La trayectoria de los sistemas escolares en Europa La trayectoria de los sistemas escolares en Europa ha sido amplia, pero a la vez muy desigual. Si por un lado fueron relevantes los siglos XVIII y XIX para ir dando sentido e ir confeccionando los sistemas escolares en cada país, por otro, cabe reconocer que al finalizar la Segunda Guerra Mundial, los sistemas, en aras de su eficacia y buscando nuevos propósitos, alcanzaron una mayor solidez, mayor poder e importancia. Del mismo modo, dos acontecimientos decisivos como la Revolución Francesa y la Revolución Industrial sostuvieron cambios en el orden social, político y también económico (BOWEN, 1985; HUSÉN; TUIJNMAN; HALLS, 1922), que administraron nuevos caminos en materia educativa. Con ello, cada país, desde su idiosincrasia, valores y también desde sus propias potencialidades, ha ido buscando las salidas y alternativas más oportunas y viables acordes a las circunstancias del momento. Para muchos autores este inicio de la historia contemporánea de la educación europea ha proyectado la configuración de cada una de las naciones que se han ido formando (PEDRÓ; PUIG, 1999). Tras una situación de caos hay que reconstruir y la educación juega, en este sentido, un papel rehabilitador que ayuda a conectar las piezas, a encajar derechos y deberes, a prospectar un futuro. La evaluación es una parte de la educación que ayuda a revitalizar cualquiera de los aspectos o apartados que se someten a su consideración. También en esta ocasión, la evaluación debería reportar información valiosa sobre su objeto de análisis. La estabilidad social del último tercio del siglo XX en Europa ha generado cierta cohesión entre los distintos países, alcanzando políticas integradoras y de desarrollo de enorme valor. Se ha potenciado, de esta manera, un proceso de convergencia que también se ha visto reflejado en las propuestas escolares y educativas. En el ámbito económico se inició un camino hacia una moneda única que se consolida más tarde con la instauración del euro, el 1 de enero de 2002, y que nos ha permitido comprender la importancia de caminar juntos, del valor que tiene encontrar puntos de encuentro, aunque también hemos reconocido las dificultades que esto conlleva. Si tenemos en cuenta esta perspectiva, podemos descubrir ciertas reformas que han ido tallando los modelos educativos de cada país. Realmente, aunque encontramos coincidencias en los problemas, es habitual promover diversas soluciones que identifican a cada uno con su manera de hacer. Las políticas educativas de cada país marcan en buena medida las propuestas de cambio que se sugieren en cada caso. Pero dichas políticas no surgen casualmente, sino que se impregnan del contexto que las rodea. Así, por ejemplo, circunstancias como la crisis económica, han generado un nuevo modelo de financiación educativa con nuevas perspectivas. Por otra parte, la inmigración, el alto nivel de desempleo, la crisis demográfica o los cambios familiares y de conciliación han activado diversas competencias que igualmente afectan a la educación. También los avances tecnológicos, que hacen girar y actualizar el ámbito escolar son motivo de cambio en las políticas. En definitiva, cada país pondrá sus prioridades para salvaguardar sus intereses e ideales más particulares y para caminar hacia la calidad. Pero, ¿qué Europa tenemos actualmente? Si echamos una mirada al Brexit, la primera imagen que nos viene a la cabeza es la de una Europa rota. Si miramos hacia las instituciones, podemos hablar de conciliación, si nos detenemos en la ciudadanía, esta se construye desde lo multicultural y, si la referencia es la educación, Vilanou (2019, p. 149) contempla tres retos educativos para la Europa actual y así lo expresa al señalar que, “se dibuja a través de un triángulo cuyos vértices están marcados por el humanismo, la formación profesional y la ciudadanía”. SÁNCHEZ LISSEN, E. • 22 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 En general, los sistemas educativos del mundo se enfrentan continuamente a nuevos retos, a nuevos desafíos, que están en consonancia con los cambios sociales, con las circunstancias ideológicas y políticas que envuelven a cada país, con los avances tecnológicos o con los propios vaivenes económicos. Y en un mundo tan globalizado como el actual, existen vínculos primarios, aunque también diversas formas de atender las consecuencias y de plantear soluciones. Una de ellas nos llevaría a no renunciar a las fuentes humanistas de Europa (VILANOU, 2019). En la construcción de la Unión Europea, la educación ha sido una pieza fundamental. Sin lugar a dudas, la política, la economía y las raíces sociales y culturales han construido un espacio común, un espacio de unión que ha sentado las bases de este proyecto y donde la educación ha dado solidez a este proceso de integración. En este escenario, las acciones refrendadas desde las políticas educativas han trazado las líneas de los sistemas educativos de cada país. En la historia de la educación en Europa podemos apreciar por un lado cuáles han sido los pilares que han ayudado a construir el actual modelo educativo y por otro, las claves pedagógicas. Tal como reconoce Vilanou (2019, p. 134) […] la historia de Europa puede entenderse como una dialéctica entre una serie de factores entre los que destaca la oposición entre la idea de una Europa cultural y pedagógica y otra Europa económica y pragmática. En algunos momentos parece dominar una, pero en otras situaciones emerge la otra. Todo ello y sin perder la idiosincrasia propia, también se ha valorado la importancia de crear una identidad común. Este requisito no solo afianzaría las propias características, sino que elevaría los valores comunes. En realidad, a pesar de la diversidad de circunstancias, de conflictos, pero también de buenas intenciones, Europa se ha construido en torno a los valores de solidaridad, de respeto, de concordia y de tolerancia, entre otros. En definitiva, una Europa de valores universales. Pues bien, no podemos hablar de Europa sin educación, pero tampoco de educación sin Europa. La Europa de ayer ayuda a construir la Europa de hoy y, sobre todo, deja un camino abierto a la Europa del futuro. Necesitamos repensar sobre la Europa que queremos y la que necesitamos. Para tener una visión general de cuáles son las claves y la importancia que tienen las políticas educativas en la construcción de las políticas públicas de cada país, nos parece oportuno acudir al psicólogo sueco, Torsten Husén, cuya experiencia en el marco de las reformas educativas, de las políticas educativas y sobre el valor de las mismas ha quedado demostrada tanto en sus publicaciones, en sus conferencias, como durante la dirección de la IEA, de la que fue presidente. Entre las estrategias necesarias para conducir las reformas en un país, Husén (1988, p. 71 y ss) se centra principalmente en las siguientes: • En primer lugar, que una reforma educativa sólo tiene sentido si acompaña a una reforma social. • Segundo, que la reforma sea percibida como una necesidad desde los mismos centros escolares. • Tercero, considera que hay un secreto en la planificación de las reformas y es la lentitud. • Cuarto, que una reforma de amplio alcance requiere también un amplio consenso entre todos los actores implicados. • En quinto lugar, explica que es necesario prever estrategias dirigidas a vencer las resistencias al cambio, con lo que sugiere que haya una buena política de información y de difusión óptima que facilite el proceso de cambio. • Y, finalmente, considera necesario crear un mecanismo de control y evaluación desde el mismo momento en el que se decide iniciar una reforma en un país. Ciertamente no se trata solo de una evaluación de resultados sino de la evaluación de todas y cada una de las etapas que se suceden a lo largo de la misma. Esta última estrategia está ocupando un lugar muy destacado en estos momentos, tal como lo corroboran las evaluaciones nacionales e internacionales que se vienen sucediendo en las últimas décadas. . • 23 La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada... Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 Todas estas seis premisas son relevantes para el análisis de las políticas educativas, aunque este último reto se ha convertido para Torsten Husén, en una de sus grandes recetas (PEDRÓ; PUIG, 1998). Pues bien, también para nosotros es un motivo de peso que hoy por hoy interfiere en el diseño, desarrollo y ejecución de los modelos educativos de los diversos países. Podríamos decir que los resultados de los estudios internacionales proporcionan las claves para diseñar los cambios en las políticas educativas y, aunque no sean determinantes, sí son decisivos, aunque no sean absolutos, sí son condicionantes. Pero, si nos preguntamos qué aportan dichos estudios y sus correspondientes informes para el diseño de las reformas de un país, encontramos luces y sombras. Cada vez que ve la luz un nuevo informe internacional, los medios de comunicación, la población en general y los diversos sectores educativos, en particular, quedan expectantes e interesados ante los resultados y ante las cifras que se muestran. Cada uno, desde su posición y desde el ámbito en el que se desarrolla profesionalmente, comienza buscando la posición que alcanza su país, a continuación, analiza el histórico –si lo hubierapara comprobar los cambios que se han producido e, igualmente, revisa cuál es la situación y los puntos de otros países en ese ranking. Tras una primera exploración y a la vista de los resultados, los analistas intentan dar explicación a lo obtenido. En este proceso, las motivaciones son muy diversas y pueden formar parte de una versión favorable o bien de otra más contraria. Pero, ¿en qué medida influyen unos y otros resultados en la política educativa de un país? La literatura que hay publicada en este sentido nos lleva a encontrar respuesta en una doble vía (BIEBER; MARTENS, 2011; FISCHMAN; TOPPER; SILOVA; GOEBEL; HOLLOWAY, 2018), por un lado, reconociendo que los resultados determinan buena parte de las decisiones gubernamentales y por otro, como un dato más, pero sin valor efectivo sobre las políticas. En cualquier caso, a la vista del valor exponencial que están adquiriendo estas evaluaciones, sí nos parece oportuno hacer un diagnóstico de las mismas y valorar su peso específico en una u otra línea. Probablemente, reconocer su influencia en el ámbito de las políticas educativas será algo más versátil según qué momento, según qué país, según qué resultado. La evolución e influencia de las evaluaciones internacionales sobre las políticas educativas Si queremos conocer la educación o el modelo educativo de un país, ya no basta con hacer un análisis intranacional, también urge otro internacional que permita comparar a la vez que conocer y matizar lo particular. Y en esta línea, desde hace algunas décadas, las evaluaciones de los sistemas educativos se han convertido, en muchos casos, en una prioridad de las agendas de los Estados (MCMILLAN; SCHUMACHER, 2010; PAWSON, 2006). Valorando dichos procesos y también, considerando los resultados, se ha logrado enfatizar lo propio o bien proyectar nuevas vías para mejorar lo existente. La idea de mejorar (TIANA, 2009) siempre será un valor en alza que de manera manifiesta o de manera latente irá apareciendo en todos estos estudios. Como sabemos, aunque en el sector educativo la evaluación representa un pilar fundamental, si nos referimos a la evaluación de los sistemas o de los modelos educativos, parece necesario tener en cuenta determinados matices. En general son un recurso que sirve para corregir, para mejorar algo o alguien (STOBART, 2010) y, por tanto, si ésta es su finalidad, realmente, se trata de una herramienta útil, necesaria y que se puede valorar muy positivamente. Sin embargo, las evaluaciones internacionales no siempre alcanzan este valor. En muchos casos, dichas evaluaciones son luz para comprender la realidad educativa de cada país, para valorar las tendencias, para promover mejoras y cambios en determinados indicadores e incluso para sostener iniciativas que planteen nuevas políticas educativas en cada país. Pero, por el contrario, la influencia que pueden tener en dichas políticas educativas ha sido valorada de distinta manera, por distintos expertos. Unos ven en ello un apoyo incontrovertible, otros, sin embargo, desconfían de las evaluaciones y no alcanzan a percibir que éstas sean un camino ideal para consolidar las reformas educativas (REMOLINA-CAVIEDES, 2019). En este sentido, el coste, los desagravios, las malas comparaciones o las malas interpretaciones dejan este escenario lleno de controversias, SÁNCHEZ LISSEN, E. • 24 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 algo magullado e incluso infravalorado. Probablemente debemos valorar en su justa medida, pero sin excesos, lo positivo de las evaluaciones, lo que aportan para el análisis, para la obtención de los resultados y para dirimir el valor que tienen. Ante dos frentes contrapuestos, volvemos al punto medio de las cosas para encontrar la virtud. En los últimos años, las evaluaciones internacionales han experimentado un notable despunte. En muchos casos motivado por el amplio número de datos que afloran de cada país en materia educativa y, además, por la extensa información que se obtiene desde una perspectiva comparada, de los datos de otros países. El interés por lo propio viene avalado, en muchas ocasiones, por lo ajeno. Con esta proposición, aún alcanza mayor sentido la frase de Sadler, que se preguntaba: ¿Qué podemos aprender del estudio de los sistemas foráneos? (BEREDAY, 1964). Sin embargo, estas evaluaciones tienen una trayectoria algo más amplia y no sería justo pensar que éste es el único motivo de sus logros. De hecho, durante el siglo XX, muchas de las iniciativas que surgieron en torno a las evaluaciones adquirieron un notable valor. Comenzamos señalando a la década de los años treinta que, para el análisis que nos ocupa, tuvo una gran importancia ya que, en este período, los trabajos que se desarrollaron en la Oficina Internacional de Educación de Ginebra fueron valedores de posteriores estudios. Para las profesoras Egido y Martínez-Usarralde (2019, p.184), dicha Oficina “comenzó a recopilar informes nacionales de educación que permitían aportar datos comparables entre países”. Los datos eran, principalmente, de estadísticas sobre escolarización o de financiación, aunque los análisis que se realizaban se desarrollaban con un objetivo básico centrado en la descripción de los mismos. Sin embargo, no debemos perder de vista que un verdadero estudio comparado necesita algo más, necesita la interpretación y la comparación de los mismos. Para ello es necesario realizar el análisis de los datos teniendo en cuenta los factores sociales, económicos, políticos, etc., de cada país. De esta forma se pueden comprender los hechos de una manera más completa. Posteriormente, la década de los cincuenta y los sesenta fue especialmente relevante para las evaluaciones y también para los estudios comparados. Así, en la primera mitad del siglo XX, de la mano de la IEA, se inicia un periodo especializado de estudios sobre el rendimiento de los estudiantes, sobre los contenidos del curriculum, al que se acercaban con un sentido valorativo y de mejora. Al mismo tiempo, ilustres profesores e investigadores comenzaban a aplicar pruebas estandarizadas que permitían medir los sistemas de enseñanza a partir de las propias capacidades de los intervinientes. El valor de las mismas, a veces en entredicho, procuraba sin embargo afianzar objetos de estudio, tales como la inteligencia o el rendimiento escolar (BINET, 1910, TRISTÁN; PEDRAZA, 2017). Pero, realmente, aquellos procesos han logrado prestigiar y dar contenido a esta herramienta y a buena parte de las evaluaciones que se están aplicando en estos momentos. Aunque las estrategias utilizadas e incluso los objetivos propuestos son diferentes a los actuales, siempre queda el carácter práctico y útil de dichas evaluaciones. Para medir el desempeño de los estudiantes hay tres Organismos que participan directamente en el desarrollo de las pruebas a gran escala; estos son: la Organización para la Cooperación y el Desarrollo Económicos (OCDE), el Instituto de Estadística de la UNESCO (UIS) y la Asociación Internacional para la Evaluación de Logros Educativos (IEA). El rigor de quién estructura, organiza y coordina el programa de evaluación es un elemento de peso que favorece los procesos y también la fiabilidad de los resultados, lo que les reporta un valor añadido. Estos organismos son una muestra de la calidad. A ello se une el incremento del número de países que participa cada año. Esta suma también viene a respaldar su certidumbre y eficacia. Realmente, a partir de las evaluaciones a gran escala, International Large-Scale Assessments (ILSA), los países han contemplado el análisis de los datos de distinta manera. Para Lindblad, Pettersson y Popkewitz (2015, p. 39) “las evaluaciones ILSA pueden verse como una práctica que muestra lo que es posible en materia de educación”. Actualmente, las evaluaciones añaden una muestra de indicadores educativos que, o bien se alcanzan o bien se desafían. Esto supone, como indican Ydesen y Andreasen (2019, p. 2) que “el elemento constitutivo clave de este desarrollo es . • 25 La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada... Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 la producción de indicadores y datos en apariencia objetivos, derivados de las evaluaciones internacionales de gran escala”. El caso de PISA entre las evaluaciones más influyentes. Conociendo la educación en Europa a través del Informe PISA El Programa para la Evaluación Internacional de Estudiantes (conocido por sus siglas en inglés, PISA) es un estudio trienal de evaluación dirigido a los estudiantes de 15 años que pertenecen a países miembros de la OCDE y países asociados. Dicho Programa inició sus publicaciones en el año 2000 y, hasta el momento, su última edición corresponde a PISA 2018 cuyos datos se han publicado en diciembre de 2019. Su objetivo principal se centra en evaluar tres competencias básicas: comprensión lectora, competencia matemática y competencia científica y, sucesivamente, en cada convocatoria, se valora una de ellas en mayor profundidad. Asimismo, en cada ciclo, se evalúan además otras competencias más específicas, también denominadas competencias innovadoras. En relación a ellas cabe señalar a la competencia centrada en la resolución creativa de problemas y, anteriormente, la competencia financiera, sobre lo que se incidió en 2012, la competencia colaborativa de problemas, en 2015 o la competencia global, centrada en la capacidad de analizar asuntos globales e interculturales, que se evaluó en 2018. La participación de los países se ha ido incrementando de manera notable, pasando de algo más de treinta países a los setenta y ocho en la edición de 2018, de los cuales 37 son países miembros de la OCDE y 41 países asociados. El Informe PISA ha sido revolucionario casi por todo, por lo que es, por lo que aporta y por las limitaciones con las que cuenta. El número de artículos sobre el mismo es extenso y también es diverso su contenido. Se sostiene, de manera general, la capacidad de proporcionar una información bastante completa y exhaustiva sobre los estudiantes, las familias, además de ofrecer claves sobre el funcionamiento de un sistema educativo en relación con el de otros países e información para el conjunto de los ciudadanos sobre los puntos fuertes y débiles de cada sistema educativo (EGIDO; MARTÍNEZ-USARRALDE, 2019). Pues bien, aun sabiendo de las fortalezas y debilidades que presenta el Programa PISA, nos preguntamos si, en relación a este Informe, los resultados obtenidos por cada país pueden realmente cambiar las políticas educativas. Probablemente no existe una fórmula única ni mágica que lleve a plantear cambios concretos ante determinados resultados, sin embargo, dada la trascendencia que están alcanzando muchas de sus publicaciones es habitual que, a la luz de los resultados, diversos gobiernos tomen decisiones en este sentido, unas más acertadas que otras, unas más definitivas que otras, pero, en cualquier caso, todos generan movimientos gubernamentales que plantean nuevas necesidades en los asuntos educacionales. En este sentido, la profesora Thoilliez (2017, p. 58) reconoce que: La publicación trienal de los Informes PISA y otras iniciativas menos mediáticas, pero muy influyentes, tienen como principal objetivo realizar un aporte masivo de datos (fiables) sobre determinados aspectos educativos, para que los gobiernos nacionales tomen decisiones basadas en evidencias acerca de lo que funciona y lo que no. Muchas de esas evidencias que se presentan como conocimiento cierto tratan sobre el profesorado y cómo debería mejorarse su desarrollo profesional. También Ángel Gurría, Secretario General de la OCDE, señalaba en el prefacio del Informe internacional de PISA 2018, que “Igualdad, integridad e inclusión en las políticas públicas son las bisagras de la educación de los ciudadanos”. A esta propuesta se suman cada vez más países y cada uno, desde sus retos, despliega diversas disposiciones. Sin embargo, la influencia sobre las políticas educativas de cada país no será la misma si se obtienen buenos o malos resultados y tampoco si las condiciones económicas son de mayor o menor nivel. En muchas ocasiones, las adversidades son un buen trampolín para mejorar determinados datos, para reiniciar nuevos objetivos y para depurar intenciones. Pero también los buenos resultados deben convertirse en SÁNCHEZ LISSEN, E. • 26 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 incentivos para el país que lo obtenga. Tanto es así que diversos estudios han demostrado que existe una relación directa entre el desarrollo económico de los países y el rendimiento en las evaluaciones internacionales (CARO; LENKEIT, 2012; CHUDGAR; LUSCHEI, 2009). Con todo, la interpretación y la compostura que realizan unos y otros puede ser distinta en función de sus propios recursos o de los intereses políticos, educativos o económicos. Realmente, tal como advierten Rodríguez-Santero y Gil-Flores (2018, p.618) “Es más relevante el análisis de la relación entre los resultados de la evaluación y determinadas variables contextuales”. Y, a esta circunstancia, añaden un elemento más al considerar que “El objetivo último de estos análisis es identificar factores que podrían explicar el rendimiento logrado y servir de base para la adopción de decisiones por parte de los responsables de las políticas educativas”. A pesar de encontrar una corriente positiva y extensa en torno a los procesos que generan las evaluaciones a gran escala también hay otra más desfavorable que no encuentra en determinadas evaluaciones ninguna solución a los asuntos de interés educativos del país. De todas ellas quizá sea PISA la más venerada y, a la vez, la más rechazada por los críticos (GOLDSTEIN, 2014). En este caso, Carabaña califica el Programa de engaño y de fraude al argumentar, entre otras cosas, que “…las competencias que se miden dependen poco o nada de las escuelas” (CARABAÑA, 2015, p. 20) y, por tanto, el autor quiere compartir su desagrado hacia un estudio que pone el énfasis en aspectos que no son de interés para el desarrollo educativo y escolar. En esta línea también se manifestaron otros profesionales de la educación al hacer público su desacuerdo con las pruebas estandarizadas de PISA y considerar que, a través de ellas, solo se incidía en resultados cuantitativos y se despreciaban otros valores vinculados a la educación y al desarrollo de los estudiantes. Esta crítica, dirigida al principal responsable del programa, Andreas Schleicher, se publicó en 2014 en el periódico The Guardian (MEYER, 2014). Un año después, Sahlberg y Hargreaves (2015) siguiendo el mismo procedimiento publicaron en The Washington Post una carta, pero, en esta ocasión, con matices distintos, intentando dar un voto de confianza a este Programa, procurando su mejora y a la vez, exponiendo sus fortalezas y valorando sus objetivos. También otros estudios e investigadores (FERNANDEZ-CANO, 2016; GORUR, 2014; HANBERGER, 2014) argumentaron su crítica hacia PISA; ellos son una pequeña muestra. La Unión Europea y una mirada a PISA A partir de la Segunda Guerra Mundial surge la necesidad, por parte de todos los países, de mejorar económica y también socialmente. Se trataba de unificar esfuerzos a la vez que construir y reconstruir las sociedades, las naciones. En este sentido, la Unión Europea nació con un objetivo claro de colaboración, como un proyecto de integración política (MARTÍNEZ CASTRO, 2019), de cooperación internacional (EGIDO; MARTÍNEZ-USARRALDE, 2019), por lo que prevalece un modelo que tenga en cuenta la educación y la formación como claves para crecer y mejorar en todas las dimensiones. Este proceso de reconstrucción que inicia Europa se sostiene en buena medida en base a la riqueza cultural, a los principios y valores éticos acompañados de políticas europeas que dan solidez al conjunto y a cada una de las partes. Pero en este camino, los Tratados han jugado un papel unificador de los derechos y también disciplinar, muy relevante; entre ellos, el Tratado de París en 1951, en 1957 el Tratado de Roma y, posteriormente, se gestó la creación de la Comunidad Económica Europea. Cada Tratado es un acuerdo que, a su vez, en múltiples ocasiones, contempla la incorporación de nuevos países. Especialmente significativo fue el Tratado de Maastricht en el año 1992, entre otras cosas, porque acogió una nueva política en materia educativa, de formación profesional y de juventud, además de sugerir el concepto de ciudadanía europea. Más adelante hay dos momentos igualmente destacados: por un lado, el Consejo Europeo de Lisboa del año 2000 y por otro, la Estrategia 2020. Compartimos con Valle y Matarranz (2019) que el Consejo Europeo fue un punto de inflexión en la política educativa de la UE, donde la economía tiene una misión destacada para el logro y desarrollo de competencias y por otra, la educación que: . • 27 La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada... Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 […] cobra un papel determinante, pasando a ser uno de los pilares de construcción de la integración europea como demuestra el incremento en el número de disposiciones que en materia de educación emanan a partir de entonces desde las distintas instituciones de la Unión Europea. (VALLE; MATARRANZ, 2019, p. 46). Los encargos y recomendaciones que emanan del Consejo de Europa deben tener su reflejo en cada uno de los países que se afanan por cumplir, en mayor o menor grado, los objetivos propuestos en cada caso. Este protocolo conlleva la elaboración, por parte de cada representante de los países miembros, de Programas en torno a objetivos concretos que, además, enfatizan distintas acciones. Pues bien, en torno a él se elabora el documento de Espacio de Educación y Formación que se explicita en dos momentos claves, el primero, “Estrategia de Trabajo 2010” (ET 2010), un documento que anuncia los objetivos y acciones de trabajo correspondientes al período de 2000-2010. El segundo, “Estrategia de Trabajo 2020” (ET 2020) que expone un nuevo marco de cooperación europea en el ámbito de la educación y la formación. A partir de él se pretende contribuir a la consecución de los objetivos de la Estrategia Europea 2020. En el marco de la Unión Europea se toman iniciativas relacionadas con distintos ámbitos, tales como: la política educativa y escolar, la educación y atención a la primera infancia, la formación profesional y vocacional, la formación de adultos, la educación universitaria, la cooperación internacional, multilingüismo, educación y migración. En torno a estos temas se diseñan políticas específicas que apoyan el trabajo de cada uno de los Estados miembros. Concretamente, entre los objetivos formulados en la ET 2020 se sugiere el reducir por debajo del 15%, el porcentaje de jóvenes de 15 años con bajo rendimiento en lectura, matemáticas y ciencias. Para tener información de este objetivo se analizan diversos indicadores a través de los cuales se puede valorar el nivel de rendimiento de los estudiantes. Entre las claves se encuentran: la inclusión, la autonomía de centros, la educación infantil o el origen socioeconómico de los estudiantes. Estas iniciativas también se pueden analizar valorando los resultados que cada país ha obtenido en PISA, concretamente, en este último PISA 2018 y considerando la influencia que el rendimiento de los estudiantes puede tener sobre aquellos indicadores. Comenzamos mostrando su situación en el ranking total, atendiendo a la puntuación media alcanzada por cada país en las tres competencias. Tabla 1 - Puntuaciones medias obtenidas por la UE-28 en el Informe PISA 2018 PAÍSES PUNTUACIÓN MEDIA PAÍSES PUNTUACIÓN MEDIA Estonia 525,3 Media OCDE 488,3 Finlandia 516,3 Letonia 487,3 Polonia 513,0 España 482,0 Irlanda 504,7 Lituania 479,7 Eslovenia 503,7 Hungría 479,3 Reino Unido 503,7 Italia 477,0 Países Bajos 502,3 Luxemburgo 476,7 Suecia 502,3 Croacia 471,7 Dinamarca 501,0 Eslovaquia 469,3 Alemania 500,3 Malta 459,0 Bélgica 500,0 Grecia 453,3 Chequia 495,3 Chipre 438,0 Francia 493,7 Rumania 428,0 Portugal 492,0 Bulgaria 426,7 Austria 491,0 Fuente: Elaboración propia a partir de Ministerio de Educación y Formación Profesional, 2019 Hacemos una referencia al caso de España ya que, en esta edición, la OCDE-España ha decidido retrasar la publicación de los datos referidos a la competencia lectora. El motivo, tal como anuncia el comunicado de la propia OCDE-España se debe a que, “algunos datos muestran un comportamiento de respuesta inverosímil por parte de los estudiantes” (MINISTERIO DE SÁNCHEZ LISSEN, E. • 34 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 GORUR, R. Towards a sociology of measurement in education policy. European Educational Research Journal, v. 13 (1), p. 58-72, 2014. Disponible en: https://doi.org/10.2304/eerj.2014.13.1.58 . Consultado en: 20 feb. 2020. HANBERGER, A. What PISA intends to and can possibly achieve: A critical programme theory analysis. European Educational Research Journal, v. 13(2), p. 167-180, 2014. doi: Disponible en: http://dx.doi.org/10.2304/eerj.2014.13.2.167. Consultado en: 20 feb. 2020. HUSÉN, T. Nuevo análisis de la sociedad del aprendizaje. Barcelona: Paidós, 1988. HUSÉN, T; TUIJNMAN, A.; HALLS, W.D. Schooling in Modern European Society. Oxford: Pergamon Press, 1922. KELLY, P. Comparing post-socialist transformations: purposes, policies and practices in education, Journal of Education for Teaching, 2020. Disponible en: https://doi.org/10.1080/02607476.2020.1712915 . Consultado en: 20 feb. 2020. LINDBLAD, S; PETTERSSON, D.; POPKEWITZ, T.S. International comparisons of school results: A systematic review of research on large scale assessments in education. A Report from the Educational Research project SKOLFORSK. Swedish Research Council, 2015. Disponible en: https://doi.org/10.13140/RG.2.2.23176.01286 . Consultado en: 20 feb. 2020. MARTÍNEZ CASTRO, S.M. Políticas y programas educativos de la Unión Europea y su influencia en el sistema educativo español. Navarra: Aranzadi, 2019. MARTÍNEZ FERNÁNDEZ, L.C; DELGADO URRECHO, J.M.; MORENO MÍNGUEZ, A. PISA 2015 en España: oportunidad y límites para una evaluación territorializada del sistema educativo, ERÍA, v. 3, XXXVIII, p. 267-285, 2018. Disponible en: https://doi.org/10.17811/er.3.2018.267-285 . Consultado en: 20 feb. 2020. MCMILLAN, J.; SCHUMACHER, S. Research in education: Evidence-based inquiry (7th ed.). London: Pearson, 2010. MEYER, H., et al. (2014, May 6). OECD and PISA tests are damaging education worldwide – academics. The Guardian. Disponible en: https://www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-educationacademics Consultado en: 20 feb. 2020. MINISTERIO DE EDUCACIÓN Y FORMACIÓN PROFESIONAL. Informe PISA 2018. Informe español. Madrid: Secretaría General Técnica, 2019. Disponible en: https://www.educacionyfp.gob.es/dam/jcr:e2be368b-f08c-4ab8-8fd9-eb93b76c6bf2/pisa-2018programa-para-la-evaluaci-n-online.pdf Consultado en: 20 feb. 2020. OCDE. Panorama de la educación 2015. Indicadores de la OCDE. Madrid: Fundación Santillana, 2015. Disponible en: https://www.fundacionsantillana.com/PDFs/Panorama%20de%20la%20Educacion%202015% 20(2).pdf. Consultado en: 20 feb. 2020. OECD. Equity and Quality in Education: Supporting Disadvantaged Students and Schools. OECD Publishing: Paris, 2012. Disponible en: https://doi.org/10.1787/9789264130852-en. Consultado en: 20 feb. 2020. ORTEGA Y GASSET, J. Misión de la Universidad. Madrid: Revista de Occidente, 1930. PALLARÈS, M; CHIVA, Ó; PLANELLA, J.; LÓPEZ, R. Repensando la educación. Trayectoria y futuro de los sistemas educativos modernos. Perfiles Educativos, v. XLI, n. 163, p.143-157, 2019. . • 35 La influencia de las evaluaciones internacionales sobre las políticas educativas: una mirada... Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 Disponible en: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S018526982019000100143&lng=es&tlng=es . Consultado en: 20 ene. 2020. PAWSON, R. Evidence-Based Policy: A Realist Perspective. Thousand Oaks, CA: Sage, 2006. PEDRÓ, F.; PUIG, I. Las reformas educativas. Una perspectiva política y comparada. Barcelona: Paidós, 1998. PFEFFER, F. T. Persistent inequality in educational attainment and its institutional context. European Sociological Review, v. 24, n. 5, p. 543–565, 2008. Disponible en: https://www.jstor.org/stable/25209187 . Consultado en: 20 feb. 2020. REMOLINA-CAVIEDES, J. Crítica de las políticas de evaluación externa de Colombia y Brasil. Folios, 50, p. 173-188, 2019. Disponible en: https://doi.org/10.17227/folios.50-10228 . Consultado en: 20 feb. 2020. RODRÍGUEZ-SANTERO, J.; GIL-FLORES, J. Contextual variables associated with differences in educational performance between European Union countries / Variables contextuales asociadas a las diferencias de rendimiento educativo entre los países de la Unión Europea, Cultura y Educación, v. 30, n.4, p. 605-632, 2018. Disponible en: https://doi.org/10.1080/11356405.2018.1522024 . Consultado en: 20 feb. 2020. SAHLBERG, P.; HARGREAVES, A. (2015, March 24). The tower of PISA is badly leaning. An argument for why it should be saved. The Washington Post. Disponible en: http://www.washingtonpost.com/blogs/answer-sheet/wp/2015/03/24/the-towerof-pisa-isbadly-leaning-an-argument-for-why-it-should-be-saved . Consultado en: 23 ene. 2020. SCHLEICHER, A. Políticas educativas de éxito: análisis a partir de los Informes PISA. Madrid: Fundación Santillana, 2006. Disponible en: https://www.fundacionsantillana.com/PDFs/xx_semana_monografica.pdf Consultado en: 20 feb. 2020. SICILIA, G.; SIMANCAS, R. Equidad educativa en España: comparación regional a partir de PISA 2015. Fundación Ramón Areces y Fundación Europea Sociedad y Educación, Madrid: Editorial Centro de Estudios Ramón Areces, 2018. Disponible en: http://www.sociedadyeducacion.org/site/wp-content/uploads/Equidad-Educativa-enEspana.pdf . Consultado en: 20 feb. 2020. STOBART, S. Tiempos de pruebas los usos y abusos de la evaluación. Madrid: Ediciones Morata, 2010. THOILLIEZ, B. ‘Evidencias’ y conocimiento pedagógico. Limitaciones para el desarrollo profesional docente. In: MONARCA, H.; THOILLIEZ, B. (Eds). La profesionalización docente. Debates y propuestas. Madrid: Síntesis, 2017. p. 53-64. TIANA, A. Evaluación y cambio educativo: Los debates actuales sobre las ventajas y los riesgos de la evaluación. In: MARTÍN, E.; MARTÍNEZ RIZO, F. (Coords.), Avances y desafíos en la evaluación educativa. Madrid: OEI – Fundación Santillana, 2009. p. 17– 26. TRISTÁN, A.; y PEDRAZA, N.Y. La Objetividad en las Pruebas Estandarizadas. Revista Iberoamericana de Evaluación Educativa, v. 10(1), p. 11-31, 2017. Disponible en: http://dx.doi.org/10.15366/riee2017.10.1.001 Consultado en: 20 feb. 2020. TRÖHLER, D. Las personas, los ciudadanos, las nociones. La organización de la escuela moderna en Europa Occidental en el siglo XIX: los casos de Luxemburgo y Zurich. In: TRÖHLER, D.; LENZ, T. SÁNCHEZ LISSEN, E. • 36 Laplage em Revista (Sorocaba), vol.6, n.2, mai.- ago. 2020, p.19-36 ISSN:2446-6220 (comps.). Trayectorias del desarrollo de los sistemas educativos modernos. Barcelona: Graó, 2015. p. 39-57. VALLE, J.M.; MATARRANZ GARCÍA, M. Formación Inicial y Desarrollo Profesional Docente en la política de la Unión Europea: Hacia el Horizonte de 2020. In: VALLE, J.M.; ÁLVAREZ-LÓPEZ, G. (Coords.), La iniciación profesional docente: marcos supranacionales y estudios comparados. Madrid: Dykinson, 2019. p. 43-63. VILANOU TORRANO, C. Europa, vía pedagógica: la viabilidad del Humanismo en época postmoderna. Cuadernos Europeos de Deusto, Núm. Especial 02, Bilbao, p. 133-151, 2019. Disponible en: http://dx.doi.org/10.18543/ced-02-2019pp133-151 . Consultado en: 20 feb. 2020. YDESEN, C.; ANDREASEN, K. E. Los antecedentes históricos de la cultura evaluativa global en el ámbito de la educación. Foro de Educación, v. 17(26), p. 1-24, 2019. Disponible en: https://doi.org/10.14516/fde.710 Consultado en: 20 feb. 2020. ZOIDO, P. No solo son excelentes, sino equitativos. Entrevista a Pablo Zoido, In: GARCÍA-AJOFRÍN, L. Gigantes de la Educación. Lo que no dicen los rankings. Madrid: Ariel, Fundación Telefónica, 2016. p. 32-35. Disponible en: https://issuu.com/jhoncordovacordovachavez/docs/gigantes_de_la_educacion . Consultado en: 20 feb. 2020. *Profesora Titular de la Universidad de Sevilla, Departamento de Teoría e Historia de la Educación y Pedagogía Social de la Facultad de Ciencias de la Educación. Es miembro del Grupo de Investigación de Educación Comparada de Sevilla (GIECSE). E-mail: esliss[email protected]. Recebido em: 30/03/2020 Aprovado em: 10/04/2020