Avaliação externa no Ensino Básico: implicações nas práticas curriculares

Regiane Silva Bispo Avaliação Externa no Ensino Básico: Implicações nas Práticas Curriculares julho de 2023 Avaliação Externa no Ensino Básico: Implicações nas Práticas Curriculares Regiane Silva Bispo UMinho|2023 Universidade do Minho Instituto de Educação Regiane Silva Bispo Avaliação Externa no Ensino Básico: Implicações nas Práticas Curriculares julho de 2023 Dissertação de Mestrado Mestrado em Ciências da Educação Área de Especialização em Desenvolvimento Curricular e Avaliação Trabalho efetuado sob a orientação da Professora Doutora Maria Palmira Carlos Alves Universidade do Minho Instituto de Educação ii DIREITOS DE AUTOR E CONDIÇÕES DE UTILIZAÇÃO DO TRABALHO POR TERCEIROS Este é um trabalho académico que pode ser utilizado por terceiros desde que respeitadas as regras e boas práticas internacionalmente aceites, no que concerne aos direitos de autor e direitos conexos. Assim, o presente trabalho pode ser utilizado nos termos previstos na licença abaixo indicada. Caso o utilizador necessite de permissão para poder fazer um uso do trabalho em condições não previstas no licenciamento indicado, deverá contactar o autor, através do RepositóriUM da Universidade do Minho. Atribuição-NãoComercial-SemDerivações CC BY-NC-ND https://creativecommons.org/licenses/by-nc-nd/4.0/ iii Agradecimentos Numa prerrogativa de citar uma divindade num trabalho científico, a minha maioritária gratidão é a Deus e ao Universo pela força, sabedoria, ímpeto e perseverança de sempre. Agradeço a mim, a minha crença, foco e determinação em vencer cada desafio. A Professora Doutora Palmira Alves pela orientação durante a escrita deste trabalho. Aos meus pais e minha família por acreditarem na minha trajetória. Aos meus amigos, os que já vêm comigo, e aos que construí nesse percurso académico. A Universidade do Minho que desde 2010 faz parte da minha trajetória académica quando fiz o meu Erasmus, e todos os professores(as) que fizeram parte deste percurso. Gratidão. iv DECLARAÇÃO DE INTEGRIDADE Declaro ter atuado com integridade na elaboração do presente trabalho académico e confirmo que não recorri à prática de plágio nem a qualquer forma de utilização indevida ou falsificação de informações ou resultados em nenhuma das etapas conducente à sua elaboração. Mais declaro que conheço e que respeitei o Código de Conduta Ética da Universidade do Minho. v Avaliação Externa no Ensino Básico: Implicações nas Práticas Curriculares Resumo A partir da análise do marco histórico e de trabalhos relacionados, neste estudo seguiu-se a análise do marco histórico da avaliação externa, especificamente, do programa de Avaliação Externa das Escolas para inferir sobre as implicações no desenvolvimento do currículo. A cultura da avaliação em Portugal iniciou-se em 1992, com o programa Observatório da Qualidade da escola, programa pioneiro em avaliar escolas e incentivar a prática da autoavaliação, servindo como base para o desenvolvimento de outros dispositivos de avaliação, como o Projeto Qualidade XXI, em 1999, criado pelo Instituto de Inovação Educacional (IIE), seguido do Programa de Avaliação Integrada das Escolas no mesmo ano terá sido a primeira tentativa de implementação de um programa de avaliação externa de escolas, em Portugal, desenvolvido pela Inspeção Geral da Educação (IGE), quando em 2006 o programa Aferição da Efetividade da Autoavaliação das Escolas introduziu o modelo mais parecido com a atual Avaliação Externa das Escolas, sendo um processo de avaliação externa no modelo de metaavaliação. Segui-se o Programa Avaliação Externa das Escolas, que é o foco desta investigação. Para o desenvolvimento do trabalho, foi realizada uma pesquisa documental, a partir de fontes como dissertações, teses, artigos e relatórios. Foram analisados os cinco relatórios nacionais do 1º ciclo de avaliação externa, quatro relatórios nacionais do 2º ciclo e os cinco documentos relativos ao 3º ciclo, bem como, os relatórios dos Grupos de Trabalho dos anos de 2006, 2011 e 2018. Foram selecionadas 6 dissertações e teses de Mestrado e Doutoramento, com um caráter específico relacionado com o nosso trabalho e 4 artigos, num total de 10. Os principais resultados evidenciam que há influências da AEE nas práticas curriculares, quer pela otimização dos recursos educativos, quer pela articulação curricular. O trabalho cooperativo entre os docentes foi positivamente avaliado, principalmente, o planeamento das atividades e articulação curricular, bem como, na partilha das práticas cientifico-pedagógicas e a reflexão sobre a eficácia das mesmas. Palavras-chave: Avaliação; Avaliação Externa das Escolas; Currículo, Práticas Curriculares. vi External Evaluation in Basic Education: Implications for Curricular Practices Abstract From the analysis of the historical framework and related works, this study followed the analysis of the historical framework of external evaluation, specifically, the External Evaluation of Schools programme to infer about the implications on curriculum development. The culture of evaluation in Portugal began in 1992 with the School Quality Observatory programme, a pioneering programme in evaluating schools and encouraging the practice of self-evaluation, serving as a basis for the development of other evaluation devices, such as the Quality XXI Project in 1999, created by the Institute for Educational Innovation (IIE), followed by the Integrated School Evaluation Programme in the same year, which was the first attempt to implement an external school evaluation programme in Portugal, developed by the General Inspectorate of Education (IGE), while in 2006 the Aferição da Efetividade da Autoavaliação das Escolas programme introduced the model most similar to the current External School Evaluation, being an external evaluation process in the metaevaluation model. This is followed by the External School Evaluation Programme, which is the focus of this research. For the development of the work, a documentary research was carried out, from sources such as dissertations, theses, articles and reports. The five national reports of the 1st cycle of external evaluation, four national reports of the 2nd cycle and the five documents related to the 3rd cycle were analysed, as well as the reports of the Working Groups of the years 2006, 2011 and 2018. Six Master's and PhD dissertations and theses were selected, with a specific character related to our work and 4 articles, for a total of 10. The main results show that there are influences of ESA on curricular practices, both by optimising educational resources and by curricular articulation. The co-operative work between teachers was positively evaluated, especially the planning of activities and curricular articulation, as well as the sharing of scientific-pedagogical practices and reflection on their effectiveness. Keywords: Evaluation; External Evaluation of Schools; Curriculum, Curricular Practices. vii Índice Direitos de autor e condições de utilização do trabalho por terceiros...................................... ii Agradecimentos.................................................................................................................... iii Declaração de integridade..................................................................................................... iv Resumo................................................................................................................................ v Abstract................................................................................................................................ vi Índice................................................................................................................................... vii Lista de siglas e abreviaturas................................................................................................ viii Lista de quadros................................................................................................................... ix Introdução............................................................................................................................ 1 Capítulo 1. Enquadramento teórico – conceitual.................................................................... 4 1.1. Currículo……………………………………………………………………………………………………………………. 4 1.2. Avaliação……………………………………………………………………………………………………………………. 7 1.3. Avaliação Externa…………………………………………………………………….………………………………….. 10 1.4. Programas que suportam o atual quadro de Avaliação Externa de Escolas…………………… 17 1.4.1. Programa Observatório da Qualidade da escola (1992-1999)....................................... 17 1.4.2. Projeto Qualidade XXI (1999-2002).............................................................................. 18 1.4.3. Programa de Avaliação Integrada das Escolas (1999-2002).......................................... 19 1.4.4. Aferição da Efetividade da Autoavaliação das EscolasEAAE (2005-2006)..................... 19 Capítulo 2. Percurso metodológico......................................................................................... 23 2.1. Problemática e objetivos da pesquisa……………………………………………………………………. 23 2.2. Instrumentos e técnicas de recolha de análise dados………………………………………………. 24 2.2.1. Investigação qualitativa............................................................................................... 25 2.2.2. Análise de conteúdo................................................................................................... 25 2.3. Ética na investigação..................................................................................................... 27 Capítulo 3. Apresentação e discussão dos resultados............................................................. 29 3.1. Os programas de Avaliação Externa das Escolas............................................................. 32 3.1.1. Relatório do Grupo de trabalho para avaliação das escolas – 2006.............................. 34 3.1.2. Relatório de avaliação externa das escolas (20062011) 1º ciclo................................. 35 3.1.3. Relatório do grupo de trabalho (2011)......................................................................... 41 3.1.4. Relatório de avaliação externa das escolas (20112017) 2º ciclo................................. 43 3.1.5. Relatório de avaliação externa das escolas (2018atualidade) 3º ciclo......................... 56 3.2. Resultados das dissertações, teses e artigos................................................................... 59 4. Conclusão......................................................................................................................... 70 5. Perspetivas de investigação futura..................................................................................... 75 Referências bibliográficas...................................................................................................... 76 Referências legislativas......................................................................................................... 79 5 a sua responsabilidade começará, consequentemente, pelo posicionamento perante os níveis de decisão curricular. Se assume um papel de implementador do programa, valorizando criticamente o trabalho que desenvolve e incorporando as necessidades dos alunos, tornar-se-á, no construtor, arquiteto e o investigador da prática. (Pacheco, 2001, p. 48). Para o autor (idem), a investigação curricular valoriza a natureza da aprendizagem e do processo mental, direcionando-se para a motivação dos alunos; a organização dos modelos e métodos de ensino; a organização dos recursos e materiais didáticos; a aferição dos critérios e parâmetros de avaliação e para a estruturação dos conteúdos. Assim, há predominância da perspetiva cognitiva no processo de ensino-aprendizagem, de modo a privilegiar o pensamento e a ação dos professores e alunos, visando a resolução prática de problemas, a partir de uma visão crítica do papel das escolas. Considerando que: “seja qual for o paradigma em que se situe, na prática, o professor é o principal protagonista do desenvolvimento do currículo, dependendo os resultados obtidos do seu empenhamento” (Pacheco, 2014, p. 36). Além disso, o professor não deve ser apenas aquele que põe o currículo em prática, mas sim um construtor também desse currículo, com possibilidade da decisão curricular e da implementação do programa, tornando-se assim aquele que produz, executa e constrói o currículo, ou seja, um ator ativo neste processo. Ainda nesta linha de pensamento, o autor, com base em Stenhouse (1984), denomina como investigador o professor que adota uma atividade investigativa para o estudo do seu próprio trabalho visando a resolução de problemas, “recuperando a profissionalidade docente e o sentido artístico do ensino, que aqui está relacionado com o conceito de didática no seu amplo sentido, mais especificamente, no seu sentido prático e normativo” (Pacheco, 2001, p. 49), pelo que o currículo pode ser considerado um instrumento metodológico com diferentes orientações, que funciona como mediador entre a sociedade e a escola. Assim, as decisões curriculares tomadas pela escola, professores, ou estado, serão discutidas como problemas ideológicos e não somente como questões educativas, em que o professor surge como um fator de ideologização do currículo de forma social, humana e também na sua ação que, direta ou indiretamente, influenciam. Por seu lado, a teoria prática considera o currículo como um empreendimento partilhado onde as decisões dos professores são inevitáveis, mas não desejáveis. Na teoria crítica por sua vez, o currículo é visto como uma problemática que permite aos alunos e professores a liberdade de negociação e determinação dos conteúdos curriculares, visando uma aprendizagem reflexiva. (Pacheco, 2001). O termo desenvolvimento curricular é utilizado de modo a expressar em diferentes momentos e diferentes fases, práticas e dinâmicas díspares integrando, assim, um conjunto com quatro componentes principais: justificação teórica, elaboração/planeamento, operacionalização e avaliação. (Pacheco, 6 2001). Quando tratamos em específico a questão dos professores, a teoria e o desenvolvimento curricular discutem as habilidades de análise curricular exigida a estes, por considerar que a ação formadora é também social devido ao contexto. No entanto, o conceito de currículo é considerado complexo, no que tange as diferenças expressas na teoria curricular e no desenvolvimento curricular: “por mais complexo que seja, o currículo deve ser decidido numa perspectiva orientadora e não determinante da prática” (Pacheco, 2001, p. 66). Deste modo, Pacheco (2001, p. 65), define o desenvolvimento curricular como “um processo complexo e dinâmico que equivale a uma (re)construção de tomada de decisões, de modo a estabelecer-se, na base de princípios concretos uma ponte entre a intenção e a realidade, ou melhor, entre o projeto socioeducativo e o projeto didático”. Os professores, por sua vez, têm um papel decisivo na criação e no desenvolvimento curricular, no que diz respeito a criação de projetos curriculares. Neste contexto, podemos visualizar o professor como o último agente do currículo, aquele que o põe em prática, no entanto, também o que menos influencia na construção desse currículo. O autor salienta que não existe uma definição única e verdadeira de currículo e, por isso, este é um amplo campo de pesquisa: "com efeito, o currículo é sinônimo de conteúdos ou de programas de várias disciplinas e tem por orientação principal o racionalismo académico" (Pacheco, 2001, p. 35). De acordo com Sacristan (1991), sobre o professor recai a responsabilidade não só de passar os conteúdos para os alunos, bem como, a forma como são passados, e também de analisar como os significados são recetados pelos alunos e os estimular para perceber de acordo com os seus contextos: si el curriculum es, antes que nada, una práctica desarollada através de múltiples processos y en la que se entrecruzam diversos subsistemas o práticas diferentes, es obvio que, em la actividad pedagógica relacionada com el curricullum , el profesor es um elemento de primer orden en la concreción de ese proceso. Al reconocer al curriculum como algo que configura uma prática, y es a su vez configurado em el processo de su desarollo, nos vemos obligados a analisar los agentes activos em el processo. Y éste es el caso de los profesores. El curriculum moldea a los docentes, pero es traducido em la prática por ellos mismos. La influencia es recíproca. (Sacristan, 1991, p. 196, grifos do autor) Pelo exposto, o autor considera que o professor é o mediador decisivo do currículo e os alunos são, portanto, seus agentes ativos dentro do desenvolvimento curricular. No entanto, não só o professor influencia o currículo como, também, é influenciado pelo mesmo. A partir da abordagem curricular de Tyler, em que o currículo deve ser conscientemente planeado e dinamicamente concebido com base numa sistematização coerente e ordenada, Pacheco (2001, p.69) propõe sete etapas sequenciais: “diagnóstico das necessidades educacionais; definição dos objetivos; 7 escolha dos conteúdos; preparação dos conteúdos; seleção das experiências de aprendizagem; determinação dos métodos de avaliação do ensino”. Por plano curricular: entende-se a organização das disciplinas e/ou áreas curriculares para um dado nível de ensino, assumindo a característica de um plano de ação para atingir determinados objetivos, devendo responder para tal, as seguintes questões fulcrais: o que ensinar, quando, como e com que meios. (Pacheco, 2001, p. 77) O autor (id.) sustenta que o desenvolvimento do currículo por parte do professor está ligado à responsabilização atribuída ao mesmo, dentro da estrutura curricular na qual ele está posicionado, onde pode ser mais ou menos ativo na tomada de decisão e execução do currículo: o professor é o árbitro de toda a decisão curricular, sendo associado ao que de positivo ou negativo faz na escola, uma vez que é o protagonista numa cadeia de decisões que natural e logicamente, lhe pertence terminar, moldado a sua medida o currículo sucessivamente prescrito, apresentado, programado e planificado. (Pacheco, 2001, p. 101) Poder-se-á dizer que o professor deve participar ativamente no desenvolvimento do currículo, seja na planificação, de modo a articular o nível administrativo ao nível escolar, ou elaborando programas e conteúdos programáticos e acompanhando os resultados dos alunos. O autor defende que o professor é um dos principais intervenientes no desenvolvimento do currículo: “nesta perspectiva, o professor é um dos elementos principais no desenvolvimento dos currículos (traduzido num projeto didático), cuja atuação, além do papel nem sempre reconhecido na definição do desenvolvimento pessoal e social dos alunos, se enquadra no âmbito da interpretação” (Pacheco, 2001, p. 102). Assim, podemos perceber que o currículo, nas suas fases de desenvolvimento, é caracterizado pela interação entre o professor e os alunos e entre os próprios alunos, ou seja, na relação pedagógica. Uma vez que um dos interesses primordiais do currículo, enquanto área, tem como tarefa criar acesso ao conhecimento e a tradição seletiva, a questão de o direito do estudante ter livre acesso à informação política e culturalmente honesta e à expressão pública, não pode ser separada da nossa própria procura de ambientes educativos mais justos (Apple, 2006). A justiça, a equidade e a inclusão, são questões a que nos iremos deter, pois implicam com a avaliação. 1.2. Avaliação Numa perspetiva histórica, uma das definições mais antigas de avaliação remonta aos anos 19301945, com a ideia da congruência na avaliação, altura em que Tyler (1949, apud Alves, 2004), trouxe a 8 visão da avaliação como comparação entre os resultados pretendidos e os resultados obtidos. Assim, de acordo com Alves (2004, p. 34), uma avaliação dita correta deveria obedecer às fases seguintes: 1. formular objetivos comportamentais de modo a ordená-los e classificá-los; 2. observar o grau de alcance dos objetivos; e 3. comparar os dados obtidos com os objetivos definidos. A evolução da avaliação decorre pela medida, observação e descrição dos fatos, e inclui o julgamento crítico, para a tomada de decisão. Scriven e Stufflebeam (1978), definiram a avaliação como uma atividade metodológica, que consiste na coleta e na combinação de dados relativos ao desempenho, usando um conjunto ponderado de escalas de critérios que levem a classificações comparativas ou numéricas, e na justificativa dos instrumentos de coleta de dados; das ponderações; e da seleção dos critérios. Segundo os autores (idem, p.104), o grande significado científico e filosófico da pesquisa em avaliação é um juízo de valor, qualidade ou mérito, sendo que os avaliadores devem julgar tanto os objetivos, quanto os resultados, cabendo aos especialistas em avaliação avaliar os resultados dos programas, julgando os objetivos e tirando conclusões sobre o valor global dos mesmos. Assim, os avaliadores não devem limitar-se a apresentar as informações a serem usadas pelos demais indivíduos que trabalham nos programas para a criação de julgamentos, mas sim elaborar e declarar publicamente o julgamento de forma independente, tendo como principal responsabilidade a emissão desse julgamento. A avaliação tem funções variadas, desde a formação do professor até a elaboração do currículo e de experiências de campo que envolvam o aperfeiçoamento da aprendizagem. Stufflebeam (1976) sugere que os especialistas em avaliação precisam de quadros de referência conceituais que os auxiliem a determinar e divulgar os objetivos e os processos de avaliação e que deem bases sólidas para julgar os projetos e relatórios de avaliação. Stufflebeam (1978), elabora o modelo CIPP (Contexto, Input, Processo e Produto) que é o modelo fundamentado nas experiências feitas na escola, bem como, na análise crítica sobre abordagens de avaliação anteriores, visando auxiliar o processo de tomada de decisão nas tentativas de mudança, bem como na avaliação da produtividade, sendo esta a sua característica fundamental. Neste modelo, a avaliação não devia ser identificada com medida, julgamento profissional ou projeto experimental, pois seria uma limitação à avaliação. Adotar o modelo CIPP é considerar a avaliação como o processo de delinear, como forma de obter e fornecer informações consideradas úteis para o julgamento das decisões alternativas, baseada num processo contínuo composto por três passos, a saber: delinear, obter e fornecer informações com caráter de utilidade, de modo a orientar a tomada de decisão. Este modelo inclui quatro tipos de avaliação: a 9 avaliação do contexto, que consiste em fundamentar as decisões de planejamento, identificando as necessidades não satisfeitas e oportunidades não aproveitadas, ou seja, identifica as necessidades, as oportunidades e os problemas; avaliação do input que tem a função de ser a base para as decisões de estruturação, projetando e analisando esquemas de procedimentos, nomeadamente, identifica os pontos fracos e os fortes; a avaliação do processo, que prevê a fundamentação das decisões de implementação de modo a verificar as operações do projeto; e a avaliação de produto, que fundamenta as decisões de reciclagem, através da identificação e apreciação dos resultados do projeto. Neste modelo, a avaliação formativa é, portanto, a avaliação para a tomada de decisões, enquanto a avaliação sumativa é a que verifica a produtividade. Em Portugal, as questões avaliativas foram tendo uma importância crescente no sistema educativo. A LBSE, Lei 46/86, define que a avaliação educacional deve ser realizada de forma continuada levando em conta para além dos aspectos pedagógicos e educativos, aspectos psicológicos, sociológicos, organizacionais, econômicos, financeiros e de natureza político administrativa e cultural, visando o desenvolvimento de acordo com a aplicação da lei em vigor. (LBSE, Art. 52º). Esta importância enfatizou-se em 1992, tornando a avaliação formativa obrigatória no Ensino Básico, modificando a visão e prática curriculares, que antes eram baseadas na transmissão do conhecimento. O Despacho normativo 98A/92, que aprova o novo sistema de avaliação do ensino básico em cada ano de escolaridade, de modo a reforçar o processo de aprendizagem através da integração de metodologias de avaliação no desenvolvimento curricular, valorizou a dimensão formativa de forma retórica, sem alterar efetivamente as práticas curriculares (Alves, 2004). Este despacho era focado na promoção da formação para todos, compatibilizando o sistema de formação com a organização curricular. A avaliação passou a ter um caráter formativo com a missão de garantir uma formação geral a todos os alunos e promoção do sucesso escolar. Foi nesta altura que o conceito de avaliação iniciou a mudança de um caráter mais reduzido de simples medida através de testes, para ser reconhecido como parte inerente ao processo de ensino e do currículo (Alves, 2004). Para a autora, a avaliação é uma “componente integrante do desenvolvimento do currículo, onde desempenha um papel fundamental, quer enquanto reguladora da aprendizagem, quer enquanto atividade cognitiva privilegiada para a construção do conhecimento” (Alves, 2004, p. 93), em que a comunicação desempenha um papel fundamental. Ainda nesta linha de pensamento Hadji defende que: avaliar é situarmo-nos, de corpo inteiro, na esfera da comunicação, ao produzirmos um discurso que dê uma resposta argumentativa a uma questão de valor. Uma primeira regra fundamental 10 para quem avalia é pois, a de entregar uma mensagem que tenha sentido para aqueles que a recebem. (Hadji, 1994, p. 178) Assim e ainda de acordo com Alves (2004, p.49): avaliação conceber-se-á, então, como uma atividade de comparação entre a produção observada e o modelo de referência do avaliador inscrito nas suas estruturas cognitivas. Compreender, assim, as decisões avaliativas do professor é debruçar-se sobre a estrutura e o funcionamento do seu modelo de referência. Também Beltrán e Rodríguez Diéguez (1990, citados por Pacheco, 2001), defendem que o ato de avaliar, por mais diversificado que tente ser, não é ambíguo e implica sempre a atribuição de um valor quantitativo ou qualitativo. Delimitam, assim, duas funções chave para a avaliação: uma quantitativa com o controlo dos resultados, a validação dos objetivos, a deteção das deficiências de rendimento e a classificação; outra qualitativa com a interpretação, a proposta de melhorias e a análise crítica. Estas duas funções da avaliação alastraram o seu objeto de atuação, à própria escola: a formativa ajuda na elaboração de currículos e a sumativa no julgamento de valor destes currículos, após terem sido elaborados e disponibilizados. Podemos, assim, considerar que a avaliação formativa é uma avaliação interna, que ajuda a elaborar o produto a ser formado. A avaliação serve para ajudar na tomada de decisão sobre um currículo de modo a ser aperfeiçoado pelo uso deste processo de avaliação na sua função formativa. A avaliação sumativa deve ser realizada por um avaliador externo e divulgada no âmbito da instituição que a promove. Trazendo para a realidade atual da avaliação, Pacheco (2014) cita Stufflebeam (2003) e Stake (2006), ao abordar as duas componentes essenciais da avaliação quando reportada a uma instituição ou organização: a dimensão interna ou autoavaliação de responsabilidade da escola e a dimensão externa ou heteroavaliação que diz respeito a administração geral, que é o nosso objeto de estudo e passamos a analisar. 1.3. A Avaliação Externa Sobre a importância da avaliação externa e a influência que a mesma tem nas práticas curriculares, abordamos o estado da arte dessa avaliação. Numa breve abordagem histórica da avalição curricular em Portugal, a reforma curricular mudou os objetos de avaliação e suas funções ao longo do tempo e também a visão de currículo, que consistia em uma gama de conteúdos a serem transmitidos e avaliar consistia em destacar conteúdos dentro de um referencial. 11 A avaliação externa neste contexto de mudança, é vista como um posicionamento político: a avaliação é “a expressão de um juízo de valor que pressupõe uma tomada de decisões através de procedimentos técnicos formais ou informais, correspondendo a um acto perceptivo e cognitivo que se explica pelo modelo de processamento de informação.” (Pacheco, 2001, p. 129). A avaliação externa considera a nível curricular os conteúdos curriculares divididos por disciplinas, o processo de elaboração, a adequação dos conteúdos às necessidades e capacidades dos alunos, a relação dos conteúdos com os objetivos, o quão exequível são, as atividades propostas, os valores e as didáticas, a coerência disciplinar, bem como a linguagem utilizada. Neste sentido, “Numa avaliação externa curricular, o objeto de avaliação coincide com todo o processo de desenvolvimento curricular, ou seja, os planos curriculares, os programas, os materiais curriculares e os modelos de desenvolvimento do currículo.” (Pacheco, 2001, p. 131). A avaliação institucional é, na perspetiva de Azevedo (2005, p.22): fator não tão valorizado quanto devia, tendo em vista que a avaliação institucional decorre, implica e reforça o profissionalismo docente, o desejo de realização, a exigência de aperfeiçoamento das práticas pedagógicas, o desenvolvimento de uma ética profissional marcada pela responsabilidade e pelo cuidado, o fomento de “comunidades profissionais” nas escolas. Por outro lado, a avaliação é um fator de regulação e governabilidade das sociedades contemporâneas e de gestão de relações de poder: a escola existe como um nó de uma rede escolar e social, pelo que a sua avaliação é complementar à avaliação de outros níveis dessa rede, ou seja, dos alunos, dos profissionais, da administração educacional, das medidas de política. (Azevedo, 2005, p.17). Praticamente todos os processos de avaliação incluem quatro fases: a recolha de informação, o juízo, a redação do relatório de avaliação e a concretização das mudanças. Na avaliação externa, o acento é colocado na formulação de um juízo; na interna, o acento é na mudança. A tendência geral é para uma avaliação interna que visa as estratégias e os meios de melhoria da situação existente e uma avaliação externa destinada a controlar a qualidade dos resultados e a garantir que as medidas de melhoria são postas em prática. (Azevedo, 2005). A avaliação institucional na perspectiva de Balzan e Sobrinho (1995, p.11), é “uma avaliação global, portanto, realizada mediante a combinação de autoavaliação com a avaliação externa”, tendo, assim, como questão central a qualidade, devendo por isso ser promovida como um processo de caráter essencialmente pedagógico, de modo a exercer o juízo de valor nas atividades escolares visando a sua melhoria. Com isso, o autor quer dizer que a avaliação institucional visa predominantemente, reconhecer 12 as relações na instituição e a sua qualidade no que tange as estruturas internas e os sistemas externos e a comunidade. O autor fala de uma totalidade necessária na qual a avaliação institucional ultrapasse as avaliações convencionais da vida escolar, não de modo a testar conhecimentos, mas sim recorrendo a um questionamento sistemático das questões escolares. (Balzan & Sobrinho, 1995). Num contexto de integração, a avaliação institucional deve, portanto, conhecer, integrar e articular as áreas institucionais, sendo um processo que faça parte da vida da instituição, fazendo parte da cultura da mesma, de modo a contribuir para o processo educativo, bem como, para o desenvolvimento futuro da instituição. Os autores definem ainda a avaliação institucional como um importante mecanismo de construção de conhecimento e de juízo de valor sobre a instituição, que conduz à sistematização de forma coerente dos estudos e a análises avaliativas feitas acerca da instituição: “os benefícios da avaliação institucional não estão apenas em seus resultados finais, consolidados em relatórios, mas também nos dispositivos de ação, no desenvolvimento do processo, em virtude de ser uma construção coletiva.” (Balzan & Sobrinho, 1995, p.66). Considera-se, então, que o objeto central da avalição institucional é a qualidade, como diagnóstico e como processo de melhoria, visando a produção da qualidade educativa. A avaliação institucional é vista, portanto, como um processo democrático no qual vários segmentos da instituição estão envolvidos. (Balzan & Sobrinho, 1995). No que tange a autoavaliação, Hadji (1994, p.53) afirma que: “antes de mais podemos também considerar que a autoavaliação é também uma heteroavaliação, na medida em que o sujeito que avalia introduz uma distância entre o “eu” que aprecia e o “eu próprio” que é apreciado.” Num contexto mais recente, Afonso (2010) defende que a autoavaliação das escolas deve ser um processo baseado no respeito para com a comunidade educativa, bem como, a autonomia dos profissionais da educação, de modo a ser assumido pelos mesmos como um processo fundamental de conhecimento sistemático e crítico da realidade do contexto escolar, independente de determinações administrativas ou percebidas pelo ponto de vista negativo, ou seja, o processo de autoavaliação deve ser neutro e essencialmente formativo visando a melhoria da qualidade da educação no seu nível mais abrangente e especificamente em termos pedagógicos, democráticos e científicos. Sendo assim: “em síntese, a autoavaliação é um processo complexo e denso, havendo igualmente que perceber se a ilusão da (suposta) transparência de algo que é familiar aos sujeitos não poderá ser, também aqui, um obstáculo à compreensão da realidade educacional e organizacional” (Afonso, 2010, p.357). Em termos legislativos, esta realiza-se nos termos de análise do plano nacional e pode assentarse em termos de análise da qualificação educativa da população, estruturada com base no sistema de avaliação em vigor, de modo a aferir o sucesso escolar e o grau de cumprimento dos objetivos educativos, 13 com sistema de certificação do processo de autoavaliação, através de ações desenvolvidas no âmbito de suas competências pela Inspeção-Geral de Educação, com os processos de avaliação, a cargo dos demais serviços do Ministério da Educação. (Lei n.º 31/2002, artigo 8.º). Os objectivos gerais dos resultados da avaliação após interpretados de forma integrada e contextualizada, devem permitir a formulação de propostas relativas a: a) organização do sistema educativo; b) estrutura curricular; c) formação inicial, contínua e especializada dos docentes; d) autonomia, administração e gestão das escolas; e) incentivos e apoios diversificados às escolas; f) rede escolar; g) articulação entre o sistema de ensino e o sistema de formação; e h) regime de avaliação dos alunos. (Lei n.º 31/2002, artigo 8.º). A autoavaliação tem caráter obrigatório, é desenvolvida em permanência e conta com o apoio da administração educativa assentada nos termos de análise do grau de concretização do projeto educativo e o modo como se concretiza a educação tendo em conta características como o nível de execução das atividades de modo a gerar interação nas aprendizagens e o desenvolvimento integral dos alunos, o desenvolvimento escolar e a prática de uma cultura de colaboração entre os membros da comunidade educativa. (Lei n.º 31/2002). Esta lei n.º 31/2002, artigo 6.º aborda a autoavaliação com carácter obrigatório, a ser desenvolvida de forma permanente e apoiada pela administração educativa e assentada nos seguintes termos de análise: a) grau de concretização do projecto educativo e modo como se prepara e concretiza a educação, o ensino e as aprendizagens das crianças e alunos, tendo em conta as suas características específicas; b) nível de execução de actividades proporcionadoras de climas e ambientes educativos capazes de gerarem as condições afectivas e emocionais de vivência escolar propícia à interacção, à integração social, às aprendizagens e ao desenvolvimento integral da personalidade das crianças e alunos; c) desempenho dos órgãos de administração e gestão das escolas ou agrupamentos de escolas, abrangendo o funcionamento das estruturas escolares de gestão e de orientação educativa, o 14 funcionamento administrativo, a gestão de recursos e a visão inerente à acção educativa, enquanto projecto e plano de actuação; d) sucesso escolar, avaliado através da capacidade de promoção da frequência escolar e dos resultados do desenvolvimento das aprendizagens escolares dos alunos, em particular dos resultados identificados através dos regimes em vigor de avaliação das aprendizagens; e e) prática de uma cultura de colaboração entre os membros da comunidade educativa. Assim, a autoavaliação como parte da avaliação institucional, complementa a avaliação externa, devendo atuar essencialmente no desenvolvimento das possibilidades e potencialidades educativas da respectiva escola ou agrupamento. Em Portugal, as escolas evidenciam a existência de dispositivos de autoavaliação, sendo, na generalidade, atribuído às equipas de autoavaliação um papel central no desenvolvimento e na coordenação dos processos auto avaliativos de cada escola. Contudo, simultaneamente, reconhece-se a existência de polos de autoavaliação em certas áreas das escolas que desenvolvem processos próprios, com maior ou menor autonomia. (Lima Rocha, 2012). Segundo Oliveira (2016, p.135) “o conceito de autoavaliação não é um conceito homogéneo e não tem um modelo singular, assim sendo cada organização opta por um modelo de autoavaliação direcionado ao conceito mais adequado à realidade e contexto da sua escola/agrupamento” e, ainda: “no processo de avaliação das escolas, a autoavaliação é um passo fundamental para se construir a melhoria do desempenho de cada organização. “(Oliveira, 2016, p. 143). Valerá apena referir que, na lei já citada, a avaliação é concebida por análise de diagnóstico, visando a criação de termos de referência para maiores níveis de exigência que constituam modelos de reconhecimento, valorização, incentivo e dinamização educativa, com a intenção de cumprir os seguintes objetivos: a) promover a melhoria da qualidade do sistema educativo, da sua organização e dos seus níveis de eficiência e eficácia, apoiar a formulação e o desenvolvimento das políticas de educação e formação e assegurar a disponibilidade de informação de gestão daquele sistema; b) dotar a administração educativa local, regional e nacional, e a sociedade em geral, de um quadro de informações sobre o funcionamento do sistema educativo, integrando e contextualizando a interpretação dos resultados da avaliação; 21 - Permitir a fundamentação de decisões sobre esta matéria, aos diversos níveis, - Criar condições para, numa perspectiva de longo prazo, se proceder à generalização progressiva de estratégias de autoavaliação nas escolas.” falta de financiamento, mais precisamente na fase final do projeto. autorregulação da qualidade. Programa de Avaliação Integrada das Escolas: - Valorizar as aprendizagens e a qualidade da experiência escolar dos alunos; - Devolver informação de regulação às escolas (...); - Induzir processos de autoavaliação como a melhor estratégia para garantir a qualidade educativa, consolidar a autonomia das escolas e responsabilizar os actores; - Criar níveis elevados de exigência no desempenho global de cada escola; - Desempenhar uma das funções de regulação do funcionamento do sistema educativo (...); - Disponibilizar informação e caracterizar o desempenho do sistema escolar através de um relatório nacional (...) A dificuldade que levou o programa a sua extinção foi a então inexperiência no âmbito da avaliação e como à carência de um número necessário de avaliadores com formação e experiência exigidas. Realização de uma avaliação que abrangia a escola como um todo, de modo a realizar uma análise ás diversas dimensões, desde áreas de gestão, pedagógica e administrativa da escola. Aferição da Efetividade da Autoavaliação das Escolas - Identificar aspectos-chave na aferição da autoavaliação enquanto actividade promotora do desenvolvimento das escolas; -Desenvolver uma metodologia inspectiva de meta-avaliação [...]; -Promover nos estabelecimentos de educação e ensino uma cultura de qualidade, exigência e Foi descontinuado para dar lugar ao programa seguinte com maior completude. Reconhecimento, pelas escolas, da importância da avaliação. 22 responsabilidade, mediante uma atitude crítica e de autoquestionamento, tendo em vista a qualidade dos processos e dos resultados; - Contribuir para o desenvolvimento de uma cultura de aperfeiçoamento institucional focalizado e estratégico; - Acompanhar o desenvolvimento de dispositivos externos de suporte à autoavaliação nas escolas Quadro 1 - Síntese das dimensões dos programas que suportam o atual quadro de avaliação externa. Tal como podemos observar pela leitura do quadro1, no que tange aos objetivos, os programas tinham em comum o fomento e incentivo à realização da autoavaliação nas escolas, de modo a dar suporte ao desenvolvimento do mesmo. O Projeto Qualidade XXI, o Programa de Aferição da Autoavaliação das escolas e o Programa de Avaliação Integrada das Escolas, por sua vez, já desenvolviam um foco na reflexão sobre a qualidade educacional, o segundo visava ainda a promoção da cultura da responsabilidade por parte das escolas no que concerne os processos e resultados, enquanto que o último tinha a ideia de responsabilização voltada para os atores. O Programa Observatório da Qualidade da escola objetivava o desenvolvimento de processos interativos de reflexão e comunicação entre a escola e o sistema educativo e social. O programa Aferição da Efetividade da Autoavaliação das Escolas trouxe a visão do desenvolvimento da cultura de aperfeiçoamento institucional focalizado e estratégico, bem como, o desenvolvimento de uma metodologia inspectiva de meta-avaliação. 23 Capítulo 2. Percurso metodológico De acordo com Pacheco (2006), a criação do trabalho académico, inicia-se com a delimitação de um problema que se irá desenvolver ao longo do percurso da investigação, fundamentado no estado da arte sobre as questões referentes ao objeto de estudo, seguido dos objetivos propostos que servem de orientação para a pesquisa, e da metodologia para a recolha de informação. Assim, esta investigação, de natureza qualitativa, utilizou documentos (dissertações, teses e relatórios), como instrumentos de recolha de dados. À análise documental dos trabalhos produzidos por distintos investigadores que problematizaram sobre esta temática, juntou-se o resultado traduzido nos relatórios, decorrente da triangulação entre a aplicação da legislação sobre avaliação externa com a praxis vivenciada em cada agrupamento de escolas, ou escola não agrupada. 2.1. Problemática e objetivos da pesquisa Tal como já enunciámos, face à política de prestação de contas e à qualidade do ensino, a Avaliação Externa das Escolas surge com a intenção de acompanhar e responsabilizar as instituições mediante o trabalho prestado à sociedade. Assim, a AEE, enquanto instrumento, analisa a educação, a qualidade do ensino básico e, por consequência, a prática curricular desenvolvida em cada contexto, bem como, as consequências curriculares geradas. Constitui-se, ainda, como um instrumento para a implementação de processos de melhoria e uma oportunidade para toda a comunidade se apropriar da realidade da sua escola. É neste contexto que formulamos a seguinte questão problema: - que questões curriculares foram identificadas em investigações realizadas sobre a Avaliação Externa das Escolas (AEE) e nos relatórios de AEE, que podem interferir nas práticas de desenvolvimento do currículo e da avaliação? Para o desenvolvimento desta problemática, formularam-se os seguintes objetivos: • identificar e descrever o marco legal da Avaliação Externa das Escolas; • compreender o marco legal da avaliação externa no ensino básico e no ensino secundário; • analisar relatórios e estudos científicos produzidos no âmbito da AEE; • inferir as implicações da AEE no processo de desenvolvimento do currículo. 24 2.2. Instrumentos e técnicas de recolha de análise dados São analisados os relatórios de avaliação externa desde o ano de 2006 até à atualidade, bem como, dissertações e teses selecionadas de acordo com o critério de elegibilidade: a abordagem da temática da avaliação externa das escolas no período compreendido entre os anos de 2005 até à atualidade. As dissertações e teses estavam disponíveis no Repositório da UM. Depois de uma leitura flutuante de 18 investigações, e por que o tempo disponível para elaboração deste trabalho era relativamente curto, optámos por selecionar 6, a partir das palavras-chave e dos resultados obtidos, nomeadamente, na abordagem às práticas curriculares. Após a leitura sistemática, eram criadas fichas nas quais constavam as palavras chave, um resumo constando trechos para citações, a análise do conteúdo que ajudaria na contextualização e problematização da nossa problemática. Com base no trabalho de Pimentel (2001), elaborámos o esquema 1, que traduz a organização analítica do corpus empírico que sustentou a problemática deste trabalho: Característica do material TítuloAutor-Ano Conteúdo e principais resultados Esquema 1: organização analítica do corpus empírico Assim, tendo como ponto de partida alguns estudos produzidos em Portugal, sobre a avaliação externa, assim como, os relatórios produzidos nos três ciclos realizados pelo programa de Avaliação Externa das Escola, disponibilizados no site da Inspeção Geral da Educação, o presente estudo se constitui em uma pesquisa documental de análise de conteúdo. Sobre isso, Marwick (1977, apud Duffy 1997) expõe que a localização dos documentos, deve ser feita de maneira similar como se faz a pesquisa bibliográfica, informando-se sobre o contexto e natureza do tema, podendo envolver fontes documentais locais, nacionais e internacionais. Sobre as fontes de pesquisa, ressalta a importância do cuidado com a seleção dos documentos e dados a serem utilizados, certificando-se de que serão retirados de fontes seguras e fidedignas, e com a quantidade de material documental que deve ser proporcional ao tempo de desenvolvimento da investigação. A principal orientação à análise de documentos é pôr tudo em causa de maneira céptica (Bispo, 2011). 25 2.2.1. Investigação qualitativa A investigação qualitativa surgiu no século XIX e segundo Bogdan e Biklen (1994, p.51), a investigação qualitativa possui cinco características: 1 - tem como fonte direta dos dados o ambiente natural, onde o investigador é o instrumento principal. 2 - é descritiva, com dados substanciais; 3 - os investigadores preocupam-se com o processo e não apenas com os resultados; 4 - os investigadores se predispõem a analisar os dados de forma indutiva; 5 - valoriza o significado, refletindo num diálogo entre o investigador e o sujeito. A análise qualitativa, de acordo com Bardin (1977), tem características particulares e é válida principalmente na elaboração das inferências específicas sobre algum acontecimento e não em inferências gerais. No que tange a análise de conteúdo dentro da análise documental, enquanto tratamento da informação contida nos documentos acumulados, a análise documental tem por objetivo dar forma conveniente e representar de outro modo a informação, por intermédio de procedimentos de transformação: “sendo assim, a análise documental é considerada uma fase que antecede a constituição de um serviço de documentação ou de um banco de dados (Bardin, 1977, p.45). 2.2.2. Análise de conteúdo De acordo com Bardin (1977), analise de conteúdo é “um conjunto de instrumentos metodológicos cada vez mais sutis em constante aperfeiçoamento, o que se aplicam a discursos (conteúdos e continentes) extremamente diversificados.” Segundo a autora, o fator trivial destas técnicas múltiplas e multiplicadas é uma interpretação dos conteúdos de forma controlada com base na dedução, na interferência, oscilando entre a objetividade e a subjetividade. Considerado um método sutil de análise, a análise de conteúdo possui duas funções, a função heurística considerada exploratória, visando a descoberta e a função de “administração da prova”, como o próprio nome já diz serve para comprovar alguma hipótese. Estas funções complementam-se, podendo ser considerada uma análise dos significados ou dos significantes, com regras de execução a considerar: homogéneas, exaustivas, de modo a consumir por completo o texto proposto; exclusivas com a mesma categoria; objetivas visando objetivos iguais; e adequadas ou pertinentes que adaptem o conteúdo ao objetivo. (Bardin, 1977). Assim, a autora considera que o analista numa análise de conteúdo deve interpretar minuciosamente os documentos que manipula, sendo a primeira etapa a descrição que deve ser resumida após o tratamento, seguida da inferência, tendo como última etapa a interpretação, dando significação ao conteúdo. É considerado que o fundamento da especificidade da análise de conteúdo transita entre os textos 26 analisados e os fatores que determinam as características do mesmo, deduzidos de forma lógica. Bardin (1977, p.42), de modo ainda mais completo, define a análise de conteúdo como um conjunto de técnicas de análise das comunicações, visando obter, por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos, ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens. Deste modo, as iniciativas que, compostas de um conjunto de técnicas complementares, sistematizem um conteúdo, são consideradas como parte do domínio de análise de conteúdo: “há duas práticas científicas intimamente ligadas à análise de conteúdo, quer pela identidade do objeto, quer pela proximidade metodológica: a linguística e as técnicas documentais.” (Bardin, 1977, p.43). Referente as fases da análise de conteúdo, consistem na pré-análise que tem um caráter de organização e é composta pela escolha dos documentos, a formulação da hipótese, objetivos e a elaboração dos indicadores, bem como, da sistematização dos dados iniciais e a escolha dos documentos. Dentro da etapa da pré-análise estão as atividades não estruturadas: a leitura flutuante, que é o primeiro contato com os documentos a serem analisados; a escolha dos documentos que é a seleção mais minuciosa de acordo com os objetivos da investigação, de modo a seguir a regra da exaustividade que tem em conta a leitura de todo o material referente à elegibilidade definida; a regra da representatividade na seleção e análise da amostra pré-definida; a regra da homogeneidade que visa a apresentação dos documentos obedecendo aos critérios precisos de escolha; e a regra de pertinência, que adequa os documentos às fontes de informação; a formulação das hipóteses e dos objetivos que consiste no levantamento das hipóteses para cumprimentos dos objetivos; a referenciação dos índices e a elaboração dos indicadores com base na frequência do tema em relação aos demais; a preparação do material e classificação por equivalência. A segunda fase é a de exploração do material, concluídas as etapas da pré-análise esta é a fase da análise propriamente dita, é a administração sistemática das decisões tomadas na etapa anterior. Seguida da etapa do tratamento e interpretação dos resultados obtidos, que é a validação dos resultados significativos (Bardin, 1977). Dentro da análise de conteúdo, a codificação é o ato de tratar o material, transformando os dados brutos de modo a deixá-los de forma clara e descrita de acordo com as características pertinentes do conteúdo, que pode ser dentro de umas das três escolhas: -recorte, que é a escolha das unidades; - enumeração que é a escolha das regras de contagem; e – a classificação que é a escolha das categorias. (Bardin, 1977). Esteves (2006), considera como a “operação central” da análise de conteúdo, a categorização, que é o procedimento para a redução dos dados considerados pertinentes, com vista aos objetivos da investigação. É composta por diferentes métodos, desde o 27 inventário que consiste na identificação dos dados pertinentes dentro do acervo documental; a classificação ou agrupamento dos dados de acordo com a pertinência ao assunto; os procedimentos fechados, com base numa lista de categorias definida pelo investigador; e os procedimentos abertos que vão dos dados empíricos para a formulação da classificação adequada. Bardin (1977) define a inferência como uma interpretação controlada, de modo a fornecer informações suplementares apoiada nos elementos da pesquisa, ou seja: “por outras palavras, trata-se de realizar uma análise de conteúdo sobre a análise de conteúdo.” (Bardin, 1977, p.138). Ainda sobre a análise de conteúdo “é a expressão genérica utilizada para designar um conjunto de técnicas possíveis para tratamento da informação previamente recolhida.” (Esteves, 2006, p.106). Esteves (2006, cita Van der Maren, 1995), que define a tipologia da análise de conteúdo em: - dados invocados, que são aqueles que existem independentes do investigador e - dados suscitados, que são os dados gerados pelo próprio investigador. Segundo a autora, esta técnica investigativa caracteriza-se pela extração de conhecimentos mais simples em relação a conteúdos extensos visando a compreensão de forma mais objetiva. A análise de conteúdo: sem deixar de ser uma ‘descrição com regras’, prossegue com a realização de interferências pelo investigador, interferências estas que, por se apresentarem com um fundamento explícito, possam ser questionadas por outros, e possam ser corroboradas ou contrariadas por outros procedimentos de recolha e de tratamento de dados, no quadro de uma mesma investigação ou de investigações sucessivas. (Esteves, 2006, p.108). 2.3. Ética na investigação De acordo com Bogdan & Biklen (1994), o consentimento informado e a proteção dos sujeitos contra danos tendem a assegurar que, ao aderir a um projeto de investigação, o sujeito está ciente da natureza do estudo e de que não são expostos a riscos maiores que dados. Segundo os autores, deste modo ao desenvolver uma investigação qualitativa deve-se considerar os princípios éticos, bem como a autenticidade na escrita principalmente no que concerne aos resultados. De acordo com Lima (2006, p.152), a integridade na pesquisa deve ter a perspetiva seguinte: ela pressupõe, igualmente, um conjunto de práticas características de uma conduta responsável da pesquisa, designadamente: a honestidade intelectual na proposta e na realização da pesquisa e no relato dos seus resultados; a precisão na representação dos contributos dados pelos vários intervenientes as propostas de investigação e aos relatórios; a justeza na avaliação do trabalho dos pares; a colegialidade nas interações científicas, incluindo a comunicação e a partilha dos recursos; a transparência nos conflitos de interesses, reais ou potenciais. 28 Para além disso o autor cita como destaques a necessidade de criar a sensibilidade e raciocínio éticos, a motivação e o empenhamento moral, apostando na educação dos investigadores. No caso da nossa investigação, uma vez que não trabalhamos diretamente com sujeitos, apenas com os documentos por eles produzidos, acautelamos a integridade da pesquisa, na linha de Lima (2006), nomeadamente, no que concerne a sensibilidade e raciocínio éticos, a responsabilidade, a motivação e o empenhamento moral. 29 Capítulo 3. Apresentação e discussão dos resultados Neste capítulo, apresentamos e discutimos os resultados, a partir da análise de documentos já referenciados no capítulo 2. Começamos por apresentar o quadro de referenciação, tendo por base o esquema analítico que suportou o nosso corpus empírico, do qual demos conta nas opções metodológicas. Para a sua elaboração, seguiram-se as seguintes etapas: identificação, localização, compilação, fichamento e análise. Característica do material Título, Autor e Ano de publicação Resumo e principais resultados Relatório Projeto-piloto para Avaliação das Escolas2006 Fase piloto da avaliação externa, a constar o estabelecimento dos termos de referência para a avaliação externa. A partir deste projeto foi desenvolvido o manual Perfil de Escola, contendo as informações para os avaliadores externos, sobre a escola que estão a visitar e a análise da literatura sobre os fatores que têm impacto sobre os resultados escolares e a contextualização dos mesmos. Relatório Relatório Avaliação Externa das Escolas (2006-2011) 1º Ciclo. Abrange o 1º ciclo da AEE entre 2006-2011. O relatório apresentou 1131 escolas avaliadas, e a publicação da Recomendação n.º 1/2011 do Conselho Nacional de Educação (CNE), com base na análise feita sobre o desenvolvimento do primeiro ciclo de avaliação externa, juntamente aos seus pareceres emitidos também pelo E próprio CNE o – Parecer n.º 5/2008, de 13 de junho e o Parecer n.º 3/2010, de 9 de junho. Consideram que a avaliação externa de escolas deve servir três objetivos principais: a Capacitação, a Regulação e a Participação. Apresentou o Despacho Conjunto n.º 4150/2011, de 4 de março, que criou o Grupo de Trabalho (GT). Relatório Relatório Grupo de Trabalho (2011) Relatório do grupo de trabalho que antecede o 2º ciclo de avaliação. Orientou os processos de avaliação, definindo que os mesmos devem ter continuidade e estabilidade, de modo a ter uma reflexão a longo prazo, de modo a ser vista como parte integrante do sistema de ensino. Sinaliza ainda a importância de a AEE reforçar a componente da autoavaliação em acompanhamento da avaliação externa. Consideram que os dados estatísticos devem 30 ser acompanhados de maior rigor, prevendo assim uma melhor utilização destes resultados para adequá-los a um plano de ação da escola. Relatório Relatório Avaliação Externa das Escolas (2011-2017) 2º Ciclo Referente ao 2º ciclo de AEE. Foi apresentado o desenvolvimento da avaliação externa do ano de 2006 até o ano de 2017, inclusive o Grupo de Trabalho, como reflexão do percurso da AEE para o ciclo seguinte. Relatório Relatório Avaliação Externa das Escolas (2018-atualidade) 3º Ciclo Relatório do 3º ciclo de Avaliação Externa das Escolas. Apresentou reformulações dos objetivos, e do quadro de referência face ao ciclo anterior, bem como nos campos de análise que passaram de 9 para 12. Dissertação de Mestrado Os rankings das escolas secundárias em Portugal: da(s) intencionalidade(s) à sua representação nos agentes educativos em contexto escolar. (Tomé, 2005). Sobre a representação dos agentes educativos aos rankings. Neste estudo, conclui-se que os professores não consideram que os rankings sejam uma pressão a nível curricular, avaliativo ou didático. No entanto, sentem-se pressionados pelos bons resultados dos alunos, mais pela sociedade que cobra estes resultados, do que pela comunidade escolar. Concluiu-se também que os professores não alteram as suas práticas devido à avaliação externa. No entanto, os mesmos expuseram as adequações que fazem e o quão sentem que podiam ser mais autónomos no que tange a prática pedagógica, porém não direcionam esta responsabilidade para a avaliação externa. Dissertação de Mestrado Impacto de um dispositivo de Avaliação Externa na Avaliação da Qualidade em Creche. Um estudo sobre as perspectivas de Desenvolvimento Profissional nos Educadores de Infância. (Sousa, 2013). Aborda os impactos produzidos pela avaliação externa nas creches. Conclui que com o passar dos anos, a AEE e a autoavaliação tem trazido benefícios no que tange ao modo de avaliar de forma diversificada e com a triangulação dos dados relativos a esta avaliação, mas salienta que ainda falta alguma articulação referente à compilação de ambos os dados. Dissertação de Mestrado Avaliação externa de escolas. Dissertação de Mestrado. (Freitas, 2012) Relaciona a avaliação externa de escolas com a qualidade da educação, estudando o impacto da avaliação externa nas práticas curriculares de decisão curricular e analisa os efeitos da avaliação externa de escolas nas práticas organizacionais. 37 avaliadores: 52 inspetores da IGE e 24 externos. Foi aplicado um inquérito por questionário que considerou aspetos relacionados com a preparação da visita da equipa de avaliação externa, a visita em si mesma, os instrumentos adotados, a avaliação, o relatório, a escala de avaliação usada, bem como, os contributos para a autoavaliação. Este relatório concluiu que as escolas e agrupamentos avaliados tem uma opinião positiva sobre a avaliação externa no que tange os quadros de referência, os fatores incluídos em cada domínio, o relatório final e a visita em si mesma (Plano de Atividades de 2007 da IGE). Já em relação aos avaliadores, o questionário levou em conta a opinião dos mesmos no que tange a pertinência dos tópicos abordados e a relevância de cada domínio para a avaliação externa, bem como, a adequação dos aspectos considerados em relação a avaliação, no que foi, então, a primeira avaliação externa, realizada depois das de fase teste, realizada em 273 escolas, sendo 172 agrupamentos de escolas e 101 não agrupadas, no ano letivo de 2007-2008 (Relatório Inspeção-Geral da Educação 2008). O relatório traz os gráficos das escolas e agrupamentos participantes, com seus respectivos valores de referência. Esta edição contou com uma equipa de dois inspetores e um avaliador externo à IGE, totalizando assim, 83 inspetores e 59 avaliadores externos. O procedimento foi o mesmo das avaliações anteriores, com a comunicação às escolas, o envio pela mesma dos documentos a serem tratados pela equipa de avaliação, nomeadamente, o perfil da escola, traduzido nos documentos que foram recolhidos junto aos Serviços Centrais do Ministério da Educação, através do Gabinete Coordenador do Sistema de Informação do Ministério da Educação (MISI@) e do Gabinete de Avaliação Educacional (GAVE), que continham os resultados das avaliações internas dos alunos nas provas de aferição, bem como nos exames nacionais do ensino básico, as taxas de transição/retenção e abandono. Estes dados permitiam à equipa caracterizar o contexto social, económico e cultural das famílias e alunos, bem como, a evolução dos mesmos nos relatórios anteriores. Nessa edição, foi afirmada a importância desse conhecimento prévio por parte das equipas de avaliação relativamente às escolas, de modo a fornecer informações pertinentes. Os dados recolhidos por análise documental e observação direta são, depois, complementados pelos dados das audições e entrevistas em painel, realizadas com atores internos e externos da escola, bem como, responsáveis e representantes da mesma, de modo a criar um leque de informações pertinentes e efetivas para a avaliação, com diferentes perspetivas. Os relatórios das escolas contam com cinco capítulos desde a introdução, a Caracterização da Escola/Agrupamento, Conclusões da Avaliação por Domínio, Avaliação por fator e as Considerações Finais. Estes relatórios, foram elaborados com base na análise dos documentos, na apresentação da escola e na realização das entrevistas em painel (Plano de Atividades de 2007 da IGE). A partir desta edição, a IGE passou a divulgar os respetivos resultados na sua página na internet, bem como, o 38 contraditório da escola, quando havia. Os relatórios contêm as classificações por cinco domínios que estruturam a avaliação externa, sendo eles: os resultados, a prestação do serviço educativo, a organização e gestão escolar, liderança, capacidade de autorregulação e melhoria da Escola/Agrupamento. As classificações dispostas no relatório mantiveram a escala em quatro níveis de classificação: muito bom, bom, suficiente e insuficiente. O relatório referente aos anos de 2007-2008 fez um apanhado comparativo em relação aos domínios avaliados, no qual as escolas não agrupadas registaram uma maior frequência de “Muito bom”. O domínio “Resultados” levou em conta quatro fatores em específico sendo eles: o sucesso académico; participação e desenvolvimento cívico; comportamento e disciplina; valorização e impacto das aprendizagens. Nesta edição, a AEE abrangeu 172 agrupamentos e 101 escolas, realizando também uma análise comparada das classificações dos domínios. Assim, o relatório de escola ou agrupamento contém as apreciações qualitativas dos fatores que abrangem os cinco domínios: sucesso académico; participação e desenvolvimento cívico; comportamento e disciplina; e valorização e impacto das aprendizagens. Os relatórios de escola terminam com as considerações finais, de modo a apresentar a síntese dos atributos da escola, bem como, os pontos fortes e fracos e as condições de desenvolvimento que permitirão uma estratégia de melhoria do processo. Assim como na edição anterior, as escolas também tiveram contempladas as suas respetivas opiniões, que foram também colocadas no relatório em forma de gráfico e de aspetos pontuados sobre os pontos positivos e os negativos relativos às visitas, principalmente a necessidade de valorização do contexto socioeconómico no qual a escola se encontra para que seja levado em consideração nos domínios avaliados. (Plano de Atividades de 2007 da IGE). Em maio de 2008, o Conselho Nacional de Educação aprovou um parecer sobre a Avaliação Externa das Escolas, que resultou nas seguintes recomendações: a continuidade da revisão do modelo de avaliação; avaliar as escolas e também a administração educativa; avaliar o valor acrescentado; a valorização da articulação entre avaliação externa e autoavaliação; a autonomia das escolas como condição de desenvolvimento; rever o instrumento de avaliação; desaconselha a ligação entre a avaliação das escolas e prémios; acompanhamento após a entrega do relatório; investir na formação e preparação dos avaliadores; aprofundar e refletir sobre a intervenção da IGE na avaliação das escolas. Em resposta às considerações do CNE foram feitas as seguintes alterações, já com efeitos a partir de 2008-2009: a clarificação do quadro de referência; reformulação dos tópicos para apresentação da escola; revisão da agenda de visitas às escolas, de modo a aumentar para 3 dias as visitas aos agrupamentos; continuar a formação dos avaliadores e harmonizar os procedimentos e critérios de 39 avaliação; tornar mais claros os procedimentos para a constituição os painéis; estudar uma forma de recursos das escolas. Iniciou-se ainda em 2008 o processo de preparação para a avaliação de 20082009. O relatório que compreende os anos de 2008-2009 contém informação geral sobre a avaliação externa, realizada em 287 escolas e agrupamentos de escolas. O relatório traz um resumo dos números das edições anteriores e mantém os objetivos e metodologia de acordo com os relatórios anteriores, realizando também a análise comparativa com base nos domínios avaliados. A novidade nesta edição foi a avaliação das escolas integradas no Programa Territórios Educativos de Intervenção Prioritária (TEIP), que somaram 17 agrupamentos de crianças desfavorecidas económica e socialmente. Procedeu-se a um tratamento específico para a informação relativa a estes agrupamentos, com a intenção de combater o insucesso a abandono escolar, a insegurança e a indisciplina. (Relatório Inspeção-Geral da Educação 2009). A metodologia dos relatórios entregues às escolas também se manteve. O relatório do Programa de Avaliação Externa das Escolas (AEE) no ano letivo de 2009-2010, avaliou 300 escolas e agrupamentos, das quais 233 eram agrupamentos e 67 escolas não agrupadas. Na avaliação que concerne os anos de 2009-2010, os objetivos da avaliação externa das escolas mantiveram-se de acordo como os objetivos iniciais, centrados na escola com a finalidade e a utilidade da avaliação externa. Sendo, portanto, a escola o primeiro destinatário e a unidade central de análise, constituindo a avaliação externa um instrumento útil para a melhoria e o desenvolvimento de cada escola. Foram realizados quadros de referência de modo a definir detalhadamente o que se quer avaliar e organizados em cinco domínios: resultados; prestação do serviço educativo – organização e gestão escolar; liderança e, por fim, a capacidade de autorregulação e melhoria da escola. Esta versão da avaliação externa das escolas já conta com a atualização, por meio da Lei n.º 66-B/2007, que visa garantir a coerência e conferir a unidade aos subsistemas de avaliação do desempenho adaptado ao SIADAP (Sistema Integrado de Gestão e Avaliação do Desempenho na Administração Pública), assumindo assim os efeitos também deste sistema. Outro despacho, lançado em 2008, o Despacho n.º 20131/2008, veio estabelecer percentagens máximas para as classificações de excelente e de muito bom na avaliação dos docentes, considerando as classificações obtidas pelos agrupamentos e escolas nos cinco domínios da avaliação externa. (Relatório Inspeção-Geral da Educação 2009). Neste ano letivo, a avaliação foi realizada em cada escola por uma equipa composta por dois inspetores e um avaliador externo, sendo no total 100 inspetores e 73 avaliadores. O relatório do ano de 2010-2011, último ano deste ciclo da Avaliação Externa das Escolas, em que foram avaliadas 147 escolas, sendo 111 agrupamentos e 36 escolas não agrupadas, fecha o primeiro ciclo das AEE, iniciado em 2006 e concluído no ano letivo de 2010-2011. Este ano não foi 40 seguido o procedimento comum aos outros anos, onde era enviado um convite às escolas para se candidatarem. Neste ano, as escolas avaliadas foram as restantes: 147. Os objetivos mantiveram-se de acordo com os anos anteriores: “a construção destes objetivos concentra na escola a finalidade e a utilidade da avaliação externa. A escola é o primeiro destinatário e a unidade central de análise, pois a avaliação externa pretende, antes de mais, constituir-se como um instrumento útil para a melhoria e o desenvolvimento de cada escola.” (Relatório de Avaliação Externa das Escolas 2010-2011, p. 8). No que tange as perguntas realizadas nas escolas em relação à aplicação da AEE, considera-se neste relatório que o número de aspetos negativos diminuiu consideravelmente em relação aos anos anteriores. O relatório traz também uma síntese do que foi este ciclo de avaliações, apresentando um quadro com o total de 1131 escolas avaliadas ao longo deste período temporal. No ano de conclusão do que foi o 1º ciclo da AEE, a 7 de janeiro de 2011, foi publicada no Diário da República, 2.ª série, a Recomendação n.º 1/2011 do Conselho Nacional de Educação (CNE), com base na análise feita sobre o desenvolvimento do primeiro ciclo de avaliação externa, que teve início no ano de 2006, juntamente aos seus pareceres emitidos também pelo próprio CNE o – Parecer n.º 5/2008, de 13 de junho, e o Parecer n.º 3/2010, de 9 de junho, que consideram que a avaliação externa de escolas deve servir três objetivos principais de Capacitação, visando a melhoria das suas práticas e os resultados das aprendizagens dos alunos; de Regulação, de modo a fornecer suporte à decisão e regulação global do sistema à administração educativa; e de Participação, de modo a fomentar a integração entre os elementos diretos e indiretos à escola, intencionando a uma melhor interpretação da qualidade das instituições. Este relatório contou também com o Despacho Conjunto n.º 4150/2011, de 4 de março, que criou o Grupo de Trabalho (GT), coordenado pela Inspeção-Geral da Educação, com a intenção de uma proposta de modelo para o ciclo seguinte do Programa de Avaliação Externa das Escolas, com início no ano letivo de 2011-2012, e define como objetivos para o novo ciclo: a reapreciação dos referenciais e metodologias do Programa de Avaliação Externa das Escolas; a elaboração de uma proposta de modelo; a apresentação da proposta de formação dos avaliadores; o acompanhamento e a realização das ações de avaliação externa nas escolas, a apresentação da proposta de um normativo que regule o regime jurídico da avaliação externa das escolas e, por fim, a elaboração do relatório final expressando e fundamentando as opções metodológicas e as recomendações sobre a configuração do novo ciclo do Programa de Avaliação Externa das escolas. (Diário da República, 2.ª série — N.º 45 — 4 de março de 2011). 41 3.1.3 Relatório do grupo de trabalho (2011) O relatório do Grupo de Trabalho apresentou questões iniciais para permearem a sua estrutura: “O que faz uma escola de qualidade? Quais os factores subjacentes à qualidade de uma escola? O que se entende por qualidade, quando aplicada ao sistema de educação e formação?” (Grupo de Trabalho para a Avaliação Externa das Escolas, 2011, p. 15). O relatório apresenta as propostas desenvolvidas, o quadro de referência, o quadro de operacionalização, bem como, a programação da experimentação da nova proposta e a formação dos avaliadores para a fase de teste do novo ciclo de avaliação. O grupo de trabalho foi formado por 8 membros e contou com a colaboração de 12 agrupamentos/escolas. Em relação ao ciclo anterior de avaliação, o grupo de trabalho propôs sete alterações, sendo elas: -A redução dos domínios de análise de cinco para três; - aplicação de questionário de satisfação à comunidade de forma prévia; - a utilização nos resultados da escola, do valor esperado na análise; - escutar as autarquias; - introdução de um novo nível de escala de classificação; - necessidade de um plano de melhoria para as escolas avaliadas; e - a variabilidade dos ciclos de avaliação (Grupo de Trabalho para a Avaliação Externa das Escolas, 2011). Os objetivos da avaliação externa foram reformulados, visando: • romover o progresso das aprendizagens e dos resultados dos alunos, identificando pontos fortes e áreas prioritárias para a melhoria do trabalho das escolas; • incrementar a responsabilização a todos os níveis, validando as práticas de autoavaliação das escolas; • fomentar a participação na escola da comunidade educativa e da sociedade local, oferecendo um melhor conhecimento público da qualidade do trabalho das escolas; e • contribuir para a regulação da educação, dotando os responsáveis pelas políticas educativas e pela administração das escolas de informação pertinente. (Grupo de Trabalho para a Avaliação Externa das Escolas, 2011, p.41). Para a construção dos objetivos, o Grupo de Trabalho teve em consideração as recomendações do Conselho Nacional de Educação para o aperfeiçoamento do modelo de avaliação externa das escolas que constam da Recomendação n.º 1/2011, de 7 de janeiro, designadamente: «3 - Deverá manter-se a conciliação de finalidades associadas à melhoria e à prestação de contas, considerando os objetivos de capacitação, regulação e participação dos atores envolvidos, privilegiando-se uma perspectiva formativa, de interpelação das escolas e de reforço da sua autoavaliação» (Relatório Avaliação Externa das Escolas 42 2011-2012, p. 9). O quadro de referência foi estruturado em três domínios, contendo nove campos de análise, sendo eles: Resultados: Resultados académicos - Evolução dos resultados internos contextualizados; evolução dos resultados externos contextualizados; qualidade do sucesso; abandono e desistência. Resultados sociais - Participação na vida da escola e assunção de responsabilidades; cumprimento das regras e disciplina; formas de solidariedade; impacto da escolaridade no percurso dos alunos. Reconhecimento da comunidade - Grau de satisfação da comunidade educativa; formas de valorização dos sucessos dos alunos; contributo da escola para o desenvolvimento da comunidade envolvente. Prestação do serviço educativo: Planeamento e articulação - Gestão articulada do currículo; contextualização do currículo e abertura ao meio; utilização da informação sobre o percurso escolar dos alunos; coerência entre ensino e avaliação; trabalho cooperativo entre docentes. Práticas de ensino - Adequação das atividades educativas e do ensino às capacidades e aos ritmos de aprendizagem das crianças e dos alunos; adequação dos apoios às crianças e aos alunos com necessidades educativas especiais; exigência e incentivo à melhoria de desempenhos; metodologias ativas e experimentais no ensino e nas aprendizagens; valorização da dimensão artística; rendibilização dos recursos educativos e do tempo dedicado às aprendizagens; acompanhamento e supervisão da prática letiva. Monitorização e avaliação do ensino e das aprendizagens - Diversificação das formas de avaliação; aferição dos critérios e dos instrumentos de avaliação; monitorização interna do desenvolvimento do currículo; eficácia das medidas de apoio educativo; prevenção da desistência e do abandono. Liderança e gestão: Liderança - Visão estratégica e fomento do sentido de pertença e de identificação com a escola; valorização das lideranças intermédias; desenvolvimento de projetos, parcerias e soluções inovadoras; motivação das pessoas e gestão de conflitos; mobilização dos recursos da comunidade educativa. GestãoCritérios e práticas de organização e afetação dos recursos; critérios de constituição dos grupos e das turmas, de elaboração de horários e de distribuição de serviço; avaliação do desempenho e gestão das competências dos trabalhadores; promoção do desenvolvimento profissional; eficácia dos circuitos de informação e comunicação interna e externa. Autoavaliação e melhoria - Coerência entre a autoavaliação e a ação para a melhoria; utilização dos resultados da avaliação externa na elaboração dos planos de melhoria; envolvimento e participação da comunidade educativa na autoavaliação; continuidade e abrangência da autoavaliação; impactos da autoavaliação no planeamento, na organização e nas práticas profissionais. (Relatório de Avaliação Externa das Escolas 2011-2012). Foi realizada também a alteração dos níveis de escala de classificação, 43 com a introdução do quinto nível: Excelente passando, assim, a Excelente, Muito Bom, Bom, Suficiente e Insuficiente. O modelo passou por uma fase de experimentação a considerar os seguintes aspetos: i. Apresentação geral do modelo de avaliação; ii. Objectivos, fundamentação, quadro de referência e escala de classificação; iii. Informação estatística: questionários, perfil de escola e valor esperado; iv. Visita de avaliação; v. Relatório e contraditório. Os participantes na formação tomaram conhecimento prévio dos documentos que iriam ser utilizados na experimentação. (Grupo de Trabalho para a Avaliação Externa das Escolas 2011, p. 10). Foram feitas ainda visitas às escolas com a intenção de testar in loco, a proposta do novo modelo. No que tange aos processos de avaliação o GT orientou que os mesmos deveriam ter continuidade e estabilidade, de modo a ter uma reflexão a longo prazo, de modo a ser vista como parte integrante do sistema de ensino. Sinaliza, ainda, a importância de a AEE reforçar a componente da autoavaliação em acompanhamento da avaliação externa. Consideram que os dados estatísticos devem ser acompanhados com maior rigor, prevendo assim uma melhor utilização destes resultados para adequá-los a um plano de ação da escola. (Grupo de Trabalho para a Avaliação Externa das Escolas, 2011). 3.1.4 Relatório de avaliação externa das escolas (2011 - 2017) 2º ciclo A primeira AEE do segundo ciclo compreende os anos 20112012, iniciou em novembro de 2011, avaliou 231 agrupamentos de escolas e escolas não agrupadas, compreendidas neste número 1015 estabelecimentos de educação desde os jardins de infância até às escolas básicas e secundárias públicas, também ao abrigo da lei 31/2002 de 20 de dezembro. Na sequência da proposta de modelo para o novo ciclo de avaliação externa das escolas, apresentada no relatório final do Grupo de Trabalho, Decreto-Regulamentar n.º 81B/2007, e após despacho de concordância do Secretário de Estado do Ensino e Administração Educativa, datado de 13 de outubro de 2011, a então Inspeção-Geral da Educação (IGE) foi incumbida de dar continuidade à avaliação externa das escolas, no âmbito das suas competências (Relatório Avaliação Externa das Escolas, 2011-2012, p. 7). Esta foi, portanto, a primeira avaliação após a proposta de modelo para o novo ciclo de AEE apresentada pelo grupo de trabalho, com os objetivos já reformulados. Com o quadro de referência também reestruturado a contar com três domínios, e os 9 campos de análise, referidos anteriormente. No que tange a metodologia, as escolas selecionadas para a avaliação obedeceram a alguns critérios 44 entre eles, escolas já avaliadas em 2005-2006 pelo GT, escolas avaliadas pela IGE nos anos letivos de 2006-2007 e 2007-2008, nomeadamente, as que tiveram as notas mais baixas; escolas que constituíssem novos agrupamentos; dentro destes critérios ainda escolas onde não estivessem a decorrer intervenções da Parque Escolar, EPE, critérios estes que tornaram a avaliação da qualidade não representativa partindo do pressuposto que foi uma amostra específica no que tange o domínio de escolas do continente (Relatório Avaliação Externa das Escolas, 2011-2012). A metodologia utilizada contou com a recolha de dados através da análise documental como documentos das escolas e relatórios de autoavaliação; análise da informação estatística do perfil da escola; aplicação de questionários de satisfação e análise dos resultados obtidos pelos mesmos; observação direta; e entrevistas de painel com grupos representativos da comunidade educativa e a compilação com o cruzamento destes dados. (Relatório Avaliação Externa das Escolas, 2011-2012). A equipa de avaliação trata inicialmente dos dados estatísticos do Perfil da Escola, coletados junto ao Ministério da Educação e Ciência (MEC). A IGEC conta ainda com dados da Direção -Geral de Estatísticas de Educação e ciência (DGEEC), do Gabinete de Avaliação Educacional (GAVE) e do Júri Nacional de Exames que cede informações fidedignas e atualizadas sobre os resultados dos alunos e da avalição interna das escolas. O segundo ciclo da AEE passou a considerar o valor de análise dos resultados das escolas, construídos pelo GT, visando a comparação de valores observados com valores esperados associadas aos resultados escolares (Relatório Avaliação Externa das Escolas, 2011-2012). No que tange as equipas de avaliação externa, são constituídas por dois inspetores e um avaliador externo, como no ciclo anterior. A avaliação dos anos 2011-2012 contou com 80 inspetores e 66 peritos externos à IGEC. Das principais alterações em relação ao primeiro ciclo de avaliação, a aplicação de questionários previamente às escolas em avaliação foi uma delas, sendo aplicados questionários aos membros da comunidade educativa com a intenção de perceber o nível satisfação desde os alunos, aos pais, docentes e trabalhadores, para através dos resultados identificar as áreas de maior intervenção durante a visita a escola. Os dados recolhidos são depois complementados com os dados da autoavaliação, de modo a obterem uma síntese sobre a escola e a visão dela sobre si mesma, as estratégias adotadas, os desafios, resultados, pontos fortes e fracos que necessitam de melhoria. Durante cerca de dois ou três dias, os inspetores visitam a escola para perceber a realidade, a direção faz a apresentação é então iniciada a visita e é, portanto, feita a complementação dos dados documentais com os dados obtidos na visita de campo. (Relatório Avaliação Externa das Escolas, 2011-2012). O relatório que compõe o resultado da avaliação é composto por 4 capítulos: Introdução, Caracterização da Escola/Agrupamento, Avaliação por domínio e Pontos Fortes e Áreas de Melhoria e, depois de enviado 45 para a escola, conta com um prazo para a entrega do contraditório. Foram publicados na página da IGEC 67 contraditórios e 2 recursos. Os relatórios tem uma classificação numa escala de 5 níveis: excelente, muito bom, bom, suficiente e insuficiente, baseados nos três domínios que estruturam a avaliação externa. Um dos diferenciais também deste ciclo em relação ao anterior consiste na obrigatoriedade de as escolas apresentarem um plano de ação de melhoria, com base nos resultados da avaliação externa, com o intuito de apropriação dos resultados da mesma. (Relatório Avaliação Externa das Escolas, 20112012). O último capítulo do relatório da escola é reservado para a síntese dos pontos fortes e pontos de melhoria e seus esforços para realizá-la, tendo sido sinalizados 1413 pontos fortes e 1161 áreas de melhoria, que foram depois analisadas como categorias e subcategorias de análise dos domínios dos Quadros de Referência para a Avaliação Externa das Escolas. Ao analisar os resultados por domínios, o domínio resultados expressou mais necessidade de melhoria nos resultados académicos, enquanto que os resultados sociais, é relativamente equilibrado. O Reconhecimento da comunidade teve uma expressão reduzida. No domínio, Prestação do serviço educativo, o número de pontos fortes e melhorias é equilibrado no que tange ao campo Práticas de ensino. No campo de análise Planeamento e articulação predominaram as áreas de melhoria, enquanto que o campo Monitorização e avaliação do ensino e das aprendizagens apresentou um equilíbrio. No domínio Liderança de Gestão, os pontos fortes e de melhoria diferem, enquanto que no campo Liderança superam os pontos fortes, no campo gestão também se mostra um equilíbrio. No que tange a autonomia, foram celebrados 22 contratos com as escolas envolvidas na avaliação do ano de 2006 no projeto piloto de avaliação externa das escolas. No ano de 2011-2012, foram avaliados 20 agrupamentos e escolas não agrupadas, que celebraram também contrato de autonomia, que apresentaram os seus resultados a nível de comparação com a avaliação externa realizada no mesmo âmbito, nos anos e 2006 (Relatório Avaliação Externa das Escolas 2011-2012). Apresentou-se, também, neste relatório uma síntese das apreciações destas escolas com contrato de autonomia que comparou dados de 2006 e 2011-2012 complementando a análise das classificações com a análise dos conteúdos dos relatórios de avaliação das 20 escolas. Estas escolas tinham, portanto, metas concretas a serem comparadas, nas quais foram consideradas melhorias, nomeadamente: a redução do abandono escolar, que resultou da monitorização e prevenção adotadas desde o ano da primeira avaliação; a evolução das taxas de transição e conclusão em determinadas disciplinas/ anos de escolaridade e ciclos; bem como a melhoria na média dos resultados externos. (Relatório Avaliação Externa das Escolas 2011-2012). Estas escolas tiveram uma avaliação positiva do serviço educativo prestado, bem como, da sua evolução, predominando o nível Muito Bom nos domínios Prestação do Serviço Educativo e Liderança e Gestão, e o nível de Bom no domínio 46 Resultados. Em relação às demais escolas avaliadas no ano de 2011-2012, as classificações de Muito Bom foram relativamente superiores nas escolas com contratos de autonomia. No que concerne os relatórios de satisfação aplicados nas escolas, que visavam identificar os níveis de satisfação da comunidade escolar, os questionários eram compostos de 20 questões afirmativas relativas a diferentes aspetos da escola, nas quais os respondentes assinalavam o grau de satisfação de 1 a 5. A seleção dos agentes da comunidade escolar foi feita através do levantamento dos dados das escolas relativo ao número de alunos e turmas, pessoal docente não docente através do MISI@, para o início o ano letivo, de onde foram selecionados 40% desse público para responder ao questionário. Foram consideradas 4 dimensões: Ensino-aprendizagem; direção e funcionamento da escola; Instalações e serviços; Ambiente, segurança e disciplina. (Relatório Avaliação Externa das Escolas, 2011-2012). A observação das escolas através dos questionários de avaliação tem contribuído para a melhoria contínua do processo e para a consolidação do modelo de avaliação externa das escolas, pelo que se deu continuidade a esta metodologia no ano de 2011-2012. Neste novo ciclo da AEE, o questionário das escolas permite a indicação, pelas mesmas, dos aspetos mais relevantes para a melhoria do modelo de avaliação externa. Assim, foram geradas cinco categorias: Relatório de equipa da avaliação, onde as escolas propõem as melhorias e verificam quais dificuldades não estão a permitir o cumprimento dos objetivos da escola, bem como, a coerência entre as propostas iniciais e a classificação da escola. Inquéritos aplicados à comunidade educativa - as escolas sugerem que seja aumentada a quantidade de público-alvo e que a aplicação do mesmo seja feita por uma entidade que não seja interna ao processo de avaliação. Sugerem, ainda, uma maior valorização dos resultados da avaliação. Painéis de entrevista - sugerem melhoria na constituição do painel, maior atenção e tempo de duração das entrevistas e seus intervalos. Duração do período de intervenção - propõem o prolongamento do tempo, visando melhor perceção por parte dos avaliadores para, assim, também terem melhor acesso à realidade do agrupamento. Valor esperado - propuseram clarificação do mecanismo de determinação dos valores esperados e a disponibilização mais cedo às escolas, bem como, o cálculo utilizado para obtenção do valor do mesmo. (Relatório Avaliação Externa das Escolas, 2011-2012). Os domínios foram considerados pertinentes, no entanto, com algumas sugestões de melhorias, nomeadamente: no domínio resultados: a consideração, em campos separados, dos resultados de acordo com a tipologia da instituição, bem como, introduzir os valores nas avaliações. No que tange o domínio Prestação do Serviço Educativo: considerar um campo próprio para a supervisão em sala de aula; monitorização dos apoios educativos e seus impactos nos resultados académicos; planos de aula 53 importância que os avaliadores salientam de atentar às questões relacionadas ao ensino e aprendizagem como áreas dominantes para a melhoria dos resultados, bem como, o campo qualidade do sucesso no domínio Resultados Académicos como ponto de melhoria, evidencia a necessidade de investimento por parte das escolas na implementação de medidas que promovam o sucesso escolar. (Relatório Avaliação Externa das Escolas, 2013-2014). No que tange aos contraditórios das escolas avaliadas, 21 escolas e agrupamentos de escolas apresentaram contraditório, o que permitiu constatar que as mesmas utilizaram este dispositivo para contestar alguns juízos avaliativos e apresentar discordâncias acerca dos valores obtidos. Em contrapartida, os contraditórios também serviram para demonstração por parte das escolas da importância da avaliação externa que suscitaram elogios à mesma e para avaliar a forma como decorreu o processo. As equipas de avaliação, por sua vez, elaboraram as respetivas respostas, para então darem seguimento à publicação dos relatórios finais na página eletrónica da IGEC, dando assim a conhecer o processo realizado. (Relatório Avaliação Externa das Escolas, 2013-2014). Os questionários de satisfação foram aplicados seguindo os mesmos parâmetros da edição anterior. A análise dos dados mostra que os docentes estão satisfeitos com a direção da escola e em trabalhar na mesma, por outro lado, uma percentagem dos docentes considera que o comportamento dos alunos deve ser melhorado, bem como, o respeito dos mesmos pelos docentes. Foi dada continuidade da avaliação do processo pelas escolas e pelos avaliadores, seguindo os mesmos parâmetros do ano anterior, sendo aplicados questionários às 137 escolas avaliadas e aos 139 avaliadores envolvidos. (Relatório Avaliação Externa das Escolas, 2013-2014). As Avaliações Externas das Escolas do ano de 2014 - 2015 e 2016 - 2017 tiveram um único relatório, e, seguindo a recomendação do Conselho Nacional de Educação (CNE) - Recomendação n.º 1/2011, de 7 de janeiro - a AEE seguiu os três principais objetivos: Capacitação – visando a melhoria das suas práticas escolares, bem como os resultados das aprendizagens dos alunos; Regulação – visando o fornecimento aos responsáveis pela administração educativa, de elementos de suporte à regulação global do sistema; Participação – incitar a participação na escola dos seus utentes diretos e indiretos, concedendo elementos que lhes permitam fazer uma leitura mais clara da qualidade dos estabelecimentos de ensino, orientando escolhas e intervenções. (Relatório Avaliação Externa das Escolas, 2014 - 2015 a 2016 - 2017): em Portugal, a Inspeção-Geral da Educação (IGE) realizou diversas ações nesta área, com destaque para o programa de Avaliação Integrada das Escolas (1999-2002), que viria a consolidar-se num processo sistemático, a partir de 2006, com a realização de dois ciclos de avaliação externa das escolas, sob a responsabilidade da IGE/IGEC. O segundo ciclo concluiu-se no final do ano de 2017, com a avaliação de 824 54 agrupamentos de escolas e escolas não agrupadas. (Relatório Avaliação Externa das Escolas, 2014 - 2015 a 2016 - 2017, p. 7) Os objetivos seguiram a mesma definição dos anos anteriores, bem como, o quadro de referência e seus respetivos domínios e campos de análise. A escala de análise segue a mesma definição. Nos anos letivos de 2014-2015, 2015-2016 e 2016-2017 foram avaliadas 300 escolas avaliadas sendo 280 agrupamentos de escolas e 20 escolas não agrupadas, obedecendo aos critérios de serem escolas já avaliadas pela então Inspeção-Geral da Educação (IGE) nos anos letivos de 2006-2007 a 2010-2011, de modo a priorizar as que obtiveram classificações mais baixas e que não tivessem tido a estrutura orgânica alterada nos últimos dois anos. (Relatório Avaliação Externa das Escolas, 2014-2015 a 2016-2017). As fontes e processos não diferem das edições anteriores, assim como o método de recolha de dados das escolas e a configuração do trabalho in loco, a duração de dias, os questionários de satisfação aplicados às escolas seguiram as mesmas orientações. Relativamente aos resultados, as escolas expressaram, de acordo o quadro de referência, pontos fortes no desenvolvimento de projetos com as entidades locais, na concretização dos objetivos e metas estabelecidos e na qualidade da ação educativa. Seguido do tópico de visão estratégica com planeamento articulado e objetivos claros, bem como, na melhoria de prestação do serviço educativo, na diversificação da oferta educativa ajustada às necessidades dos alunos e a participação dos mesmos na vida escolar, a prevenção da desistência escolar. Mais um dos pontos avaliados como positivos foi a utilização dos recursos educativos e a articulação curricular. O trabalho cooperativo entre os docentes foi positivamente avaliado, principalmente o planeamento das atividades e articulação curricular, bem como na partilha das práticas cientifico-pedagógicas e a reflexão sobre a eficácia das mesmas. A valorização das lideranças foi pontuada positivamente, por fomentar a corresponsabilização e potencialização da colaboração entre os docentes. (Relatório Avaliação Externa das Escolas 2014-2015 a 2016-2017). Mais um ponto positivo está relacionado com as metodologias utilizadas através de atividades práticas em sala de aula e integradas ao plano anual, envolvendo os alunos de modo a criar autonomia nos mesmos. A contextualização do currículo e abertura do mesmo ao meio foi pontuado positivamente por potencializar a cultura local e interesse dos alunos na realização de projetos que enriquecem a aprendizagem. No que tange as áreas com necessidade de melhoria, aparecem o acompanhamento e a supervisão da prática letiva em contexto de sala de aula, seguidos da continuidade e abrangência da autoavaliação, que foi pontuada com a necessidade de a autoavaliação ser sustentada de modo a construir planos de melhoria monitorizados e planeados nas práticas profissionais e na prestação do serviço educativo e nos resultados dos alunos. O tópico Gestão articulada do currículo foi pontuado como 55 ponto com necessidade de melhoria, visando a necessidade de promover efeitos de planeamento da ação educativa, de modo a facilitar a transição dos alunos entre os níveis de educação, de modo a promover a melhoria das aprendizagens, bem como, a consolidação das práticas do currículo de modo a sustentar as decisões tomadas pelos docentes e se traduzam na melhoria contínua dos resultados. Também foi pontuada, como necessidade de melhoria, as metodologias e utilização das mesmas para motivação dos alunos e melhoria da qualidade das aprendizagens. (Relatório Avaliação Externa das Escolas, 2014-2015 a 2016-2017). O trabalho cooperativo entre os docentes e a diversificação das formas de avaliação aparecem como pontos de melhoria, mais especificamente na necessidade de sistematização da avaliação formativa e o reforço na aferição dos critérios, instrumentos e a práticas da avaliação formativa para a autorregulação das aprendizagens. A monitorização sistemática do desenvolvimento do currículo visando a eficácia das medidas educativas foi mais um ponto considerado com necessidade de melhoria. (Relatório Avaliação Externa das Escolas, 2014-2015 a 2016-2017). No que se refere aos contraditórios das escolas, 50 delas apresentaram contraditórios, na maioria escolas com classificação suficiente e discordaram em relação aos juízos avaliativos, as classificações atribuídas e questões ligadas ao modelo de operacionalização e o tempo entre a avaliação e a análise dos resultados académicos dos alunos. No entanto, alguns contraditórios não hesitam em reconhecer a importância da avaliação externa. Quanto aos questionários de satisfação, os resultados foram maioritariamente parecidos com os dos anos anteriores, inclusivamente a opinião dos docentes face à abertura da escola ao meio e as condições físicas das escolas. (Relatório Avaliação Externa das Escolas, 2014-2015 a 20162017). Neste relatório, foi apresentado um capítulo sobre o desenvolvimento da avaliação externa do ano de 2006 até o ano de 2017, inclusive o Grupo de Trabalho, como reflexão do percurso da AEE para o ciclo seguinte: Ao longo dos 11 anos até ao 2º ciclo, a IGEC avaliou 1131 escolas no 1º ciclo e 824 no 2º ciclo, o que permitiu a consolidação da avaliação externa. Com pareceres do Conselho Nacional da Educação com acompanhamento do programa e recomendações sobre a Avaliação Externa das Escolas . Foi fomentando debates e a identificação das consequências e os efeitos da AEE, quer junto das escolas, quer ao nível das instâncias responsáveis pela formulação e execução de políticas. Houve ainda Seminário subordinado a esta temática, realizado em 2015, em parceria com o Instituto de Educação da Universidade do Minho e a IGEC. (Relatório Avaliação Externa das Escolas 2014-2015 a 2016-2017). Foi criado também um Grupo de Trabalho na perspectiva de dar continuidade à AEE, amparado pelo Despacho n.º 13342/2016, publicado no Diário da República n.º 215, 2.ª série, de 9 de novembro – com a missão de: a) Analisar os diferentes estudos e pareceres sobre: 1. A Avaliação Externa das Escolas, em geral; 56 2. O modelo utilizado no segundo ciclo de Avaliação Externa das Escolas. b) Definir: 1. O âmbito dos estabelecimentos de educação e ensino a abranger na avaliação externa; 2. Os referentes e domínios de avaliação, as metodologias, a escala e nomenclatura de classificação, os intervenientes no processo, incluindo a constituição das equipas de avaliação e a periodicidade dos ciclos de avaliação. c) Apresentar uma proposta de regime jurídico da avaliação externa das escolas. (Relatório Avaliação Externa das Escolas 2014-2015 a 2016-2017, p. 56). 3.1.5 Relatório de avaliação externa das escolas (2018 - atualidade) 3º ciclo O terceiro ciclo da Avaliação Externa das Escolas utilizou uma metodologia diferente das anteriores na formulação dos relatórios. Nos anos anteriores foram elaborados relatórios globais desde o relatório do projeto-piloto, os relatórios de cada ano de avaliação, o relatório do grupo de trabalho e o relatório final de ciclo, todos da responsabilidade da IGE. Desde o ano de 2018, os relatórios passaram a ser individuais por escolas e agrupamentos. Deste modo: “no âmbito do terceiro ciclo de avaliação externa das escolas, os relatórios são divulgados nos distritos correspondentes às escolas e agrupamentos de escolas no website da IGEC.” (Inspeção-Geral da Educação e Ciência, 2019). Seguido de Documentos de enquadramento que foram analisados neste trabalho, nesta ordem: Âmbito, princípios e objetivos; Quadro de referência; Apresentação da escola; Escala de avaliação; Metodologia e as agendas de trabalho das escolas divididas por blocos. Relativamente ao âmbito do terceiro ciclo da AEE abrange as instituições públicas de educação e ensino, incluindo também o ensino artístico e especializado, bem como, escolas profissionais sejam elas públicas ou privadas. Os estabelecimentos de ensino particular, cooperativo, associações também passam a fazer parte da avaliação, quando com receita maioritariamente pública, se forem estes a solicitar a avaliação. Quanto aos princípios orientadores para a realização da AEE, os mesmos são: a universalidade, de modo a que a avaliação seja realizada em todas as tipologias de estabelecimentos de educação e ensino não superior previstas; a flexibilidade e adaptação à diversidade das instituições de ensino; o respeito pela autonomia e projeto educativo de cada escola avaliada; a utilidade, visando o contributo para a melhoria da prestação do serviço educativo pelas escolas e das aprendizagens das crianças e dos alunos, dos resultados escolares e do sistema educativo; a cooperação entre avaliação interna e avaliação externa, de modo que as mesmas se complementem, o incentivo da autoavaliação como estratégia de desenvolvimento organizacional, curricular e pedagógico das escolas; a sustentabilidade, melhoria e consolidação dos processos de avaliação externa realizados anteriormente; o envolvimento e participação 57 da comunidade educativa, com a intenção de reforçar a confiança e cooperação dos atores do sistema educativo; a promoção da supervisão das práticas pedagógicas, nomeadamente, em sala de aula; o rigor técnico, que permita o embasamento da avaliação em evidências concretas, entre os dados estatísticos sobre as escolas fornecidos pelo Ministério da Educação; a transparência na publicitação do processo, dos instrumentos e dos resultados e a independência. No que tange aos objetivos, tiveram algumas reformulações face ao ciclo anterior: • promover a qualidade do ensino, das aprendizagens e a inclusão da todas as crianças de todos os alunos; • identificar os pontos fortes e áreas prioritárias, com vista à melhoria do planeamento, gestão e ação educativa das escolas; • aferir a efetividade das práticas de autoavaliação das escolas; • promover uma cultura de participação da comunidade educativa; • contribuir para um melhor conhecimento público da qualidade do trabalho das escolas; e • produzir informação para apoiar a tomada de decisão, no âmbito do desenvolvimento das políticas educativas. (Inspeção-Geral da Educação e Ciência, 2019, p. 2). • No que tange ao quadro de referência para este ciclo, foi apresentado num quadro a contar os domínios, os campos de análise, os referentes e indicadores, estruturado nos quatro domínios já conhecidos: Autoavaliação, Liderança e Gestão, Prestação do Serviço Educativo e resultados e nos campos de análise apresentam-se um conjunto de referentes e indicadores. Os campos de análise passaram de 9 para 12: Da autoavaliação: Desenvolvimento, com os referentes de organização e sustentabilidade e planeamento estratégico da autoavaliação, tendo como indicadores a articulação da autoavaliação com os demais processos de avaliação da escola, visando adequar essa autoavaliação a realidade da escola de modo a obter uma centralidade do processo de ensino aprendizagem e formulação de estratégias de comunicação acerca dos resultados da autoavaliação com a comunidade escolar. O referente consistência e impacto, tendo como indicadores as consistências das práticas de autoavaliação e o impacto das mesmas, visando uma maior abrangência do processo de recolha dos dados, rigor no processo de análise destes dados, a melhoria contínua no processo de autoavaliação e a monitorização e avaliação das ações de melhoria. Esse indicador foca na evidência da autoavaliação, na melhoria da organização escolar, no desenvolvimento curricular, no processo de ensino e aprendizagem, na definição das necessidades de formação contínua e avaliação do seu impacto, bem como, na melhoria da educação inclusiva (Inspeção-Geral da Educação e Ciência, 2019). Da Liderança e Gestão: Visão e 58 estratégia; Liderança e gestão. O referente visão e estratégia, a contar com os referentes de mobilização da comunidade educativa, o desenvolvimento de projetos e soluções que visem a qualidade das aprendizagens, de modo a obter a clareza e coerência entre os documentos de orientação da escola, os objetivos, a relevância das opções curriculares dos documentos da escola para o desenvolvimento das competências consideradas necessárias. O referente liderança, que visa a mobilização da comunidade educativa com o desenvolvimento de projetos e parcerias afim de promover a qualidade nas aprendizagens com vista ao cumprimento dos objetivos educacionais desenvolvimento profissional, gestão de conflitos, a valorização dos diferentes níveis de liderança, incentivo do desenvolvimento de projetos inovadores, a avaliação da eficácia destes projetos e a parceria com instituições e agentes da comunidade com o intuito de obter recursos. (Inspeção-Geral da Educação e Ciência, 2019). Os referentes Práticas de gestão, ambiente escolar, organização e formação dos recursos humanos e materiais e a comunicação interna e externa visando a existência de critérios pedagógicos na constituição, flexibilidade e gestão das turmas, a promoção de um ambiente escolar produtivo e acolhedor, a gestão dos recursos humanos de acordo com as necessidades dos alunos e a prática da formação contínua dos profissionais. (Inspeção-Geral da Educação e Ciência, 2019). A vertente que mais coopera para o nosso trabalho, a prestação do serviço educativo: Desenvolvimento pessoal e bem-estar das crianças e dos alunos; Oferta educativa e gestão curricular; Ensino/ Aprendizagem/ Avaliação; Planificação e acompanhamento das práticas educativa e letiva. Apresentam-se os referentes intencionando a promoção da autonomia e participação da comunidade, com medidas de orientação escolar e profissional, respostas educativas adaptadas às necessidades dos alunos, valorização da dimensão lúdica, práticas de organização, gestão e integração curricular, iniciativas de inovação curricular e pedagógica, articulação curricular vertical e horizontal a nível da planificação e desenvolvimento curricular. Os referentes associados à avaliação visam estratégias diversificadas de ensino e aprendizagem visando a melhoria dos mesmos, a diversidade de práticas e instrumentos de avaliação nas diferentes modalidades, a aferição de critérios e instrumentos de avaliação com a utilização prioritariamente da avaliação com a finalidade formativa. No que diz respeito aos mecanismos de regulação, os indicadores visam a consistência das práticas de autorregulação no desenvolvimento do currículo e a contribuição da autorregulação para a melhoria da prática letiva, a partilha de práticas cientifico-pedagógicas relevantes e a reflexão sobre a eficácia das diferentes metodologias de ensino aprendizagens aplicadas. (Inspeção-Geral da Educação e Ciência, 2019). Dos resultados: Resultados académicos; resultados sociais; Reconhecimento da comunidade. Os referentes resultados do ensino básico geral, ensino secundário científico-humanístico, profissional, artístico 59 especializado e os resultados de outras ofertas formativas. Trazem os indicadores relacionados às percentagens de alunos que concluíram os estudos nas respectivas idades. O resultados sociais por sua vez, trazem os referentes de participação na vida da escola, o cumprimento das regras e o impacto da escolaridade nos percursos dos alunos que visam, portanto, como indicadores a participação dos alunos nas iniciativas da escola para a formação pessoal e da cidadania, inserção académica e profissional dos alunos e por fim aos referentes que dizem respeito ao grau de satisfação da comunidade educativa, a valorização do sucesso dos alunos e o contributo da escola para a comunidade envolvente que visa a perceção dos alunos acerca da escola, o reconhecimento por parte da sociedade e a participação da comunidade nas ofertas de educação e formação desenvolvidas pela escola. (Inspeção-Geral da Educação e Ciência, 2019). No que concerne a apresentação da escola, a metodologia continua a mesma do ciclo anterior, bem como a escala de avaliação que também permaneceu dentro dos critérios do ciclo anterior com a escala, Excelente, Muito bom, Bom, Suficiente, Insuficiente. A metodologia de trabalho da AEE manteve-se com a aplicação dos questionários de satisfação, a análise documental, análise de informação estatística relacionada à escola e aos resultados escolares, a observação da prática educativa e letiva, a observação direta e as entrevistas de grupo, é realizada ainda a entrevista ao diretor/ diretor pedagógico e sua equipa e a formulação do relatório de avaliação por parte da escola. A equipa de avaliação, atualmente, é constituída por dois peritos externos e dois inspetores da IGEC. (IGEC, 2022). Entre os dois primeiros ciclos da AEE os domínios sofreram alterações. No 1º ciclo eram cinco: Resultados, Prestação de serviço educativo, Organização e gestão escolar, Liderança e Capacidade de autorregulação e melhoria da escola; no 2º ciclo passaram a ser três: Resultados, Prestação do serviço educativo e Liderança e gestão. A escala de classificação passou de quatro para cinco, a contar: Insuficiente, Suficiente, Bom e Muito bom, sendo ainda adicionado, no segundo ciclo, o Excelente. Com inquéritos de satisfação feitos à comunidade educativa apresentação do plano de melhoria por parte das escolas/agrupamentos para os pontos menos positivos. 3.2. Resultados das dissertações, teses e artigos Da análise a investigações produzidas e elencadas no quadro 2, acerca da avaliação externa e a sua influência na prática dos professores em sala de aula, alguns autores consideram que a mesma pode pôr em causa a autonomia que os professores ponderão ter, no que tange a aplicação do currículo. Assim, Tomé (2005), considera que as análises e relatórios realizados pela AEE, não compõem o trajeto 60 realizado desde a elaboração do currículo, as práticas curriculares docentes, bem como, a forma como o currículo é passado em sala de aula. Ou seja, os rankings não refletem a complexidade do contexto escolar. Os rankings, ao serem divulgados, imprimem uma pressão sobre os professores e escolas mediante os seus resultados. O autor define ainda como “necessidade pragmática” a necessidade que o professor é levado a ter de ensinar propositadamente o que o currículo que será avaliado pela AEE exige. Tendo em vista as diferentes realidades encontradas em sala de aula, os rankings das avaliações realizadas pela AEE, exibem a visão qualitativa dos resultados, não permitindo assim a análise criteriosa e peculiar da realidade vivida em sala de aula, bem como, a realidade de cada currículo, pois não consideram os critérios de avaliação da escola e sim da avaliação a nível nacional, levando em conta o mesmo critério para diferentes realidades e contextos económicos, sociais e culturais. De acordo com o autor, os professores veem a avaliação externa como uma forma de avaliar as escolas, mas não só, consequentemente, avalia os professores. De acordo com o trabalho de Tomé (2005, p.130): Os processos de avaliação estão sempre ao serviço de uma política educativa, enquadrada por uma ideologia e por valores e concepções prévias. A avaliação não é neutra na utilização dos seus resultados, na decisão de divulgar ou não a informação que o seu processo produz, assim como não é neutra quando se decide comparar ou não resultados, ou em aderir a uma avaliação interna ou externa, ou ainda se é ou não imposta. O autor reporta a forma como os professores recebem a avaliação externa e expõe a forma como os mesmos a reconhecem, como reagem, bem como, as inseguranças em relação ao trabalho que realizam, tendo em vista a divulgação dos resultados. Os estudos realizados comprovam que a divulgação de resultados das avaliações e a comparação quantitativa é o que permite a exposição dos rankings, permitindo ao Ministério da Educação ter dados suficientes para a construção de rankings de escolas com indicadores e variáveis específicas, levando em conta o contexto socioeconómico. A divulgação dos rankings das escolas conduz a que estas e os professores, sendo mais responsabilizados ou publicamente pelos resultados dos seus alunos, porque publicitados e hierarquizados, sobretudo porque o são de forma redutora, possa traduzirse numa pressão acrescida sobre a escola e sobre os professores. (Tomé, 2005, p. 139) Do ponto de vista do autor, os professores e a escola acabam sempre por não saírem imunes à avaliação divulgada e as comparações realizadas. Uma questão central se propõe e que vai de encontro à questão principal deste trabalho: “será que esta situação conduz a que os professores percepcionem e sintam a hierarquização das escolas como uma avaliação da sua escola e do seu trabalho?” (Tomé, 2005, p. 139). Em contrapartida a nossa problemática neste trabalho questiona as consequências curriculares que a AEE desencadeia no desenvolvimento curricular e na avaliação dos alunos. Ora, tendo 61 em vista a caracterização feita no trabalho de Tomé (2005), a avaliação das escolas pode, portanto, suscitar uma “pressão” nos professores. Com isso, o desenvolvimento do currículo para além da responsabilização de cumprimento do mesmo pelos professores também nos traz o questionamento da preparação prévia que tende a ser realizada para a avaliação externa, até que ponto conteúdos específicos deixam de ser abordados ou se são abordados com menor detalhe devido à necessidade de abranger um currículo direcionado a avaliação externa?: Se o professor tem de ser já muito pragmático na gestão do currículo, tendo que conciliar o cumprimento do programa na íntegra com o desenvolvimento e avaliação de competências específicas e de atitudes, a hierarquização e comparação da sua escola e do seu trabalho tornada pública condiciona-o ainda mais a uma lógica pragmática. (Tomé, 2015, p. 140). No que tange a autonomia do professor, a pesquisa realizada por Tomé (2005, p. 167), explicita a possível perda de autonomia profissional, logo, a possibilidade de os professores alterarem o programa em função das avaliações externas: este não reconhecimento pode significar uma visão técnica da sua autonomia, que se situa ao nível da gestão pedagógica e didática, mas sem a compreender no alcance da dimensão cultural e política do ato educativo, próprias de uma teoria crítica do currículo. Os relatos trazidos mostram uma preocupação por parte dos professores em relação às avaliações realizadas, uma preocupação inerente ao professor, seja pelas avaliações externas ou mesmo pelas avaliações para a própria disciplina: “todos os professores entrevistados revelam a preocupação em adequar os critérios de avaliação internos da disciplina ao facto de os alunos estarem sujeitos a um exame nacional.” (Tomé, 2015, p. 169). Da análise realizada, constatou-se uma preocupação com o exame e na adequação dos critérios de avaliação ao exame nacional. Na intenção de treinar para o êxito no exame, não de forma admitida pelos professores entrevistados no trabalho, mas de forma admitida como prática. O autor traduz a preocupação por parte dos professores em cumprir o programa, não no sentido de acréscimo de conhecimento ou competência aos alunos, mas sim do desenvolvimento de capacidade de eficácia dos alunos em relação ao exame nacional, mesmo reconhecendo a extensão destes programas. Em relação ao nosso trabalho, esta questão une-se ao facto de que os professores sentem-se pressionados a alterarem a sua programação e didática em função destas avaliações. No decorrer da pesquisa, os professores foram questionados sobre se se sentiam, ou não, avaliados pela avaliação externa e consideraram que, indiretamente, faz-se um juízo de valor. O autor conclui: 62 em suma, embora não tenhamos dados que permitam esclarecer este ponto, se há ou não ajustamento dos processos de avaliação em função dos rankings de escolas, podemos colocá-los como enunciado afirmativo hipotético, na medida em que os rankings avaliam escolas e também professores, ou pelo menos alguns professores sentem-se avaliados, o que significa que existe mais um valor a ter em conta pelos próprios, colocando pressão acrescida na evidente preparação para os exames, potenciando o efeito dos exames sobre a prática lectiva, na intenção de ajustamento dos critérios de avaliação e na efetiva prática de ajustamento dos instrumentos de avaliação face a tipologia do exame. (Tomé, 2015, p.190). No que tange a autonomia dos professores, o autor conclui que é uma questão desejável no meio docente e que os mesmos consideram ter alguma. Mas conclui que existe uma contradição no que diz respeito a esta autonomia e o reconhecimento que os professores têm da mesma. Ou seja, os professores sentem autonomia em poderem ditar o ritmo das aulas e a abordagem dos conteúdos, no entanto, sentem-se presos ao programa e a existência dos exames, apesar de não os entender como limitadores da autonomia profissional. Tomé (2005), considera haver efeitos positivos nos rankings das escolas tendo em vista que a exposição pública e a competição com outras escolas, conscientiza os professores acerca dos seus resultados. De entre aquilo que o autor considera consequências “menos positivas” dentro do desenvolvimento curricular: a adequação do modelo das avaliações como exames, e critérios parecidos; os programas a serem cumpridos pelos professores na íntegra que os condiciona a nível didático e de alguma forma metodológico, tendo em vista o tempo que deve ser levado em conta, em contrapartida considera que os professores sentem-se confortáveis com ao tipo de desenvolvimento curricular ajustado ao desenvolvimento técnico do currículo. (Tomé, 2015). Outra abordagem é o facto de que os professores, apesar de reconhecerem a avaliação externa com o intuito de os avaliar e à escola, visualizam a sua importância a nível de resultados com a classificação dos alunos nos exames. Assim: “Os professores sentem-se atores no processo educativo e não se compreendem limitados por uma lógica de mercado na sua prática lectiva.” (Tomé, 2015, p. 197). O autor considera que os professores tem uma prática de desenvolvimento curricular que tange uma prática técnica, tendo em vista que os programas que cumprem são preestabelecidos e que questões problema não são solucionadas em debates em sala de aula, de forma crítica, juntamente com os alunos, tudo isso devido ao cumprimento previsto do programa direcionado ao exame. Por sua vez, a dimensão prática que surge nos períodos de trégua, acabam por não ser concluídos, por não haver possibilidade de continuidade. Deste estudo conclui-se que os professores consideram que a avaliação externa não será considerada uma pressão a nível curricular, avaliativo ou didático, no entanto sentem- 69 Em 2016, o estudo realizado por Vaz Rebelo, em um agrupamento de escolas da educação préescolar e ensino básico com 1º, 2º e 3º ciclos, no distrito de Viana do Castelo, aponta para a conclusão de que a avaliação externa promove mudanças curriculares e pedagógicas na prática do professor: dos possíveis efeitos da avaliação externa ao nível da promoção de mudanças curriculares e pedagógicas, os entrevistados referem uma tendência afirmativa na sistematização de práticas de trabalho colaborativo docente, na articulação intra e interdepartamental, na diferenciação e apoios, no recurso a atividades experimentais e na organização da avaliação das aprendizagens, não revelando, no entanto, efeitos na equidade e justiça, e no acompanhamento e supervisão da prática letiva. (Vaz-Rebelo, 2016, p.237) A autora afirma que a importância que os autores da AEE conferem aos resultados académicos está a ter grande impacto nos modos de organização e desenvolvimento do currículo, de modo a atuar como forte dispositivo de controlo e regulação da ação dos professores. (Vaz-Rebelo, 2016) e considera que os professores “olham para a AEE como uma questão essencialmente organizacional, com algumas mudanças curriculares mais nos discursos que nas práticas, por exemplo na articulação e sequencialidade e no trabalho colaborativo docente, e não como uma questão pedagógica, pois não chega à sala de aula.” (Vaz-Rebelo, 2016, p. 268) 70 4. Conclusão Face às análises elaboradas, explanadas no capítulo anterior, vamos ater-nos à discussão acerca da nossa problemática: quais as consequências curriculares e de avaliação que trouxe a Avaliação Externa das Escolas. Ao analisar os relatórios de avaliação externa das escolas conseguimos identificar que esta avaliação tem diferentes impactos nas escolas e que as escolas consideram que a AEE poderá trazer a longo prazo melhores desempenhos. Também os relatórios da OECD indicam que a nível de referencial, as escolas que levam em conta os resultados da avaliação externa costumam ter melhores resultados. Considerada um instrumento político, a avaliação externa das escolas tem sido considerada positiva, quando levada em conta e colocada em prática as resoluções e resultados. (Pacheco, 2014). Para sintetizar a nossa análise, trazemos um quadro comparativo entre os objetivos de cada ciclo da AEE: Anos 2007 2011 2018 Objetivos • Fomentar nas escolas uma interpelação sistemática sobre a qualidade das suas práticas e dos seus resultados; • Promover o progresso das aprendizagens e dos resultados dos alunos, identificando pontos fortes e áreas prioritárias para a melhoria do trabalho das escolas; • Promover a qualidade do ensino, das aprendizagens e a inclusão da todas as crianças de todos os alunos; • Articular os contributos da avaliação externa com a cultura e os dispositivos da autoavaliação das escolas; • Incrementar a responsabilização a todos os níveis, validando as práticas de autoavaliação das escolas; • Identificar os pontos fortes e áreas prioritárias, com vista à melhoria do planeamento, gestão e ação educativa das escolas; • Reforçar a capacidade das escolas para desenvolverem a sua autonomia; • Fomentar a participação na escola da comunidade educativa e da sociedade local, oferecendo um melhor conhecimento público da qualidade do trabalho das escolas; • Aferir a efetividade das práticas de autoavaliação das escolas; 71 Quadro 3: Quadro comparativo entre os objetivos dos ciclos da AEE. Plano de Atividades de 2007 da IGE. (Inspeção-Geral da Educação e Ciência, 2019). Também será oportuno, na mesma linha de análise, apresentar um comparativo do Quadro de referência a conter os domínios e seus campos de análise, de acordo com cada ciclo: Domínios Campos de análise Resultados ▪ Sucesso académico ▪ Participação e desenvolvimento cívico ▪ Comportamento e disciplina ▪ Valorização e impacto das aprendizagens Prestação do serviço educativo ▪ Articulação e sequencialidade ▪ Acompanhamento da prática letiva em sala de aula ▪ Diferenciação e apoios ▪ Abrangência do currículo e valorização dos saberes e da aprendizagem Organização e Gestão escolar ▪ Conceção, planeamento e desenvolvimento da atividade ▪ Gestão dos recursos humanos ▪ Gestão dos recursos materiais e financeiros ▪ Equidade e justiça Liderança ▪ Visão e estratégia ▪ Motivação e empenho ▪ Abertura à inovação ▪ Parcerias, protocolos e projetos • Concorrer para a regulação do funcionamento do sistema educativo; • Contribuir para a regulação da educação, dotando os responsáveis pelas políticas educativas e pela administração das escolas de informação pertinente. • Promover uma cultura de participação da comunidade educativa; • Contribuir para o melhor conhecimento das escolas e do serviço público de educação, fomentando a participação social na vida das escolas. • Contribuir para um melhor conhecimento público da qualidade do trabalho das escolas; • Produzir informação para apoiar a tomada de decisão, no âmbito do desenvolvimento das políticas educativas. 72 Quadro 4: Quadro de domínios AEE 2007. Domínios Campos de análise Resultados ▪ Resultados académicos ▪ Resultados sociais ▪ Reconhecimento da comunidade Prestação do serviço educativo ▪ Desenvolvimento pessoal e bem-estar das crianças e alunos ▪ Oferta educativa gestão curricular ▪ Ensino/ Aprendizagem/ Avaliação ▪ Planificação e acompanhamento das práticas educativa e letiva Liderança e gestão ▪ Visão e estratégia ▪ Liderança ▪ Gestão Autoavaliação ▪ Desenvolvimento ▪ Consistência e impacto ▪ Quadro 5: Quadro de domínios AEE 2011. Domínios Campos de análise Resultados ▪ Resultados académico ▪ Resultados Sociais ▪ Reconhecimento do Comunidade Prestação do serviço educativo ▪ Planeamento e articulação ▪ Prática de ensino ▪ Monitorização e avaliação das aprendizagens Liderança e Gestão ▪ Liderança ▪ Gestão ▪ Autoavaliação e Melhoria Quadro 6: Quadro de domínios AEE 2018: E, por fim, a comparação das Escalas definidas para cada ciclo: Anos Escalas 2007 ▪ Muito bom, Bom, Suficiente, Insuficiente 2011 e 2018 ▪ Excelente, Muito bom, Bom, Suficiente, Insuficiente Quadro 7: Escalas de classificação por ciclo de AEE 73 O 3º ciclo considerou o mesmo quadro de referência, com os domínios e campos de análise definidos em 2011, bem como as mesmas escalas. Desde o projeto-piloto no ano letivo de 2005-2006, o Programa de Avaliação Externa das Escolas utilizou metodologias como a análise de documentação e de indicadores sobre a escola, a aplicação de questionários de satisfação aos alunos, profissionais e encarregados de educação, visitas às escolas e a realização de entrevistas com diversos elementos das comunidades educativas. Dentro desta dinâmica conseguimos, ao longo da análise, identificar a influência desta avaliação no que tange ao currículo implementado nas escolas, mais especificamente as consequências curriculares desta avaliação, trazendo à luz a análise dos estudos realizados dentro deste mesmo âmbito conseguimos contextualizar estas influências. Desde logo, os domínios que explicitam os resultados dos alunos e a forma como as escolas atuam para atingi-los, podemos identificar como consequência da avaliação, tendo em vista que a preocupação das escolas em dar resposta a estas questões, por si só, já consiste numa influência da AEE. No que tange aos objetivos, numa observação entre os três ciclos, mantiveram a essência do que poderíamos considerar um objetivo global da AEE. Incitar nas escolas a cultura da busca pela qualidade nos seus resultados, visando assim consequentemente uma progressão no resultado dos alunos, articulando a avaliação interna com a avaliação externa, de modo a incentivar a prática da responsabilização de forma autónoma, com maior envolvimento da comunidade escolar, para o desenvolvimento de políticas educativas mais de acordo com o contexto de cada escola. No quesito domínios, iniciou-se com quatro domínios, no segundo ciclo os domínios organização e gestão escolar e liderança fundiram-se num só e no ciclo seguinte foi adicionado o domínio autoavaliação. Os campos de análise, por sua vez, tiveram alterações significativas, no que diz respeito aos campos de análise do domínio Resultados passaram a ser considerados do primeiro ciclo apenas o sucesso académico, sendo acrescentado, nos ciclos seguintes, os resultados sociais e o reconhecimento da comunidade, dando assim uma maior ênfase para os resultados a considerar o contexto social e o envolvimento com a comunidade escolar. No domínio Prestação do serviço educativo, foi retirado o campo de análise, abrangência do currículo e valorização dos saberes e da aprendizagem, no primeiro ciclo, substituído pela oferta educativa e gestão curricular, que demonstra uma maior consideração da gestão do currículo no último ciclo. A autoavaliação no segundo ciclo foi um campo de análise antes de tornar-se um domínio no terceiro ciclo da avaliação, a contar como campo de análise o desenvolvimento; consistência e impacto, o que conota uma maior ênfase no desenvolvimento da autoavaliação. 74 Quando trazemos à luz a análise da avaliação externa das escolas, não podemos deixar de considerar o contexto curricular e o desenvolvimento do mesmo, pelos seus respetivos atores, neste caso, os professores. Os estudos neste âmbito, abordam a necessidade de análise através dos relatórios da AEE, do percurso do currículo e das práticas curriculares docentes, por outras palavras, a complexidade do contexto escolar. Ou seja, é considerado que os resultados não imprimem a realidade curricular das escolas, em contrapartida existe uma responsabilidade destes resultados sobre as próprias escolas e professores. Ora, se a avaliação externa é um método quantitativo, o mesmo não tem o foco na peculiaridade de cada escola e do currículo praticado nelas. Tendo em vista estas consequências, considera-se que o currículo tende a ser direcionado para cumprimento dos conteúdos a serem avaliados e não necessariamente para cumprimento das necessidades pedagógicas daquela escola. Os estudos constataram também que a AEE tem influência na alteração da postura dos professores no que diz respeito aos resultados, influenciando consequentemente no desenvolvimento do currículo. Numa contextualização dos estudos analisados podemos concluir que a avaliação externa confere alterações nas práticas e decisões curriculares na escola, bem como, na avaliação realizada na mesma. O estudo que objetivou perceber - Que consequências curriculares foram identificadas nos relatórios da Avaliação Externa das Escolas (AEE), que podem interferir nas práticas de desenvolvimento do currículo e da avaliação?, permitiu-nos verificar que a Avaliação Externa influencia indiretamente na prática curricular, tendo em vista que a avaliação das escolas considera os resultados dos exames para o desenvolvimento do currículo em sala de aula. No que tange ao primeiro objetivo, identificar e descrever o marco legal da Avaliação Externa das Escolas, o estudo revelou a trajetória histórica numa breve análise da legislação, bem como a legislação em vigor que ampara a Avaliação Externa das escolas. Quanto ao segundo objetivo, compreender o marco legal da avaliação externa no ensino básico e no ensino secundário, o estudo trouxe uma linha do tempo em relação aos programas de avaliação externa já realizados em Portugal, seguido do apanhado histórico da avaliação externa, que nos permitiu identificar a influência da AAE ao longo dos anos. No que refere ao terceiro objetivo, analisar relatórios e estudos científicos produzidos no âmbito da AEE, foi realizada uma análise sobre teses e artigos produzidos entre o ano de 2005 até os dias atuais que nos permitiu perceber a influência da avaliação externa, exames nacionais, no desenvolvimento curricular. 75 O quarto objetivo, avaliar as implicações da AEE no processo de desenvolvimento do currículo, podemos perceber com base na análise dos relatórios e estudos anteriormente desenvolvidos, que a AEE influencia no currículo maioritariamente nos conteúdos a serem aplicados visando a melhoria da classificação nas avaliações externas. Deste modo, o presente trabalho propôs investigar e analisar: que consequências curriculares foram identificadas nos relatórios da Avaliação Externa das Escolas (AEE), que podem interferir nas práticas de desenvolvimento do currículo e da avaliação? Apresentam-se como resultados a identificação destas consequências, alcançando assim os objetivos propostos. Neste âmbito, analisou a experiência, discussões e estudos sobre avaliação externa e o Programa de Avaliação Externa das escolas, bem como, os estudos realizados neste contexto. Analisou-se, ainda, os objetivos ao longo da evolução deste programa de avaliação, bem como, da avaliação externa, de modo a identificar as influências curriculares que os mesmos causaram no contexto escolar. Espera-se que este trabalho contribua para o debate e o desenvolvimento de outros estudos sobre a avaliação externa e o desenvolvimento de programas de avaliação neste âmbito, visando o desenvolvimento curricular, de modo a incentivar as reflexões acerca dos pontos que podem ser considerados positivos na avaliação externa para o desenvolvimento curricular na educação básica. Espera-se, ainda, que discussões, como as que são realizadas neste trabalho contribuam para que os pontos positivos possam ser considerados nas avaliações externas, servindo ainda como exemplo para a evolução da análise do currículo como influência na prática. 5. Perspetivas de investigação futura As questões suscitadas neste trabalho que ainda demandam estudo, serão objeto de um trabalho de cunho mais específico. Gostaríamos de aprofundar as seguines questões: Que influência tem a AEE numa educação inclusiva? Como pode promover a justiça e a equidade na avaliação? Com o passar dos anos, o currículo modificou-se devido à AEE ou a avaliação adaptou-se ao currículo? 76 Referências Bibliográficas Afonso, A. (2009). Políticas educativas e accountability em educação: Subsídios para um debate iberoamericano. Sísifo: Revista de Ciências da Educação , 9, 57–70. Disponível em: https://dialnet.unirioja.es/servlet/articulo?codigo=3044853 Afonso, A. (2010). Gestão, autonomia e accountability na escola pública portuguesa: Breve diacronia. Revista Brasileira de Política e Administração da Educação (RBPAE), 26, 1, 13-30. Disponível em: https://repositorium.sdum.uminho.pt/handle/1822/55445. Afonso, A. (2010). Políticas educativas e autoavaliação da escola pública portuguesa: apontamentos de uma experiência. Revista Estudos Avaliação Educacional , 21,46, 343-362. Disponível em: https://hdl.handle.net/1822/55448. Afonso, N. & Costa, E. (2015) CNE, Avaliação Externa das Escolas. Lisboa: Conselho Nacional de Educação, 2015, 217-224. Afonso, N. (2009). Avaliação e desenvolvimento organizacional da escola. Revista Meta Avaliação , 1, 2, 150–169. Disponível em: https://doi.org/10.22347/2175-2753v1i2.40 Alves, M. P. (2004). Currículo e Avaliação: Uma perspetiva integrada. Porto: Porto Editora. Apple, M. (2006) Ideologia e Currículo. Porto: Porto Editora. Azevedo, J. (2005). Avaliação das Escolas: Fundamentar Modelos e Operacionalizar Processos. Lisboa: Conselho Nacional de Educação. Balzan, N. & Sobrinho, J. (Orgs.) (1995). A Avaliação Institucional. Teoria e Experiencia . São Paulo: Cortez Editora. Bardin, L. (1977) Analise de conteúdo . Lisboa: Edições 70. Barreira, C., Bidarra, M. & Vaz-Rebelo, M. (Orgs.) (2016). Estudos sobre avaliação externa de escolas . Porto: Porto Editora. Bispo, R. (2021). Avaliação em larga escala na educação básica: uma análise comparada entre Brasil e Portugal. Monografia de conclusão de curso. Disponível em: http://repositorio.ufba.br/ ri/handle/ri/34175 Bogdan, R. & Biklen, S. (1994 ). Investigação Qualitativa em Educação: Uma Introdução à teoria e ao métodos. Porto: Porto Editora. Clímaco, M. (2005) Avaliação de Sistemas em Educação. Lisboa: Universidade Aberta. CNE (2015). Avaliação Externa das Escolas https://www.cnedu.pt/content/edicoes/seminarios_e_col oquios/livrocne_avalia%c3%87%c3%83o_externa_das_escolas.pdf Coelho, I., Sarrico, C., & Rosa, M. J. (2008) . Avaliação de Escolas em Portugal: que futuro? Revista Portuguesa e Brasileira de Gestão , 7, 2, 56-67. Disponível em: https://www.redalyc.org/pdf/3885/388539112006.pdf 77 Correia, A. (2016). A avaliação das escolas: efeitos da avaliação externa nas dinâmicas de autoavaliação da escola . Dissertação de Mestrado, Universidade do Minho, Braga. Costa, M. (2004). A trajetória histórica da avaliação: do dia a dia à sistematização educacional. Disponível em: https://docplayer.com.br/6947920-A-trajetoria-historica-da-avaliacao-do-dia-a-dia-asistematizacao-educacional.html Costa, N. (2013). Impacto e Efeitos da Avaliação Externa de Escolas nas Estruturas Intermédias de Gestão. Dissertação de Mestrado, Universidade do Minho, Braga. Costa, N. (2020) . Impacto e efeitos da Avaliação Externa da Escolas nas Estruturas de Gestão Curricular Intermedias. Tese de doutoramento, Universidade do Minho, Braga. Duffy, B. (1997). Análise de dados documentais. In J. Bell Como realizar um projecto de investigação . Lisboa: Gradiva. pp. 90–98. Esteves, M. (2006). Análise de conteúdo. In J. Lima & J. Pacheco (Orgs.) Fazer investigação. Porto: Porto Editora. pp. 105-126. Fernandes, D. (2004). Avaliação das aprendizagens: uma agenda, muitos desafios. Editora: Lisboa. Disponível em https://repositorio.ul.pt/handle/10451/5509 Fernandes, D. (2007) A avaliação das aprendizagens no sistema educativo português . 33, 3, 581-600. São Paulo: Educação e Pesquisa. Figari, G. (1996). Avaliar: Que referencial? Porto: Porto Editora. Freitas, C. (2001). Contributo para a história da avaliação educacional em Portugal: Os anos 70. Revista Portuguesa de Educação . Universidade do Minho, Braga. Freitas, S. (2012). Avaliação externa de escolas. Dissertação de Mestrado. Universidade do Minho, Braga. Hadji, C. (1994). A avaliação, as regras do jogo: das intenções aos instrumentos. Porto: Porto Editora. IGEC (2006). Relatório final da actividade do Grupo de Trabalho para Avaliação Externa das Escolas. Lisboa: Inspeção-Geral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_06_relatorio_gt.pdf IGEC (2007). Avaliação Externa das EscolasRelatório Nacional 2006-2007 . Lisboa: InspeçãoGeral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_ 06_07_relatorio_nacional.pdf IGEC (2008). Avaliação Externa das EscolasRelatório Nacional 2007-2008. Lisboa: InspeçãoGeral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_ 2007_2008_relatorio.pdf IGEC (2009). Avaliação Externa das EscolasRelatório Nacional. 2008-2009. Lisboa: InspeçãoGeral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_ 08_09_relatorio.pdf 78 IGEC (2010). Avaliação Externa das EscolasRelatório Nacional 2009-2010 . Lisboa:Inspeção-Geral da Educação e Ciências. https://www.igec.mec.pt/upload/relatorios/aee_relatorio_2009-2010.pdf IGEC (2011). Avaliação Externa das EscolasRelatório Nacional 2010-2011 . Lisboa: InspeçãoGeral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_ 2010_2011_relatorio.pdf IGEC (2011). Grupo de Trabalho para a Avaliação Externa das Escolas 2011. Lisboa: InspeçãoGeral da Educação e Ciência . Disponível em: https://www.igec.mec.pt/upload/aee2_2011/ae e2_gt_2011_relatorio_final.pdf IGEC (2012). Avaliação Externa das EscolasRelatório Nacional. 2011-2012. Lisboa: Inspeção-Geral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_20112012_relatorio.pdf IGEC (2013). Avaliação Externa das Escolas -Relatório Nacional 2012-2013. Lisboa: Inspeção-Geral da Educação. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_20122013_relatorio.pdf IGEC (2014). Avaliação Externa das EscolasRelatório Nacional 2013-2014. Lisboa: Inspeção-Geral da Educação e Ciência. https://www.igec.mec.pt/upload/relatorios/aee_2013-2014_relatorio.pdf IGEC (2017). Avaliação Externa das EscolasRelatório Nacional 2014-2017. Lisboa: Inspeção-Geral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/upload/relatorios/aee_20142017_relatorio.pdf IGEC (2019). Avaliação Externa das EscolasDocumentos de enquadramento . Lisboa: InspeçãoGeral da Educação e Ciência. Disponível em: https://www.igec.mec.pt/content_01.asp?btreeid =03/01&treeid=03/01/03/00&auxid=&newsid=2762#content IGEC (2019). Modelo de Avaliação Externa das EscolasNovo ciclo. Lisboa: Inspecção-Geral da Educação e Ciência. https://www.portugal.gov.pt/downloadficheiros/ficheiro.aspx?v=%3D%3DBAAAAB%2BLCAAAAAAABAAzN7Q0AQCs6SFGBAAAAA%3D%3 D Lakatos, E., & Marconi, M. (2001) Fundamentos da metodologia científica. São Paulo: Atlas. Leite, C., Fernandes, P., Mouraz, A., & Sampaio, M. (2014). Avaliação Externa de Escolas: impacto e efeitos no desenvolvimento do trabalho docente. Conference : II Encontro Luso-Brasileiro sobre o Trabalho Docente e Formação . Disponível em: https://hdl.handle.net/10216/71140 Lima Rocha, A. P. (2012). Avaliação Externa de Escolas: Resultados e Autoavaliação. Que relação? Foro de Educación, 10, 14, 207-223. España: FahrenHouse. https://www.redalyc.org/articulo.oa?id=447544618015 Mesquita, E., Formosinho, J. & Machado, J. (2014). Formação e Trabalho: tradição e inovação nas práticas docentes. In A. Lopes, M. Cavalcante, D. Andrade & Á. Hypolito. (Orgs.) Trabalho Docente e Formação: Políticas, Práticas e Investigação: Pontes para a mudança. Porto: Centro de Investigação e Intervenção Educativas. 329-340.