Avaliação externa das escolas: uma leitura do contexto europeu à autoavaliação significativa

  1  Currículo, Formação e Internacionalização: desafios contemporâneos José Carlos Morgado Joana Sousa Antonio Flávio Moreira Arlindo Vieira (Orgs.)   2  Título Currículo, Formação e Internacionalização: desafios contemporâneos Organizadores José Carlos Morgado, Joana Sousa, Antonio Flávio Moreira, Arlindo Vieira Edição Centro de Investigação em Educação (CIEd) Instituto de Educação, Universidade do Minho ISBN 978-989-8525-57-4 Data Março 2018 Nota editorial Todos os textos publicados são da inteira responsabilidade dos autores e coautores que autorizaram a sua publicação. Em todos os textos foram mantidas as peculiaridades da língua portuguesa usadas em Portugal e no Brasil e respeitado o formato das referências bibliográficas. Apoios Este trabalho é financiado pelo CIEd - Centro de Investigação em Educação, projetos UID/CED/1661/2013 e UID/CED/1661/2016, Instituto de Educação, Universidade do Minho, através de fundos nacionais da FCT/MCTES-PT. Design Gráfico Luís Borges [email protected]    143  Avaliação externa das escolas: uma leitura do contexto europeu à autoavaliação significativa1 Joana Raquel Faria de Sousa2 CIEd-IE, Universidade do Minho, Portugal [email protected] Resumo A Avaliação Externa de Escolas (AEE) em Portugal surge com a publicação da Lei n.º 31/2002, de 20 de dezembro, sendo implementada pela Inspeção-Geral da Educação e Ciência (IGEC), a partir de 2006. Os efeitos da AEE em Portugal são já visíveis e vários estudos nacionais apontam para a tendência de alterações ao nível curricular, pedagógico e organizacional na escola pública (Barreira, Bidarra & Vaz-Rebelo, 2016), nomeadamente nos processos de autoavaliação (Pacheco, 2016). É neste contexto que será apresentada a AEE na Europa e em Portugal, com incidência na questão da autoavaliação, de modo a compreender o contexto desta mudança estratégica ao nível da política educativa em Portugal e as suas necessidades. Com base nos resultados de pesquisas nacionais, apresenta-se uma proposta de acompanhamento e apoio das escolas ao processo de autoavaliação que visa a criação de sinergias interinstitucionais. Introdução A Avaliação Externa das Escolas (AEE), em Portugal, reflete, por um lado, a “obsessão avaliativa” (Afonso, 2014, p.490) defendida pela Administração central e exigida pela sociedade em geral e, por outro, a oportunidade das escolas3 desenvolverem, de acordo com os limites da sua autonomia, uma lógica de melhoria contínua em prol da sua missão. Desde do início do sistema de AEE que vários estudos nacionais têm vindo a demonstrar que os efeitos atuais da AEE nas escolas ainda não são os desejáveis (Alves & Correia, 2008; Correia, 2016; Gomes, 2014; Pacheco, 2016; Sampaio, Figueiredo, Leite & Fernandes, 2016; Silvestre, Saragoça, Fialho, 2016; Sousa, Costa, Marques & Pacheco, 2016). Para contrariar esta tendência, defendemos que será necessário desenvolver sinergias interinstitucionais que permitam que a AEE, através de processos de autoavaliação significativos, seja claramente uma vantagem para as escolas, mais concretamente para os seus atores, e que não sirva apenas de escudo para políticas educativas que traduzem mudanças meramente formais.  1 Este trabalho é financiado pelo Centro de Investigação em Educação (CIEd) – projetos UID/CED/1661/2013 e UID/CED/1661/2016, Instituto de Educação, Universidade do Minho, através de fundos nacionais da FCT/MCTES-PT. 2 Doutoranda em Ciências da Educação, especialização em Desenvolvimento Curricular no Instituto de Educação da Universidade do Minho (Portugal), com uma bolsa de doutoramento financiada pela Fundação para Ciência e a Tecnologia (FCT - SFRH/BD/93389/2013) 3 Neste texto referimo-nos às escolas, no sentido de escolas públicas, ou seja, Agrupamentos de Escolas e/ou Escolas Não Agrupadas, dado que em Portugal foram constituídas unidades administrativas por agregação de escolas que estão geograficamente perto e acessíveis umas das outras. Esta situação deveu-se à necessidade de reordenamento da rede educativa pública no âmbito do regime de autonomia, gestão e administração das escolas, preconizado pelo Decreto-Lei n.º 75/2008, de 22 de abril.    144  Desde o contexto da AEE na Europa (European Commission/EACEA/Eurydice, 2015) à realidade Portuguesa (Lei n.º 31/2002, de 20 de dezembro), incluindo referenciais para a sua implementação, a AEE é questionada neste texto a partir da autoavaliação, considerada como um dos motores de mudanças nas escolas, em busca de uma autoavaliação significativa. 1. A Avaliação Externa das Escolas no contexto Europeu Na Europa, a Avaliação Externa das Escolas (AEE) está enquadrada como uma prática amplamente difundida, constituindo uma abordagem à garantia da qualidade firmemente implementada. Em 2013/14, 26 países europeus já tinham colocado em prática a AEE (European Commission/EACEA/Eurydice, 2015). Na perspetiva europeia, a AEE é desenvolvida como uma parte de uma reforma estratégica focada na construção de um sistema de gestão da qualidade das escolas, alinhando a política e a prática (Taylor, 2017). Com conceção centralizada, abrange tipicamente vários aspetos das escolas, incluindo a qualidade do ensino e da aprendizagem, os resultados das aprendizagens dos alunos, várias áreas da administração escolar, bem como o cumprimento dos requisitos regulamentados. Incide sobre as atividades realizadas na escola sem procurar atribuir a responsabilidade a nenhum membro do pessoal em concreto. Uma avaliação das escolas que seja conduzida por avaliadores especialistas, focados em tarefas específicas, como por exemplo a inspeção financeira ou a segurança, não é perspetivada como AEE (European Commission/EACEA/Eurydice, 2015). Apesar de o conceito ‘monitorizar’ continuar a merecer uma discussão aberta no campo da educação, relativamente à sua definição (Sammons, 1999), no panorama europeu a AEE destina-se a monitorizar ou melhorar a qualidade da escola e/ou dos resultados dos alunos, através de quadros de referência estruturados e estandardizados que estabelecem o conteúdo e as expectativas das avaliações externas, como é o caso de dois terços dos sistemas educativos na Europa em que a AEE já é implementada. Em tais países, todos os avaliadores externos têm de utilizar os mesmos quadros de referência (European Commission/EACEA/Eurydice, 2015). Apesar de não diagnosticar as razões específicas de possíveis problemas que estão na base de resultados menos favoráveis para as escolas, a monitorização das escolas permite descobrir os seus pontos fortes e fracos (Willms, 1992). A responsabilidade pela AEE, por norma, cabe a um órgão de nível central/superior, característica comum dos sistemas educativos mundiais (OCDE, 2013). Na maioria dos países europeus é realizada por avaliadores que não são atores da escola e com frequência é organizada por um órgão de inspeção que reporta às autoridades responsáveis pela educação de cada país. Existem dois tipos principais de órgãos mais ou menos representados equitativamente. Um departamento da autoridade de nível central ou superior, normalmente identificado como ‘inspeção’ ou, menos frequentemente, como ‘departamento de avaliação’, ou ainda, uma agência autónoma especificamente dedicada à inspeção escolar. Em diversos países da Europa, a avaliação    145  envolve outros atores escolares, tais como, os alunos, os pais ou outros membros da comunidade local (European Commission/EACEA/Eurydice, 2015). A frequência da AEE no contexto Europeu é determinada por cada país, sendo possível analisá-la segundo três modelos principais: i) modelo cíclico - em que todas as escolas são avaliadas a intervalos regulares especificados pelas autoridades de nível central/superior ou pela inspeção, que dura geralmente entre três e dez anos; ii) modelo de amostragens - baseado em amostragens, avaliação de riscos e uso de critérios ad hoc estabelecidos por uma autoridade de nível central/superior e com base num programa de trabalho anual ou plurianual; iii) modelo de cíclico e de amostragem - uma combinação de ambos os modelos (European Commission/EACEA/Eurydice, 2015). O reconhecimento de uma avaliação das escolas que, no contexto Europeu, conquistou relevância nas últimas duas décadas, criando efeitos diretos e indiretos nos processos e práticas educativas (Penninckx, 2017), é o ponto de partida para a discussão que se segue, tendo como objetivo central o enquadramento destas políticas no contexto Português. 2. A Avaliação Externa das Escolas em Portugal Por influência internacional, sobretudo europeia, desde a década de 1990 que em Portugal foram implementados vários projetos e programas que de alguma forma sustentaram a AEE que se encontra em concretização desde 2006, após publicação da Lei n.º 31/2002, de 20 de dezembro, pelo Ministério da Educação. Algumas dessas experiências nacionais, de cariz público ou privado, tiveram grande influência no sistema nacional de AEE, tais como: Observatório da Qualidade da Escola (INES e PEPT, 19921999); Avaliação do Funcionamento Global das Escolas (IGE, 1993-1995); Auditoria Pedagógica (IGE, 1997); Modelo de Certificação da Qualidade nas Escolas Profissionais (ANESPO, 1997-2001); Avaliação das Escolas Secundárias (IGE, 1998-1999); Projeto Qualidade XXI (IIE, 1999-2002); Programa de Avaliação Integrada das Escolas (IGE, 19992002); Projeto “Melhorar a Qualidade” (AEEP e QUAL, 2000); Programa AVES – Avaliação de Escolas Secundárias (FML, desde 2000); Modelo CAF – Common Assessment Framework (EFQM, desde 2000); Programa “Efetividade da Autoavaliação das Escolas” (IGE, 2004-2006); Projeto-piloto de Avaliação Externa das Escolas (IGE, 2005/2006); Avaliação Externa das Escolas (IGE/IGEC, 1º ciclo: 2006, 2º ciclo: 2011-2017, 3º ciclo: 2018-2022). Para além da relação com os projetos acima identificados, o sistema de Avaliação Externa das Escolas Português foi influenciado pela metodologia do sistema Escocês How Good is Our School. Tal como foi sublinhado anteriormente, em Portugal, a AEE é regulada pela Lei n.º 31/2002, de 20 de dezembro, e foi implementada nas escolas públicas desde 2006    146  pela Inspeção-Geral da Educação e Ciência (IGEC)4, serviço central da administração direta do Estado e dotado de autonomia administrativa5, que a assumiu “como um contributo para o desenvolvimento das escolas” (IGE, 2011, p. 51). Os objetivos definidos pela IGEC (2008) para a AEE são: i. Promover o progresso das aprendizagens e dos resultados dos alunos, identificando pontos fortes e áreas prioritárias para a melhoria do trabalho das escolas; ii. Incrementar, a todos os níveis, a responsabilização, validando as práticas de autoavaliação das escolas; iii. Fomentar a participação na escola da comunidade educativa e da sociedade local, oferecendo um melhor conhecimento público do trabalho das escolas; iv. Contribuir para a regulação da educação, dotando os responsáveis pelas políticas educativas e pela administração das escolas de informação pertinente. Responsável pela avaliação da adequabilidade do sistema de AEE, através da emissão de pareceres e opiniões, encontra-se o Conselho Nacional da Educação (CNE), organismo de aconselhamento do Estado e independente do Ministério da Educação. Para a IGEC, a AEE pretende ser um identificador de boas de práticas organizativas, procedimentais e pedagógicas das instituições educativas portuguesas, de modo a criar de forma duradoura e sistemática uma cultura de autoavaliação e melhoria com vista à qualidade, credibilização e sucesso do sistema educativo nacional, o que segue as recomendações da OCDE (2013), especificamente quanto ao enfoque na melhoria contínua, no desempenho, na qualidade e em school accountability, com base nas evidências recolhidas no contexto de cada escola, nas recomendações e na publicação dos resultados de cada escola. Este sistema de avaliação das escolas é conduzido por uma equipa de avaliadores externos, constituída por dois Inspetores da IGEC e um Perito Externo, geralmente do Ensino Superior, que analisam as escolas numa visita que dura três a quatro dias, consoante a dimensão da escola e com base numa metodologia mista (qualitativa e quantitativa). Sendo um modelo cíclico, a AEE Portugal já conta com dois ciclos. O 1º ciclo, iniciado em 2006 e terminado em 2011, cujo quadro de referência incidiu em cinco domínios de avaliação: resultados; prestação do serviço educativo; organização e gestão escolar; liderança e capacidade de autorregulação; e melhoria da escola. O 2º ciclo, iniciado ainda em 2011 e concluído em 2017, incide em três domínios de avaliação:  4 Desde 2011 que a Inspeção Geral da Educação (IGE) passou a denominar-se de Inspeção-Geral da Educação e Ciência (IGEC). Cf. Artigo 11.º da Lei Orgânica do Ministério da Educação e Ciência, Decreto-Lei n.º 125/2011. 5 Cf. Decreto Regulamentar n.º 15/2012, de 27 de janeiro de 2012, que define a Inspeção-Geral da Educação e Ciência como um serviço central da administração direta do Estado dotado de autonomia administrativa. Disponível em: <http://www.ige.min-edu.pt/upload/Legisla%C3%A7%C3%A3o/Decreto_Regulamentar_15_2012.pdf>. Acesso em: 13 abr. 2017.    147  resultados; prestação do serviço educativo; e liderança e gestão. Cada um destes domínios é fundamentado por campos de análise e referentes previamente definidos pela IGEC. Do 1º para o 2º ciclo também foram realizadas algumas alterações na escala de avaliação. O número de classificações da escala de avaliação aumentou de quatro (muito bom; bom; suficiente; insuficiente) para cinco, tendo sido incluído como nível mais alto o excelente (IGE, 2010; 2011; IGEC 2016a; 2016b). No 2º ciclo de AEE a avaliação das escolas efetuou-se em três domínios, com base na escala de avaliação e classificações por domínio, tendo cada escola sido avaliada com uma classificação final publicada pela IGEC. Cada AEE ocorre, pelo menos, de cinco em cinco anos. Para as escolas que recebem uma classificação inferior, o ciclo de avaliação é mais curto – três ou quatro anos. 2.1. A Autoavaliação no contexto da Avaliação Externa das Escolas em Portugal O interesse prático pela autoavaliação em Portugal nasce com o Observatório da Qualidade da Escola (1992-1999), decorrente de estudos internacionais (Fialho, 2009), sendo que o mais recente investimento surgiu com o sistema de AEE. A Lei n.º 31/2002, de 20 de dezembro define no seu artigo 6º, os termos em que assenta a autoavaliação, sublinhando-se a importância da concretização do projeto educativo, das atividades que promovam um clima escolar positivo, do funcionamento organizacional, do sucesso escolar e da cultura de colaboração. Pretende-se, assim uma caracterização do ensino, das aprendizagens e dos resultados dos alunos, através do incentivo às práticas de autoavaliação, tornando-se a AEE um contributo para o conhecimento público das instituições escolares (Figura 1). Figura 1Desenho inicial da organização e dos instrumentos de avaliação Fonte: Oliveira, P., Clímaco, M., Carravilla, M., Sarrico, C., Azevedo, J., & Oliveira, J., 2006 Analisando-se o atual quadro de referência da AEE, verifica-se que a autoavaliação e a melhoria constituem-se como campos de análise do domínio da liderança e gestão da avaliação das escolas. Com efeito, podemos atribuir ao sistema    148  de AEE uma grande relevância para promoção de processos e práticas de autoavaliação nas escolas Portuguesas. Destaque-se o cariz de obrigatoriedade da autoavaliação e do seu contributo, nomeadamente, através da definição dos seguintes referentes do domínio da liderança e gestão (IGEC, 2015): i) coerência entre a autoavaliação e a ação para a melhoria; ii) integração dos resultados da avaliação externa nos planos de melhoria; iii) envolvimento e participação da comunidade nas práticas de autoavaliação; iv) sistematização e amplitude da autoavaliação; v) impacto que a autoavaliação tem no planeamento, organização e práticas profissionais. Tal como refere Pacheco (2010, p. 7), “a responsabilidade da escola na avaliação externa tende a aumentar quando a autoavaliação se torna numa prática institucional e serve de suporte à própria avaliação externa, e não, como acontece na realidade portuguesa, a uma prática avaliativa de conformidade”, pois “a autoavaliação é um órgão vital das escolas de qualidade e que procuram a melhoria” (MacBeath, Michael, Denis & Lars, 2005, p. 20). Sendo a AEE um sistema que permite a monitorização das escolas, dado que fomenta a recolha sistemática de informação para analisar externamente cada escola (Scheerens, Glas & Thomas, 2003), é fundamental que para melhorar as práticas de cada escola se recorra à informação recolhida pela AEE para os processos de autoavaliação (Scherman & Fraser, 2017), proporcionando mecanismos formais de regulação do nível desejado (Scheerens, Glas & Thomas, 2003). A autoavaliação é um veículo de empoderamento institucional (Cosme & Trindade, 2010) em que “as escolas se fazem a si mesmas, por si e para si” (Swaffield & MacBeath, 2005, p. 71), tomando decisões próprias num processo que “é conduzido e realizado exclusivamente (ou quase) por membros da comunidade educativa da escola” (Alaiz, Góis & Gonçalves, 2003, p. 16). Surge como promotora de mudanças construídas sobre as próprias capacidades e com os recursos disponíveis, de um modo sustentado e focado, desempenhando um papel promotor da melhoria contínua (Bolívar, 2014). Através da autoavaliação pretende-se que a escola seja capaz de se tornar um objeto aprendente que se autoavalia de forma sistemática, gerando informação e instrumentos que potenciem a reflexão (Nevo, 2001) e, consequentemente, o seu desenvolvimento organizacional (Clímaco, 2005; Bolívar, 2014). Para fomentar a autoavaliação é necessário que os atores escolares se envolvam no debate sobre os resultados e as potencialidades da escola, levando àquilo a que, com base na literatura sobre autoavaliação (Ellison, 2012; O’Neill, 2013), podemos chamar de autoavaliação inteligente, decorrente de uma accountabilty inteligente (OFSTED, 2004). Uma autoavaliação que identifica exatamente os pontos fracos, as necessidades pertinentes e como proceder mediante as características do próprio contexto, sendo os seus principais agentes os atores educativos (Scheerens, 2002). O    149  envolvimento dos atores no processo de autoavaliação é fundamental para evitar a dispersão e a falta de identificação com a necessidade da autoavaliação, de modo a que não seja confundida como um ritual burocrático (Correia, Fialho & Sá, 2015) e se torne apenas num processo de gerenciamento da imagem pública (Ball, 2001), levando à evaluation-free evaluation (Scriven, 2003). A investigação tem vindo a demonstrar que existe uma associação intrínseca e de causalidade entre a AEE e a autoavaliação (Sousa, Costa, Marques & Pacheco, 2016), pois a autoavaliação pode servir de ponto de partida para a avaliação externa, enquanto que esta pode favorecer a melhoria da qualidade da autoavaliação pelos efeitos de aprendizagem que produz, nomeadamente ao nível da construção de indicadores e de instrumentos de recolha de informação (MacBeath, Michael, Denis & Lars, 2005, p. 14). A autoavaliação deverá ser um processo partilhado e negociado, envolvendo vários atores da comunidade na sua equipa, não só através da inclusão de cada elemento no processo de autoavaliação, mas também para validar que os elementos da equipa de autoavaliação são aqueles que conhecem a escola (Scherman & Fraser, 2017, p. 72). Na esteira de uma perspetiva ecológica da organização escolar, a autoavaliação torna-se em um órgão vital das escolas que procuram o seu próprio desenvolvimento (Brown, McNamara, O’Hara & O’Brien, 2017), face a uma sociedade marcada pela incerteza. De acordo com Scherman e Fraser, (2017, p. 71) os benefícios da autoavaliação estão dependentes da valorização que lhe é dada, salientando que “os sistemas de autoavaliação têm de ser valorizados pela própria comunidade que os vai implementar.”. Contudo, de acordo com o que Alves e Correia (2008) alertaram e com base nos resultados do projeto de investigação “Impacto e Efeitos da Avaliação Externa de Escolas no Ensino não Superior”6, foi possível verificar que é ainda necessário implementar a AEE num contexto de diversidade dos processos de autoavaliação de cada escola, bem como fomentar a criação de apoios das instituições de Ensino Superior que permitam o acompanhamento e a formação necessária (Pacheco, 2016), pois “se os processos de autoavaliação das escolas são diferentes em virtude da AEE, isso não significa que o procedimento avaliativo externo seja suficiente para promover a desejável cultura de autoavaliação” (Mouraz, Fernandes & Leite, 2014, p. 94). Sublinhamos que a autoavaliação, pela sua característica de análise e reflexão interna, não pode ser deixada ao acaso das capacidades (recursos humanos e temporais) que as escolas podem disponibilizar atualmente e por isso cremos que existem necessidades: esta situação resulta do facto de as escolas serem obrigadas a autoavaliar-se, levando a um desvio, por parte da administração  6 Projeto de investigação financiado pela Fundação para a Ciência e a Tecnologia (FCT-PTDC/CPE-CED/111674/2010), e coordenado pela Universidade do Minho, com a participação das Universidades do Porto, Coimbra, Lisboa, Évora e Algarve. Para mais informações consultar: webs.ie.uminho.pt/avaliacaoexternaescolas/    156  Investigação Educacional, 14, 67-97. Disponível em www.fep.porto.ucp.pt/sites/default/files/files/FEP/RPIE/RPIE1403_Influenciasda avaliacaoexterna.pdf Nevo, D. (2001) School evaluation: Internal or external? Studies in Educational Evaluation, 27, 95–106. O’Neill, O. (2013). Intelligent accountability in education. Oxford Review of Education, 39(1), 4–16. doi: 10.1080/03054985.2013.764761 OCDE (2013). School evaluation: From compliancy to quality. In Synergies for Better Learning: An International Perspective on Evaluation and Assessment, OECD Publishing. Disponível em dx.doi.org/10.1787/9789264190658-10-en OFSTED (2004). A new relationship with schools. Nottingham: Department for Education and Skills. Disponível em: webarchive.nationalarchives.gov.uk/20130401151715/http://www.education.gov .uk/publications/eOrderingDownload/1290-2005PDF-EN-01.pdf [Acesso a 24 de maio de 2017]. Oliveira, P., Clímaco, M., Carravilla, M., Sarrico, C., Azevedo, J., & Oliveira, J. (2006). Relatório final da actividade do Grupo de Trabalho para Avaliação das Escolas. Lisboa: Ministério da Educação. Disponível em www.ige.minedu.pt/upload/Relatorios/AEE_06_RELATORIO_GT.pdf [Acesso a 18 de maio de 2017]. Pacheco, J. A. (2010). Avaliação Externa das Escolas: Teorias e Modelos. Conferência no Seminário “Avaliação Externas das Escolas: Modelos, Práticas e Impacto”, Braga: Universidade do Minho. Disponível em repositorium.sdum.uminho.pt/bitstream/1822/11718/4/Avalia%C3%A7%C3%A3 o%20externa%20escolas.Teorias%20e%20modelos%20%28portugu%C3%AAs% 29.pdf Pacheco, J. A. (2016). Resultados globais do Projeto. In C. Barreira, M. Bidarra, & M. VazRebelo (Org.), Estudos sobre Avaliação Externa de Escolas (pp. 263-271). Porto: Porto Editora. Penninckx, M. (2017). Effects and side effects of school inspections: A general framework. In Studies in Educational Evaluation, 52, 1–11.    157  Priestley, M., Biesta, G., & Robinson, C. (2013). Teachers as agents of change: Teacher agency and emerging models of curriculum. In M. Priestley & G. Biesta (Eds.), Reinventing the curriculum: New trends in curriculum policy and practice (pp. 187–206). London: Bloomsbury Academic. Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systemic approach (7th ed). Thousand Oaks: Sage. Sammons, P. (1999). School effectiveness: Coming of age in the twenty-first century. Lisse: Swets & Zeitlinger. Sampaio, M., Figueiredo, C, Leite, C., & Fernandes, P. (2016). Efeitos da avaliação externa de escolas nos processos de autoavaliação: Convergências e tendências de ação. In C. Barreira, M. Bidarra, & M. Vaz-Rebelo (Org.), Estudos sobre Avaliação Externa de Escolas (pp. 38-53). Porto: Porto Editora. Scheerens, J. (2002). School self-evaluation: Origins, definition, approaches, methods and implementation. In D. Nevo (Ed.), School-based evaluation: An international perspective (pp. 35-73). Oxford: Elsevier Science. Scheerens, J., Glas, C., & Thomas, S. M. (2003). Educational evaluation, assessment and monitoring: A systemic approach. Lisse: Swets & Zeitlinger. Scherman, V., & Fraser, W. (2017). Monitoring and school self-evaluation. In V. Scherman, R. J. Bosker & S. J. Howie (Eds.), Monitoring the Quality of Education in Schools. Examples of Feedback into Systems from Developed and Emerging Economies (pp. 53-76). Rotterdam: Sense Publishers. Schildkamp, K., & Archer, E. (2017). Feedback of monitoring data and its role in decision making. In V. Scherman, R. J. Bosker & S. J. Howie (Eds.), Monitoring the Quality of Education in Schools. Examples of Feedback into Systems from Developed and Emerging Economies (pp. 11-24). Rotterdam: Sense Publishers. Scriven, M. (2003). Evaluation Theory and Metatheory. In T .Kellaghan, D. Stufflebeam, L. Wingate (Eds.), International Handbook of Educational Evaluation (pp.15-30). Dordrecht: Kluwer Academic Publishers. Seabra, F., Pedras, S, Silva, P., & Carlos, A. P. (2017). Observatórios de educação em Portugal: definições e contributos para o desenvolvimento da qualidade. Revista    158  de Estudos Curriculares 8(1), 69-86. Disponível em www.nonio.uminho.pt/rec/index.php/rec/article/view/30 Silvestre, M., Saragoça, J., & Fialho, I. (2016). Do referencial da avaliação externa à criação de um modelo de autoavaliação. In C. Barreira, M. Bidarra, & M. VazRebelo (Org.), Estudos sobre Avaliação Externa de Escolas (pp. 12-35). Porto: Porto Editora. Sousa, J., Costa, N., Marques, M., & Pacheco, J. A. (2016). Avaliação externa de escolas. Um metaestudo. Revista Educação, Sociedade & Culturas. Dossier Temático “A avaliação das escolas: políticas, perspetivas e práticas”, 47, 53-72. Disponível em www.fpce.up.pt/ciie/?q=publication/revista-educa%C3%A7%C3%A3osociedade-culturas/edition/educacao-sociedade-culturas-47 Swaffield, S., & MacBeath, J. (2005). School self-evaluation and the role of a critical friend. Cambridge Journal of Education, 35 (2), 239-252. doi: 10.1080/03057640500147037 Taylor, N. (2017). Monitoring, Accountability and Professional Knowledge: Reflections on South African Schooling. In V. Scherman, R. J. Bosker & S. J. Howie (Eds.), Monitoring the Quality of Education in Schools. Examples of Feedback into Systems from Developed and Emerging Economies (pp. 43-52). Rotterdam: Sense Publishers. Verhaeghe, G., Schildkamp, K., Luyten, H., & Valcke, M. (2015). Diversity in school performance feedback systems. School Effectiveness and School Improvement, 26, 612–638. Viana, I. C. (2009). Avaliação da, na e pela formação – interfaces entre o local e o global na educação de adultos. In H. Ferreira, C. Lima, F. Alves, G. Santos & S. Bergano (Orgs.), Actas do X Congresso da SPCE. Disponível em repositorium.sdum.uminho.pt/bitstream/1822/33058/1/158Isabel%20Carvalho%20Viana-2.pdf%2C%202009.pdf Willms, J. D. (1992). Monitoring school performance: A guide for educators. London: The Falmer Press.