Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Deseño e avaliación do programa Patrimonializarte

TESE DE DOUTORAMENTO MODELO DE AVALIACIÓN DE PROGRAMAS DE EDUCACIÓN PATRIMONIAL (MAPEP). DESEÑO E AVALIACIÓN DO PROGRAMA PATRIMONIALIZARTE Leticia Castro Calviño ESCOLA DE DOUTORAMENTO INTERNACIONAL PROGRAMA DE DOUTORAMENTO EN EDUCACIÓN SANTIAGO DE COMPOSTELA 2020 DECLARACIÓN DO AUTOR/A DA TESE D./Dna. Leticia Castro Calviño Título da tese: Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Deseño e avaliación do programa Patrimonializarte Presento a miña tese, seguindo o procedemento axeitado ao Regulamento, e declaro que: 1) A tese abarca os resultados da elaboración do meu traballo. 2) De ser o caso, na tese faise referencia ás colaboracións que tivo este traballo. 3) Confirmo que a tese non incorre en ningún tipo de plaxio doutros autores nin de traballos presentados por min para a obtención doutros títulos. E comprométome a presentar o Compromiso Documental de Supervisión no caso de que o orixinal non estea na Escola. En Santiago de Compostela, 17 de decembro do 2020. AUTORIZACIÓN DO DIRECTOR / TITOR DA TESE Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Deseño e avaliación do programa Patrimonializarte D. Ramón Vicente López Facal D. Cosme Jesús Gómez Carrasco INFORMA/N: Que a presente tese, correspóndese co traballo realizado por D/Dna. Leticia Castro Calviño, baixo a nosa dirección, e a utorizamos a súa presentación , considerando que reúne os r equisitos esixidos no R egulamento de Estudos de Doutoramento da USC, e que como directores desta non incorre nas causas de abstención establecidas na Lei 40/2015. De acordo co artigo 37 do Regulamento de Estudos de Doutoramento, declaramos tamén que a presente tese de doutoramento é idónea para ser defendida en base á modalidade de COMPENDIO DE PUBLICACIÓNS , nos que a participación do/a doutorando/a foi decisiva para a súa elaboración e as publicacións se axustan ao Plan de Investigación. En Santiago de Compostela, 17 de decembro de 2020 1 AGRADECEMENTOS Longos son os días que se dedican á realización dunha tese de doutoramento. Neles existen momentos de frustración e angustia que só se superan ao carón das persoas que che brindan o seu apoio. No ámbito profesional é de agradecer en primeiro lugar a labor do meu director Ramón López Facal. Sen o seu apoio non tería comezado esta carreira e seguro non a tería acabado. Gracias polos teus coñecementos e os teus folgos. Ao meu codirector, Cosme Jesús Gómez Carrasco, grazas polo compromiso e implicación con este traballo. Mención especial requiren os meus compañeiros de seminario, que me acolleron con cariño cando apeei na facultade, inexperta no mundo da investigación. En especial a Tania, por ser o meu apoio, a miña compañeira pero sobre todo a miña amiga. Grazas por comprenderme e guiarme coa túa enorme bondade. Aos meus compañeiros de área, que seguistes os meus pasos de preto e me axudastes cada vez que precisei da vosa axuda, sobre todo a Belén, Pepe e Carlos. Aos centros que fixeron posible que o programa Patrimonializarte se levase a cabo, e ao profesorado participante que fixo grandes esforzos para adaptar as súas programacións a este novo proxecto durante un curso académico. En especial a Paco e Adriana. Grazas por seguir os meus pasos académicos e axudarme con esmero, grazas pola amizade. Non me esquezo dos nenos e nenas que participaron nesta experiencia, sen os cales a investigación non se tería levado a cabo. As vosas ganas de aprender, a vosa motivación cara coñecementos novos e os vosos “Leti, ¿cando volves?” fixeron que o ano no que se levou a cabo o programa nos centros fose o mellor, con diferencia. Grazas, porque reforzastes, máis se cabe, a miña vocación no mundo da educación. No ámbito persoal os primeiros son meus pais. Grazas por ensinarme que “o que algo quere, algo lle costa”. Grazas por non 2 rendervos nunca comigo, por apoiarme en cada paso, por levarme da man no meu camiño persoal e profesional. Se non fose por vós non estaría hoxe escribindo estas liñas. Á miña irmán, por apoiarme e defender a capa e espada as miñas decisións. Por confiar en min a cegas. Ao meu compañeiro de vida, remanso de paz e calma cando hai tormenta. Grazas por ser o mundo á parte no que desconectar das letras, por acompañarme na viaxe e enchela de felicidade. A vós grazas, porque os meus logros son colleita vosa. 3 PRESENTACIÓN A investigación recolle o deseño e aplicación do programa Patrimonializarte e da súa avaliación seguindo o Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Utilízase unha metodoloxía integral, integrada e integradora que atende aos seguintes momentos: avaliación de necesidades; deseño do programa e avaliación; avaliación inicial; realización; avaliación formativa e sumativa; e metaavaliación. A tese acóllese á modalidade de tese por compendio de artigos e segue as directrices e regulacións establecidas no Regulamento de estudos de doutoramento da Universidade de Santiago de Compostela (USC, 2020). De acordo con este regulamento a investigación estrutúrase nos seguintes capítulos: 1. Capítulo 1: Introdución 2. Capítulo 2: Marco teórico 3. Capítulo 3: Metodoloxía 4. Capítulo 4: Publicacións 5. Capítulo 5: Discusión 6. Capítulo 6: Conclusións 7. Referencias O Capítulo 4 reproduce catro artigos orixinais (dos tres mínimos esixidos) que presentan resultados e corresponden a catro fases da investigación, o deseño e aplicación do programa de educación patrimonial Patrimonializarte e a súa avaliación seguindo o MAPEP. 10 A etapa de profesionalización (1973 en adiante). A avaliación consolídase como un campo específico da investigación. Comezan a aparecer os modelos como o Goal Free Model de Scriven (1973) a avaliación responsable de Stake (1975) a avaliación democrática de MacDonald (1976) o modelo de avaliación iluminativa de Parlett e Hamilton (1977) ou a avaliación como crítica artística de Eisner (1985). Créanse asociacións profesionais como o Joint Committee on Standards for Educational Evaluation en 1975. A partir dos anos 80 comeza a ter relevancia a participación dos axentes implicados (stakeholders) na avaliación, trátase da última xeración dentro das Fourht Generation Evaluation (Guba e Lincoln, 1989). A investigación avaliativa no século XXI atende a novos enfoques: enmárcase nun contexto de cambio social que ten como obxectivo resolver problemas en contextos reais, utilízanse métodos mixtos; forman parte da avaliación os axentes implicados na mesma (Escudero, 2016). Atendendo a esta nova visión da avaliación do programa, a presente investigación parte dun contexto real no que se identificaron necesidades específicas ás que se pretende dar resposta. Os axentes implicados xogan un papel principal na avaliación do propio programa, razón pola que se recollen as súas valoracións sobre a metodoloxía empregada no programa (no caso dos estudantes) e avaliacións do propio programa (no caso do profesorado) (Fetterman e Wandersman, 2007; Kaftarian e Wandersman, 2015). A participación dos axentes implicados: alumnado, profesorado, familias, comunidade local, contribúe a crear identidades compartidas que favorecen a un compromiso comunitario para a conservación e posta en valor dos elementos patrimoniais (Epstein, 1995; Rodríguez-Campos, 2012; Marqués, Castro-Fernández e López-Facal, 2020). En España destacan dous referentes institucionais no ámbito da educación patrimonial: o Plan Nacional de Educación e Patrimonio (PNEyP) e o Observatorio de Educación Patrimonial en España 11 (OEPE). Un estudo do OEPE afirma que unicamente o 1,9% dos programas inventariados contemplan instrumentos de avaliación. Este dato considérase relevante, pois a avaliación debe ser unha parte inseparable de calquera programa educativo (Fontal, 2016a). A investigación en educación patrimonial aumentou considerablemente durante a última década. Destacan avances na avaliación de programas en museos (Calaf, Gutiérrez e Suárez, 2020); estudos de GómezRedondo, Calaf e Fontal (2017) Fontal e Martínez (2017) MarínCepeda, García-Ceballos, Vicent, Gillate e Gómez-Redondo (2017) García-Ceballos e Martínez (2018) Sánchez-Macía, Fontal e Rodríguez-Medina (2019) ou Fontal, García-Ceballos, Arias e Arias (2019). Na educación formal a avaliación sitúase nunha fase inicial (Sánchez-Macías, Fontal e Rodríguez-Medina, 2019; Fontal e García, 2019). A investigación sobre programas de educación patrimonial conta con deficiencias no contido e na avaliación (Fontal e García, 2019; Fontal, García, Arias e Arias, 2019; Fontal e Martínez, 2017). O patrimonio é un valor definitorio de identidade (Fontal, 2003). Son as persoas as que conceden valor aos elementos patrimoniais, as que identifica e se identifican con eles (Gómez-Redondo, 2011). O patrimonio convértese así en portador de valores sociais que cómpren ser difundidos como elementos dunha identidade colectiva. O traballo debe iniciarse no marco dunha ensinanza regrada, incorporando o patrimonio cunha perspectiva holística e contribuíndo á formación de futuros cidadáns responsables e concienciados con el (Alves e Pinto, 2019; Cuenca-López, Martín-Cáceres e Estepa, 2020; Martín-Cáceres e Cuenca-López, 2015). Estudos realizados en España constatan deficiencias en educación patrimonial atopadas nos currículos de Ciencias Sociais, polo que consideran necesario reformular os contidos escolares (Cuenca-López e López-Cruz, 2014; Cuenca-López, Estepa e Martín-Cáceres, 2017). Predominan as concepcións sobre o patrimonio que se limitan unicamente a os seus valores histórico artísticos e que se 12 manifestan tamén entre o profesorado, tanto entre o comeza a súa formación inicial como o que está en activo (Cuenca-López, 2003; Jiménez-Pérez, Cuenca-López e Ferreras-Listán, 2010; GómezCarrasco, López-Facal, e Castro-Fernández 2019). Esta perspectiva é a mesma que se reflicte nos currículos educativos e nos libros de texto (Cuenca-López, Estepa-Giménez e Martín-Cáceres, 2017; CuencaLópez e López-Cruz, 2014). Para que o alumnado comece a valorar os bens patrimoniais próximos considérase relevante traballar co patrimonio desde a educación formal comezando polos os niveis educativos iniciais (Gómez e Fenoy, 2016; Peinado, 2020). Afondar no traballo co patrimonio próximo na educación primaria permite ampliar a conciencia de compartir o mesmo patrimonio con outras persoas (Domínguez e López-Facal, 2015; Fontal, Ibáñez-Etxeberria, Martínez, e Rivero, 2017). Doutra banda, o emprego de metodoloxías activas no ensino secundario pode contribuír a formar unha cidadanía crítica e responsable co patrimonio (Fontal, 2016; Trabajo-Rite e CuencaLópez, 2020). O patrimonio local material e inmaterial é considerado coma un potente instrumento social ao servizo da comunidade (KirshenblattGimblett, 2004; Martínez, Riveiro e Domínguez, 2019; Pinto e Zarbato, 2017; Prats, 2005). A identificación co propio, a creación dunha comunidade integradora que actúe sobre o patrimonio dun xeito crítico e sostible, pasa por unha educación baseada nos lugares (Sánchez e Murga-Menoyo, 2019; Woodhouse e Knapp, 2000). Metodoloxía Abórdanse unha nova dimensión dentro da investigación en educación patrimonial, que concibe a avaliación dos programas como un proceso cíclico que inclúe planificación, acción e avaliación. É unha nova contribución a este campo de estudo baseada nunha revisión do modelo Pérez Juste, que propón unha avaliación integral, integrada e 13 integradora (Pérez, 2002; Pérez, 2006). Elabórase o Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP) para avaliar o programa Patrimonializarte: un programa de educación patrimonial deseñado ex profeso que se basean no estudo do patrimonio próximo ao alumnado e que que consta de dúas fases. Fase 1 Avaliación de necesidades. Identifícanse as necesidades de educación patrimonial de 40 docentes dos dous centros participantes. Deséñase un cuestionario escala Likert de carácter mixto con 19 ítems pechados nos que se ofrecen 5 opcións de resposta, e un ítem de resposta aberta. Realizouse unha análise descritiva e de frecuencias das variables da enquisa coa utilización do programa estatístico SPSS, apoiándose nun sistema de categorización elaborado a partir de Martín e Cuenca (2015). Deseño do programa Patrimonializarte e do MAPEP. O deseño do programa basease nos obxectivos obtidos a partir da avaliación de necesidades e adáptanse aos contextos, que son diferentes, dos dous centros educativos nos que se leva a cabo. O programa lévase a cabo nos tres etapas de educación obrigatoria da Comunidade Autónoma galega, educación infantil, primaria e secundaria, en dous centros educativos. Trátase dunha mostra intencional escollida en base a criterios de viabilidade e rendibilidade do programa. O primeiro centro é un Colexio Público Integrado (CPI) que acolle escolares de educación infantil, primaria e secundaria obrigatoria (Centro 1); está localizado nunha área rural do interior da provincia de A Coruña (aproximadamente 3.000 habitantes). O segundo é un Colexio de Educación Infantil e Primaria (CEIP) (Centro 2) que se sitúa nunha vila próxima á cidade de A Coruña (aproximadamente 30.000 habitantes). 14 Na avaliación de necesidades seleccionase unha mostra de 40 profesores das tres etapas educativas dos dous centros N=15 do Centro 1 e 25 do Centro 2. Entre os participantes na aplicación do programa podemos diferenciar dos grupos: a) Axentes implicados directamente no proceso educativo: alumnado, N=111(na primeira fase) e N=86 (na segunda fase, posto que non participan 25 alumnos de 3º de primaria do Centro; profesorado, N=12. b) Axentes indirectos ou externos ao programa: familias, N= 43 e autoridades locais e xestores do patrimonio, N=3. Na Fase 1 lévanse a cabo actividades relacionadas co patrimonio inmaterial local. Trabállase con fotografías antigas dixitalizadas que reflicten formas de vida e costumes pasadas e cambios e continuidades que se deron na escola, oficios tradicionais e na contorna próxima. Na Fase 2 realízanse actividades relacionadas, dunha banda co patrimonio local intanxible: música, e toponimia; e doutra, co patrimonio material pouco coñecido, coma o arqueolóxico: megalitismo e cultura castrexa. Realízanse exposicións abertas á comunidade escolar e local para transferir coñecemento e crear redes de aprendizaxe. Coa estruturación do programa en dúas fases preténdese seguir a secuencia significativa de procedementos para a educación patrimonial de Fontal: coñecer para comprender, comprender para respectar, respectar para valorar, valorar para coidar, coidar para desfrutar, e desfrutar para transmitir (Fontal, 2003). Nesta investigación engádese un novo chanzo nesta escada secuencial: a actuación sobre o patrimonio. Os instrumentos utilizados co alumnado de educación infantil foron entrevistas grupais semiestruturadas e un test proxectivo gráfico. Para educación primaria e secundaria deséñanse enquisas de resposta múltiple, textos reflexivos e enquisas de resposta aberta ou gravación 15 de vídeo-cápsulas para a posterior análise de contido. Para recoller as opinións do profesorado deséñanse dúas enquisa online con preguntas abertas. Ás familias entrégaselles enquisas escritas con preguntas de resposta aberta. Para ás autoridades locais e xestores do patrimonio, deséñanse un cuestionario online de ítems con reposta aberta. Ademais destes instrumentos, lévase a cabo a técnica da observación participante durante todo o proceso (Stake, 1995). Avaliación do deseño e avaliación inicial dos coñecementos do alumnado. Realízase a avaliación inicial, de entrada, ou de deseño do programa (Tejedor, 2000). O deseño envíase a avaliación por parte de 6 xuíces expertos externos: tres investigadores de universidades españolas (ningún da USC) e tres profesores en activo nos niveis educativos nos que se desenvolve o programa, con ampla experiencia en educación infantil, primaria e secundaria. Estes xuíces avalían a composición documental e a coherencia (interna e externa) do programa. Para a análise do acordo entre xuíces aplícanse os índices de acordo de concordancia ponderada de Bangdiwala (Bangdiwala, 1987). Os coeficientes obtidos foron: BWN = .917 para a coherencia do deseño e BWN = .883 para a composición documental. Seguindo os criterios de Muñoz e Bangdiwala (1997) móstrase un nivel de acordo excelente. Para a avaliación de coñecementos inicial do alumnado realízase un pre-test, que pretende analizar seus coñecementos previos e actitudes cara o seu patrimonio próximo. Realización das actividades da Fase 1. As actividades organízanse en función das diferentes realidades e contextos dos dous centros participantes. 16 Avaliación formativa. Lévase a cabo a avaliación procesual para comprobar os resultados parciais e poder modificar elementos que non estean axudando a lograr os obxectivos propostos (Pérez, 2006). Na avaliación participa o alumnado, profesorado e familias. Fase 2 Realización das actividades da Fase 2. Logo da análise da avaliación da fase 1 realízase cambios para a mellora do programa na segunda fase, que foron fundamentalmente na temporalización, e procédese a realización das actividades finais. Avaliación sumativa. Rematadas o programa realízase a avaliación global, na que participa o alumnado, profesorado, familias, autoridades locais e xestores do patrimonio. Avalíanse as aprendizaxes e competencias adquiridas polo alumnado e realízase unha avaliación do programa, recollendo as opinións de profesorado, familias, autoridades locais e xestores do patrimonio, para ponderar a eficiencia (adecuación do programa) eficacia (resultados de aprendizaxe logrados) e efectividade (resultados da difusión e impacto social). Metaavaliación. Revísase dun xeito crítico o programa, en base aos resultados, e a propia avaliación partindo dos estándares do Joint Committee on Standards for Educational Evaluation (Yarbrough, Shulha, Hopson e Caruthers, 2010). Analízase e valórase a calidade do global do programa e das avaliacións realizadas para poder tomar decisións e incorporar posibles cambios e melloras (Scriven, 1973; Stufflebeam, 2001). 17 Análise de datos. Esta investigación avaliativa dun estudo de casos incorpora o principio de complementariedade metodolóxica no que se utilizan instrumentos cualitativos e cuantitativos, que permiten obter información rigorosa dos múltiples aspectos do programa (Greene, 2005; Guba e Lincoln, 1989; Johnson, Onwuegbuxie e Turner, 2007; Stake, 1995). Para analizar os datos utilízanse diferentes programas informáticos. A análise de datos cuantitativos realízase usando os programas R 3.6.3 e mais SPSS v.26. Compleméntase coas valoracións discursivas da parte cualitativa, analizada co programa Atlas.Ti, v.8.4.4 (1135). Utilízanse diferentes técnicas de análise como son os coeficientes ponderados de concordancia de Bangdiwala (BWN) (Bangdiwala, 1987) a alfa de Cronbach, a analítica descritiva de frecuencias e distribución porcentual, ou as probas de McNemar para comprobar se existen diferencias significativas entre pre-test e posttest. Os datos cualitativos analízanse a partir dunha codificación aberta a partir do enraizamento de códigos do que se obtén o “Gr” (número de citas ligadas a un código) apoiándose nos sistemas de categorización deseñados (Glasser e Strauss, 1989). Publicacións Publicación 1. Educación patrimonial: necesidades sentidas por el profesorado de infantil, primaria y secundaria. Para atender ao obxectivo O1 desta investigación, preséntase na Publicación 1 a avaliación de necesidades do profesorado en canto ao traballo co patrimonio nas aulas. A avaliación de necesidades considérase o primeiro paso do Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Marca a distancia entre a situación inicial e a desexable (Kaufman, 1977; Pérez, 1991). A avaliación de necesidades do profesorado é un aspecto pouco estudado no ámbito da 18 educación patrimonial, e resulta imprescindible para a formulación de obxectivos a lograr na educación formal. No estudo participan 40 profesores dos tres niveis educativos: educación infantil, primaria e secundaria de dous centros educativos da provincia de A Coruña. Para a recollida de datos úsase unha enquisa mixta formada por 19 ítems cerrados e 1 de resposta aberta. A análise realizase a partir dun sistema de categorías en base a catro dimensións: formación, contexto social, metodoloxía e resultados esperados dun programa de educación patrimonio. Os resultados mostran a demanda do profesorado en activo de mellorar a súa formación específica neste campo, a necesidade de contar con materiais específicos sobre patrimonio local e de vincular o traballo da aula coa comunidade educativa, familia e comunidade local. A partir do estudo considérase relevante a adecuación dos deseños de programas de educación patrimonial ás necesidades sentidas polos axentes implicados. Publicación 2. Patrimonializarte: A Heritage Education Program Based on New Technologies and Local Heritage. Nesta publicación, que responde ao obxectivo O2, a avaliación do deseño do programa Patrimonializarte e da metodoloxía relacionada coa utilización das TIC por parte do alumnado e do profesorado participante. Preténdese coñecer se o deseño é coherente e pertinente a partir do xuízo de expertos e se son eficaces as actividades relacionadas coas TIC. Trátase dunha investigación avaliativa de natureza mixta na que se realiza un estudo colectivo de casos. O deseño da avaliación parte da revisión bibliográfica sobre a investigación avaliativa (Madaus e Stufflebeam, 2000; Escudero, 2011) e segue os novos enfoques neste ámbito para establecer unha avaliación integral, integrada e integradora (Escudero, 2016; Pérez, 2006). Os principais resultados mostran que a avaliación do deseño e instrumentos do programa conseguen un grao de acordo óptimo por 19 parte do panel de expertos en cuanto a las variables medidas. O alumnado e profesorado avalían positivamente el uso de las TIC para o traballo con patrimonio. O e-learning e m-learning permiten motivar ao alumnado no proceso de ensino-aprendizaxe (Ibez-Etxeberria, Kortabitarte, De Castro e Gillate, 2019; Ott e Pozzi, 2010). O traballo coas TIC adquire importancia neste estudo polas posibilidades de difusión do patrimonio que ofrecen. Considérase pertinente unha avaliación integral de programas para coñecer a súa multidimensionalidade, pois é unha materia pendente neste ámbito (Fontal, 2016a; Fontal e García, 2019, Sánchez-Macías, Fontal e Rodríguez-Medina, 2019). Publicación 3. Educación patrimonial para una ciudadanía participativa. Evaluación de resultados de aprendizaje del alumnado en el programa Patrimonializarte. O terceiro artigo recolle a avaliación inicial, procesual e global do programa en base aos resultados de aprendizaxe do alumnado participante, para atender ao obxectivo O3 desta investigación. Participan no estudo 111 alumnos dos dous centros educativos nos que se leva a cabo o programa Patrimonializarte. O programa entende o patrimonio local desde unha perspectiva holística e pretende contribuír á formación dunha cidadanía crítica e comprometida co patrimonio (Cuenca-López, Martín-Cáceres, e Estepa, 2020). Considérase relevante que o estudo do patrimonio comece na educación infantil, e siga na educación primaria e secundaria para que o alumnado cree unha identidade compartida, valore e se conciencie co patrimonio próximo (Domínguez e López-Facal, 2015; Peinado, 2020; Trabajo-Rite e Cuenca-López, 2020). Séguese o principio de complementariedade metodolóxica, combinando métodos cuantitativos e cualitativos (Cook e Reichardt, 1982; Stake, 1995). Os principais resultados mostran un impacto na conciencia de conservación no alumnado de educación infantil, unha preocupación polo patrimonio inmaterial en educación 26 campo de coñecementos. Considérase relevante a participación na avaliación de todos os axentes implicados no programa, pois son estes os que dan valor e sentido ao patrimonio. Capítulo 1. Introdución 27 CAPÍTULO 1. INTRODUCIÓN 1.1. XUSTIFICACIÓN Esta investigación trata a educación patrimonial nos tres niveis educativos obrigatorios de escolaridade formal: educación infantil, primaria e secundaria. Nos últimos anos téñense publicado diversos estudos que fan fincapé na importancia da educación patrimonial neste ámbito (Domínguez e López-Facal, 2015; Fontal, 2016; Fontal, IbáñezEtxeberria, Martínez, e Rivero, 2017; Monti et al., 2017; Peinado, 2020; Trabajo-Rite e Cuenca-López, 2020). Tamén se ten destacado unha carencia de avaliacións dos programas e accións educativas en educación patrimonial (Fontal e García, 2019; Fontal, García, Arias, e Arias, 2019; Fontal e Martínez, 2017). Esta investigación pretende responder a estas carencias co deseño dun programa de educación patrimonial e dun modelo de avaliación do programa, que contribúa ao avance no coñecemento neste campo de coñecementos. Abórdase unha nova dimensión dentro da investigación en educación patrimonial, que concibe a avaliación dos programas como un proceso cíclico (planificación, acción e avaliación). É unha nova contribución a este ámbito baseada nunha revisión do modelo de Pérez Juste, que propón unha avaliación que teña en conta o conxunto de aspectos que inflúen no proceso e nos seus resultados (avaliación integral) que sexa consistente e coherente cos obxectivos que se pretenden (integrada) e propicia a reflexión das persoas e colectivos que participen no programa para que desde esa consciencia asuman un cambio, mellora ou innovación posterior (avaliación integradora) LETICIA CASTRO CALVIÑO 28 (Pérez, 2006; Pérez, 2016). As publicacións que forman parte desta tese doutoral abordan catro fases da avaliación realizada. Pártese, en primeiro lugar, dunha avaliación de necesidades para a formulación de obxectivos que contribúan a resolver as deficiencias ou necesidades atopadas. En función dos obxectivos, deseñase o programa e realízase a avaliación inicial (do deseño e dos instrumentos) incorporando as valoracións realizadas por expertos, que permite comprobar a calidade intrínseca do programa (contido, calidade técnica) e a súa adecuación ao contexto. O seguinte paso é a implementación do programa e a avaliación formativa (análise do cumprimento da planificación, adecuación e eficacia das actividades, satisfacción dos implicados). A avaliación realizada ao final do programa (sumativa) permite coñecer o nivel de logro acadado en función dos resultados de aprendizaxe e do impacto do programa na familia ou no contorno inmediato. Finalmente, realízase a metaavaliación. A metaavaliación, introducida por Scriven e desenvolvida en profundidade por Stufflebeam considérase o último paso na avaliación de programas e permite obter información crítica sobre o valor e a utilidade das valoracións para a toma de decisións e a mellora posterior de novas accións educativas (Scriven, 1969; Stufflebeam, 2001). O principal incentivo para o deseño e realización desta investigación foi a escaseza de estudos relacionados con avaliacións na educación patrimonial. Nos estudos previos dispoñibles, constátase a necesidade do profesorado de contar con formación específica para traballar o patrimonio nas aulas, e con materiais que lles axuden a realizalas (Castro-Fernández, Castro-Calviño, Conde-Miguélez e López-Facal, 2020). O estudo do patrimonio nas aulas realízase xeralmente desde unha mirada monumentalista e tradicional, que entende o patrimonio como recurso e non como fonte para o seu estudo (Cuenca-López, 2003; Jiménez-Pérez, Cuenca-López, e Ferreras-Listán, 2010). Esta perspectiva está presente no profesorado, pero tamén nos libros de texto Capítulo 1. Introdución 29 e nos currículos oficiais. O patrimonio é tratado coma unha anécdota, estudado sen rigor e sen un sistema ben definido (Cuenca-López, Estepa-Giménez, e Martín-Cáceres, 2017; Cuenca-López e LópezCruz, 2014; Estepa, Ferreras, López, e Morón, 2011). Outra das motivacións deste estudo, foi a de poñer de manifesto a importancia que ten o patrimonio para diversos colectivos e intentar aportar orientacións e recursos para paliar a carencia de referencias que ofrecen os materiais dispoñibles. A principal contribución deste estudo á investigación en educación patrimonial consiste en aportar unha proposta innovadora que recolle a avaliación dun programa educativo para a educación formal, desde a educación infantil até a secundaria obrigatoria, deseñado ex profeso e avaliado tras o seu desenvolvemento na práctica. Ademais deséñase un modelo de avaliación de programas de educación patrimonial, ao que chamamos MAPEP, que pretende servir de referencia a estudos posteriores e contribuír a creación do que Pérez (2000) chama cultura avaliativa: Crear unha auténtica cultura avaliativa tería uns froitos espectaculares; tal cultura supón a existencia de aptitude e de actitude positiva, ao que se uniría o coñecemento, a información relevante para a mellora que ofrece a avaliación. Ao caer en terra ben abonada pola actitude favorable, unha información de tal natureza daría os seus froitos no compromiso coas decisións de mellora dos plans, proxectos, procesos e resultados. (Pérez, 2000, p.266:en castelán no orixinal, tradución propia). O programa, titulado Patrimonializarte, lévase a cabo durante o curso académico 2018/2019 en dúas escolas de Galicia. Trata o patrimonio desde unha perspectiva holística, na que se inclúen diversas manifestacións patrimoniais (Fontal, 2003; Martín-Cáceres e CuencaLópez, 2015). LETICIA CASTRO CALVIÑO 30 O programa contempla tanto o patrimonio material como o inmaterial: incorpora o estudo da toponimia, da música, dos costumes e formas de vida do pasado, da fotografía, dos oficios tradicionais, do patrimonio arqueolóxico, das cantigas e do espazo. Pártese do estudo do patrimonio próximo ao alumnado para lograr unha identificación e unha sensibilización que favoreza unha conciencia patrimonial que contribúa a unha actuación sostible sobre o patrimonio (Marqués, Castro-Fernández, e López-Facal, 2020; Pinto e Zarbato, 2017). Ademais, o estudo recolle os tres niveis educativos, educación infantil, primaria e secundaria, algo pouco común neste tipo de investigacións nas que predominan as etapas de primaria e secundaria. A novidade e relevancia da investigación ten relación coa recollida de opinións de todos os axentes implicados no programa, tanto directa como indirectamente (Fetterman, 2001; Fetterman, Kaftarian, e Wandersman, 2015, Pérez, 2016). Participan os directamente implicados no proceso educativo, escolares e profesorado, e tamén os indirectos ou axentes externos: familias, autoridades locais e xestores do patrimonio. O estudo e a proxección do patrimonio en tempos futuros depende en gran medida da didctica (da investigación aplicada na práctica e para dar resposta a problemas de ensino e aprendizaxe) e tamén da importancia que se lle dea no presente, tanto nos centros escolares como desde as administracións e organizacións da sociedade civil, a que o estudo e a intervención na educación patrimonial estea presente no currculo sendo parte significativa das diversas áreas de coñecemento. Para valorar un elemento o primeiro paso é chegar  sensibilización, se algo non emociona non interesa, non se valora.  a, nese punto posterior de valoración dun elemento é cando se comeza a querer coñecer, cando se asume e se desexa coidar, conservar, difundir e a desfrutar. A educación patrimonial conecta as persoas cos bens patrimoniais (Fontal, 2003). Capítulo 1. Introdución 31 Todas as accións educativas que se realicen para facer entender o patrimonio, permiten compartir e difundir os coñecementos globais que xera a aprendizaxe do patrimonio entre as persoas máis próximas, contribuíndo a convertelas, á súa vez, en axentes de difusión e multiplicando o impacto social da educación na comunidade da que forman parte. 1.2.OBXECTIVOS Preténdese comprobar en que medida é positiva a realización de programas de educación patrimonial no ensino obrigatorio enfocados  sensibilización,  apropiación simbólica e á actuación sobre o patrimonio local. Quérese analizar se o estudo do patrimonio favorece os procesos de construción de identidades inclusivas na educación infantil, primaria e secundaria. Para iso deséñase un modelo de avaliación de programas de educación patrimonial que comprobe a eficacia, eficiencia e efectividade do programa. Atendendo a estes obxectivos xerais establécense os seguintes obxectivos da investigación e os seus correspondentes obxectivos específicos: O1. Identificar as necesidades do profesorado dos tres niveis educativos para desenvolver actividades de educación patrimonial (Publicación 1). O1E1. Construír un instrumento coherente e pertinente para a avaliación de necesidades. O1E2. Realizar un diagnóstico de necesidades non satisfeitas. O1E3. Formular metas e obxectivos a acadar en futuros programas de educación patrimonial para superar as necesidades sentidas. O2. Avaliar o deseño e os instrumentos do programa Patrimonializarte (Publicación 2). LETICIA CASTRO CALVIÑO 32 O2E1. Analizar se o deseño do programa e os seus instrumentos son coherentes e pertinentes. O2E2. Identificar a valoración do alumnado sobre a metodoloxía utilizada. O3. Desenvolver unha avaliación inicial, procesual e final dos resultados de aprendizaxe do alumnado (Publicación 3). O3E1. Comprobar se o alumnado adquiriu aprendizaxes significativas tras a realización do programa. O3E2. Identificar as valoracións do alumnado sobre a metodoloxía utilizada. O4. Realizar unha avaliación formativa e sumativa do programa en base ás opinións de profesorado, familias, autoridades locais e xestores do patrimonio (Publicación 4). O4E1. Analizar se se acadaron os obxectivos previstos no programa. O4E2. Comprobar a eficacia, eficiencia e efectividade do programa. O4E3. Coñecer o impacto do programa nos axentes externos ou indirectos do mesmo. O4E4. Identificar o grao de satisfacción dos axentes implicados no programa. Por último, o obxectivo 5 (O5) correspondente á Discusión. O5. Realizar unha metaavaliación que identifique, contraste e valore globalmente a calidade do programa e do seu modelo de avaliación. O1E2. Comprobar se o modelo de avaliación de programas de educación patrimonial (MAPEP) é eficaz, eficiente e efectivo. O1E2. Analizar se o modelo foi quen de avaliar todos os puntos que se definiron no seu deseño. O5E3. Acreditar se o programa e o seu modelo de avaliación podería ser aplicable a outros centros e contextos. Capítulo 2. Marco teórico 33 CAPÍTULO 2. MARCO TEÓRICO 2.1. AVALIACIÓN DE PROGRAMAS 2.1.1. Investigación avaliativa A investigación avaliativa, na que se inclúe a avaliación de programas, é unha campo de coñecementos que ten experimentado cambios notables no último século e medio. O seu principal obxectivo é constatar a maneira na que se desenvolveu un proceso de investigación, de innovación ou doutra natureza, para obter coñecementos que permitan tomar decisións fundamentadas. Este tipo de investigación preséntase nun contexto real e ao servizo das políticas sociais. A educación foi un dos ámbitos prioritarios de estudo, o que contribuíu a impulsar o crecemento da propia investigación educativa e avaliativa (Escudero, 2011). Realizáronse diversas aproximacións históricas, entre outras as de Madaus e Stufflebeam e a de Escudero, que coinciden en situar os inicios da investigación avaliativa como disciplina a mediados do século XX (Madaus e Stufflebeam, 2000; Escudero, 2011). Existe certo consenso en identificar diferentes etapas na investigación educativa e polo tanto na avaliación de programas. De acordo a Madaus e Stufflebeam (2000) Stufflebeam e Shinkfield (1987) Guba e Lincoln (1989) Martínez (1996) e Escudero (2003, 2011) poden establecerse as seguintes etapas na investigación avaliativa. En primeiro lugar, Lukas e Santiago mencionan unha etapa anterior aos tests e a medición (Lukas e Santiago, 2004). Poden remontarse, incluso, ao 2000 a.C. en China, onde se realizaban un tipo de LETICIA CASTRO CALVIÑO 34 cuestionarios ou tests para acceder á administración do Estado. Na Grecia clásica, Sócrates recorreu a preguntas que poderían considerarse como enquisas avaliadoras que formaban parte da súa metodoloxía didáctica no século V. A partir do s. XIX xeneralizouse a preocupación por mellorar a eficacia dos programas de educación. Lukas e Santiago destacan aportacións como as de Fechner, que fixo as primeiras medicións para tratar de aplicalas ao estudo da mente e desenvolveu o concepto estatístico de mediana; Wundt e o seu laboratorio de psicoloxía iniciaron o desenvolvemento da metodoloxía de observación e rexistro do comportamento humano observable; Galton, o primeiro en empregar estatísticas para analizar datos psicopedagóxicos e introdutorios sobre o concepto de “proba mental”; Binet, que proporcionou a primeira escala métrica de medición da intelixencia. Destacan dous estudos pioneiros, un levado a cabo por Mann en 1845 en varias escolas de Boston (EE. UU) con probas de rendemento para avaliar a efectividade de programas de instrución; outro, un estudo de Rice, quen, na mesma liña que Mann, realizou a finais do século XIX avaliacións de programas en numerosas escolas de EE. UU. Esta foi considerada como a primeira avaliación formal (Lukas e Santiago, 2004). Desde principios do século XX iníciase a etapa dos tests, coñecida como a etapa de eficiencia (1901-1929) o que Guba e Lincoln chamarían The First Generation ou xeración de medición (Guba e Lincoln, 1989). Nela, hai un auxe nas probas escolares, utilizadas como indicadores da calidade das escolas e probas psicolóxicas, caracterizadas pola investigación empírica. Algúns autores combinan o primeiro e o segundo período, chamándoo período pre-tyleriano, xa que nas súas críticas marcan como o principal punto de partida a quen é considerado como o pai da avaliación educativa moderna, Ralph W. Tyler (Madaus, Stufflebeam e Scriven, 1983; Escudero, 2011; Stufflebeam e Shinkfield, 1987). Capítulo 2. Marco teórico 35 Hai unha certa unanimidade sobre a aparición da avaliación educativa moderna. Moitos autores refírense a este fito co nome de Tyler e datan esta etapa entre 1930 a 1945. En 1942 Tyler realizou un estudo de seguimento de oito anos en 30 escolas, Eight-Year Study, no que realizou unha avaliación de programas para analizar a eficacia dos currículos. Esta investigación recoñécese como o primeiro estudo sistemático e rigoroso de avaliación de programas. Acuñou o termo “avaliación educativa” e publicou unha ampla visión do currículo e da avaliación baseada en obxectivos. Propón a necesidade dunha avaliación científica como disciplina propia, cuxo obxectivo é mellorar a educación. Propón un modelo de avaliación educativa no que prevalece a consecución de obxectivos, a organización do currículo en función deles e a emisión de xuízos de valor sobre a información recollida, algo que a afasta da medición (Tyler, 1949). Entre 1946 e 1957 vívese unha etapa pouco produtiva na investigación avaliativa por mor dos problemas subxacentes durante a posguerra. Coñécese como a etapa da inocencia. Lévanse a cabo avances no desenvolvemento de instrumentos e estratexias aplicables a métodos de avaliación, como probas estandarizadas, técnicas de medición, taxonomías obxectivas e fundamentos para o deseño de probas. Aínda que non se realizan avaliacións para a mellora da educación (Stufflebeam e Shinkfield, 1987). Na segunda metade do século XX produciuse a etapa de expansión. Algúns autores refírense a ela como a etapa do realismo (Stufflebeam e Shinkfield, 1987) ou a era da rendición de contas (Escudero, 2011). Desde 1958 ata 1972, avanzouse no desenvolvemento da avaliación de programas. Durante os anos 60 o suxeito da avaliación era o alumnado, coñécese pola época da descrición, o que Guba e Lincoln chaman The Second Generation (Guba e Lincoln, 1989). A finais dos anos 60 hai unha etapa caracterizada pola rendición de contas e coñecida como a da Responsabilidade (Accountability) con avaliacións orientadas aos individuos (estudantes e profesores). Comeza un período de producións LETICIA CASTRO CALVIÑO 42 difusión é importante para o seu recoñecemento e posta en valor por parte dos cidadáns. Creemos, por tanto, que do mesmo modo que aprender é xerar vínculos cos contidos, patrimonializar é vincularse ao patrimonio de forma consciente, incorporando o ben ao construto identitario do individuo. Ambos, contidos de ensinanza/aprendizaxe e patrimonio, son o obxecto de creación do vínculo, xerándose como resultado os procesos de aprendizaxe do patrimonial e a propia construción identitaria. (Fontal e Marín-Cepeda, 2018, p.486: en castelán no orixinal; tradución propia). O patrimonio é un importante portador de valores sociais, que han de ser difundidos. O traballo debe iniciarse no marco dunha ensinanza regrada, desenvolvendo nos futuros cidadáns unha sensibilidade e unha concienciación que sern claves para a súa formación. Domínguez e López-Facal (2017a) desenvolven tres liñas de acercamento ao patrimonio: a) o rexeitamento a proporcionar patrimonios predeterminados, senón a abrir procesos de apropiación en contornas próximas ou afastadas, desde a paisaxe na súa totalidade ata elementos que a integran; b) a vontade de propiciar procesos de identificación como escenario para a construción de identidades sociais inclusivas; c) incide no papel que desempeñan nestes procesos o coñecemento o racional e o emocional, de forma non excluínte. Así o coñecemento social permite espertar emocións que poñen en marcha mecanismos de identificación-apropiación que, á súa vez, facilitan unha mellor valoración do coñecemento social. Capítulo 2. Marco teórico 43 (Domínguez e López-Facal, 2017a, p.50: en castelán no orixinal; tradución propia). O traballo co patrimonio na educación formal permite desenvolver capacidades no alumnado, tales como a conciencia patrimonial, o coñecemento histórico e o pensamento crítico (Alves e Pinto, 2019). O patrimonio abordase cada vez máis desde unha perspectiva holística que combina emocións e identidades sobre a contorna inmediata para o desenvolvemento dunha cidadanía crítica, comprometida e consciente co desenvolvemento sostible do patrimonio (Cuenca-López, Martín-Cáceres e Estepa, 2020; Delgado-Algarra e Cuenca-López, 2020; Martín-Cáceres e Cuenca-López, 2015). Martín-Cáceres e Cuenca-López (2015) definen educación patrimonial como: [...] a disciplina responsable de analizar e desenvolver propostas didácticas (en contextos educativos formais, non formais e informais) de carácter investigativo, transdisciplinar e sociocrítico, no que o deseño e desenvolvemento de finalidades, contidos e estratexias metodolóxicas propicien a construción de valores identitarios, fomentando o respecto intercultural e o cambio social, e conducindo á formación dunha cidadanía socioculturalmente comprometida. (Marín-Cáceres e Cuenca-López, 2015, p.38: en castelán no orixinal; tradución propia). Varios estudos realizados en España destacan as deficiencias atopadas nos plans de estudos de Ciencias Sociais en termos de educación patrimonial (Cuenca-López e López-Cruz, 2014; Cuenca-López, Estepa e Martín-Cáceres, 2017). Como resposta a esta situación, considérase necesario traballar en programas de educación patrimonial LETICIA CASTRO CALVIÑO 44 integrados, integrais e integradores, nos que se aplique unha avaliación rigorosa e planificada e que impliquen a toda a comunidade educativa para acadar aprendizaxes significativas. Os estudos realizados en España entre profesores en formación e en exercicio sobre o ensino do patrimonio amosan que as súas concepcións están limitadas a unha dimensión histórico-artística (Cuenca, 2003; Jiménez-Pérez, Cuenca e Ferreras-Listán, 2010; Gómez-Carrasco, López-Facal, e Castro-Fernández 2019). Esta perspectiva tamén é común nos currículos educativos e nos libros de texto (Cuenca, Estepa e Martín-Cáceres, 2017; Cuenca e López-Cruz, 2014; Estepa, Ferreras, López e Morón, 2011). Considérase importante que o vínculo co patrimonio comece desde a educación formal e desde idades temperás. O estudo do patrimonio desde os primeiros cursos de educación infantil contribúe a promover unha aprendizaxe social significativa. Nestes anos existe a oportunidade de comezar a percibir unha identidade compartida que favorece a posta en valor e a concienciación sobre a conservación dos bens patrimoniais próximos (Gómez e Fenoy, 2016; Peinado, 2020). O traballo co patrimonio in situ é unha estratexia metodolóxica efectiva. Saír da aula para coñecer o patrimonio próximo axuda ás nenas e nenos a desenvolver habilidades e coñecementos a partir dunha aprendizaxe experiencial (Monti et al., 2017). Na educación primaria desencadéanse procesos de patrimonialización e identificación co patrimonio próximo e amplíase a conciencia de compartilo con outras persoas (Domínguez e López-Facal, 2015; Fontal, Ibáñez-Etxeberria, Martínez, e Rivero, 2017). Na educación secundaria atópanse máis propostas de educación patrimonial utilizando o patrimonio como recurso didáctico. As metodoloxías activas neste nivel axudan a formar unha cidadanía crítica e responsable coa conservación dos bens patrimoniais (Fontal, 2016; Trabajo-Rite e Cuenca-López, 2020). Capítulo 2. Marco teórico 45 2.4.PATRIMONIO LOCAL: VÍNCULO ENTRE O INDIVIDUO E A CONTORNA O patrimonio local é considerado coma un potente instrumento social ao servizo da comunidade. Prats recoñece que no ámbito local, o valor concedido ao patrimonio, a identidade colectiva, convértese en vivencial, o que revela a natureza dese patrimonio, que se basea na memoria (Prats, 2005). O sentido de pertenza a un lugar e o valor que se lle concede ao propio crea vínculos con elementos patrimoniais. Esta apreciación do patrimonio parten do local para chegar ao global (Martínez, Riveiro e Domínguez, 2019; Pinto e Zarbato, 2017). O patrimonio desempeña un papel activo nas comunidades que participan na súa preservación e xestión (Marqués, Castro-Fernández e LópezFacal, 2020). A identificación co propio, a creación dunha comunidade integradora que actúe sobre o patrimonio dun xeito crítico e sostible, pasa por unha educación baseada nos lugares. Este enfoque inspira a estratexia coñecida como Educación Baseada no Lugar, en inglés Place Based Education (PBE) que pretende educar de forma sostible valorando o espazo comunitario no que está situada a escola (Sánchez e Murga-Menoyo, 2019; Woodhouse e Knapp, 2000). A Declaración de Delhi sobre Patrimonio e Democracia subliña a importancia da participación cidadá para a xestión sostible do patrimonio (ICOMOS, 2017). Existen estudios que mostran a escasa valoración que os profesores en formación dan á historia local e ao patrimonio inmaterial (GómezCarrasco, Miralles-Martínez, Fontal e Ibáñez-Etxeberria, 2020). Considérase relevante traballar nesta liña, xa que a inclusión do patrimonio inmaterial nos programas educativos é esencial para a súa salvagarda (UNESCO, 2003; Kirshenblatt-Gimblett, 2004; Lenzerini, 2011; Yang, Shafi, Song e Yang, 2018). Ademais, recoñecer o patrimonio local como un patrimonio importante, real, propio e con visións de futuro, pode xerar accións ou, como menciona Prats, LETICIA CASTRO CALVIÑO 46 activacións patrimoniais, que permitan manter relacións sostibles con el desde a política local partindo das interpretacións sociais (Prats, 2005) Capítulo 3. Metodoloxía 47 CAPÍTULO 3. METODOLOXÍA 3.1. ENFOQUE METODOLÓXICO: MODELO DE AVALIACIÓN DE PROGRAMAS DE EDUCACIÓN PATRIMONIAL (MAPEP) Deséñase o Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP) (Figura 1). Avalíase o programa Patrimonializarte: un programa de educación patrimonial deseñado ex profeso e que que consta de dúas fases que se basean no estudo do patrimonio próximo ao alumnado. Séguese un modelo integral, integrado e integrador no que se leva a cabo a avaliación en diferentes momentos: avaliación de necesidades; avaliación inicial; avaliación formativa; avaliación sumativa e metaavaliación (Pérez, 2002; Pérez 2006). Figura 1. Momentos de avaliación do MAPEP a partir de Pérez (2006) Paralelamente á realización do programa realízase a avaliación. O proceso divídese en dúas fases. Na primeira analízanse as necesidades Avaliación de necesidades Deseño do programa Avaliación do deseño Avaliación inicial Realización actividades Fase 1 Avaliación formativa Realización actividades Fase 2 Avaliación sumativa Metaavaliación LETICIA CASTRO CALVIÑO 48 de educación patrimonial do profesorado dos dous centros participantes. Con base ás necesidades atopadas deséñase o programa e os instrumentos de avaliación (MAPEP). Estes son avaliados atendendo a composición documental e á coherencia interna e externa. Co programa revisado realízase a avaliación inicial dos coñecementos do alumnado e inícianse as actividades programadas. Seguindo a Pérez (2006) durante a realización do programa lévase a cabo unha avaliación formativa, do proceso de ensino e aprendizaxe, para analizar a execución do programa (conformidade coa planificación e existencia de efectos non planeados) e o marco ou contexto (coherencia co programa e satisfacción dos axentes implicados). Na segunda fase, ao remate da realización das actividades, lévase a cabo a avaliación final ou sumativa con alumnado, profesorado, familias, autoridades locais e xestores do patrimonio. Con ela preténdese comprobar a eficacia, eficiencia e efectividade do programa, así como o seu impacto e o grao de satisfacción dos axentes implicados. A avaliación da propia avaliación (metaavaliación) é o último paso deste modelo, que permite analizar a calidade, o valor e utilidade da avaliación realizada (Stufflebeam, 2001). Trátase dunha investigación avaliativa sobre un estudio colectivo de casos (Stake, 1995). A complexidade da avaliación; os múltiples obxectos a avaliar, e os diferentes suxeitos avaliadores requiren un sistema planificado baseado no principio de complementariedade metodolóxica que inclúa instrumentos para a análise cuantitativa e para a cualitativa (Guba e Lincoln, 1989; Johnson, Onwuegbuxie e Turner, 2007). Isto permite obter información rigorosa da multidimensionalidade do programa aplicado e dos seus contextos particulares (Greene, 2005; Onwuegbuzie e Hitchcock, 2017; Venkatesh, Brown e Bala, 2013; Johnson e Onwuegbuzie, 2004; Creswell e Garrett, 2008). Implícase a todos os afectados, directa ou indirectamente, polo programa. Forman parte como axentes avaliadores o alumnado, Capítulo 3. Metodoloxía 49 profesorado, familias, autoridades locais e xestores do patrimonio, e tamén outros receptores do programa (Fetterman, 2001; Fetterman e Wandersman, 2007, Fetterman, Kaftarian e Wandersman, 2015). 3.1.1. Avaliación de necesidades O paso previo ao deseño dun programa é a avaliación de necesidades (Álvarez, Echeverra, Marn, Rodrguez e Rodrguez, 1991). Identifícanse as necesidades de educación patrimonial de 40 docentes dos niveis de educación infantil, primaria e secundaria de dous centros educativos da provincia de A Coruña. A avaliación de necesidades enténdese coma unha análise de discrepancias que nos levan da situación actual á situación desexable (Kaufman, 1977; Pérez, 2006). É preciso realizar un diagnóstico das necesidades atopadas para a toma de decisións e a formulación de obxectivos que conformen un programa que supla esas necesidades (Marciel de Oliveira, 2018; Nieto, 2012; Wiktin e Altschuld, 1995). Deséñase un instrumento de carácter mixto que integra a metodoloxía cuantitativa e a cualitativa. Consiste nun cuestionario con 19 ítems que utiliza unha escala Likert con 5 opcións de resposta: 0=NS/NC; 1=En absoluto; 2=Non moito; 3=Bastante e 4=Moito. A pregunta 20 é de carácter aberto (Táboa 1). LETICIA CASTRO CALVIÑO 50 Táboa 1. Cuestionario para a avaliación de necesidades do profesorado Escala de importancia NS/NC En absoluto Non moito Bastante Moito V1. Contar con formación específica en educación patrimonial axudaría á miña labor docente. 0 1 2 3 4 V2. Unhas xornadas teóricas e prácticas sobre educación patrimonial serían de gran axuda para a miña formación. 0 1 2 3 4 V3. Gustaríame contar con materiais de traballo específicos para a educación patrimonial. 0 1 2 3 4 V4. Realizar un programa integrado de educación patrimonial no que participe todo o centro pareceríame unha boa idea. 0 1 2 3 4 V5. Integrar o estudo do patrimonio no currículo axudaría a organizar as miñas clases. 0 1 2 3 4 V6. Resultaría moi positiva a colaboración entre materias para o traballo co patrimonio. 0 1 2 3 4 V7. Traballando o patrimonio local contribuiríase a que o alumnado coñecese máis o propio. 0 1 2 3 4 V8. Traballando o patrimonio local conseguiríase unha difusión da cultura da localidade. 0 1 2 3 4 V9. Traballando o patrimonio local conseguiríase que o alumnado valorase o seu entorno. 0 1 2 3 4 V10. Traballando co patrimonio local o alumnado identificaríase coa súa cultura e sensibilizaríase con ela. 0 1 2 3 4 V11. Pareceríame boa idea que diferentes organizacións e personalidades se achegasen ao centro para realizar actividades de educación patrimonial. 0 1 2 3 4 Capítulo 3. Metodoloxía 51 V12. Pareceríame boa idea facer saídas co alumnado a diversas organizacións e institucións para traballar co patrimonio. 0 1 2 3 4 V13. Que os concellos, museos e diversos organismos ofrecesen ao centro materiais cos que poder traballar o patrimonio local sería moi positivo. 0 1 2 3 4 V14. Resultaría moi efectivo realizar talleres, obradoiros, charlas, etc., sobre educación patrimonial con persoas externas ao centro. 0 1 2 3 4 V15. Resultaría moi efectivo que o alumnado fixese traballos de investigación sobre patrimonio. 0 1 2 3 4 V16. Sería moi positivo que as familias se implicasen no traballo do centro sobre patrimonio (busca de información, entrevistas, coloquios, etc.). 0 1 2 3 4 V17. Sería moi positivo que os veciños e veciñas colaborasen co traballo do centro sobre patrimonio (entrevistas, historias de vida, relatos, etc.). 0 1 2 3 4 V18. Considero que as saídas do centro para realizar traballos de campo sobre el patrimonio local serían moi efectivas. 0 1 2 3 4 V19. Realizar traballos de creación de materiais sobre o patrimonio co alumnado sería moi positivo. 0 1 2 3 4 Pregunta aberta V20. Que temas che gustaría tratar nun programa de educación patrimonial arraigado ao entorno? Comenta as actividades que farías para o mesmo. LETICIA CASTRO CALVIÑO 58 Renovacións metodolóxicas Programa integrado de educación patrimonial Deseño e posta en práctica dun programa integrado de educación patrimonial, no que participe todo o centro educativo. Integración curricular A educación patrimonial pode espertar maior sensibilización social canto máis arraigado estea o entorno próximo no currículo escolar. Traballo multidisciplinar A colaboración entre materias pode contribuír a construír unha mirada educativa máis ampla para o traballo co patrimonio. Traballo co patrimonio local (Ítems 7-13) Oportunidades Coñecemento do propio A través do traballo co patrimonio local contribúese a que o alumnado coñeza e comprenda onde vive. Difusión A través do traballo co patrimonio local conséguese dar visión á cultura da localidade desde o centro educativo. Valorización A través do traballo co patrimonio local os alumnos valoran o propio. Identización A través do traballo co patrimonio local os alumnos identifícanse e sensibilízanse co propio. Relación educación formaleducación non formal Asistencia ao centro Persoal do concello, museos e diferentes organismos e institucións achéganse ao centro para realizar actividades no eido da educación patrimonial. Contacto con organismos e asociacións Os alumnos saen do centro para achegarse a institucións, recursos patrimoniais, realizar traballos de investigación, etc. Recursos materiais específicos As diversas institucións ofrecen diferentes materiais cos que poder traballar no centro. Actividades de educación patrimonial (Ítems 14-20) Boas prácticas Talleres con expertos externos Diferentes personalidades achéganse ao centro para realizar talleres, obradoiros, charlas, coloquios, etc. Traballos de investigación Os rapaces traballan de xeito autónomo, buscando información por si mesmos. Relación coas familias As familias implícanse nos traballos do centro, colaboran en entrevistas, coloquios, busca da información, etc. Capítulo 3. Metodoloxía 59 3.1.2. Procedemento e deseño do programa Patrimonializarte Realízase unha primeira reunión informativa do programa nos centros nos que se desenvolve a avaliación de necesidades para implicar e incorporar ao profesorado participante. Realízase un grupo de discusión co profesorado participante no que se consensúa a estrutura do proceso de realización do programa: - Información para o alumnado da planificación e metodoloxía que se levará a cabo. - Realización de tarefas de aula. - Realización de tarefas conxuntas (festividades, transmisión de resultados de un curso a outro, exposicións). - Avaliación do programa: avaliación do programa por parte de alumnado e profesorado. - Transferencia de coñecementos á comunidade escolar e local. Na segunda reunión de coordinación realízase outro grupo de discusión e acórdanse as funcións organizativas en cada centro (Táboa 7). O deseño do programa baséase nos obxectivos extraídos da avaliación de necesidades e adáptanse aos contextos diferentes dos dous centros educativos nos que se leva a cabo. Relación coa sociedade Os veciños colaboran nos traballos do centro, entrevistas a maiores, historias de vida, relatos e lendas. O centro devolve o coñecemento á sociedade (redes de aprendizaxe). Saídas Os alumnos saen do centro para realizar traballos de campo. Actividades de creación Os alumnos realizan traballos de creación de materiais, motivando a creatividade e o traballo autónomo. Programa integrado Temas e actividades Pregunta aberta LETICIA CASTRO CALVIÑO 60 Táboa 7. Funcións organizativas en cada centro Funcións dos axentes implicados no programa Profesorado Revisar a guía de contidos, actividades, competencias, obxectivos didácticos, criterios e estándares de avaliación entregada polo avaliador externo para propoñer cambios e melloras. Establecer o número de sesións de traballo e calendario anual, revisión de tarefas, e agrupamento do alumnado para o traballo no programa. Levar o seguimento do grao de consecución dos obxectivos da súa parte do programa. Guiar ao alumnado cara a aprendizaxe independente, motivándoo a traballar de forma autónoma e ofrecer toda a información e recursos que precisen durante a realización do programa. Avaliar o programa realizado en base aos criterios e estándares marcados nos instrumentos de avaliación. Coordinador do programa no centro Convocar ao profesorado participante para as reunións preparatorias e de seguimento do programa e comunicar posibles cambios na temporalización. Recoller os instrumentos de avaliación do profesorado. Resolver, xunto co avaliador externo, calquera dúbida que poida darse durante o desenvolvemento do programa. Avaliador externo Prestar a axuda necesaria en cada paso da aplicación do programa educativo. Durante a realización do programa realizará observación participante para cotexar a súa evolución, problemas ou posibles melloras. Elaborar unha guía do programa, con contidos, actividades, competencias, obxectivos didácticos, criterios e estándares de avaliación, para cada curso. Avaliar todo o proceso. 3.1.2.1. Contexto e participantes O programa desenvólvese en dous centros educativos e nos tres niveis de educación obrigatoria: educación infantil, primaria e secundaria. Trátase dunha mostra intencional escollida en base a criterios de viabilidade e rendibilidade do programa. O primeiro centro é un Colexio Público Integrado (CPI) (Centro 1) que se localiza nunha área rural do interior da provincia de A Coruña (aproximadamente 3.000 habitantes). O segundo é un Colexio de Educación Infantil e Primaria (CEIP) (Centro 2) que se atopa nunha vila próxima á cidade Capítulo 3. Metodoloxía 61 de A Coruña de aproximadamente 20.000 habitantes (máis de 30.000 no conxunto do concello). Na avaliación de necesidades seleccionase unha mostra de 40 profesores das tres etapas educativas dos dous centros N=15 do Centro 1 e 25 do Centro 2. Case a metade imparte docencia en educación primaria (16/40) 12 dos 40 en educación infantil (12/40) e os 8 restantes en educación secundaria. A maioría conta cunha ampla experiencia docente: case a metade leva entre 10 e 20 anos traballando; seguidos por profesorado con experiencia inferior a 10 anos e en menor medida os que levan mis de dúas décadas como docentes. O perfil formativo é relativamente homoxéneo (maioría de diplomadas e diplomados ou graduadas e graduados en educación primaria e infantil). Catro dos 40 teñen máis dunha titulación universitaria. Dentro dos participantes na aplicación do programa podemos diferenciar dos grupos: a) axentes implicados directamente no proceso educativo: alumnado, N=111(na primeira fase) e N=86 (na segunda fase, posto que non participan 25 alumnos de 3º de primaria do Centro 2) e profesorado, N=12; b) axentes indirectos ou externos ao programa: familias, N= 43, e autoridades locais e xestores do patrimonio, N=3. A súa distribución móstrase na Táboa 8. Entre o profesorado atópanse 2 de educación infantil, 3 de educación primaria e 7 de educación secundaria. Estes últimos imparten docencia en diferentes materias (Educación Física, Tecnoloxías da Información e da Comunicación, Música, Francés, Tecnoloxía, Lingua Galega e Literatura, Xeografía e Historia). En canto ás familias, na fase 1 entrevistáronse a 11 dos tres niveles educativos: 9 das 11 persoas que cobren a enquisa son nais. Na fase 2 participan 33 familias. Os pais conforman só o 15% das enquisas cubertas. O 85% tiña un emprego no momento de realización da enquisa. Case a metade das familias corresponden ás de escolares de LETICIA CASTRO CALVIÑO 62 educación infantil, sendo o grupo máis reducido o de educación secundaria. Táboa 8. Participantes no programa Patrimonializarte Axentes implicados directamente no proceso educativo Axentes externos Cursos e nivel Alumnado Profesorado Total de alumnos por nivel Infantil Primaria Secundaria Total de profesorado por nivel Infantil Primaria Secundaria Familias 22 Autoridades locais/xestores do patrimonio 2 Centro 1 6º Infantil 15 1 39 60 12 2 3 7 5º Primaria 10 1 2º ESO 12 7 Centro 2 6º Infantil 24 1 21 1 2º Primaria 25 1 3º Primaria 25 1 O grupo de autoridades locais e xestores do patrimonio está formado por tres persoas: unha técnica de cultura, unha monitora cultural e unha concelleira da administración local. 3.1.2.2. Obxectivos do programa Os obxectivos que se pretenden lograr son: - Identificar e analizar as percepcións previas e conceptos dos estudantes entorno ao patrimonio. - Analizar a eficacia do traballo cooperativo entre etapas educativas (infantil, primaria e secundaria). - Comprobar a eficacia da interdisciplinariedade para o traballo co patrimonio. - Estudar se enfocar o traballo co patrimonio a partir das emocións esperta curiosidade e a consecución de coñecementos por parte do alumnado. Capítulo 3. Metodoloxía 63 - Contribuír ao desenvolvemento de modelos identitarios, valorando os elementos patrimoniais da contorna do alumnado. - Contrastar se o estudo do patrimonio a través de programas de traballo innovadores reforza a identificación, sensibilización e actuación do alumnado alumno con e sobre a contorna próxima. - Verificar en que medida o alumnado é consciente da necesidade de conservación e difusión do patrimonio. - Comprobar a posibilidade de acción, difusión e conservación sobre o patrimonio coa realización do programa Patrimonializarte atendendo  súa repercusión na contorna. 3.1.2.3.Actividades realizadas Os contidos e competencias adaptáronse a partir dos currículos oficiais que afectan aos niveis de educación infantil, Decreto 330/2009, do 4 de xuño, polo que se establece o currículo da educación infantil; educación primaria, Decreto 105/2014, do 4 de setembro, polo que se establece o currículo da educación primaria; e educación secundaria, Decreto 86/2015, do 25 de xuño, polo que se establece o currículo da educación secundaria obrigatoria e do bacharelato na Comunidade Autónoma de Galicia (CCEOU, 2009; CCEOU, 2014; CCEOU, 2015). Tívose en conta a elevada carga de contidos ás que teñen que enfrontarse o profesorado para atender aos currículos oficiais. Por esta razón decídese adaptar os contidos do programa Patrimonializarte aos establecidos nos decretos citados, no canto de deseñar un programa afastado da práctica educativa que viñan realizando, o que podería aumentar o estrés do profesorado se tivese que ocuparse de máis contidos. Isto permite aplicar un programa alternativo e innovador, promovido desde fóra, sen deixar de cumprir cos contidos das programacións didácticas vixentes nos centros. Pártese do patrimonio local, relacionándoo co territorio para conseguir maior identificación e sensibilización do alumnado co LETICIA CASTRO CALVIÑO 64 patrimonio (Pinto e Zarbato, 2017; Palazón, 2016; Troitiño e Troitiño, 2018; Martín, 2016). Promóvese a participación no programa desde diversas ramas de coñecemento para conseguir un enfoque interdisciplinario na educación patrimonial (Cambil e Fernández, 2016). O programa divídese en dúas fases. Na Fase 1 (avaliación inicial e formativa) lévanse a cabo actividades relacionadas co patrimonio inmaterial. Preténdese que o alumnado se sensibilice e identifique co patrimonio local a partir de fotografías antigas que reflicten as formas de vida dos seus devanceiros e poden apreciarse cambios e continuidades que se deron na escola, oficios tradicionais e lugares. Na Fase 2 (avaliación sumativa) realízanse actividades que tratan o patrimonio local, intanxible: música, e toponimia; e o patrimonio da localidade esquecido, ou escasamente presente para os e as escolares, coma o arqueolóxico: megalitismo e cultura castrexa. Preténdese que o alumnado o recoñeza, se conciencie e o poña en valor actuando sobre el. As actividades están orientadas a difundir o patrimonio local para convertelo nun patrimonio vivo para a comunidade (Prats, 2005). Proponse un desafío ou produto final para que todos os grupos coincidan nalgún punto do programa. Nos dous centros realízanse exposicións abertas á comunidade escolar e local para transferir coñecemento e crear redes de aprendizaxe. A investigación realizada por todos os grupos participantes no programa inclúese no software de xeolocalización Geoaumentaty (Centro 1). As TIC son ferramentas útiles para o estudio do patrimonio e son a base para introducirse nunha nova metodoloxía que contribúa á alfabetización dixital do alumnado (Gómez-Carrasco e Chaparro-Sainz, 2020; Ibez-Etxeberria, Fontal e Rivero, 2018; Ibáñez-Etxerberria, Gómez-Carrasco, Fontal e GarcíaCeballos, 2020). Capítulo 3. Metodoloxía 65 Coa división do programa en dúas fases seguimos a secuencia significativa de procedementos para a educación patrimonial de Fontal: coñecer para comprender, comprender para respectar, respectar para valorar, valorar para coidar, coidar para desfrutar, e desfrutar para transmitir (Fontal, 2003). Con isto lógrase unha identificación co patrimonio. Súmase a esta investigación un novo chanzo nesta escada secuencial, que é a actuación (Fig. 2). É importante que os programas de educación patrimonial, ademais de cumprir cos obxectivos de adquisición de aprendizaxe por parte do alumnado, teñan impacto social fóra da aula con accións que favorezan unha relación sostible co patrimonio. Por iso, na Fase 2 céntrase a atención nas actividades de difusión e acción sobre o patrimonio. Figura 2. Secuencia de patrimonialización do programa Patrimonializarte baseada na proposta de Fontal (2003) As actividades deséñanse atendendo ás características de cada nivel educativo e ao contexto real de cada centro (Táboa 9). En educación infantil incorpóranse xogos que favorezan motivación e a asimilación significativa de contidos e poténciase a expresión artística. En educación primaria foméntase a motivación cara o patrimonio con saídas de campo e facilítanselle recursos dixitais para LETICIA CASTRO CALVIÑO 66 facer ao alumnado protagonista e axudarlles a realizar creacións audiovisuais propias. En educación secundaria utilízanse as TIC tamén para a que creen de contidos dixitais. Capítulo 3. Metodoloxía 67 Táboa 9. Actividades realizadas no programa Patrimonializarte Fase 1 Centro 1 Centro 2 Educación infantil A1-C1 Traballo con fotografías antigas dixitalizadas da escola local A1C2 Traballo con fotografías antigas dixitalizadas da escola local A2-C1 Realización de carteis comparativos: a escola de antes e a escola de agora A2C2 Visita de avós e avoas: historias da escola de antes A3-C1 Presentación do traballo ao curso de EP A3C2 Realización de carteis comparativos: a escola de antes e a escola de agora A4-C1 Visita de autora local: escritora de cantigas relacionadas co pasado do pobo (compartida EI, EP, ES) A4C2 Presentación do traballo ao curso de Educación Primaria A5-C1 Preparación e inauguración da 1ª exposición (compartida EI, EP, ES) A5C2 Preparación e inauguración da 1ª exposición (compartida EI, EP) Centro 1 Centro 2 Educación primaria A1-C1 Sesión co alumnado de EI que presentan a súa investigación sobre os cambios e continuidades na escola A1C2 Sesión co alumnado de EI que presentan a súa investigación sobre os cambios e continuidades na escola (G1-G2) A2-C1 Traballo con fotografías antigas dixitalizadas da súa localidade A2C2 Traballo con fotografías antigas dixitalizadas de oficios tradicionais (G1) e de lugares (G2) da súa localidade A3-C1 Saída ao entorno real das fotografías dixitalizadas para tomar novas fotografías desde a mesma perspectiva e comprobar cambios e continuidades A3C2 Creación dun itinerario con Google Maps para situar os lugares (G1-G2) A4-C1 Impresión das fotografías e elaboración de carteis comparativos e localización no mapa A4C2 Saída ao entorno real das fotografías dixitais para tomar novas fotografías desde a mesma perspectiva e comprobar cambios e continuidades (G1-G2) LETICIA CASTRO CALVIÑO 74 C2. Paso do tempo: cambios e continuidades V1. Nivel alto Recoñecen o paso do tempo mediante fotografías en branco e negro e mencionan cambios e continuidades que se deron desde a escola dos seus avós e avoas e a súa (vestimenta, formas de vida, entorno, instrumentos, ferramentas, etc.) V2. Nivel intermedio V3. Nivel baixo C3. Capacidades afectivas e emocións V1. Nivel alto Desenvolveron capacidades afectivas e emociones con respecto á escola do pasado. Recoñecen que prefiren a súa escola que a de antes polas comodidades que eles teñen e os seus avós e avoas non tiñan V2. Nivel intermedio V3. Nivel baixo C4. Valoración da metodoloxía utilizada V1. Nivel alto Valoración alta sobre la metodoloxía utilizada no programa V2. Nivel intermedio V3. Nivel baixo Fase 2 – Avaliación sumativa – Test proxectivo gráfico Categorías Preguntas C1.Percepcións sobre o estado de conservación do patrimonio Que hai no dolmen que está mal? C2. Expectativas sobre a conservación do patrimonio Como estaría mellor? Sistema de categorización Categorías Variables Descritores C1. Percepcións sobre o estado de conservación do patrimonio V1. Conservación O dolmen está mal coidado (fendeduras, faltan elementos). V2. Acción humana A xente non respecta o coidado do dolmen (por exemplo: sóbense nas pedras) V3. Información adicional Expresión de percepcións diferentes ás das variables anteriores, baseadas nos coñecementos adquiridos sobre os elementos patrimoniais C2. Expectativas sobre a conservación do patrimonio V1. Conservación El dolmen está coidado (non existen fendeduras, os seus elementos consérvanse) V2. Acción humana A xente respecta o coidado do dolmen (por exemplo: non se soben nas pedras) Capítulo 3. Metodoloxía 75 V3. Información adicional Expresión de percepcións diferentes ás das variables anteriores, baseadas nos coñecementos adquiridos sobre os elementos patrimoniais Avaliación sumativa – Entrevista grupal Categorías Ítems C1. Coñecementos adquiridos Para que servían os dolmens? Como se construían os dolmens/castros? A que se dedicaban os homes e mulleres desa época? Coñecedes algunha lenda que conte como se construíu o dolmen/castro? C2. Conciencia de conservación O dolmen/castro está been coidado? Vistes algunha cousa mala nel? Que cousa? C3. Capacidades afectivas e emocións Credes que é bo coidar o dolmen/castro? ¿Para que? Contásteslle a alguén como está o dolmen/castro? Gustaríavos dicirlles a todos o bo que é coidalo? C4. Valoración da metodoloxía utilizada Gustouvos coñecer o dolmen/castro e ir visitalo? Por que? Gustouvos facer unha bufanda/termómetro para conservar o dolmen? Por que? Gustouvos ensinarlle a todo o mundo o voso traballo na exposición? Por que? Que actividade das que fixestes vos gustou máis? Por que? Gustaríavos seguir traballando sobre o patrimonio? Sistema de categorización Categorías Variables Descritores C1. Coñecementos adquiridos V1. Nivel alto Coñecen a función dos elementos patrimoniais, como se construíron, as características da sociedade da época e algunha lenda ou conto V2. Nivel intermedio V3. Nivel baixo C2. Conciencia de conservación V1. Nivel alto Saben que os elementos patrimoniais non están ben coidados e recoñecen diversos elementos que fan perigar a súa conservación. V2. Nivel intermedio V3. Nivel baixo C3. Capacidades afectivas e emocións V1. Nivel alto Desenvolveron un sentimento de identidade e apego cos elementos patrimoniais, defenden a súa conservación e difúndeno á comunidade. V2. Nivel intermedio V3. Nivel baixo LETICIA CASTRO CALVIÑO 76 C4. Valoración da metodoloxía utilizada V1. Nivel alto Valoración sobre a metodoloxía utilizada no programa V2. Nivel intermedio V3. Nivel baixo Educación primaria Fase 1 – Avaliación inicial – Pre-test Categorías Ítems C1. Percepcións sobre o patrimonio Que e o máis importante que hai para ti no teu pobo? Edificios e monumentos importantes, como igrexas, o dolmen/castro, que son visitados polos turistas. Toda a cultura do pobo (música, monumentos, natureza, ciencia, lingua, oficios tradicionais, festas, etc.). Non o sei. A paisaxe que nos rodea. C2. Cambios e continuidades Que cambiou do pobo desde que os teus avós e avoas ían ao colexio? Creo que cambiou o edificio do colexio. Creo que cambiou o edificio do colexio, pero non como dan clase os profesores e profesoras. Non cambiou nada. Creo que desapareceron moitos edificios antigos do pobo. Que pensas que se debe facer cos edificios antigos? Conservalos e darlles un novo uso. É mellor construír edificios novos. Non o sei. Conservalos e coñecelos para saber como vivían os nosos avós e avoas. C3. Valoración do patrimonio Na túa casa hai fotografías antigas? Non, non gardamos fotos antigas. Si, os meus avós e os meus pais gárdanas porque son os seus recordos. Non o sei. Si, gardámolas porque nos contan como foi o noso pasado e é importante conservalas porque son importantes para nós. Capítulo 3. Metodoloxía 77 Credes que teñen valor para os voso avós e avoas as fotografías de cando eran pequenos? Si, porque son recordos bonitos que poden gardar. Si, porque contan moitas historias de como era o pobo fai anos. Non o sei. Non, son mellores as fotografías actuais. ¿Son importantes para ti as fotografías de cando eras pequeno? Si, son recordos da miña infancia que me gustaría conservar. Si, ao mellor dentro de uns años serven para ver como era o pasado. Non o sei. Non, dentro duns anos non terán valor. Fase 1 – Avaliación formativa – Post-test Categorías Ítems C1-C3 1-6 C4. Aprendizaxes significativos Descubriches algo sobre o teu pobo traballando con fotografías antigas? Coñecín os cambios entre a escola e os edificios de antes e os de agora. Deime conta de que as fotografías ensínannos a coñecer o noso pasado. Non o sei. Non, non descubrín nada novo. C5. Valoración da metodoloxía utilizada ¿Gustouche a saída do colexio para realizar fotografías? Si, es interesante ver como han cambiado las cosas a través de la fotografía. Si, saír da escola é moi divertido e aprendín cousas novas. Foi divertido porque non tivemos clase. Non, no me gustou facer fotografías. Gustouche facer carteis? Si, gustoume moito debuxar e escribir nos carteis. Si, puiden poñer nos carteis o que aprendín nas actividades. Gustoume máis facer fotografías. Non, no me gusta facer carteis con fotografías, debuxos ou texto. LETICIA CASTRO CALVIÑO 78 Que che pareceu que viñeran os alumnos/as de EI a explicarvos o seu traballo? Había cousas interesantes sobre a escola de antes e a de agora. Traballaron moito, o seu traballo é moi bonito. Creo que é mellor que o que nos ensinaron o explicara o profesor/a. Non me gustou. Que che pareceu ir a explicarlle aos alumnos/as de EI/ES o voso traballo? Ensinámoslle cousas que eles non sabían. Tratáronnos moi ben, estiven moi a gusto. Creo que sería mellor que o que explicamos nós o explicara o profesor/a. Mal, non me gustou nada ir a ensinarlles o noso traballo. Alguén da túa casa veu ver o voso traballo na exposición? Si, gustoulle moito o meu traballo e faláronme sobre el. Si, ensineille o traballo que fixemos todos e gustoulle mucho. Non, non viñeron. Non, creo que é mellor que cada un leve o seu traballo á casa. Fase 2 – Avaliación sumativa – Texto reflexivo: “Que é para ti o patrimonio? Pon algún exemplo”. Sistema de categorización Categorías Variables Descritores C1. Coñecementos adquiridos V1. Nivel alto Coñece o seu patrimonio próximo, fai referencias a elementos traballados durante o programa e explica algunha das súas características. V2. Nivel intermedio V3. Nivel baixo C2. Conciencia de conservación V1. Nivel alto Recoñece a necesidade de conservar o patrimonio, dálle importancia e ofrece solucións para o coidado e a difusión dos elementos. V2. Nivel intermedio V3. Nivel baixo C3.Capacidades afectivas e emocións V1. Nivel alto Desenvolveu un sentimento de identidade e apego co seu patrimonio próximo, defende a súa conservación e a necesidade de difundir esas emocións á comunidade. V2. Nivel intermedio V3. Nivel baixo Avaliación sumativa – Enquisa (C1=Centro 1)- (C2=Centro 2) Categorías Ítems C1. Coñecementos adquiridos C1. Que función tiña o dolmen? C2. Para que servía o dolmen? E o castro? Capítulo 3. Metodoloxía 79 C1. Como se construían os dolmens? C1-C2. A que se dedicaban os homes e mulleres desa época? C2. Coñeces algunha lenda sobre o dolmen ou o castro? C1. Coñeces algunha lenda sobre o dolmen? C2. O dolmen e o castro están ben coidados? Por que? C1. Que información sacaches da entrevista ás Pandeireteiras? C2. Conciencia de conservación C2. Viches algunha cousa mala neles? Conta cales. C1. O dolmen está ben coidado? Que accións viches no dolmen que o prexudican? C2. Cres que é necesario coidar o dolmen e o castro? Por que? C1. Crees que a música das Pandeireteiras é coñecida pola xente? Por que? C3. Capacidades afectivas e emocións C1-C2. Falaches con alguén do estado de conservación no que está o dolmen/castro? Que lle dixeches? C1. Crees que é necesario coidar o dolmen? ¿Por que? C2. Paréceche necesario ensinar a todo o mundo como habería que coidalo? C2. Gustouche visitar o dolmen e o castro? Por que? C1. Crees que a música tradicional é importante para o voso pobo? ¿Por que? C4. Valoración da metodoloxía utilizada C2. Gustouche realizar un vídeo documental sobre o dolmen e o castro? ¿Por que? C1. Gustouche visitar o dolmen? Por que? C2. Gustouche facer a maqueta? ¿Por que? C1. Gustouche realizar un vídeo documental sobre o dolmen? Por que? C1. Gustouche a visita das Pandeireteiras? Por que? C1-C2. Que actividade das que realizaches che gustou máis? Por que? C1. Gustouche interpretar as cancións das Pandeireteiras? Por que? C2-C2. Gustaríache seguir traballando sobre o patrimonio? Por que? C1-C2. Gustouche ensinarlle a todo o mundo o voso traballo na exposición? Por que? Sistema de categorización Categorías Variables Descritores C1. Coñecementos adquiridos V1. Nivel alto Coñece a función dos elementos patrimoniais, como se construíron, as características da sociedade da época e as súas lendas. V2. Nivel intermedio V3. Nivel baixo LETICIA CASTRO CALVIÑO 80 C2. Conciencia de conservación V1. Nivel alto Sabe que os bens patrimoniais non están ben coidados e recoñece todos os elementos que fan perigar a súa conservación. Sabe que a música do grupo estudiado non é coñecida pola xente e recoñece que iso é un problema. V2. Nivel intermedio V3. Nivel baixo C3. Capacidades afectivas e emocións V1. Nivel alto Desenvolveu un sentimento de identidade e apego cos elementos patrimoniais, defende a súa conservación e a necesidade de difundilo á comunidade. V2. Nivel intermedio V3. Nivel baixo C4. Valoración da metodoloxía utilizada V1. Nivel alto Valoración sobre a metodoloxía utilizada. V2. Nivel intermedio V3. Nivel baixo Educación secundaria Fase 1 – Avaliación inicial – Pre-test Categorías Ítems C1. Percepcións sobre o patrimonio Que é o máis importante que hai para ti no teu pobo? Edificios e monumentos importantes, como igrexas, o dolmen/castros, que son visitados polos turistas. Toda a cultura do pobo (música, monumentos, natureza, ciencia, lingua, oficios tradicionais, festas, etc.). Non o sei. A paisaxe que nos rodea. C2. Cambios e continuidades Cres que cambiou moito a escola e o seu entorno desde que os teus avós e avoas ían ao colexio ata hoxe en día? Creo cambiou o edificio do colexio. Creo que cambiou o edificio do colexio, pero non como dan clase os profesores. Non cambiou nada. Creo que desapareceron moitos edificios antigos do pobo. Cres que é importante conservar edificios antigos e coñecer a súa historia? Si, conservalos e darlles un novo uso. É mellor construír edificios novos. Non o sei. Si, conservalos e coñecelos para saber como vivían os nosos avós e avoas. Capítulo 3. Metodoloxía 81 C3. Valoración do patrimonio É importante conservar fotografías antigas? Non, son fotos moi antigas. Si, para a xente que aparece nelas é importante gardar eses recordos. Non o sei. Si, porque nos contan como foi o noso pasado, son importantes para todos. Credes que teñen valor para os vosos avós e avoas as fotografías de cando eles eran pequenos? Si, porque son recordos bonitos que poden gardar. Si, porque contan moitas historias de como era o pobo fai anos. Non o sei. Non, son mellores as fotografías actuais. En cada pobo existe xente que toca algún instrumento, pinta, escribe, etc. É importante conservar as súas obras? Si, porque iso na actualidade resúltalle divertido á xente. Si, conservalas para o futuro porque así saberán como éramos. Conservalas é importante porque algunhas cóntannos como foi o pasado. Non, só para a xente á que lle guste iso. Fase 1 – Avaliación formativa – Post-test Categorías Ítems C1-C3 1-6 C4. Aprendizaxes significativos Descubriches algo sobre o teu pobo co traballo que fixeches? Coñecín os cambios entre a escola e os edificios de antes e os de agora. Deime conta de que as fotografías e as cantigas nos ensinan a coñecer o noso pasado. Non o sei. Non, non descubrín nada novo. C5. Valoración da metodoloxía utilizada Gustouche traballar coas cantigas da autora local? Si, puiden ver como os cambios que aparecían nas fotos tamén aparecían nas cantigas. Si, gustoume que viñera ao colexio porque non tivemos clase. Non o sei. Non, traballar con cantigas non me ensinou ningún cambio no meu pobo. Gustouche crear vídeos? Si, gústame moito facer vídeos. LETICIA CASTRO CALVIÑO 82 Si, paréceme unha boa forma de mostrar o noso traballo a outra xente. Non o sei. Non, non me gustan os vídeos, prefiro as cantigas. Que che pareceu que viñeran os alumnos/as de EP a explicarvos o seu traballo? Ben, fixeron cousas boas e vimos que traballaron moito. Ben, ao non saber nada do tema enfocáronnos no traballo que tiñamos que empezar nós. Non o sei. Mal, os de primaria saben menos de iso ca nós. Alguén da tu casa veu a ver o voso traballo na exposición? Si, gustoulle moito o traballo e faláronme sobre el. Si, ensineille o traballo que fixemos todos e gustoulle moito. Non, non viñeron. Non, creo que é mellor que cada un leve o seu traballo á casa. Fase 2 – Avaliación sumativa – Vídeo-cápsula: “Que é para ti o patrimonio? Pon algún exemplo”. Sistema de categorización Categorías Variables Descritores C1. Coñecementos adquiridos V1. Nivel alto Coñece o seu patrimonio próximo, fai referencias a elementos traballados durante o programa e explica algunha das súas características. V2. Nivel intermedio V3. Nivel baixo C2. Conciencia de conservación V1. Nivel alto Recoñece a necesidade de conservar o patrimonio e ofrece solucións para o coidado e a difusión dos elementos. V2. Nivel intermedio V3. Nivel baixo C3. Capacidades afectivas e emocións V1. Nivel alto Desenvolveu un sentimento de identidade e apego co seu patrimonio próximo, defende a súa conservación e a necesidade de difundir esas emocións á comunidade. V2. Nivel intermedio V3. Nivel baixo Avaliación sumativa – Enquisa Categorías Ítems C1. Coñecementos adquiridos Que información obtiveches no voso traballo sobre a toponimia local? Que información obtiveches no voso traballo sobre as Pandeireteiras? Que información obtiveches no voso traballo sobre a cultura castrexa e os castros que se encontran na localidade? Capítulo 3. Metodoloxía 83 C2. Conciencia de conservación Cres que as persoas do voso entorno coñecen a toponimia local? Cres que existe un coñecemento no pobo sobre a música tradicional da súa localidade e en concreto do grupo? Cres que os castros que se atopan na localidade están ben conservados? Pensas que son coñecidos pola poboación? C3. Capacidades afectivas e emocións Cres necesario difundir a toponimia da vosa localidade? Por que cres que é importante? Paréceche necesario difundir información sobre os grupos de música tradicional do voso pobo? Por que crees que é importante? Pensas que é necesario actuar sobre o estado de conservación dos castros da vosa localidade? Por que cres que é importante? C4. Valoración da metodoloxía utilizada Que che pareceu traballar sobre toponimia? Que che pareceu traballar sobre música tradicional do voso pobo? Que che pareceu traballar sobre os castros do voso pobo? Paréceche útil a actividade de xeolocalización levada a cabo co programa Geo Aumentaty? Por que? Paréceche útil difundir o voso traballo en medios online, como a páxina web do Concello? ¿Por que? Que che pareceu traballar na recreación en maqueta do concello a partir das súas curvas de nivel? Pensas que localizar nela os castros existentes na localidade e expoñela á comunidade servirá de algo? Podes dar a tu opinión sobre a importancia de realizar unha exposición aberta á comunidade con todo o traballo realizado por vós no programa Patrimonializarte? Que actividade che gustou máis? Con cal aprendiches máis? Gustaríache seguir traballando nos cursos seguintes sobre o patrimonio? Por que? Sistema de categorización Categorías Variables Descritores C1. Coñecementos adquiridos V1. Nivel alto Mostra coñecementos sobre os elementos patrimoniais da súa localidade. V2. Nivel intermedio V3. Nivel baixo LETICIA CASTRO CALVIÑO 90 C3. Relación familia-escola V1. Nivel alto Considera importante que as familias se impliquen no traballo dos seus fillos e aportan medidas para colaborar na escola. V2. Nivel intermedio V3. Nivel baixo C4. Relación axentes externos V1. Nivel alto Considera relevante e efectivo que os nenos e nenas difundan o seu traballo fóra do colexio e outorgan importancia ao impacto que o traballo poida exercer sobre o patrimonio. Aporta ideas sobre a xestión do patrimonio. V2. Nivel intermedio V3. Nivel baixo C5. Impacto V1. Nivel alto Os nenos e nenas transferiron información sobre o programa nas súas casas, resultoulles interesante e obtiveron aprendizaxes significativos. As iniciativas que conectan familia e escola parécenlle relevantes. Ofrece actividades alternativas para esta conexión. V2. Nivel intermedio V3. Nivel baixo Fase 2 – Avaliación sumativa– Enquisa Categorías Ítems C1. Eficacia do programa Cre que a súa filla ou fillo aprendeu a coñecer e valorar o patrimonio? Por que? Cre que incrementaron as súas habilidades, por exemplo, recoñecendo algunhas cousas como patrimonio, que antes non facía? Por que? Cre que mellorou en aspectos que teñen que ver con relacionarse con outras persoas do pobo, co colexio ou con outros alumnos e alumnas? Por que? Cre que non lle interesa ou non lle gusta visitar ou falar do patrimonio? Por que? Pensa que despois de realizar o proxecto lle parece máis importante conservar o patrimonio? Por que? C2. Efectividade do programa Na escola traballaron con alumnos doutros niveis, traballaron en pequenos grupos e utilizaron algunhas ferramentas novas no ordenador. Cre que algunhas destas cosas foron beneficiosas para a súa filla ou fillo? Por que? Cre que o programa non foi beneficioso ou o prexudicou nalgún sentido? Por que? C3. Eficiencia do programa Ten a impresión de que houbo un bo ambiente de traballo entre coordinadora e profesores e que os recursos utilizados foron suficientes e necesarios para a realización do programa? Por que? C4. Impacto do programa Coñecía o patrimonio co que traballou o seu fillo/a? Se non é así, ¿pensa que o coñeceu grazas a el/ela? Pensa que o programa tivo algunha repercusión en canto á súa difusión: no pobo, prensa, autoridades locais, ¿ou outras? Por que? Cre que este traballo influíu dalgunha maneira noutros cursos do colexio? Por que? Cre que este programa pode ser adaptado e aplicado noutros colexios? Por que? Capítulo 3. Metodoloxía 91 Xa sabe que se ha realizou una exposición aberta a todo o pobo co traballo realizado polo alumnado no programa Patrimonializarte, que opinión ten sobre iso? Parécelle que é unha actividade interesante? C5. Grao de satisfacción Considera que a participación dos nenos e nenas no programa mellorou a súa formación sobre o patrimonio? Por que? Parécelle que pode ser útil para o aprendizaxe do alumnado que sigan ofrecendo ao colexio programas de educación patrimonial? Por que? En xeral, que opinión ten sobre o programa? Sinale algúns puntos fortes e puntos débiles. Sistema de categorización Categorías Variables Descritores C1. Eficacia do programa V1. Nivel alto O alumnado desenvolveu un nivel alto de pensamento crítico sobre o seu patrimonio, incrementou notablemente as súas habilidades en canto ao seu estudo e desenvolveu outras capacidades como as relacións coa comunidade ou con outras aulas. V2. Nivel intermedio V3. Nivel baixo C2. Efectividade do programa V1. Nivel alto O alumnado concienciouse sobre a importancia e conservación do seu patrimonio próximo e ademais, lográronse efectos colaterais que non estaban planificados no programa (mellorar relacións entre etapas/técnicas de traballo en grupo, uso das TIC, etc. V2. Nivel intermedio V3. Nivel baixo C3. Eficiencia do programa V1. Nivel alto O equipo de traballo e os recursos foron adecuados e suficientes para o desenvolvemento do programa. Ademais, a implicación de todos os actores foi a ideal. V2. Nivel intermedio V3. Nivel baixo C4. Impacto del programa V1. Nivel alto Produciuse un gran impacto nas familias, a comunidade e noutros cursos do centro, así como na súa difusión (prensa, autoridades locais). Cre que o programa pode ser aplicable a outros centros e da importancia á realización dunha exposición aberta para a difusión do traballo. V2. Nivel intermedio V3. Nivel baixo C5. Grao de satisfacción V1. Nivel alto A participación do Gustaríalle que o colexio seguira participando en programas deste tipo e ten unha opinión xeral boa sobre o programa. V2. Nivel intermedio V3. Nivel baixo LETICIA CASTRO CALVIÑO 92 Táboa 13. Instrumentos e sistemas de categorización das autoridades locais e xestores do patrimonio Fase 2 – Avaliación sumativa– Enquisa Categorías Ítems C1. Coñecementos sobre patrimonio Cre que os rapaces e rapazas coñecen o patrimonio que existe na súa localidade? C2. Actitude ante o patrimonio Cre que son conscientes da importancia de conservar o seu patrimonio próximo? Cre que os rapaces e rapazas teñen actitudes negativas ou de indiferenza cara o patrimonio? Por que? C3. Necesidade de programas Considera que existen suficientes programas de educación patrimonial na localidade? Pensa que o alumnado dos centros educativos incrementaría as súas habilidades para o estudio do patrimonio se participasen en programas de Educación Patrimonial? Por que? C4. Relación familia-escolacomunidade Considera que é necesaria unha relación entre familias, escola e comunidade para o estudo do patrimonio? Por que? Parécelle interesante que se realicen exposicións, abertas á comunidade, co traballo realizado polo alumnado sobre patrimonio? C5. Conservación e difusión do patrimonio Considera que o traballo en el centro educativo pode favorecer que se mellore a conservación dalgún ben patrimonial da localidade? Cre que impulsar o patrimonio local, difundilo e transmitilo, podería mellorar o atractivo turístico da localidade? C6. Relación escola-autoridades locais/xestores do patrimonio Existen intercambios sobre estes temas entre as autoridades locais/xestores culturais e a escola? De que tipo son? Cre que sería necesaria unha maior implicación entre autoridades locais/xestores culturais e escola para dinamizar o estudio do patrimonio local? Por que? C7. Xestión de recursos Podería mencionar algunha proposta de cambio necesaria para mellorar a educación patrimonial na localidade? Necesitarían as autoridades locais ou os técnicos/xestores do patrimonio algún apoio/material para impulsar o coñecemento dos recursos locais? De que tipo? C8. Outros aspectos Sinale outros aspectos non contemplados na enquisa e que queira comentar. Sistema de categorización Categorías Variables Descritores V1. Nivel alto O alumnado dos centros coñece o patrimonio da súa localidade. Capítulo 3. Metodoloxía 93 C1. Coñecementos sobre patrimonio V2. Nivel intermedio V3. Nivel baixo C2. Actitude ante o patrimonio V1. Nivel alto O alumnado é consciente da importancia de conservar o seu patrimonio próximo e mostra unha actitude positiva cara el. V2. Nivel intermedio V3. Nivel baixo C3. Necesidade de programas V1. Nivel alto Non existen suficientes programas de educación patrimonial na localidade e considéranse vitais para que o alumnado incremente as súas habilidades de traballo co patrimonio. V2. Nivel intermedio V3. Nivel baixo C4. Relación familia-escolacomunidade V1. Nivel alto É necesaria a relación entre familias, escola e comunidade para tender fíos de comunicación e difusión do patrimonio. Considéranse positivas as exposicións abertas a estes colectivos. V2. Nivel intermedio V3. Nivel baixo C5. Conservación e difusión do patrimonio V1. Nivel alto Considérase que o traballo sobre patrimonio nos centros educativos inflúe considerablemente nas medidas de conservación e que o impulso do patrimonio local mellora a rede turística da localidade. V2. Nivel intermedio V3. Nivel baixo C6. Relación escola-autoridades locais/xestores culturais V1. Nivel alto Existen intercambios entre as autoridades/xestores culturais e a escola, polo que non se atopa necesaria unha maior implicación para dinamizar o estudio do patrimonio local. V2. Nivel intermedio V3. Nivel baixo C7. Xestión de recursos V1. Nivel alto Menciona propostas de cambio, considerándoas necesarias para mellorar a educación patrimonial e considera necesario apoio neste campo. V2. Nivel intermedio V3. Nivel baixo C8. Outros aspectos LETICIA CASTRO CALVIÑO 94 3.1.2.5. Análise de datos Esta investigación recorre á complementariedade metodolóxica que utiliza métodos cualitativos e cuantitativos. Por iso, a análise de datos adecúase á variedade de instrumentos deseñados. Para a análise utilízanse diferentes programas informáticos. A análise de datos cuantitativos realízase usando os programas R 3.6.3 e SPSS v. 26. Compleméntase coas valoracións discursivas da parte cualitativa, analizada co programa Atlas.Ti, v. 8.4.4 (1135). Para a avaliación inicial do deseño analízase o acordo entre os xuíces calculando os coeficientes ponderados de concordancia de Bangdiwala (BWN) (Bandiwala, 1987). Para analizar o acordo entre alumnado e profesorado aténdese ás categorías de análise relacionadas coa metodoloxía do programa nas que alumnado e profesorado avalían as actividades relacionadas co uso das TIC (Publicación 2). Para a avaliación inicial, formativa (do proceso) e sumativa (final) do alumnado (Publicación 3) os datos cuantitativos trátanse cunha metodoloxía analítica descritiva de frecuencias e distribución porcentual. Realízanse as probas de McNemar para comprobar se existen diferencias significativas entre pre-test e post-test. Os datos cualitativos analízanse a partir dos discursos obtidos nas preguntas de carácter aberto a través do enraizamento de códigos. En primeiro lugar realízase unha codificación aberta a partir do enraizamento de códigos do que se obtén o “Gr” (número de citas ligadas a un código). As análises de discurso realízanse apoiándose nos sistemas de categorización deseñados por Glasser e Strauss (1989). Isto aplícase de igual maneira para analizar os datos cualitativos obtidos das opinións de profesorado, familias, autoridades locais e xestores de patrimonio (Publicación 4). A complementariedade metodolóxica e a utilización de diferentes técnicas analíticas permite recoller unha información rigorosa e completa para coñecer en profundidade o programa e os múltiples obxectos avaliados (Greene, 2005; Johnson e Onwuegbuzie, 2004). Capítulo 3. Metodoloxía 95 3.1.3. Avaliación inicial: avaliación do deseño e avaliación de coñecementos iniciais do alumnado Unha vez deseñadas as guías do programa realízase un grupo focal co profesorado participante para a avaliación inicial, de entrada, ou de deseño do programa (Tejedor, 2000). Tras as correccións pertinentes, o novo deseño envíase a avaliación por parte de xuíces expertos externos. Selecciónanse expertos cuxas principais liñas de investigación se centran na educación patrimonial. Para a avaliación da primeira fase participan 6 expertos: unha doutora en psicodidáctica e profesora de educación en Ciencias Sociais na Universidade do País Vasco; unha doutora en educación artística en contextos educativos e sociais e profesora no Departamento de Ensino da Expresión Musical, Artística e Corporal na Universidade de Valladolid; e un catedrático do campo da educación en Ciencias Sociais da Universidade de Huelva. Ademais, tamén incluímos no panel de expertos a 3 profesores dos diferentes niveis de educación que participaron no programa (educación infantil, primaria e secundaria) dado o seu coñecemento das características, necesidades e dificultades dos diferentes niveis educativos que participan no programa. Na segunda fase participan os tres expertos en educación patrimonial da fase 1 e unha doutora en Filoloxía Galega pola Universidade de Santiago, profesora en activo do nivel de educación secundaria con experiencia en proxectos de centro innovadores que contan cun amplo recoñecemento. Avalíase, nunha escala de 1 a 4 a composición documental, é dicir, a estrutura do programa como documento desde un punto de vista técnico, e a coherencia (interna e externa) a relación entre os propios elementos del programa e os seus vínculos con elementos externos, así como os instrumentos de avaliación. Aplícanse os índices de acordo de concordancia ponderada de Bangdiwala. O índice de acordo BWN de Bangdiwala permite a representación gráfica do grado de acordo e proporciona unha medida da forza deste (Bangdiwala, 1987). Os coeficientes obtidos foron: LETICIA CASTRO CALVIÑO 96 BWN = .917 para a coherencia do deseño e BWN = .883 para a composición documental. Para interpretar os coeficientes de concordancia, Muñoz e Bangdiwala (1997) propoñen os seguintes criterios: valores comprendidos entre .000 e .200 indican un nivel de acordo pobre; entre .201 e .400, acordo débil; entre .401 e .600, moderado; entre .601 e .800, bo; e superiores a .801, indican un nivel de acordo excelente. O nivel de acordo obtido en canto ao deseño do programa Patrimonializarte, de acordo con esta escala, é excelente. Na Fase 1, o conxunto de ítems foi valorado nunha escala de 1 a 4, en termos de pertinencia (43 ítems) e claridade (68 ítems). Os coeficientes ponderados de concordancia de Bangdiwala obtidos foron: BWN = .973 (Pertinencia Fase 1) e BWN = .914 (Claridade Fase 1). Na Fase 2, valoraron novamente cada un dos ítems nunha escala de 4 puntos, en cuanto á súa pertinencia (105 ítems) e claridade (105 ítems). Os coeficientes ponderados de concordancia de Bangdiwala foron: BWN = .94 (Pertinencia Fase 2) e BWN = .846 (Claridade Fase 2). Estes coeficientes interprétanse como excelentes conforme aos criterios propostos por Muñoz e Bangdiwala (1997). A avaliación do deseño e os primeiros resultados do alumnado en relación co seu traballo coas TIC recóllense na Publicación 2. 3.1.3.1.Avaliación inicial do alumnado Avaliado o deseño e os instrumentos realízase a primeira avaliación de coñecementos do alumnado: pre-test. O obxectivo xeral ao que se pretende dar cobertura coa entrevista pre-test é analizar os coñecementos previos e as actitudes do alumnado respecto ao seu patrimonio próximo. A partir do traballo con fotografías antigas e actuais da escola, do entorno próximo e de cantigas relacionadas con elas preténdese analizar as percepcións do alumnado, a súa conciencia sobre o paso do tempo, as súas capacidades afectivas e o coñecemento que teñen sobre o entorno. Os obxectivos específicos do pre-test son: Capítulo 3. Metodoloxía 97 OE1. Comprobar os coñecementos que teñen sobre o seu entorno próximo. OE2. Valorar en que medida coñecen como era a escola no pasado. OE3. Analizar en que medida son conscientes do paso do tempo e os cambios que este produce. OE4. Analizar a importancia que conceden á conservación do patrimonio fotográfico. Os resultados da avaliación do deseño fan parte da Publicación 2, así coma resultados parciais da avaliación inicial, formativa e sumativa de alumnado e profesorado, referida á utilización das ferramentas TIC. A Publicación 3 recolle os resultados completos da avaliación inicial do alumnado (pre-test). 3.1.4. Realización das actividades da Fase 1 Atendendo as diferentes realidades dos dous centros educativos participantes, establécense distintos horarios e actividades. En primeiro lugar, realízanse reunións de coordinación nos dous centros para presentar e guiar ao profesorado no inicio do programa (presentación de guías, recursos, temporalización, organigrama). Aínda que nas guías se estableceron temporalizacións aproximadas, preséntanse aquí as sesións efectivamente realizadas e a súa temporalización, que atenderon as necesidades básicas dos centros e ó seu desenvolvemento (Táboas 14, 15 e 16). Táboa 14. Sesións de reunións de coordinación nos dous centros 4 outubro Reunión coordinación centro 1 9 outubro 2ª reunión coordinación centro 1 25 outubro Reunión coordinación centro 2 30 outubro 2ª reunión coordinación centro 2 Táboa 15. Distribución das sesións no Centro 1 FASE 1 6º INFANTIL 8 novembro 1ª SESIÓN: Entrevista pre-test alumnado (avaliación inicial) 11 sesións LETICIA CASTRO CALVIÑO 98 12 novembro 2ª SESIÓN: Preparación carteis 19 novembro 3ª e 4ª SESIÓN: Preparación carteis 20 novembro 5ª e 6ª SESIÓN: Preparación carteis 29 novembro 7ª SESIÓN: 1ª sesión compartida Infantil-Primaria 22 xaneiro 8ª SESIÓN: Visita autora local de cantigasO pasado do pobo (compartida todos os cursos) 8 febreiro 9ª SESIÓN: montaxe e preparación exposiciónCasa da Cultura 12 febreiro 10ª SESIÓN: inauguración 1ª exposición aberta á comunidade educativa e comunidade local+ enquisa familias + enquisa profesorado (avaliación formativa) 13 febreiro 11ª SESIÓN: Entrevista post-test alumnado 5º PRIMARIA 29 novembro 1ª SESIÓN: avaliación inicial e traballo con fotografías e 2ª SESIÓN: 1ª sesión compartida InfantilPrimaria 11 sesións 10 decembro 3ª e 4ª SESIÓN: saída 17 decembro 5ª e 6ª SESIÓN: realización de carteis 15 xaneiro 7ª SESIÓN: 2ª sesión compartida Primaria-ESO 22 xaneiro 8ª SESIÓN: Visita autora local cantigasO pasado do pobo (compartida todos os cursos) 8 febreiro 9ª SESIÓN: montaxe e preparación exposiciónCasa de la Cultura 12 febreiro 10ª SESIÓN: inauguración 1ª exposición aberta á comunidade educativa e comunidade local+ enquisas familias + enquisas profesorado (avaliación formativa) 13 febreiro 11ª SESIÓN: cuestionario post-test (avaliación formativa) 2º ESO 15 xaneiro 1ª SESIÓN: XeH: enquisa pre-test e traballo inicial (avaliación inicial) 12 sesións 16 xaneiro 2ª SESIÓN: 2ª sesión compartida Primaria-ESO 21 xaneiro 3ª SESIÓN: XeH e 4ª SESIÓN: GalegoAula informáticacantigas da autora local 22 xaneiro 5ª SESIÓN: Visita autora local de cantigasO pasado do pobo (compartida todos os cursos) 23 xaneiro 6ª SESIÓN: GalegoAula informática-Cantigas da autora localguión vídeo 28 xaneiro 7ª SESIÓN: MúsicaAula informática-Cantigas da autora localvoz en off vídeo 29 xaneiro 8ª e 9ª SESIÓN: TIC-Realización vídeo en Cyberlink Power Director (Aula Informática) 8 febreiro 10ª SESIÓN: montaxe e preparación exposiciónCasa da Cultura 12 febreiro 11ª SESIÓN: inauguración 1ª exposición aberta á comunidade educativa e comunidade local+ enquisa familias+ enquisa profesorado (avaliación formativa) Capítulo 3. Metodoloxía 99 13 febreiro 12ª SESIÓN: cuestionario post-test (avaliación formativa) Táboa 16. Distribución das sesións no Centro 2 FASE 1 6º INFANTIL 6 novembro 1ª SESIÓN: Pre-test 10 sesións 9 novembro 2ª SESIÓN: Traballo con fotografías 14 novembro 3ª e 4ª SESIÓN: Visita avós e avoas 19 novembro 5ª: Preparación carteis 20 novembro 6ª SESIÓN: Preparación carteis 29 novembro 7ª SESIÓN: 1ª sesión compartida Infantil-Primaria 4 abril 8ª SESIÓN: Preparación exposición 5 abril 9ª SESIÓN: Inauguración 1ª exposición aberta á comunidade educativa + enquisas familias+ enquisas profesorado e 10ª SESIÓN: Entrevista post-test 2º PRIMARIA 29 novembro 1ª SESIÓN: enquisa e traballo inicial con fotografías de oficios tradicionais da vila e 2ª SESIÓN: 1ª sesión compartida InfantilPrimaria 12 sesións 5 decembro 3ª e 4ª SESIÓN: creación de itinerario e saída 7 decembro 5ª e 6ª SESIÓN: realización de anuncios publicitarios sobre os oficios tradicionais 11 xaneiro 7ª e 8ª SESIÓN: Visita cesteiro 14 xaneiro 9ª SESIÓN: 2ª sesión compartida 2º Primaria-3º Primaria 4 abril 10ª SESIÓN: Preparación exposición 5 abril 11ª SESIÓN: Inauguración 1ª exposición aberta á comunidade educativa + enquisas familias+ enquisa profesorado e 12ª SESIÓN: enquisa post-test 3º PRIMARIA 14 xaneiro 1ª SESIÓN: enquisa e traballo con fotografías e 2ª SESIÓN: 2ª sesión compartida Infantil2ª Primaria3º Primaria 11 sesións 14 febreiro 3ª e 4ª SESIÓN: Creación de itinerario e saída 20 febreiro 5ª SESIÓN: Investigación sobre o pobo 27 febreiro 6ª e 7ª SESIÓN: Realización de cadros explicativos 28 febreiro 8ª e 9ª SESIÓN: Elaboración de códigos QR para cadros explicativos-exposición 4 abril 10ª SESIÓN: Preparación exposición 5 abril 11ª SESIÓN: Inauguración 1ª exposición aberta á comunidade educativa + enquisas familias+ enquisas profesorado e 12ª SESIÓN: Enquisa post-test LETICIA CASTRO CALVIÑO 106 3.1.8. Metaavaliación A metaavaliación é o último paso do proceso de avaliación do MAPEP. Stufflebeam (2001) menciona: Como profesionais, os avaliadores necesitan metaavaliacións para asegurar a calidade das súas avaliacións, proporcionar orientacións para mellorar os estudos individuais, así como o seu desenvolvemento de enfoques de avaliación, e gañar e manter a credibilidade dos seus servizos tanto entre clientes coma outros avaliadores. Os consumidores precisan metaavaliacións para evitar a aceptación de conclusións avaliativas non válidas e, no seu lugar, para empregar información de avaliación sólida con confianza. Aqueles que non son necesariamente avaliadores profesionais pero que aloxan e supervisan sistemas de avaliación necesitan metaavaliacións para axudar a asegurar que os servizos de avaliación da súa institución son defendibles, funcionais e pagan a pena investir. Ademais, os suxeitos das avaliacións - especialmente as avaliacións do persoalteñen dereito a esperar que os sistemas utilizados para avaliar a súa competencia e rendemento mediran os estándares adecuados para as avaliacións do persoal. (Stufflebeam, 2001, p.184: en inglés no orixinal, tradución propia). Esta última sección abrangue unha revisión crítica da propia avaliación, que é necesaria para descubrir o valor e a calidade da avaliación para dar paso á toma de decisións e aos posibles cambios e melloras que poidan contribuír á mellora do programa e, polo tanto, da educación neste campo (Scriven, 1973; Stufflebeam, 2001). Os resultados da metaavaliación conformarán o apartado de discusións xerais desta tese, nos que se revísase dun xeito crítico o programa, en base aos seus resultados, e a propia avaliación partindo dos estándares do Joint Capítulo 3. Metodoloxía 107 Committee on Standards for Educational Evaluation (Yarbrough, Shulha, Hopson e Caruthers, 2010). 3.2. ESTÁNDARES ÉTICOS Esta investigación levouse a cabo seguindo as recomendacións e estándares éticos que establece a Declaración de Helsinki do 1975 (Asociación Médica Mundial, 2017). Para garantir o anonimato e a confidencialidade dos participantes neste investigación os resultados presentados acóllense a unha serie de códigos identificativos. Os centros nos que se desenvolve o programa identifícanse, unicamente, como Centro 1 e Centro 2. Todos os participantes foron informados de que os datos recollidos se utilizarían só con fins de investigación respectando o seu anonimato. LETICIA CASTRO CALVIÑO 108 CAPÍTULO 4. PUBLICACIÓNS Esta tese acóllese ao formato establecido por compendio de publicacións. A opción responde a decisión de difundir os resultados parciais da investigación progresivamente. A maior dificultade deste formato deriva neste caso de que non existen revistas especializadas en educación patrimonial que estean indexadas en bases de datos de referencia (JCR ou Scopus). De aí que sexa preciso tratar de difundir a investigación en revistas de Educación xerais nas que existen restricións para incluír temas de investigación especializados como son os de educación patrimonial. O Regulamento de estudos de doutoramento da Universidade de Santiago de Compostela (USC, 2020) no art. 37 indica o seguinte sobre as teses presentadas nesta modalidade (compilación de publicacións): Estas publicacións deben estar recollidas en revistas de impacto recoñecido no ámbito científico correspondente, en particular, aquelas incluídas no Journal Citation Reports, JCR, ou Scopus. Nas áreas en que non sexa aplicable este criterio, poderá substituírse polas bases de datos relacionadas pola CNAAI para estas áreas. (USC, 2020, art. 37, p. 36813). A tese cumpre os requisitos esixibles: inclúe 4 artigos (o mínimo que se indica é de tres) publicados en revistas indexadas en Scopus, dúas internacionais (unha delas no Q1: Humanities & Social Sciences Communication, editada por Springer Nature; a outra é Education Sciences); e dúas españolas recentemente indexadas en Scopus (RIFOP e REIFOP). A doutoranda é a primeira autora nas catro publicacións Capítulo 4. Publicacións 109 nas que figuran tamén en coautoría, segundo o caso, un ou os dous codirectores (López-Facal e Gómez-Carrasco) e outro investigador colaborador da Universidade de Valladolid (Rodríguez-Medina) experto en análise e tratamento estatístico de estudos en educación. LETICIA CASTRO CALVIÑO 110 4.1.PUBLICACIÓN 1. EDUCACIÓN PATRIMONIAL: NECESIDADES SENTIDAS POR EL PROFESORADO DE INFANTIL, PRIMARIA Y SECUNDARIA Neste artigo, publicado na Revista Interuniversitaria de Formación do Profesorado (RIFOP) preséntase a avaliación de necesidades do profesorado en canto ao traballo co patrimonio nas aulas. A avaliación de necesidades considérase o primeiro paso do Modelo de Avaliación de Programas de Educación Patrimonial (MAPEP). Castro-Calviño, L., e López-Facal, R. (2019). Educación patrimonial: necesidades sentidas por el profesorado de infantil, primaria y secundaria. RIFOP, 33(1), 97-114. Recuperado de https://recyt.fecyt.es/index.php/RIFOP/article/view/72020 Índice de impacto: A Revista interuniversitaria de Formación del Profesorado (RIFOP) (ISSN 0213-8646 | E-ISSN 2530-3791) aparece indexada nas seguintes bases de datos, plataformas de avaliación de revistas e directorios nacionais e internacionais: Incorporada en Scopus no ano 2020. Emerging Sources Citation Index (Clarivate Analytics - Web of Science Core Collection); selo de calidade FECYT (Q2Education); Dialnet Métricas (Q1 Education, 0,533 impact factor, journal 42/205); ERHIPlus; DOAJ; MIAR (ICDS: 10.0); CIRC (B); CARHUS Plus 2018 (B); IRESIE; EBSCO (Fonte Academica Plus); Latindex (33/33 criteria met); Psicodoc. Recentemente foi indexada en Scopus. A continuación reprodúcese o aviso de dereitos de autor da revista: Os artigos que se publican nesta revista están suxeitos aos seguintes termos: 1. A Asociación Universitaria de Formación do Profesorado (AUFOP) é a editora da revista RIFOP e conserva os dereitos patrimoniais (copyright) dos artigos publicados, permitindo a reutilización dos mesmos baixo a licenza de uso indicada no punto 2. Capítulo 4. Publicacións 111 2. As obras publícanse na edición electrónica da revista baixo unha licencia Creative Commons ReconocimientoNoComercial-SinObraDerivada 3.0 España (texto legal). Pódense copiar, usar, difundir, transmitir e expoñer publicamente, sempre que: i) se cite a autoría e a fonte orixinal da súa publicación (revista, editores e URL da obra); ii) non se usen para fins comerciais; iii) se mencione a existencia e especificacións desta licencia de uso. (En castelán no orixinal). LETICIA CASTRO CALVIÑO 112 4.2.PUBLICACIÓN 2. PATRIMONIALIZARTE: A HERITAGE EDUCATION PROGRAM BASED ON NEW TECHNOLOGIES AND LOCAL HERITAGE Este artigo, publicado na revista Education Sciences, recolle a avaliación do deseño do programa Patrimonializarte e a avaliación, por parte do alumnado e do profesorado participante, da metodoloxía relacionada coa utilización das TIC. Castro-Calviño, L., Rodríguez-Medina, J., Gómez-Carrasco, C. J., e López-Facal, R. (2020). Patrimonializarte: A Heritage Education Program Based on New Technologies and Local Heritage. Education Sciences, 10(7), 176. doi: 10.3390/educsci10070176 Índice de impacto: A revista Education Sciences (ISSN 22277102) é unha revista internacional de acceso aberto revisada por pares publicada mensualmente en liña polo MDPI. Está indexada en Scopus (Q3) no Vol. 8 (2018); SJR: 0,242; CiteScore: 0,8; Emerging Sources Citation Index (ESCI) - Web of Science e ERIH Plus, e no ERIC (Institute of Education Sciences). Segundo se fai constar na revista: Este é un artigo de acceso aberto distribuído baixo a licenza de recoñecemento Creative Commons que permite o uso, distribución e reprodución sen restricións en calquera soporte, sempre que se cite correctamente a obra orixinal. (En castelán no orixinal). Capítulo 4. Publicacións 113 4.3.PUBLICACIÓN 3. EDUCACIÓN PATRIMONIAL PARA UNA CIUDADANÍA PARTICIPATIVA. EVALUACIÓN DE RESULTADOS DE APRENDIZAJE DEL ALUMNADO EN EL PROGRAMA PATRIMONIALIZARTE O artigo, publicado na Revista Electrónica Interuniversitaria de Formación del Profesorado (REIFOP) recolle a avaliación inicial, formativa e sumativa do programa en base aos resultados de aprendizaxe do alumnado participante. Castro-Calviño, L., Rodríguez-Medina, J., e López-Facal, R. (2021). Educación patrimonial para una ciudadanía participativa. Evaluación de resultados de aprendizaje del alumnado en el programa Patrimonializarte. Revista Electrónica Interuniversitaria de Formación del Profesorado (REIFOP), 24(1). doi: https://doi.org/10.6018/reifop.444881 Índice de impacto: A Revista Electrónica Interuniversitaria de Formación del Profesorado (REIFOP) (ISSN-e: 1575-0965) aparece indexada nas seguintes bases de datos: SCOPUS (Q4) CiteScore: 0,3; Emerging Sources Citation Index (Web of Science – Thomson Reuters); ERIH PLUS; DOAJ; EBSCO (Fuente Académica Premier); IRESIE; GOOGLE SCHOLAR; LATINDEX – 35 criterios; DICE; RESH (Revistas Españolas de Ciencias Sociais e Humanas); ISOC (Base de datos bibliográficas del CSIF); Dialnet (CIRC: Clasificación Integrada de Revistas Científicas: Grupo B); REDALYC; Qualis/Capes - B1 Homologación; PSICODOC; REBIUN (Red de Bibliotecas Universitarias); In-Recs; Universia; MIAR (2015); DULCINEA; COPAC; REDINET; e-revist@s; ANEP. A continuación reprodúcese o aviso de dereitos de autor da revista: Os artigos que se publican nesta revista están suxeitos aos seguintes termos: 1. A Asociación Universitaria de Formación do Profesorado (AUFOP) é a editora da revista REIFOP e conserva os LETICIA CASTRO CALVIÑO 114 dereitos patrimoniais (copyright) dos artigos publicados, permitindo a reutilización dos mesmos baixo a licenza de uso indicada no punto 2. 2. As obras publícanse na edición electrónica da revista baixo unha licencia Creative Commons ReconocimientoNoComercial-SinObraDerivada 3.0 España (texto legal). Pódense copiar, usar, difundir, transmitir e expoñer publicamente, sempre que: i) se cite a autoría e a fonte orixinal da súa publicación (revista, editores e URL da obra); ii) non se usen para fins comerciais; iii) se mencione a existencia e especificacións desta licencia de uso. (En castelán no orixinal). Capítulo 4. Publicacións 115 4.4.PUBLICACIÓN 4. HERITAGE EDUCATION UNDER EVALUATION: THE USEFULNESS, EFFICIENCY AND EFFECTIVENESS OF HERITAGE EDUCATION PROGRAMMES O artigo 4, publicado na revista Humanities & Social Sciences Communication contén a avaliación formativa e sumativa do programa en base ás opinións dos axentes directos e indirectos participantes: profesorado, familias, autoridades locais e xestores do patrimonio. Preséntase nesta tese de doutoramento tal e como se publicou na revista. Castro-Calviño, L., Rodríguez-Medina, J., e López-Facal, R. (2020). Heritage education under evaluation: the usefulness, efficiency and effectiveness of heritage education programmes. Humanities & Social Sciences Communications, 7, 146. doi: https://doi.org/10.1057/s41599-020-00639-z Índice de impacto: A revista Humanities & Social Sciences Communication é publicada por Springer Nature. Comezou a publicarse como Palgrave Communications (ISSN 2662-9992) e operou baixo este título ata o 16 de xuño de 2020. Está actualmente indexada en: SCOPUS (Q1); SJR: 0,416; CiteScore: 2; Emerging Sources Citation Indez (ESCI)-accesible a través de Web of Science (Clarivate Analytics); OCLC; EBSCO Discovery Service; RePEc (Research papers in Economics); Summon by ProQuest; Google Scholar; DOAJ. Reprodúcese a aclaración da editorial sobre os dereitos e permisos da revista: Este artigo atópase baixo unha licenza internacional Creative Commons Attribution 4.0 http://creativecommons.org/licenses/by/4.0/, que permite o uso, o uso compartido, a adaptación, a distribución e a reprodución en calquera soporte ou formato, sempre que conceda o crédito adecuado aos autores orixinais e á fonte, ligue á licenza Creative Commons e indique se se fixeron cambios. (En inglés no orixinal). LETICIA CASTRO CALVIÑO 122 de abstracción para visualizar os cambios e continuidades. Parece pois máis eficaz a actividade realizada na educación primaria, xa que se constata un incremento maior dos coñecementos. Na Publicación 3 os obxectivos baséanse na análise dos resultados de aprendizaxe do alumnado atendendo á avaliación inicial, formativa e sumativa, así como e a súa avaliación da metodoloxía empregada para analizar a eficacia, eficiencia e eficacia do programa, o seu impacto e o nivel de satisfacción dos implicados. O3. Desenvolver unha avaliación inicial, procesual e final dos resultados de aprendizaxe do alumnado (Publicación 3). O3E1. Comprobar se o alumnado adquiriu aprendizaxes significativas tras a realización do programa. O3E2. Identificar as valoracións do alumnado sobre a metodoloxía utilizada. Os resultados mostran un alto nivel de concienciación e adquisición de coñecementos en educación infantil. O alumnado entende a importancia de coidar o patrimonio propio e manifesta a necesidade de difundir os seus coñecementos á familia e á comunidade local. Esta concienciación é importante para formar un alumnado con conciencia crítica na preservación do patrimonio xa desde idades tan temperás (Monti et al, 2017). Considérase relevante neste nivel educativo o traballo coas emocións. As actividades realizadas levou a que as nenas e nenos expresaran a súa preocupación, de maneira consciente, polas malas condicións nas que se atopa o seu patrimonio. Espertou neles un sentimento de identidade e apego co seu patrimonio que é a base para a concienciación e implicación posterior na conservación destes elementos (Peinado, 2020). Estudos anteriores, como o de Miralles e Rivero (2012) demostran a gran capacidade de aprender sobre o paso do tempo e a historia nestas idades. Nesta investigación corrobórase isto, pois o alumnado incorpora novos coñecementos sobre o patrimonio próximo desde a primeira sesión. Capítulo 5. Discusión 123 No caso dos cursos de educación primaria, refórzanse os coñecementos sobre o patrimonio próximo, un gran descoñecido para eles. Ao contrario do que mostran estudos sobre futuros profesores deste ámbito de coñecemento, como o de Gómez-Carrasco, MirallesMartínez, Fontal e Ibáñez-Etxeberria (2020) despois da realización do programa, os estudantes mostran unha identificación co propio e unha crecente preocupación polo patrimonio inmaterial. Consideran que coa realización do programa están recuperando o patrimonio. O alumnado é consciente do seu papel e defende a conservación do patrimonio e súa preservación para as xeracións futuras. Estes resultados reafirman a importancia de traballar nesta liña (Kirshenblatt-Gimblett, 2004; Lenzerini, 2011). Constátase unha maior conciencia histórica e difusión indirecta de información que realizan ao seu contorno, contribuíndo á difusión de valores patrimoniais entre a comunidade local. En educación secundaria as diferentes actividades trataron o patrimonio desde a súa multiplicidade e distribuíronse en varias materias. A suma de coñecementos complementarios nos que se traballa a toponimia, a música, a historia, o espazo xeográfico, e nos que se integran as TIC pretenden xerar, e parecen logralo en gran medida, un coñecemento integral e continuo do patrimonio, o que leva aos estudantes a valorar os elementos patrimoniais próximos. O alumnado concede importancia á difusión do seu patrimonio. Consideran relevante compartir coa poboación local a responsabilidade de coidado sobre o patrimonio. Na Publicación 4 recóllense as valoracións do profesorado, familias, autoridades locais e xestores do patrimonio, sobre o programa. Preténdese avaliar a calidade do programa comprobando a súa eficacia, eficiencia, eficacia, impacto e grao de satisfacción dos participantes. O4. Realizar unha avaliación formativa e sumativa do programa en base ás opinións de profesorado, familias, autoridades locais e xestores do patrimonio (Publicación 4). O4E1. Analizar se se acadaron os obxectivos previstos no programa. LETICIA CASTRO CALVIÑO 124 O4E2. Comprobar a eficacia, eficiencia e efectividade do programa. O4E3. Coñecer o impacto do programa nos axentes externos ou indirectos do mesmo. O4E4. Identificar o grao de satisfacción dos axentes implicados no programa. Seguindo o modelo de Pérez (2006) lévase a cabo a avaliación do proceso valorando a execución do programa e o seu marco ou contexto. Constátase un nivel intermedio na avaliación da metodoloxía empregada referida a variable de temporalización. No que se refire ao contexto dos centros educativos, o nivel de satisfacción dos implicados é moi elevado, polo que se considera que existe coherencia no desenvolvemento do programa e un bo ambiente de traballo en ambos centros. A avaliación final do programa mostra un nivel alto de eficacia, pois segundo os axentes implicados no estudo, lográronse os obxectivos fixados. O programa presenta un nivel alto de eficiencia, pero o profesorado e as familias sinalan algunhas deficiencias a respecto da temporalización realizada. Con todo, a dificultade ou problema maior deriva da valoración realizada polos escolares de educación secundaria. Os resultados recollidos na Publicación 3 mostran que os estudantes de educación secundaria expresan reticencias a involucrarse en programas de educación patrimonial que consideran que están fóra do currículo, alegando que lles resta tempo doutras materias ás que atribúen maior importancia académica. Esta actitude pode corresponder co ambiente familiar. O estudo que se recolle na Publicación 4, mostra que as familias nos niveis educativos superiores (educación secundaria) implícanse menos neste programa. Probablemente porque a súa principal preocupación na educación se centre nos resultados académicos que habitualmente asocian ao éxito nas seguintes etapas educativas. Este estereotipo correspondería á representación social, amplamente difundida entre gran parte da poboación do diferente valor que teñen algúns contidos escolares fronte a outros, estereotipo que se Capítulo 5. Discusión 125 ve reforzado polas prescricións curriculares e os libros de texto, nos que apenas se inclúen referencias ao patrimonio. (Cuenca-López e LópezCruz, 2014; Cuenca-López, Estepa e Martín-Cáceres, 2017). Isto pode explicar que os e as estudantes de secundaria consideren o estudo do patrimonio como secundario ou anecdótico. O profesorado valora positivamente a metodoloxía de ensino participativo na que o alumnado é protagonista da súa propia aprendizaxe. Entre os beneficios que mencionan o incremento de coñecementos sobre o contorno local e mais a valoración e o sentimento de pertenza á comunidade. Isto contribúe á adquisición da competencia social e cívica e á formación dunha cidadanía crítica que pode actuar sobre o patrimonio de maneira sostible (Fuentes-Moreno, SabariegoPuig e Ambros-Pallarés, 2020; Trabajo-Rite e Cuenca-López , 2020). Constátase un nivel alto na efectividade do programa, pois se identifican efectos beneficiosos que superan os contemplados na planificación inicial. Entre eles cabe destacar a importancia que as familias conceden ao patrimonio inmaterial. As familias propoñen como actividades que poderían integrarse en programas de educación patrimonial: a recollida de cancións populares ou a realización de entrevistas sobre oficios desaparecidos ou en transformación. Esta valoración resulta coherente cos resultados recollidos na Publicación 3 que mostran a importancia que os alumnos conceden ao patrimonio inmaterial, considerándose axentes importantes para a súa conservación e preservación (Castro-Calviño, Rodríguez-Medina e López Facal, 2021). Que exista unha coincidencia entre as opinións das familias e os resultados de aprendizaxe dos alumnos e alumnas parece confirmar que o programa consegue que as emocións suscitadas entre os e as escolares, alcancen e impliquen ás súas familias. O impacto indirecto do programa é maior do previsto, o que confirma un elevado nivel de eficacia. Varias familias recoñecen que descubriron moitos dos lugares e elementos patrimoniais existentes no municipio grazas á participación dos seus fillos e fillas no programa. O programa proporciona coñecementos non só aos estudantes, senón tamén ás súas familias, incrementándose o coñecemento e conciencia sobre o seu patrimonio de maneira exponencial. Os axentes implicados recoñecen que o programa influíu no ambiente do centro, nos LETICIA CASTRO CALVIÑO 126 profesores e nos alumnos de outros cursos, corroborando outro indicio da eficacia do programa (Pérez, 2006). As autoridades locais e os xestores do patrimonio consideran que o traballo co patrimonio local desde a educación non formal é unha cuestión pendente. Consideran que os mozos e mozas da localidade non están suficientemente formados neste campo e necesitan recursos e materiais para levar a cabo participacións coa escola (Martín e Cuenca, 2011). Prats (2005) fala de “activación patrimonial” que é propiciada pola sociedade pero que recae na responsabilidade das autoridades: Arredor da posta en valor de tal ou cal elemento prodúcese precisamente o primeiro proceso de negociación, na medida en que existe na sociedade unha previa posta en valor xerarquizada de determinados elementos patrimoniais, froito normalmente de procesos de identificación, non necesariamente espontneos, ou non completamente espontneos, pero que poden comportar un alto grao de espontaneidade e consenso previo. Isto soe esixir, polo menos, a conservación destes elementos, e facilita, por outra parte, ao poder poltico, unha va rpida e segura para a actuación consensuada. (Prats, 2005, p. 20: en castelán no orixinal, tradución propia). O programa logrou acadar os seus obxectivos con éxito: - Identificáronse e analizáronse as percepcións previas do alumnado sobre o patrimonio. - Constatouse a eficacia do traballo cooperativo entre os diferentes niveis participantes. - Comprobouse a eficacia da interdisciplinariedade para o traballo co patrimonio. - Corroborouse que traballar o patrimonio partindo das emocións esperta a curiosidade e permite a adquisición de coñecementos por parte do alumnado. Capítulo 5. Discusión 127 - Co programa, contribuíuse ao desenvolvemento de modelos identitarios que poñen en valor os elementos patrimoniais do contorno local do centro. - Constátase que o estudo do patrimonio a través de programas de innovación educativa reforza a identificación, sensibilización e actuación do alumnado con e sobre o contorno próximo. - Verificouse un alto grao de consciencia de conservación e de necesidade de difusión do patrimonio no alumnado e unha posibilidade de acción sobre os elementos a nivel comunitario. Logrados estes obxectivos, pódese dicir que este tipo de programas poden ser relevantes para promover o respecto e a sensibilización sobre o patrimonio entre os mozos e mozas, pero tamén entre a comunidade local no seu conxunto. 5.2. METAAVALIACIÓN DA AVALIACIÓN A PARTIR DO MAPEP O Joint Committee on Standards for Educational Evaluation elaborou unha listaxe de comprobación para medir en que grao se compren os seus estándares recomendados para establecer a calidade da avaliación dun programa (Yarbrough, Shulha, Hopson e Caruthers, 2010). Estándares de utilidade: indicios para poder aumentar a medida en que os axentes implicados no programa atopan os procesos e produtos de avaliación valiosos para satisfacer as súas necesidades: U1 Credibilidade do avaliador: as avaliacións deben ser realizadas por persoas cualificadas que establezan e manteñan a credibilidade no contexto da avaliación. U2 Atención ás partes interesadas: as avaliacións deben dedicar atención á gama completa de persoas e grupos involucrados no programa e afectados pola súa avaliación. U3 Propósitos negociados: os propósitos de avaliación deben identificarse e negociarse continuamente en función das necesidades dos axentes implicados. LETICIA CASTRO CALVIÑO 128 U4 Valores explícitos: as avaliacións deben aclarar e especificar os valores individuais e culturais que sustentan propósitos, procesos e xuízos. U5 Información relevante: a información de avaliación debe atender ás necesidades identificadas e emerxentes das partes interesadas. U6 Procesos e produtos significativos: as avaliacións deben construír actividades, descricións e xuízos de xeito que animen aos participantes a redescubrir, reinterpretar ou revisar os seus entendementos e comportamentos. U7 Comunicación e informes oportunos e axeitados: as avaliacións deben atender ás necesidades continuas de información dos seus múltiples públicos. U8 Preocupación polas consecuencias e a influencia: as avaliacións deben promover un uso responsable e adaptativo e protexerse das consecuencias negativas non desexadas e do uso indebido. Estándares de viabilidade: indicios para poder aumentar a eficacia e eficiencia da avaliación. V1 Xestión de proxectos: as avaliacións deben empregar estratexias eficaces de xestión de proxectos. V2 Procedementos prácticos: os procedementos de avaliación deben ser prácticos e responder á forma na que opera o programa. V3 Viabilidade contextual: as avaliacións deben recoñecer, controlar e equilibrar os intereses e as necesidades culturais e políticas de individuos e grupos. V4 Uso dos recursos: as avaliacións deben utilizar os recursos de forma eficaz e eficiente. Estándares de propiedade: indican o que é apropiado, legal, correcto e xusto nas avaliacións. P1 Orientación sensible e inclusiva: as avaliacións deben responder ás partes interesadas e ás súas comunidades. P2 Acordos formais: os acordos de avaliación deben negociarse para facer explícitas as obrigas e ter en conta as necesidades, Capítulo 5. Discusión 129 expectativas e contextos culturais dos clientes e doutras partes interesadas. P3 Dereitos humanos e respecto: as avaliacións deben deseñarse e realizarse para protexer os dereitos humanos e legais e manter a dignidade dos participantes e doutras partes interesadas. P4 Claridade e equidade: as avaliacións deben ser comprensibles e xustas para abordar as necesidades e os propósitos das partes interesadas. P5 Transparencia e divulgación: as avaliacións deben proporcionar descricións completas de achados, limitacións e conclusións a todas as partes interesadas, a menos que facelo viole as obrigacións legais e de propiedade. P6 Conflitos de intereses: as avaliacións deben identificar de forma aberta e honesta e tratar conflitos de intereses reais ou percibidos que poidan comprometer a avaliación. P7 Responsabilidade fiscal: as avaliacións deben ter en conta todos os recursos gastados e cumprir con procedementos e procesos fiscais sólidos. Estándares de precisión: destinados a aumentar a fiabilidade e veracidade das representacións, proposicións e achados da avaliación, especialmente aqueles que apoian interpretacións e xuízos sobre a calidade. Pr1 Conclusións e decisións xustificadas: as conclusións e decisións da avaliación deben xustificarse explicitamente nas culturas e contextos onde teñen consecuencias. Pr2 Información válida: a información de avaliación debe servir aos fins previstos e apoiar interpretacións válidas. Pr3 Información fiable: os procedementos de avaliación deben producir información suficientemente fiable e consistente para os usos previstos. Pr4 Descricións explícitas do contexto e do programa: as avaliacións deben documentar os programas e os seus contextos co detalle e alcance adecuados para os fins da avaliación. LETICIA CASTRO CALVIÑO 130 Pr5 Xestión da información: as avaliacións deben empregar métodos sistemáticos de recollida, revisión, verificación e almacenamento de información. Pr6 Deseños e análises sólidos: as avaliacións deben empregar deseños e análises tecnicamente adecuados que sexan apropiados para os fins da avaliación. Pr7 Razoamento de avaliación explícito: o razoamento de avaliación que vai desde a información e as análises ata os achados, as interpretacións, as conclusións e os xuízos deben estar claramente e completamente documentados. Pr8 Comunicación e informes: as comunicacións de avaliación deben ter un alcance adecuado e protexerse contra equívocos, prexuízos, distorsións e erros. Estándares de responsabilidade de avaliación: fomentan unha documentación adecuada das avaliacións e unha perspectiva metaavaliativa centrada na mellora e rendición de contas dos procesos e produtos de avaliación. R1 Documentación da avaliación: as avaliacións deben documentar completamente os seus propósitos e deseños levados a cabo, procedementos, datos e resultados. R2 Metaavaliación interna: os avaliadores deben usar estes e outros estándares aplicables para examinar e render contas do deseño de avaliación, os procedementos empregados, a información recollida e os resultados. R3 Metaavaliación externa: os patrocinadores da avaliación do programa, os clientes, os avaliadores e outras partes interesadas deben fomentar a realización de metaavaliacións externas utilizando estas e outras normas aplicables. Para comprobar a calidade da avaliación levada a cabo nesta investigación utilízase a listaxe de comprobación para a aplicación dos estándares do Joint Committee (Yarbrough, Shulha, Hopson e Caruthers, 2010) que se plasman na Táboa 19. Capítulo 5. Discusión 131 Táboa 19. Listaxe de comprobación adaptada do Joint Committee on Standards for Educational Evaluation (Yarbrough, Shulha, Hopson e Caruthers, 2010) e Sanders (1998) Cumpriuse Cumpriuse en parte Non se cumpriu Non se considerou aplicable U1 Credibilidade do avaliador X U2 Atención ás partes interesadas X U3 Propósitos negociados X U4 Valores explícitos X U5 Información relevante X U6 Procesos e produtos significativos X U7 Comunicación e informes oportunos e axeitados X U8 Preocupación polas consecuencias e a influencia X V1 Xestión de proxectos X V2 Procedementos prácticos X V3 Viabilidade contextual X V4 Uso dos recursos X P1 Orientación receptiva e inclusiva X P2 Acordos formais X P3 Dereitos humanos e respecto X P4 Claridade e equidade X P5 Transparencia e divulgación X P6 Conflitos de intereses X P7 Responsabilidade fiscal X Pr1 Conclusións e decisións xustificadas X Pr2 Información válida X Pr3 Información fiable X Pr4 Descricións explícitas do contexto e do programa X Pr5 Xestión da información X Pr6 Deseños e análises sólidos X Pr7 Razoamento de avaliación explícito X LETICIA CASTRO CALVIÑO 138 REFERENCIAS Alkin, M. (1979). An approach to evaluation theory development. Studies in Educational Evaluation, 5, 125-127. doi: doi.org/10.1016/0191491X(79)90014-2 lvarez, M., Echeverra, B., Marn, M. A., Rodrguez, S., e Rodrguez, M. L. (1991). La evaluación en los programas de orientación: evaluación del contexto y del diseo. Revista de Investigacin Educativa, 17(9), 4982. Recuperado de https://revistas.um.es/rie/article/view/136571/124181 Alves, L. A., e Pinto, H. (2019). Educación histórica con el patrimonio: desafiando la formación de profesorado. Revista Electrónica Interuniversitaria de Formación del profesorado, 22(1), 71-81. doi: https://doi.org/10.6018/reifop.22.1.356381 Asociación Médica Mundial (21 de marzo de 2017). Declaración de Helsinki de la AMM – Principios éticos para las investigaciones médicas en seres humanos. Recuperado de https://www.wma.net/es/policiespost/declaracion-de-helsinki-de-la-amm-principios-eticos-para-lasinvestigaciones-medicas-en-seres-humanos/ Bangdiwala, K. (1987) Using SAS software graphical procedures for the observer agreement chart. Proceedings of the SAS Users Group International Conference, 12, 1083-1088. Calaf, R., Guillate, I., e Gutiérrez, S. (2015). Transitando por la evaluación de los Programas Educativos de Museos de Arte del proyecto ECPEME. Educatio Siglo XXI, 33(1), 129-150. doi: https://doi.org/10.6018/j/222531 Referencias 139 Calaf, R., Gutiérrez, S., e Suárez, M.A. (2020). La evaluación en la Educación Patrimonial. 20 años de investigaciones y Congresos de ICOM. Aula Abierta, 49(1), 55-64. doi: https://doi.org/10.17811/rifie.49.1.2020.5564 Calaf, R., San Fabin, J. L., e Gutiérrez, S. (2017). Evaluación de programas educativos en museos: Una nueva perspectiva. Bordn, 69(1), 45–65. doi: http://dx.doi.org/10.13042/Bordon.2016.42686 Cambil, M.E., e Fernndez, R. (2016). El concepto actual de Patrimonio Cultural y su valor educativo: fundamentación teórica y aplicación didctica. En M. Puche; L. Molina & G. Martnez (Eds.), Identidad, ciudadana y patrimonio: Educacin histrica para el siglo XXI (pp. 2746). Gijón: Ediciones Trea. Castro-Calviño, L., e López-Facal, R. (2019). Educación patrimonial: necesidades sentidas por el profesorado de infantil, primaria y secundaria. RIFOP, 33(1), 97-114. Recuperado de https://recyt.fecyt.es/index.php/RIFOP/article/view/72020 Castro-Calviño, L., Rodríguez-Medina, J., e López-Facal, R. (2021). Educación patrimonial para una ciudadanía participativa. Evaluación de resultados de aprendizaje del alumnado en el programa Patrimonializarte. Revista Electrónica Interuniversitaria de Formación del Profesorado (REIFOP), 24(1). doi: https://doi.org/10.6018/reifop.444881 Castro-Calviño, L., Rodríguez-Medina, J., e López-Facal, R. (2020). Heritage education under evaluation: the usefulness, efficiency and effectiveness of heritage education programmes. Humanities & Social Sciences Communications, 7, 146. doi: https://doi.org/10.1057/s41599-02000639-z Castro-Calviño, L., Rodríguez-Medina, J., Gómez-Carrasco, C. J., e LópezFacal, R. (2020). Patrimonializarte: A Heritage Education Program Based on New Technologies and Local Heritage. Education Sciences, 10(7), 176. doi: https://doi.org/10.3390/educsci10070176 LETICIA CASTRO CALVIÑO 140 Castro-Fernández, B. Mª., Castro-Calviño, L., Conde-Miguélez, J. e LópezFacal, R. (2020). Concepciones del profesorado sobre el uso educativo del patrimonio. Revista Interuniversitaria de Formación del Profesorado (RIFOP), 34(3), 77-96. doi: https://doi.org/10.47553/rifop.v34i3.81620 Colomer-Rubio, J.C., Saiz-Serrano, J., e Bel-Martínez, J.C. (2018). Competencia digital en futuros docentes de Ciencias Sociales en Educación Primaria: análisis desde el modelo TPACK. Educatio Siglo XXI, 36(1), 107-128. doi: https://doi.org/10.6018/j/324191 Cook, T. D., e Reichardt, CH. S. (1982). Qualitative and Quantitative Methods in Evaluation Research. Londres, Reino Unido: Sage Publications. Consellería de Cultura, Educación e Ordenación Universitaria (CCEOU) (2009). Decreto 330/2009, do 4 de xuño, polo que se establece o currículo da educación infantil na Comunidade Autónoma de Galicia. Diario Oficial de Galicia, 121, 23 de xuño de 2009, 10.773. Recuperado de https://www.xunta.gal/dog/Publicados/2009/20090623/Anuncio202E2 _es.html Consellería de Cultura, Educación e Ordenación Universitaria (CCEOU) (2014). Decreto 105/2014, do 4 de setembro, polo que se establece o currículo da educación primaria na Comunidade Autónoma de Galicia. Diario Oficial de Galicia, 171, 9 de setembro de 2014, 37406. Recuperado de https://www.xunta.gal/dog/Publicados/2014/20140909/AnuncioG016 4-050914-0005_es.html Consellería de Cultura, Educación e Ordenación Universitaria (CCEOU) (2015). Decreto 86/2015, do 25 de xuño, polo que se establece o currículo da educación secundaria obrigatoria e do bacharelato na Comunidade Autónoma de Galicia. Diario Oficial de Galicia, 120, 29 de junio de 2015, 25434. Recuperado de https://www.xunta.gal/dog/Publicados/2015/20150629/AnuncioG016 4-260615-0002_es.html Referencias 141 Creswell, J. W., e Garrett, A. L. (2008). The “movement” of mixed methods research and the role of educators. South African Journal of Education, 28(3), 321-333. Recuperado de http://www.sajournalofeducation.co.za/index.php/saje/article/view/17 6/114 Cronbach, L. J. (1963). Course improvement through evaluation. Teachers College Record, 64, 672-683. Recuperado de https://www.tcrecord.org/content.asp?contentid=2843 Cuenca-López, J. M. (2003). Análisis de concepciones sobre la enseñanza del patrimonio en la educación obligatoria. Enseñanza de las Ciencias Sociales: Revista de Investigación, (2), 37-45. Recuperado de https://www.raco.cat/index.php/EnsenanzaCS/article/view/126155 Cuenca-López, J. M., e López-Cruz, I. (2014). Teaching heritage in Social Science, Geography and History textbooks in Compulsory Secondary Education. Culture and Education, 26(1), 1-43. doi: https://doi.org/10.1080/11356405.2014.908663 Cuenca-López, J. M., Estepa-Giménez, J., e Martín-Cáceres, M. J. (2017). Patrimonio, educación, identidad y ciudadanía. Profesorado y libros de texto en la enseñanza obligatoria. Revista de Educación, (375), 136159. Recuperado de https://sede.educacion.gob.es/publiventa/patrimonio-educacionidentidad-y-ciudadania-profesorado-y-libros-de-texto-en-laensenanza-obligatoria--heritage-education-identity-and-citizenshipteachers-and-textbooks-in-compulsory-education/investigacion-educat Cuenca-López, J. M., Martín Cáceres, M., e Estepa, J. (2020). Buenas prácticas en educación patrimonial. Análisis de las conexiones entre emociones, territorio y ciudadanía. Aula Abierta, 49(1), 45-54. doi: https://doi.org/10.17811/rifie.49.1.2020.45-54 Cuenca, J.M. (2013). El papel del patrimonio en los centros educativos: hacia la socialización patrimonial. Tejuelo: Didctica de la Lengua y la Literatura. Educacin, 19, 76-96. Recuperado de http://rabida.uhu.es/dspace/handle/10272/7927 LETICIA CASTRO CALVIÑO 142 Delgado-Algarra, E. J., e Cuenca-López, J. M. (2020). Challenges for the Construction of Identities With Historical Consciousness: Heritage Education and Citizenship Education. En E. J. Delgado-Algarra y J. M. Cuenca-López. (Eds.), Handbook of Research on Citizenship and Heritage Education (pp.1-15). Hershey, EE. UU: IGI Global. Díaz-Puente, M., Cazorla, A., e De los Ríos, I. (2009) Empowering communities through evaluation: some lessons from rural Spain. Community Development Journal, 44(1), 53-67. doi: https://doi.org/10.1093/cdj/bsm008 Diz, M. J. (2017). Necesidades formativas. Modelos para su anlisis y evaluación. Revista de Estudios e Investigacin en Psicologa y Educacin, (06), 006-010. doi: https://doi.org/10.17979/reipe.2017.0.06.2132 Domínguez, A., e López-Facal, R. (2015). Patrimonio, entorno y procesos de identificación en la educación primaria. CLIO. History and History teaching, (41). Recuperado de http://clio.rediris.es/n41/articulos/mono/MonFacal2015.pdf Domínguez, A., e López-Facal, R. (2017a). Formación de maestros y educación patrimonial. Estudios Pedagógicos, 43(4), 49-68. doi: https://doi.org/10.4067/S0718-07052017000400003 Domnguez, A., e López-Facal, R. (2017b). Patrimonios en conflicto, competencias cvicas y formación profesional en educación primaria. Revista de Educacin, 375, 86-104. Recuperado de https://minerva.usc.es/xmlui/handle/10347/15805 Eisner, E. W. (1985). The art of educational evaluation. London: The Falmer Press. Epstein, J. L. (1995) School/Family/Community/Partnerships: Caring for the Children We Share. Phi Delta Kappan, 76(9), 701-712. Escudero, T. (2011). La construcción de la investigación evaluativa. El aporte desde la educación, 1st ed. Zaragoza: Prensas Universitarias de Zaragoza. Referencias 143 Escudero, T. (2016). La investigación evaluativa en el siglo XXI: un instrumento para el desarrollo educativo y social cada vez más relevante. RELIEVE, 22(1), 1-20. doi: https://doi.org/10.7203/relieve.22.1.8164 Estepa, J., vila, R., e Ferreras, M. (2008). Primary and secondary teachers’ conceptions about heritage and heritage education: A comparative analysis. Teaching and Teacher Education, 24(8), 2095-2107. doi: https://doi.org/10.1016/j.tate.2008.02.017 Estepa, J., vila, R., e Ruiz, R. (2007). Concepciones sobre la enseanza y difusión del patrimonio en las instituciones educativas y los centros de interpretación: estudio descriptivo. Enseanza de las ciencias sociales: revista de investigacin, (6), 75-94. Recuperado de https://www.raco.cat/index.php/EnsenanzaCS/article/view/126332 Estepa, J., Cuenca, J.M., e vila, R.M. (2006). Concepciones del profesorado sobre la didctica del patrimonio. En E. Gómez Rodrguez & M. P. Núez Galiano (Eds.), Formar para investigar, investigar para formar en didctica de las Ciencias Sociales (pp. 57-66). Mlaga: Editorial Libros Activos: Asociación Universitaria de Profesorado de Didctica de las Ciencias Sociales. Estepa, J., Ferreras, M., López, I., e Morón, H. (2011). Análisis del patrimonio presente en los libros de texto: obstáculos, dificultades y propuestas. Revista de Educación 2011, (355), 573-589. Recuperado de https://sede.educacion.gob.es/publiventa/d/22896/19/0 Felices-De la Fuente, M.M., Chaparro Sainz, A., e Rodríguez Pérez, R.A. (2020). Perceptions on the use of heritage to teach history in Secondary Education teachers in training. Humanities and Social Sciences Communications, 7(123), 1-10. doi: https://doi.org/10.1057/s41599020-00619-3 Fetterman, D. M. (2001) Foundations of empowerment evaluation. London: Sage Publications. Fetterman, D. M., e Wandersman, A. (2007) Empowerment Evaluation: Yesterday, Today, and Tomorrow. American Journal of Evaluation 28(2), 179-198. doi: https://doi.org/10.1177/1098214007301350 LETICIA CASTRO CALVIÑO 144 Fetterman, D. M., Kaftarian, S. J., e Wandersman, A. (2015). Empowerment Evaluation: Knowledge and Tools for Self-Assessment, Evaluation Capacity Building, and Accountability. Thousand Oaks, California, EE. UU: Sage Publications. doi: https://dx.doi.org/10.4135/9781483387079 Fombona, J., E Vázquez-Cano, E. (2017). Posibilidades de utilización de la Geolocalización y Realidad Aumentada en el ámbito educativo. Educación XX1, 20, 319-342. doi: https://doi.org/10.5944/educxx1.19046 Fombona, J., Goulao, M. de F., e García, M. (2014). Melhorar a atratividade da informação a través do uso da Realidade. Perspectivas em Ciencia da Informação, 19, 37-50. Recuperado de https://www.brapci.inf.br/_repositorio/2014/05/pdf_f1e30206e2_0026 063.pdf Fontal, O. (2003). La educación patrimonial: Teoría y práctica para el aula, el museo e Internet. Gijón, España: Trea. Fontal, O. (2016a). Educación patrimonial: retrospectiva y prospectivas para la próxima década. Estudios Pedagógicos, 42(2), 415-136. doi: http://dx.doi.org/10.4067/S0718-07052016000200024. Fontal, O. (2016b). El patrimonio a través de la educación artstica en la etapa de primaria. Arte, Individuo y Sociedad, 28(1), 105-120. doi: http://dx.doi.org/10.5209/rev_ARIS.2016.v28.n1.47683 Fontal, O. (2016c). The spanish heritage education observatory/El observatorio de educación patrimonial en Espaa. Culture and Education, 28(1), 254-266. doi: https://doi.org/10.1080/11356405.2015.1110374 Fontal, O., e García, S. (2019). Evaluación de programas de Educación Patrimonial: estándares de calidad. ENSAYOS, Revista de la Universidad de Albacete, 34(1), 1-15. doi: https://doi.org/10.18239/ensayos.v34i1.2039 Fontal, O., e García, S. (2019). Las plataformas 2.0 como herramientas de aprendizaje y adquisición de competencias en educación patrimonial. Referencias 145 RIFOP, 94, 285-306. Recuperado de https://recyt.fecyt.es/index.php/RIFOP/article/view/73351 Fontal, O., e Ibáñez-Etxeberría, A. (2015). Estrategias e instrumentos para la educación patrimonial en España. Educatio Siglo XXI, 33, 15-32. doi: https://doi.org/10.6018/j/222481 Fontal, O., e Ibez, A. (2017). La investigación en Educación Patrimonial. Evolución y estado actual a través del anlisis de indicadores de alto impacto. Revista de educacin, (375), 184-214. Recuperado de http://www.educacionyfp.gob.es/revista-de-educacion/numerosrevista-educacion/numeros-anteriores/2017/375/375-8.html Fontal, O., e Marín-Cepeda, S. (2018). Nudos Patrimoniales. Análisis de los vínculos de las personas con el patrimonio personal. Arte, Individuo y Sociedad, 30(3), 483-500. doi: https://doi.org/10.5209/ARIS.57754 Fontal, O., e Martínez, M. (2017). Evaluación de programas educativos sobre Patrimonio Cultural Inmaterial. Estudios pedagógicos, 43(4), 69-89. doi: http://dx.doi.org/10.4067/S0718-07052017000400004 Fontal, O., García, S., Arias, B., e Arias, V. (2019). Evaluación de la calidad de programas de educación patrimonial: construcción y calibración de la escala Q-Edutage. Revista de Psicodidáctica, 24(1), 31-38. doi: https://doi.org/10.1016/j.psicod.2018.07.003 Fontal, O., Ibáñez-Etxeberria, A., Martínez, M., e Rivero, P. (2017). El patrimonio como contenido en la etapa de Primaria: del curriculum a la formación de maestros. REIFOP, 20(2), 79-95. doi: https://doi.org/10.6018/reifop/20.2.286321 Fuentes-Moreno, C., Sabariego-Puig, M., Ambrós-Pallarés, A. (2020) Developing social and civic competence in secondary education through the implementation and evaluation of teaching units and education environments. Humanities & Social Sciences Communications, 7(39). doi: https://doi.org/10.1057/s41599-0200530-4 Garca, M. P. (2012). Fundamentos tericos y metodolgicos de la evaluacin de programas. Murcia: DM. LETICIA CASTRO CALVIÑO 146 Glasser, B. G., e Strauss, A. L. (1967). The Discovery of Grounded Theory. Strategies for Qualitative Research. London: Aldine Transactions. Gómez-Carrasco, C. J., e Chaparro-Sainz, A. (2020). Estrategias metodológicas y uso de recursos digitales para la enseñanza de la historia. Análisis de recuerdos y opiniones del profesorado en formación inicial. Aula Abierta, 49(1), 67-74. doi: https://doi.org/10.17811/rifie.49.1.2020.65-74 Gómez-Carrasco, C. J., López-Facal, R., e Castro-Fernández, B. (2019). Educación histórica y competencias educativas. Educar em Revista, 35(74), 145-171. doi: https://doi.org/10.1590/0104-4060.64402 Gómez-Carrasco, C. J., Miralles-Martínez, P., Fontal, O., e Ibáñez-Etxeberria, A. (2020). Cultural Heritage and Methodological Approaches—An Analysis through Initial Training of History Teachers (Spain–England). Sustainability, 12(3), 933. doi: https://doi.org/10.3390/su12030933 Gómez-Redondo, C. (2011). Procesos de patrimonialización en el Arte Contemporneo. Educación Artstica, Revista de Investigacin, 2, 108112. Recuperado de https://ojs.uv.es/index.php/eari/article/view/2511 Gómez-Redondo, C., Calaf, R., e Fontal, O. (2017). Diseño de un instrumento de análisis para recursos didácticos patrimoniales. CADMO, 1, 63-80. doi: https://doi.org/10.3280/CAD2017-001008 Gómez, C., e Fenoy. B. (2016). La sensorialidad como estrategia para la educación patrimonial en el aula de educación infantil. EARI Educación Artística Revista de Investigación, (7), 54-68. doi: https://doi.org/10.7203/eari.7.8010 Greene, J. C. (2005). The generative potential of mixed methods inquiry. International Journal of Research & Method in Education, 28(2), 207211. doi: https://doi.org/10.1080/01406720500256293 Guba, E. G., e Lincoln, Y. S. (1989). Fourth Generation Evaluation. EE.UU: Sage Publications. Ibáñez-Etxeberría, A., Fontal, O., e Rivero, P. (2018). Heritage education and ICT in Spain: Regulatory framework, structuring variables and main points of reference. ARBOR , 194, a448. doi: Referencias 147 https://doi.org/10.3989/arbor.2018.788n2008 Ibáñez-Etxeberria, A., Gómez-Carrasco, C.J., Fontal, O., e García-Ceballos, S. (2020). Virtual Environments and Augmented Reality Applied to Heritage Education. An Evaluative Study. Applied Sciences, 10(7), 2352. doi: https://doi.org/10.3390/app10072352 Ibáñez-Etxeberria, A., Kortabitarte, A., De Castro, P., e Gillate, I. (2019). Digital competence using heritage theme apps in the DigComp framework. REIFOP, 22, 13-27. doi: https://doi.org/10.6018/reifop.22.1.356231 ICOMOS. (2017). Delhi Declaration on Heritage and Democracy. Recuperado de https://www.icomos.org/images/DOCUMENTS/Charters/GA2017_D elhi-Declaration_20180117_EN.pdf Jiménez-Pérez, R., Cuenca-López, J. M., e Ferreras-Listán, M. (2010). Heritage education: Exploring the conceptions of teachers and administrators from the perspective of experimental and social science teaching. Teaching and Teacher Education, 26(6), 1319-1331. doi: https://doi.org/10.1016/j.tate.2010.01.005 Johnson, R. B., e Onwuegbuzie, A. J. (2004). Mixed Methods Research: A Research Paradigm Whose Time Has Come. Educational Researcher, 33(7), 14-26. Recuperado de http://sites.uci.edu/socscihonors/files/2017/09/Mixed_Methods_Resea rch.pdf Johnson, R. B., Onwuegbuzie, A. J., e Turner, L. A. (2007). Toward a Definition of Mixed Methods Research. Journal of Mixed Methods Research, 1(2),112-133. doi: https://doi.org/10.1177/1558689806298224 Joint Committee on Standards for Educational Evaluation (1988). Standards for evaluations of educational programs, projects, and materials, 1st ed.; EE.UU: McGraw-Hill. Kaufman, R. A. (1977). Planificacin de sistemas educativos. Ideas bsicas concretas. México: Trillas.