Acceso abierto y ciencia reproducible

Acceso abierto y ciencia reproducible Isabel Bernal Oficina Técnica de DIGITAL.CSIC Unidad de Recursos de Información Científica para la Investigación (URICI) Curso del Gabinete de Formación CSIC 26-27 octubre, 2022 Objetivos del curso Dar una panorámica y contexto general del tema, con mayor atención a cuestiones en el trabajo cotidiano de gestores de ciencia abierta Aumentar el conocimiento de herramientas, estándares y buenas prácticas para gestionar y describir resultados de investigación de acuerdo a recomendaciones de reproducibilidad Dotar a los gestores de ciencia abierta de competencias para que la comunidad científica CSIC adopte prácticas de ciencia abierta que favorezcan la reproducibilidad de sus resultados Código de Buenas Prácticas Científicas en el CSIC •La investigación debe realizarse conforme a protocolos de trabajo bien proyectados y definidos, que puedan ser analizados e interpretados por cualquier investigador del campo científico en cuestión. •En la investigación científica, los datos de experimentos y observaciones, así como los materiales y equipos utilizados, son la base de los resultados y de las eventuales publicaciones o patentes. Por esta razón, es necesario que sean comprensibles los fundamentos de su diseño e interpretación y, siempre que resulte viable, puedan reproducirse los experimentos. Ello implica que los protocolos experimentales y los datos originales sean conservados por el investigador, el grupo de investigación y la Institución, durante un período de tiempo que no debería ser inferior a diez años, pero que puede variar, de acuerdo a la disciplina de que se trate. •La institución y el personal investigador deberán garantizar la conservación y adecuada gestión de todo el conocimiento y materiales generados en los procesos de investigación, incluso los no publicados, asegurando su protección y el acceso adecuado a los mismos durante un periodo de tiempo razonable •El personal investigador tiene el deber moral de publicar los resultados de su investigación y las interpretaciones de estos de manera abierta, transparente, honesta, y con precisión y exactitud, sin excluir aquellos resultados insospechados o negativos que no estuvieran en línea con las hipótesis formuladas •El CSIC promueve y apoya la publicación en acceso abierto y la accesibilidad a su producción científica en repositorios y, en particular, en el institucional Mandato CSIC de acceso abierto Mandato Institucional de Acceso Abierto | DIGITAL.CSIC ¿Qué son los artículos científicos? “An article about computational science in a scientific publication is not the scholarship itself, it is merely advertising of the scholarship. The actual scholarship is the complete ... set of instructions [and data] which generated the figures.” David Donoho parafraseando a Jon Claerbout Open is not enough •Definición de ciencia abierta en la taxonomía de FOSTER: Open Science is the practice of science in such a way that others can collaborate and contribute, where research data, lab notes and other research processes are freely available, under terms that enable reuse, redistribution and reproduction of the research and its underlying data and methods. Pilares de la ciencia abierta: •Acceso abierto a publicaciones •Acceso abierto a datos de investigación (o en su lugar, datos FAIR) •Software y Código abiertos •Cuadernos de laboratorio abiertos •Infraestructuras de investigación abiertas •Pre-registro de estudios e investigación antes de su realización ¿Qué significa “promover la reproducibilidad de una publicación científica”? •Compartir resultados de investigación no tradicionales (datos de investigación, métodos, código..) para que otros investigadores puedan: •1. Reutilizarlos y avanzar investigaciones/realizar nuevas aplicaciones •2. Demostrar la validez científica de los resultados publicados Reproducibilidad significa replicar los métodos computacionales y estadísticos usados en un proyecto de investigación Ciencia reproducible R para la reproducibilidad de la investigación Buenas prácticas de agencias financiadoras para promover la reproducibilidad de la ciencia TOP Funders (cos.io) Good •Require that each submission include a Data Management Plan (DMP). •Include DMPs as part of the evaluated grant application. •Make DMPs publicly available. •Provide guidance and examples of citing existing datasets. •Recommend the use of specific reporting guidelines for grant reports and published outcomes. Better •Require that DMPs include a specific plan for making data publicly available. •For data that cannot be made publicly available, provide guidance for sharing subsets of data and resources. •Include dedicated funds for data curation and archiving. •Require the use of reporting checklists for grant reports and published outcomes. Best •All of the above recommendations, plus facilitate independent computational reproducibility of results. Several journals include this check prior to publication. Mandato de datos abiertos de los NIH •El mandato pretende, en parte, hacer frente a la crisis de reproducibilidad de la investigación científica. El año pasado, un intento de replicar estudios influyentes sobre el cáncer, con un coste de 2 millones de dólares y ocho años de duración, descubrió que menos de la mitad de los experimentos evaluados resistían el escrutinio. •Los esfuerzos por contabilizar el coste de la investigación irreproducible en Estados Unidos han revelado que se gastan entre 10.000 y 50.000 millones de dólares en estudios que utilizan métodos deficientes, un coste que en su mayor parte es sufragado por los organismos públicos de financiación. NIH issues a seismic mandate: share data publicly (nature.com) De los planes de gestión de datos a los planes de gestión de resultados: nueva política de datos de Wellcome Trust •Datos de investigación generados en el proyecto •Software original creado en el curso de la investigación •Nuevo materiales creados por los investigadores: anticuerpos, reactivos, líneas celulares.. •Propiedad intelectual: patentes, otros tipos de propiedad industrial, copyright, know how.. •Ejemplos de planes https://cms.wellcome.org/sites/ default/files/2021-02/outputsmanagement-plans-examples2021-01.pdf (example 5) La falta de documentación y metadatos, males comunes en proyectos de código de investigación https://rescience.github.io/ten-years/ Missing documentation and obsolete environments force participants in the Ten Years Reproducibility Challenge to get creative. It’s not unusual for the number of lines of documentation [in well-organized programs] to actually exceed your code,” says Karthik Ram, a computationalreproducibility advocate at the University of California, Berkeley. “Having as much of that in there, and then having a broader description of how the analysis is structured, where the data come from, some metadata about the data and then about the code, is kind of key.” https://www.nature.com/articles/d41586-020-02462-7 Reproducibility Project: Cancer Biology OSF | Reproducibility Project: Cancer Biology | Discover https://osf.io/8l4ea/wiki/home/ Reproducibility in Cancer Biology: Challenges for assessing replicability in preclinical cancer biology | eLife (elifesciences.org) Proyecto de replicabilidad en ciencias sociales: Replication wiki The relationship between energy consumption, energy prices and economic growth: time series evidence from Asian developing countries (Energy Economics 2000) - ReplicationWiki (uni-goettingen.de) Una herramienta de autoevaluación para investigadores Self Assessment Survey - PLOS Servicios bibliotecarios de apoyo a la reproducibilidad •Apoyo a metodologías de investigación basada en big data •Apoyo en la revisión de procesos de investigación •Punto de referencia para normativas y buenas prácticas por área de investigación •Identificación de repositorios de pre-registros •Mantenimiento de plataformas de publicación científica y repositorios institucionales •Gestión de datos de investigación •Soporte en la adopción de estándares en citación de datos, código, métodos, materiales de investigación •Promoción de nuevos sistemas de revisión científica •Formación a investigadores •Las bibliotecas de investigación como agentes de cambio del sistema de incentivos y evaluación científica Replicable Services for Reproducible Research: A Model for Academic Libraries (2019) REPOSITORIOS Y CIENCIA REPRODUCIBLE “Replication data” asociados a publicaciones •Metadatos descriptivos necesarios para que otros investigadores descubran el conjunto de datos •Lista de códigos, scripts, documentos y archivos de datos que se necesitan para hacer la replicación; •Fichero con las variables necesarias para la replicación de los resultados publicados; •Formatos de archivo preferidos en su disciplina •Eliminar la información confidencial de sus conjuntos de datos •Comandos de programa, código o script para análisis (si es necesario); •Fichero “readme” •Texto completo de texto/pdf del artículo •Lista de enlaces a software (o depositar el software real utilizado para replicar los datos), •Libro de códigos (codebook) •Bibliografías de publicaciones relacionadas con los datos. Replication Data for: Subject Placement in the History of Latin - TROLLing (dataverse.no) “Replication data” y “validation data” https://dataverse.no/dataset.xhtml?persistentId=doi:10.18710/ APDMDZ https://www.emdataresource.org/EMD-32802 “Provenance”: qué metadatos de Dublin Core usar para poder mapear al estándar PROV https://www.w3.org/TR/prov-dc/ Las plantillas para describir datasets y software en DIGITAL.CSIC hacen mención a principios FAIR Datasets: plantilla normalizada para la descripción de registros en Digital (csic.es) Software_DC_plantilla.pdf (csic.es) Los metadatos recomendados hacen la diferencia •Metadatos DIGITAL.CSIC obligatorios AUTOR TÍTULO FECHA DE PUBLICACIÓN TIPOLOGÍA IDIOMA DERECHOS DE ACCESO REVISIÓN POR PARES •¿Responden a todas estas preguntas? ¿Quiénes han producido los datos? ¿Qué roles han tenido? ¿Por qué han sido creados los datos? ¿Qué limitaciones tienen (por ejemplo, tratamiento con datos sensibles)? ¿Cómo deben interpretarse los datos? ¿Hay lagunas o dan una visión completa del tema estudiado? ¿Qué procesos han generado los datos? ¿Qué miden los datos en las columnas de los ficheros? ¿Qué software es necesario para poder abrir/usar los datos? ¿Qué licencia de uso tienen asignados los datos? ¿Existen más versiones de los datos? ¿Dónde? ¿Se han definido los términos técnicos y acrónimos a los que hacen referencia los datos? ¿Se han cualificado los parámetros geográficos y cronológicos de los datos? ¿Las palabras clave son suficientemente específicas a los datos? ¿Se basan en algún tesauro? ¿Cómo se llama el proyecto de investigación en que se encuadran los datos? ¿Quién ha financiado la producción y la gestión de los datos? https://digital.csic.es/handle/10261/270351 Vocabularios controlados e identificadores persistentes en DIGITAL.CSIC VOCABULARIOS CONTROLADOS COAR (dc.type) OpenAire (dc.rights, dc.relation.isversionof), Proximamente, los de COAR IANA (dc.format) FUNDREF (dc.contributor.funder) UNESCO, AGROVOC, LCSH, GBIF.. (dc.subject) GEONAMES (dc.coverage) Referencias de proyectos europeos, nacionales, CAM (dc.relation) Autoridades LOC, VIAF (dc.Publisher) Firmas normalizadas de investigadores CSIC IDENTIFICADORES PERSISTENTES RESULTADOS DE INVESTIGACIÓN AGENCIAS FINANCIADORAS ORCID DE AUTORES VOCABULARIOS FAIR RESULTADOS DE INVESTIGACIÓN RELACIONADOS LOCALIZACIÓN GEOGRÁFICA ¿Dónde buscar vocabularios FAIR? https://vocabs.ardc.edu.au/ https://bartoc.org/vocabularies? https://fairsharing.org/search/?q=Ecology ¿Para qué sirve el fichero README? Es una guía de usuario más detallada sobre un dataset para que otros investigadores puedan interpretar, comprender y reutilizar sus datos Componentes mínimos recomendados: •Título del conjunto de datos •DOI del conjunto de datos •Información de contacto •Métodos •Resumen de datos y archivos •Información específica de datos •Condiciones de reutilización Buena práctica para conjuntos de datos complejos es hacer un README genérico y además uno específico para cada carpeta con datos Dataset for the paper "Martín, Alba; Giráldez, F. Javier; Montero, O.; Andrés, S. 2022. Dietary administration of Lcarnitine during the fattening period of early feed restricted lambs modifies liver transcriptomic and plasma metabolomic profiles. Animal Feed Science and Technology" | DIGITAL.CSIC DIGITAL.CSIC: Plantillas para ficheros README Fichero Readme recomendado para software en DIGITAL.CSIC | DIGITAL.CSIC Fichero Readme recomendado para conjuntos de datos en DIGITAL.CSIC | DIGITAL.CSIC Ficheros adicionales en plantilla de DIGITAL.CSIC a favor de la reproducibilidad Un protocolo de investigación describe los objetivos, diseño, metodología y consideraciones tomadas en cuenta para la implementación y organización de una investigación o experimento científico. Incluye el diseño de los procedimientos a ser utilizados para la observación, análisis e interpretación de los resultados. Lectura •https://www.todamateria.com/protocolo-de-investigacion/ TÍTULO DEL PROYECTO RESUMEN DEL PROYECTO JUSTIFICACIÓN OBJETIVOS METODOLOGÍA ADQUISICIÓN Y ANÁLISIS DE DATOS CONSIDERACIONES ÉTICAS EQUIPO INVESTIGADOR RECURSOS LOGÍSTICA REFERENCIAS ANEXOS Abrir las metodologías de investigación para hacer los resultados reproducibles •El objetivo de los protocolos abiertos es documentar y comunicar sus métodos de investigación de forma inequívoca, para que otros investigadores puedan reproducir fácilmente sus procedimientos exactos. Recomendaciones para preparar métodos/protocolos abiertos How to Write Your Methods - PLOS En un artículo, la sección de Materiales y Métodos debe proporcionar suficientes detalles para que los investigadores debidamente capacitados puedan replicar completamente su estudio. ✓Ten en cuenta la posibilidad de reproducibilidad en el futuro, junto con la comprensión y la legibilidad. ✓Sigue las directrices específicas del ámbito de investigación y de la revista. ✓Comprueba si existen identificadores persistentes para los recursos de investigación que has utilizado y que puedan citarse específicamente en la sección de métodos. ✓Deposita los protocolos de laboratorio en un repositorio, estableciendo un enlace permanente a ellos, y actualízalos si los mejoras. ✓Añade ayudas visuales como diagramas de flujo, listas, para ayudar a la lectura de otras secciones del trabajo. ✓Especifica todas las decisiones tomadas durante los experimentos que alguien que reproduzca su trabajo deba conocer Hay más de 500 guías de buenas prácticas en protocolos de investigación https://www.equator-network.org/reporting-guidelines/ FAIRsharing | Search Registry: “standard” Record type: “reporting guideline” PRISMA: Preferred Reporting Items for Systematic Reviews and Meta-Analyses https://www.prisma-statement.org/ Directrices para autores en Ciencias de la Vida: MDAR •Colección de documentos MDAR en OSF OSF | MDAR: Towards minimum reporting standards for life scientists •Ejemplo: Rapid evolution in salmon life history induced by direct and indirect effects of fishing (science.org) Diferentes tipos de repositorios para protocolos abiertos de investigación •A tener en cuenta: Open Access is detailed explicitly in our Terms of Service with all public protocols having the CC-BY license. All public methods are sent to the CLOCKSS archive for long-term digital preservation. We mirror all public content with the Internet Archive and on GitHub. Recipes and cookbooks are not subject to copyright. They are statements of fact/instructions, and therefore protocol steps and materials can be republished outside of the original journal. (However, please don't include direct copies of figures, tables, discussion, etc. from published articles - unless the article is fully open access with a CC-BY license, as this would be a breach of copyright.) protocols.io is an independent for-profit organisation. We are striving to achieve sustainability, but much of our support since 2014 is through the generous grants from the Gordon and Betty Moore Foundation and the Chan Zuckerberg Initiative. We also have investments from EBSCO Information Services and the Genetics Society of America Just like other preprint servers, we screen all new protocols for spam and pseudoscience; per our terms of service, we reserve the right to remove content that is in breach of our guidelines. Our screening process is not a replacement for peer review. https://www.protocols.io/view/transfection-of-capsasporaowczarzaki-using-c-261gez6wg479/v1 Los pre-registrosinforman públicamente de las hipótesis de estudio en un proyecto de investigación, así como de todas las condiciones, medidas, covariables y análisis previstos. Generalmente se publican antes de la recogida y análisis de los datos Repositorios para pre-registros Además de OSF, también aceptan pre-registros: •AsPredicted (MULTIDISCIPLINAR), Home | AsPredicted. Ficha kv692.pdf (aspredicted.org) •Preclinicaltrials.eu (PROTOCOLOS DE ESTUDIOS PRECLÍNICOS ANIMALES), Preclinical Trials. •PROSPERO (SALUD), PROSPERO (york.ac.uk) ejemplo https://www.crd.york.ac.uk/PROSPERO/display_ record.php?RecordID=336930 •Evidence in Governance and Politics (EGAP) (CIENCIAS POLÍTICAS), egap Registry | Search (osf.io) •Registry for International Development Impact Evaluations (RIDIE) (CIENCIAS SOCIALES), RIDIE (3ieimpact.org) •Clinical Trials, https://clinicaltrials.gov/ Ejemplos OSF | preregistration_examples_onepager.pdf Buscar y citar identificadores de recursos usados en la investigación biomédica Research Resource Identifiers (#RRID) are ID numbers assigned to help researchers cite key resources (antibodies, model organisms and software projects) in the biomedical literature to improve transparency of research methods. RRID | Welcome... (scicrunch.org) Metadatos de materiales biológicos RRID | Resource Report ( RRID: RGD_2307133) (scicrunch.org) El software de investigación incluye archivos de código fuente, algoritmos, scripts, flujos de trabajo computacionales y ejecutables que se crearon durante el proceso de investigación o para un propósito de investigación. Los componentes de software (por ejemplo, sistemas operativos, librerías, dependencias, paquetes, scripts,etc.) que se utilizan para la investigación pero que no se crearon durante o con una clara intención de investigación deben considerarse software en investigación y no software de investigación. Software de investigación y Principios FAIR https://zenodo.org/71c72b21-1fa6-41f4-b09f-f1aa05a327fe Software de investigación en DIGITAL.CSIC https://digital.csic.es/handle/10261/241384 Título explícito y significativo Listado de todos los autores (usando también el metadato para especificar roles) Citación completa, incluyendo autores, título, año, versión, repositorio, DOI del software El resumen explica para qué sirve el software y menciona cambios propios de la versión que se está describiendo Enlace a GitHub Enlace a otros resultados de investigación relacionados (software, datos, publicaciones..), indicando el tipo de relación (metadatos dc.relation…) Ficheros: software/script, README, user_manual, documentación sobre dependencias externas.. Ejemplos de software •A New Standalone Tool for DC-Equivalent Network Generation and GIC Calculation in Power Grids with Multiple Voltage Levels [Software] | DIGITAL.CSIC •climaemet: Climate AEMET Tools | DIGITAL.CSIC •Interactive and reproducible workflows for exploring and modeling RNA-seq data with pcaExplorer, ideal, and GeneTonic - Protocols & Datasets | Zenodo Describir software de investigación https://codemeta.github.io/codemeta-generator/ https://asclnet.github.io/SWRegistryWorkshop/Products/Software%20metadata%20file%20examples.html RunmyCode.org http://www.runmycode.org/companion/view/4255 Plataforma que permite a los científicos compartir abiertamente el código y los datos que sustentan sus investigaciones. Los investigadores pueden abrir una web que acompaña a sus publicaciones, es un servicio gratuito, http://www.runmycode.org/faq.html myExperiment •myExperiment es un entorno de colaboración en línea en el que los científicos pueden publicar de forma segura sus flujos de trabajo y experimentos in silico, compartirlos con otros grupos y encontrar los de otros. •Los flujos de trabajo, otros objetos digitales y paquetes (llamados packs) pueden ahora intercambiarse, clasificarse y buscar métodos científicos, crear comunidades y establecer relaciones, reduciendo el tiempo de experimentación, compartiendo conocimientos y evitando la reinvención. •Cuenta con muchos tipos diferentes de flujos de trabajo, como Taverna, Galaxy, Rapid Miner, Bio Extract y Kepler. •Componentes de un registro: https://www.myexperiment.org/workflows/5 058.html CODECHECK: workflow mínimo para ejecución de código durante la revisión por pares en revistas Certificado CODECHECK https://zenodo.org/record/7084333#.Y0fZ_YRByUk para el artículo https://gigabytejournal.com/articles/70 https://codecheck.org.uk/ Inventario de licencias •La compatibilidad entre licencias es un factor a considerar antes de elegir una para nuestro propio software https://opensource.org/licenses/category Herramienta para comparar y seleccionar licencias de software •Herramienta gratuita europea JLA permite comparar y seleccionar licencias abiertas en función de su contenido. •La JLA está vinculada a SPDX (Software Package Data Exchange), una iniciativa de la fundación LINUX que intenta estandarizar la forma en que las organizaciones se refieren a las licencias de software: cada licencia se identifica con un nombre completo, como "European Union Public License 1.2" y un identificador más corto, p.e "EUPL-1.2". JLA - Find and compare software licenses | Joinup (europa.eu) Usando https://ufal.github.io/public-licenseselector/ •Identificar licencias compatibles con: 1. un dataset: -propio -que permita usos comerciales -que no permita obras derivadas 2. Un software: -propio -ejecutable -obras derivadas deben distribuirse con licencia compatible GRUPOS EDITORIALES Y CIENCIA REPRODUCIBLE ¿Hay relación entre las revistas con alto factor de impacto y la reproducibilidad de la ciencia? Ranking journals according to crystallographic quality reveals highranking journals with the lowest quality work. The quality metric (y-axis) is computed as a deviation from perfect. Hence, lower values denote higher quality work. Each dot denotes a single structure. The quality metric was normalized to the sample average and journals ranked according to their mean quality. Asterisks denote significant difference from sample average. Figure courtesy of Dr. Ramaswamy, methods in Brown and Ramaswamy (2007). Frontiers | Prestigious Science Journals Struggle to Reach Even Average Reliability (frontiersin.org) La falta de reproducibilidad es uno de los principales motivos para retracción de publicaciones http://retractiondatabase.org/RetractionSearch.aspx ¿Qué pueden hacer las revistas para promover la reproducibilidad y qué hacen? https://topfactor.org/?hsCtaTracking=c499eb35-b123-4440-a100-aed707acf497%7Cc682e1b5-3193-44a8-b99cec51fbedbd38 https://www.cos.io/initiatives/top-guidelines Políticas de reproducibilidad en revistas •The journal strongly encourages authors to make all data associated with their submission openly available, according to the FAIR principles (Findable, Accessible, Interoperable, Reusable). •The repository the data is deposited in must be suitable for this subject and have a sustainability model. •The data must be deposited under an open license that permits unrestricted access (e.g. CC0, CC-BY). More restrictive licenses should only be used if a valid reason (e.g. legal) is present. •The deposited data must include a version that is in an open, nonproprietary format. •The deposited data must have been labelled in such a way that a 3rd party can make sense of it (e.g. sensible column headers, descriptions in a readme text file). •As the traditional Materials and Methods section often includes insufficient detail for readers to wholly assess the research process, the journal encourages authors to publish detailed descriptions of their methods in open, online platforms such as protocols.io. •If research includes code, statistical analyses, or algorithms, we recommend that authors upload a working instance of their code and data to Code Ocean. Más énfasis editorial en los métodos de las investigaciones •The structure of STAR Methods promotes transparent reporting of experimental design and methodological details, making the information on how things are done and the resources used clear and easily accessible. One of the prominent elements of STAR Methods is the “Key Resources Table.” •Ejemplos: https://www.cell.com/starmethods El artículo reproducible permite la integración de código en tiempo real, datos y figuras interactivas https://hub.stenci.la/projects/ https://elifesciences.org/collections/d72819a9/executableresearch-articles Midiendo R (reusable) de los Principios FAIR •The ultimate goal of FAIR is to optimise the reuse of data. To achieve this, metadata and data should be well-described so that they can be replicated and/or combined in different settings. •R1. (Meta)data are richly described with a plurality of accurate and relevant attributes •R1.1. (Meta)data are released with a clear and accessible data usage license •R1.2. (Meta)data are associated with detailed provenance •R1.3. (Meta)data meet domain-relevant community standards https://ardc.edu.au/ ¿A través de qué indicadores se mide el cumplimiento de los Principios FAIR en FAIR EVA? ¿Cómo se accede a la información sobre los datasets en DIGITAL.CSIC? ¿Qué peso se da a cada indicador? PRINCIPIOS FAIR UNA HERRAMIENTA PARA MEDIR AUTOMATICAMENTE EL CUMPLIMIENTO FAIR Data Maturity Model: specification and guidelines | RDA (rd-alliance.org) PLANTILLAS DE DESCRIPCIÓN SOFTWARE Metodología para el cálculo del cumplimiento de cada indicador RDA en FAIR EVA para DIGITAL.CSIC ID Indicator Code EN_title ES_title EN_desc ES_desc rda_f1_01m RDA -F1-01M Metadata is identified by a persistent identifier Los metadatos están identificados por un identificador persistente This indicator is linked to the following principle: F1 (meta)data are assigned a globally unique and eternally persistent identifier. This indicator evaluates whether or not the metadata is identified by a persistent identifier. A persistent identifier ensures that the metadata will remain findable over time, and reduces the risk of broken links. Este indicador está vinculado al siguiente principio: F1 a los (meta) datos se les asigna un identificador globalmente único y eternamente persistente. Este indicador evalúa si los metadatos se identifican o no mediante un identificador persistente. Un identificador persistente asegura que los metadatos se puedan encontrar con el tiempo y reduce el riesgo de enlaces rotos. Searches within a predefined list of potential metadata terms to identify the metadata ( dc.identifier. uri and dc.identifier.d oi ) if any information is available. https://github.com/EOSCsynergy/FAIR_eva/blob/main/docs/indicators.md FAIR_eva/technical_implementation.md at main · EOSCsynergy/FAIR_eva · GitHub Ejemplo de cómo se mide un indicador RDA específico en FAIR EVA para DIGITAL.CSIC INDICADOR RDA DEFINICIÓN Y DESCRIPCIÓN DEL INDICADOR IMPLEMENTACIÓN TÉCNICA: ¿QUÉ SE MIRA EN DIGITAL.CSIC PARA HACER EL CÁLCULO? FEEDBACK PRÁCTICO PARA EL USUARIO RDA -F1-01M Los metadatos están identificados por un identificador persistente Este indicador está vinculado al siguiente principio: F1 a los (meta) datos se les asigna un identificador globalmente único y eternamente persistente. Este indicador evalúa si los metadatos se identifican o no mediante un identificador persistente. Un identificador persistente asegura que los metadatos se puedan encontrar con el tiempo y reduce el riesgo de enlaces rotos. Busca en una lista predefinida de posibles términos de metadatos (dc.identifier.uri y dc.identifier.doi) para identificar en los metadatos si hay alguna información disponible. Todos los items depositados en DIGITAL.CSIC reciben un handle por defecto que se graba en el metadato dc.identifier.uri. DIGITAL.CSIC también asigna DOIs a los datasets que se depositan y que no tienen ya un DOI. Si tu dataset no ha recibido un DOI ponte en contacto con la Oficina Técnica de DIGITAL.CSIC ([email protected]). Ejemplo de cómo se mide un indicador RDA específico en FAIR EVA para DIGITAL.CSIC INDICADOR RA DEFINICIÓN Y DESCRIPCIÓN DEL INDICADOR IMPLEMENTACIÓN TÉCNICA: ¿QUÉ SE MIRA EN DIGITAL.CSIC PARA HACER EL CÁLCULO? FEEDBACK PRÁCTICO PARA EL USUARIO RDA -I3-01M Los metadatos incluyen referencias a otros metadatos. Este indicador está vinculado al siguiente principio: I3: Los (meta) datos incluyen referencias calificadas a otros (meta) datos. El indicador trata sobre la forma en que los metadatos se conectan con otros metadatos, por ejemplo, a través de enlaces a información sobre organizaciones, personas, lugares, proyectos o períodos de tiempo que están relacionados con el objeto digital que describen los metadatos. Comprueba metadatos como relación o colaborador. Comprueba ORCID y descripciones regulares de proyectos. Es una buena práctica dotar de contexto al objeto digital añadiendo los siguientes metadatos: ORCID (dc.contributor.orcid), agencias financiadoras (dc.contributor.funder), proyecto/s al que pertenece (dc.relation), otros trabajos relacionados (dc.relation.isreferencedby,dc.relat ion.isbasedon,dc.relation.ispartof... ). Las plantillas de DIGITAL.CSIC indican su uso correcto. EXPLOSIÓN DE HERRAMIENTAS QUE MIDEN AUTOMÁTICAMENTE EL GRADO DE CUMPLIMIENTO DE PRINCIPIOS FAIR EN LOS DATASETS DE REPOSITORIOS. LOS RESULTADOS PUEDEN VARIAR AL CONSIDERAR EL DESARROLLO TÉCNICO Y METODOLOGÍA DE CADA HERRAMIENTA: •QUÉ SET DE INDICADORES FAIR TIENE EN CUENTA Y QUÉ PESO DA A CADA UNO •SI LA HERRAMIENTA ESTÁ PENSADA PARA REPOSITORIOS TEMÁTICOS O ES AGNÓSTICA •SI PRIVILEGIA UN ESQUEMA DE METADATOS SOBRE OTROS •SI PRIVILEGIA ONTOLOGÍAS/ESTÁNDARES DE COMUNIDADES CIENTÍFICAS ESPECÍFICAS •MODO DE INTERROGAR A LOS DATASETS (OAI-PMH, API..) HORIZONTE EUROPA Y CIENCIA REPRODUCIBLE Interés creciente sobre la reproducibilidad científica https://data.europa.eu/doi/10.2777/341654 https://data.europa.eu/doi/10.2777/186782 Reproducibilidad: Definición de la Comisión Europea •La reproducibilidad se entiende como un continuo que va desde la reproducción de resultados (basada en los mismos datos, código y metodología) hasta la replicación (es decir, la recreación/repetición de los resultados utilizando el mismo método analítico, pero con diferentes conjuntos de datos). Estos procesos se basan en la disponibilidad de los datos y métodos del estudio original. Por lo tanto la reproducibilidad se refiere a la confirmación de los resultados de la investigación (aunque con ciertas variaciones) en un entorno similar. •Currently, within HE [Horizon Europe], reproducibility-related practices are addressed as guidance to proposers at the application stage and do not have a dedicated place in the application. Thus, these practices might be interweaved in various parts of the methodology section. https://op.europa.eu/s/w7Jo Ciencia abierta en la evaluación de propuestas Horizonte Europa https://bestprac.eu/fileadmin/mediapool-bestprac/documents/EARMA-virtual202106/Open_Science_in_Horizon_Europe_L%C3%B3pez_de_San_Rom%C3%A1n.pdf CON LA EXCEPCIÓN DE ERC EXCELENCIA 1.2 Metodología: prácticas de open science (1 página) y gestión de datos de investigación y otros resultados (1 página) Prácticas de open science: -OBLIGATORIAS: OA a publicaciones, OA a datos (si es posible), documentación para validar/reutilizar investigación/datos -RECOMENDADAS: intercambio temprano de resultados, open peer review, pre-registros, ciencia ciudadana, gestión de otros tipos de resultados de investigación, reproducibilidad de resultados Gestión de datos de investigación y otros resultados (no publicaciones): -Explicar alineación con Principios FAIR -Tipos de datos/otros resultados -Coste y responsabilidades en curación de datos, almacenamiento y preservación Intercambio temprano y abierto de resultados Gestión de datos de investigación Reproducibilidad de resultados Acceso abierto Open Peer Review Ciencia ciudadana Compartir en abierto resultados y metodologías en fase temprana del proyecto. Por ejemplo, preprints, datos, software, pre-registros, informes de registros, workflows, cuadernos de laboratorio y en qué repositorio. Gestión de datos de investigación reutilizados o generados durante el proyecto ES PRÁCTICA OBLIGATORIA Medidas para asegurar la reproducibilidad (diseño transparente y abierto, análisis estadísticos robustos, gestión de resultados negativos..). Se entrelaza con otras prácticas (plan gestión datos, intercambio temprano de resultados…) Acceso abierto a publicaciones revisadas por pares sin periodo de embargo. 2 rutas posibles. ES PRÁCTICA OBLIGATORIA Prácticas de revisiones abiertas por pares: mencionar en qué repositorio/revista/plataforma Prácticas de participación pública en diversas fases del proyecto Prácticas a incluir en la metodología de la propuesta Prácticas de ciencia abierta en la metodología de propuesta de proyecto •Describe how appropriate open science practices are implemented as an integral part of the proposed methodology. Show how the choice of practices and their implementation are adapted to the nature of your work, in a way that will increase the chances of the project delivering on its objectives. If you believe that none of these practices is appropriate for your project, please provide a justification here •https://ec.europa.eu/info/fundingtenders/opportunities/docs/20212027/horizon/temp-form/af/af_hemsca-se_en.pdf Gestión de datos FAIR en propuesta de proyecto •Research data management and management of other research outputs: Applicants generating/collecting data and/or other research outputs (except for publications) during the project must provide maximum one page on how the data will be managed in line with the FAIR principles (Findable, Accessible, Interoperable, Reusable) •Proposals selected for funding under Horizon Europe will need to develop a detailed data management plan (DMP) for making their data findable, accessible, interoperable and reusable (FAIR) as a deliverable at mid-term and revised towards the end of a project’s lifetime. •https://ec.europa.eu/info/fundingtenders/opportunities/docs/20212027/horizon/temp-form/af/af_he-mscase_en.pdf 2. Arranca el proyecto: recordar las prácticas de ciencia abierta obligatorias PUBLICACIONES •Acceso abierto inmediato a las publicaciones revisadas por pares DATOS •Gestión de datos de investigación según Principios FAIR MAS DISPOSICIONES •Información sobre resultados/herramientas/in strumentos necesarios para validar conclusiones publicaciones científicas o validar/reutilizar datos •Acceso digital/ presencial a los resultados necesarios para validar las publicaciones científicas (excepciones) •En emergencia pública, si así lo requiriese el agente financiador, acceso abierto inmediato a todos los resultados de investigación bajo licencias abiertas o condiciones justas y razonables en caso de excepciones ALGUNOS PROGRAMAS/CONVOCATORIAS PUEDEN TENER MÁS PRÁCTICAS DE CIENCIA ABIERTA OBLIGATORIAS SE APLICAN TAMBIÉN A PROYECTOS ERC Una vez la propuesta es aprobada para financiación: gestión de datos de investigación Depósito de datos de investigación en un repositorio de confianza: -Repositorios certificados -Repositorios institucionales/generalistas/temáticos: asignación de identificadores persistentes (DOI, handle..), integridad datos, derechos de acceso, licencias de uso, preservación -Google drive, Dropbox, webs personales etc NO son repositorios Los datos de investigación son “as open as posible, as closed as necessary” FAIR NO ES IGUAL A OPEN “ACCESSIBLE” hace referencia a dónde y bajo qué condiciones se encuentran alojados los datos Si los datos no pueden accederse (closed) hay que justificarlo en el DMP Provisión de información sobre otros resultados/herramientas necesarias para validar o reutilizar los datos de investigación CIENCIA REPRODUCIBLE Art. 17 Dissemination (Grant agreement, Annex 5): Gestión de datos de investigación en línea con Principios FAIR Ciencia reproducible en el Plan de gestión de datos de HorizonteEuropa Data Summary FAIR data 1. Making data findable, including provisions for metadata 2. Making data accessible 3. Making data interoperable 4. Increase data re-use Other research outputs Allocation of resources Data security Ethics Other issues Preguntas en DMP de Horizonte Europa sobre reproducibilidad •What is the origin/provenance of the data, either generated or re-used? •Will all data be made openly available? If certain datasets cannot be shared (or need to be shared under restricted access conditions), explain why, clearly separating legal and contractual reasons from intentional restrictions. •If there are restrictions on use, how will access be provided to the data, both during and after the end of the project? •How long will the data remain available and findable? Will metadata be guaranteed to remain available after data is no longer available? Will documentation or reference about any software be needed to access or read the data be included? Will it be possible to include the relevant software (e.g. in open source code)? •What data and metadata vocabularies, standards, formats or methodologies will you follow to make your data interoperable to allow data exchange and re-use within and across disciplines? •How will you provide documentation needed to validate data analysis and facilitate data re-use (e.g. readme files with information on methodology, codebooks, data cleaning, analyses, variable definitions, units of measurement, etc.)? Will your data be made freely available in the public domain to permit the widest re-use possible? Will your data be licensed using standard reuse licenses, in line with the obligations set out in the Grant Agreement? •Will the provenance of the data be thoroughly documented using the appropriate standards? Describe all relevant data quality assurance processes •In addition to the management of data, beneficiaries should also consider and plan for the management of other research outputs that may be generated or re-used throughout their projects. Such outputs can be either digital (e.g. software, workflows, protocols, models, etc.) or physical (e.g. new materials, antibodies, reagents, samples, etc.) Consideraciones éticas https://ec.europa.eu/assets/rtd/ethics-dataprotection-decision-tree/index.html Herramienta para grupos de investigación para medir la transparencia de sus proyectos Experience Statistics (shinyapps.org) GRACIAS [email protected]