Yhteentoimivuutta toteuttamassa FAIR periaatteiden mukaisesti: SILTA -palvelu

Yhteentoimivuutta toteuttamassa FAIR periaatteiden mukaisesti: SILTA -palvelu IT-päivät 2025 Tampereella Tommi Suominen, CSC Joonas Kesäniemi, CSC 12.11.20251 SILTA: Yhteentoimivuutta FAIR periaatteiden mukaisesti SILTA on työkalu asiantuntijoille skeemojen ja sanastojen siltaamiseen/mäppäämisen toisiinsa. SILTA on julkaisupaikka skeemoille ja mäppäyksille (FAIR), joka konkreettisesti tekee integraatioprosessit julkisiksi SILTA mahdollistaa muiden tekemien muunnoskuvausten koneellisen uudelleenkäytön SILTA-palvelun avulla jaetaan julkisesti skeemojen ja sanastojen muuntokuvauksia ja vastaavuuksia yhteentoimivuuden edistämiseksi Käytetty aluksi tutkimuksen tarpeisiin, mutta on yleisesti sovellettavissa (vaikkapa koulutuspuolelle). Palvelu on CSC tuotteistuksessa ja se tulee saataville vuoden 2026 aikana. 12.11.20252 Palvelu nykymuodossaan: Wiki-sivu tuotteistuksesta: Taustaa •SILTA-palvelu perustuu FAIRCORE4EOSC Horizon Europe projektissa kehitettyyn ratkaisuun (Metadata Crosswalk and Schema Registy - MSCR) •Ratkaisun pohjana on käytetty suomalaisen Digija väestöviraston (DVV) Yhteentoimivuusalustan lähdekoodia. •FAIRCORE4EOSC: Developing EOSC-Core components to enable a FAIR EOSC ecosystem −Research and Innovation Action (RIA) −Kesto: 06/2022 –05/2025 −Konsortio: 22 organisaatiota, koordinaattorina CSC −Projektikoordinaattorina Tommi Suominen (CSC), projektipäällikköinä Anu Märkälä (CSC) & Elisa Halonen ja teknisenä koordinaattorina Mark van de Sanden (SURF) 12.11.20253 Amsterdam, Netherlands –Kick-off meeting, June 2022 Käyttötapaukset •Kehitystyössä lähdetty projektisuunnitelmassa määritellyistä tutkimukseen liittyvistä käyttötapauksista. •Fokus ydintoiminnallisuuksissa ja sen varmistamisessa, että palvellaan aitoja tarpeita −Olemassa olevien tietomallien/skeemojen rekisteröinti palveluun −Tietomallien mäppäys toisiinsa visuaalisesti käyttöliittymällä −Järjestelmien välisten mäppäysten operationalisointi eli tietomuunnosten konkreettinen suorittaminen −Graafinen käyttöliittymä + API konekäyttö tuettuna −Kiinnostus on ollut suurta ja uusia käyttötapauksia nousee esiin jatkuvasti 12.11.20254 "Minulla on tarve siirtää SMEARdatasettien Fairdata Metaxista exportoitua metadataa toiseen metadatastandardiin (scienceon-schema.org), automaattisesti tietysti koska lopputulos vilisee virheitä jos teen sen käsin" ”Meillä on tarve hyödyntää rahoitustietoa EU:n CORDIS-palvelusta osana sisäistä raportointiamme. Tiedot tulee integroida osaksi organisaatiomme data warehouse –ratkaisua ja on integraatiotiimin vastuulla toteuttaa tekninen ratkaisu tietojen siirtoon meidän alustavan mäppäyksen perusteella. ”Digivision HEDS-mallin mäppäys organisaatiomme yksittäisen palvelun versiokohtaiseen tietomalliin, sekä näiden muutosten hallinnointi sekä versiointi jatkossa” Mikä mäppäys? Kui? •(Meta)tiedon kerääminen ja harmonisointi eri lähteistä, joissa tiedon esitystavat poikkeavat toisistaan •Tietotai tiedostomuodon muuntaminen toiseen, säilyttäen samalla olennaisen tietosisällön (esim. tabulaarisesta rakenteiseen) 12.11.20255 •Linkitetyn datan graafin läpikäynti, jossa noodit edustavat käsitteitä ja suhteita eri tietomalleista = Dataa eri tietomalleissa Ydintoiminnallisuudet 12.11.20256 Muunnoseditori Muunnosmoottori Lähdedata Lähdeskeema Kohdedata Kohdeskeema Muunnoskuvaus rekisteröi rekisteröi rekisteröi luo luo käyttää tuo Teknisempi kuvaus Sisällön rekisteröinti •Skeemat −Skeematyypit: sanastot, dataskeemat ja ontologiat −Formaatit: SKOS, ENUM (sanasto), JSON schema, CSV, XML schema, SHACL (dataskeema), RDFS, OWL (ontologia), PDF (mitä tahansa) −Vaaditaan olemassa olevat skeemakuvaukset (tuetussa formaatissa –joitain toiminnallisuusrajoituksia voi olla) •Muunnoskuvaukset −Tuki olemassa oleville muunnoskuvauksille XSLT-, SSSOMja PDF-formaateissa −Muunnoseditori rekisteröityjen skeemojen välisen muunnoskuvauksen luomiseen •Miksi? −Tuo skeemat käytettäviksi muunnoseditoriin −Luo pysyvän tunnisteen (PID) skeeman/muunnoskuvauksen versioille −Yhtenäinen tapa skeemojen visualisointiin −Yhteisön ylläpitämät muunnoskuvaukset −API-pääsy skeemoihin/muunnoksiin, esim. ETL-prosesseissa 7 Skeeman visualisointi •Kaikki skeemat esitetään puumaisessa rakenteessa •Solmun valitseminen näyttää skeeman yksityiskohdat •Skeeman sisäinen haku 9 SILTA luo uudenlaisen toimintamallin (1) Nykytilassa jokaista lähdettä/formaattia/skeemaa kohden pitää rakentaa oma ETL-putki lataaman tiedon kantaan halutulla tavalla. ETL latauksia rakentavat ohjelmointikykyiset tietojärjestelmäkehittäjät. Lähde 1 L2 L3 L4 Formaatti 1 / S1 F2 / Skeema 1 F1 / Skeema 2 Fn / Skeema m ETL1 ETL2 ETL3 ETL4 Nykytila DW / Aggregoiva järjestelmä Lähde 1 L2 L3 L4 F1 / S1 F2 / S1 F1 / S2 Fn / Sm C1 C2 C3 C4 Tavoitetila DW / Aggregoiva järjestelmä SILTA ETL Tavoitetilassa jokaista formaattia/skeemaa kohden käytetään muunnoskuvausta, jonka avulla tieto muunnetaan DW:n omaan formaattiin. Tarvitaan vain yksi ETL-putki lataaman tietoa kantaan sen omassa DW formaatissa. Muuntokuvauksia SILTA-palvelussa voivat rakentaa substanssiasiantuntijat. Fdw / Sdw SILTA luo uudenlaisen toimintamallin (2) Lähde 1 L2 L3 L4 F1 / S1 F2 / S1 F1 / S2 Fn / Sm C1 C2 C3 C4 Tavoitetila DW / Aggregoiva järjestelmä SILTA ETL •Julkaistuja muunnoskuvauksia voidaan käyttää uusien kuvausten pohjana ilman rajoituksia •Tiedontuottajat voivat itse kuvata oman muunnoksensa omasta järjestelmästään integroivan järjestelmän tarvitsemaan muotoon (integraatio itsepalveluna) •Tallennettuja skeemakuvauksia voidaan hyödyntää lähtödatan ja muunnetun datan validointiin Julkisten muunnoskuvausten hyötyjä: Fdw / Sdw KV-yhteistyö •Kehitetty CSC:llä EU-projektissa, innovatiivinen lähestymistapa pohjautuu kansainväliseen pohjatyöhön ja tunnistettuihin ongelmiin1 •Kansainvälinen RDA FAIR Mappings -työryhmä valmistelee mäppäykseen liittyvää sanastoa/ontologiaa, metatietomallia ja suosituksia mäppäysten kuvaamiseen −SILTA/MSCR tiiviisti mukana geneerisenä mäppäystietokantana •PoC toteutuksia dataskeemojen ja ontologioiden mäppäämisestä Japanilaisen National Institute of Informatics kanssa −Esitelmä Scidatacon 2025-konferenssissa •Esimerkiksi Sveitsiläinen SWITCH −Tutkimustuotoksiin liittyvien metatietojen harvestointi ja harmonisointi RDF-pohjaiseen pohjaiseen formaattiin −Muunnoskuvausten hallinta lähdeskeemojen muuttuessa 12.11.202519 1SEMAF: A Proposal for a Flexible Semantic Mapping Framework: https://doi.org/10.5281/zenodo.4651420 Jatkokehitys: Tekoälyn hyödyntäminen SILTA-palvelussa (PoC) •Suuri osa mäppäystyöstä on suhteellisen mekaanista, sillä keskeisiä perustietoja (esim. nimitiedot, päivämäärätiedot jne.) on olemassa useissa tietomalleissa •SILTA-palveluun on lähdetty toteuttamaan teknistä kokeilua kielimallien hyödyntämisestä •Kokonaisuus rakentuu LUMI AI Factoryn Aitta-palvelun varaan −Aitta on CSCn tuottama kokonaisuus, jossa hyödynnetään LUMI-supertietokoneen resursseja ja on mahdollista ajaa paikallisia kielimalleja, tässä tapauksessa Poro2 •Toiminnallisuus lyhyesti: 1. Käyttäjä voi pyytää mäppäystyössä ns. “esitäyttöä”, eli kielimallin ehdotusta lähdeja kohdetietomallien yhteneväisyyksistä 2. Järjestelmä tarjoaa kolmen eri tason ehdotuksia mäppäyksiksi (todennäköinen, mahdollinen, kaukaa haettu) 3. Käyttäjä voi hyväksyä tai muuttaa kielimallin tekemiä ehdotuksia ja jatkaa mäppäystyötä palvelussa 12.11.202520 12.11.202521 12.11.202522 Missä ollaan nyt ja kuinka eteenpäin? •Työkalu on tehty EU-hankerahoituksella. Alkuinvestointi on katettu, jonka vuoksi palvelua voitaisiin tarjota organisaatioille kohtuullisin kustannuksin •Liiketoimintamalli + tuotteistus työn alla (2025 2H & 2026 1H) −SLA −Perustoiminnan ja pienkehityksen ylläpito −Asiantuntijatuki käyttäville organisaatioille −AAI-integrointi (Haka / Eduuni-ID) •CSC ylläpitää toistaiseksi MSCR-työkalua vapaasti käytettävänä −Projektin aikana tuotettu ns. release-versio: https://mscr-release.2.rahtiapp.fi/ −Käyttöopas & dokumentaatio (rakenteilla): https://cscfi.github.io/mscr-docs/ •MSCR-työkalu säilyy avoimen lähdekoodin lisenssillä –yhteiskehitys sidosryhmien kanssa mahdollista (kiinnostusta paljon myös kansainvälisesti, EU/EOSC ja esim. Iso-Britannia, Sveitsi, Japani) •Laajemmat MSCR-työkalun (ja samalla SILTA-palvelun) kehityskohteet projektirahoituksella suunnitteilla/toiveissa 12.11.202523 Jatkotarpeista keskustellaan mielellään korkeakoulujen kanssa. •Käyttötapausten keruu •Esittelyt/demot Yhteydenotot: Tommi Suominen Joonas Kesäniemi Kiitos! Lisätietoja SILTA-palvelusta: •(koulutuskonteksti): Implementing interoperability - Metadata Schema and Crosswalk Registry approach to FAIR metadata mappings (2025). https://doi.org/10.29007/khls •CRIS systems integration as a case study for the Metadata Schema and Crosswalk Registry (2024). https://doi.org/10.1016/J.PROCS.2024.11. 070 •https://cscfi.github.io/mscr-docs/ (User Documentation) •Mäppäys demo - 3:18 12.11.202524 Lisätietoa näiltä kahdelta: Tavattavilla tällä ständillä esityksen jälkeen: ke 14-15.15 Palvelu nykymuodossaan: Wiki-sivu tuotteistuksesta: Joonas Tommi