Medikuntzako galderak erantzuteko sistema elebiduna: hizkuntza-ereduen arkitektura desberdinen ekarpenak

Ikasturtea: 2023-2024 Zuzendaria: Goikoetxea Salutregi, Josu Zuzendarikidea: Gojenola Galletebeitia, Koldobika Ikaslea: Bellido Ortega, Aingeru MEDIKUNTZAKO GALDERAK ERANTZUTEKO SISTEMA ELEBIDUNA: HIZKUNTZA-EREDUEN ARKITEKTURA DESBERDINEN EKARPENAK KUDEAKETAREN ETA INFORMAZIO SISTEMEN INFORMATIKAREN INGENIARITZAKO GRADUA GRADU AMAIERAKO LANA Data: Bilbo, 2024, uztaila, 25 Laburpena Lan honek Adimen Artifizialeko hizkuntza-eredu elebidun bat garatzea eta entrenatzea du helburu, Barne Mediku Egoiliarra (BAME) medikuntza azterketa galderen erantzun posible kopuru aldakor bat ebazteko gai izango dena, Hizkuntza Naturalaren Prozesamenduaren eta Ikasketa Sakonaren artearen egoerako teknikak erabiliz. Ataza honen inguruan aurretik egindako ikerketetan oinarrituta, lan honen esperimentazioak ezagutza-oinarri sendoa du ereduak entrenatzeko. Aurreko ikerketetan ez bezala, lan honetan sortutako ereduek BAME azterketen adibideen bidez soilik jasotzen dute informazioa, kanpoko informazio-iturrietan kontsultatu gabe. Lan honetan garatutako hizkuntza-ereduak gai dira BAME azterketetako galderen berezitasunak ikasteko. Horretarako, azterketetako galderen erantzun kopuru aldakor bati erantzuteko gai diren eredu arkitektura desberdinak proposatzen dira aurretiazko ikerketen arkitekturak moldatuz. Gaztelaniazko eta ingelesezko azterketa-multzoak erabiliz, proiektu honetan sortutako ereduek azterketa horiei erantzuteko gaitasun elebiduna dute orain arte garatutako eredu gehienetan ez bezala, ingelesa bakarrik erabiltzen dutenak. Hitz gakoak:Question Answering,Multiple Choice Question Answering,Medical Multiple Choice Question Answering, hizkuntza-ereduak, Ikasketa Automatikoa, Ikasketa Sakona, Adimen Artifiziala 3 Resumen El presente trabajo se centra en la implementaci´on y entrenamiento de un modelo de lenguaje biling¨ue de Inteligencia Artificial capaz de resolver preguntas de ex´amenes m´edicos M´edico Interno Residente (MIR) con un n´umero variable de respuestas posibles, utilizando t´ecnicas del estado del arte del Procesamiento del Lenguaje Natural y el Aprendizaje Profundo. Bas´andose en estudios previos en esta tarea, la experimentaci´on de este trabajo cuenta con una s´olida base de conocimiento para el entrenamiento de los modelos. A diferencia de previas investigaciones, los modelos generados en este trabajo reciben la informaci´on ´unicamente a trav´es de los ejemplos de ex´amenes MIR sin consultar en fuentes de informaci´on externas. Los modelos de lenguaje desarrollados en el presente trabajo son capaces de aprender las singularidades de las preguntas de los ex´amenes MIR. Para ello, se proponen diferentes arquitecturas de modelos que dan respuesta a preguntas de ex´amenes con un n´umero variable de opciones posibles modificando las arquitecturas de investigaciones previas. Haciendo uso de conjuntos de ex´amenes en espa˜nol e ingl´es, los modelos generados en este proyecto presentan una capacidad biling¨ue para responder estos ex´amenes. Esto contrasta con la mayor´ıa de modelos desarrollados hasta la fecha en este tipo de tareas, que utilizan ´unicamente el ingl´es. Palabras clave:Question Answering,Multiple Choice Question Answering, Medical Multiple Choice Question Answering, modelos de lenguaje, Aprendizaje Autom´atico, Aprendizaje Profundo, Inteligencia Artificial 4 Abstract The present work focuses on the implementation and training of a bilingual Artificial Intelligence language model capable of solving questions of the medical M´edico Interno Residente (MIR) exams with a variable number of possible answers, using state-of-the-art techniques from Natural Language Processing and Deep Learning. Based on previous research in this task, the experimentation of this work has a solid knowledge base for training the models. In contrast to previous research, the models developed in this work receive information solely through examples of MIR exams without consulting any external information sources. The language models developed in this work are able to learn the singularities of the MIR exam questions. To this end, different model architectures capable of answering exam questions with a variable number of possible options are proposed by modifying architectures from previous research. By making use of exam sets in Spanish and English, the developed models in this project demonstrate a bilingual capability to answer these exams. This contrasts with most of the models developed to date in this type of task, which use only English. Kaywords: Question Answering, Multiple Choice Question Answering, Medical Multiple Choice Question Answering, language models, Machine Learning, Deep Learning, Artificial Intelligence 5 GAIEN AURKIBIDEA Gaien Aurkibidea 1 Sarrera 15 1.1 Motibazioa eta lanaren jatorria . . . . . . . . . . . . . . . . . . . . . . . 16 1.2 Garapen Iraunkorreko Helburuekiko eta unibertsitatearen printzipio eta balio demokratikoekiko lotura . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3 Dokumentuaren egitura . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.4 Lanaren helburu nagusiak . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2 Proiektuaren planifikazioa 19 2.1 Erabilitakotresnak .............................. 19 2.2 Proiektuaren irismena . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.2.1 LDEdiagrama ............................ 20 2.2.2 Lan-paketeak ............................. 22 2.3 Denboraren kudeaketa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.3.1 Ganttdiagrama............................ 34 2.4 Ebaluaketa ekonomikoa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.4.1 Eskulankostuak ........................... 37 2.4.2 Kostuzuzenak ............................ 37 2.4.3 Kostuez-zuzenak........................... 38 2.4.4 Kostutotalak............................. 39 2.5 Arriskuenebaluaketa............................. 40 3 Oinarri teorikoa eta artearen egoera 47 3.1 Oinarriteorikoa................................ 47 3.1.1 Ikasketa Automatikoa eta Ikasketa Sakona . . . . . . . . . . . . . 48 3.1.2 Transformerretan oinarritutako ereduak . . . . . . . . . . . . . . . 58 3.1.3 Hizkuntza Naturalaren Prozesamendua (HNP) . . . . . . . . . . . 60 3.2 Artearenegoera................................ 65 3.2.1 MedMCQA datu-sorta eta MedMCQA eredu arkitektura . . . . . 65 3.2.2 CasiMedicos datu-sorta . . . . . . . . . . . . . . . . . . . . . . . . 69 3.2.3 EriBERTa............................... 70 3.2.4 Bestelanbatzuk ........................... 70 4 Esperimentazioa eta inplementazioa 71 4.1 Ebaluazioa................................... 71 4.2 Sarreraren prozesaketa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.2.1 Erantzun-aukera kopuru aldakorraren kudeaketa . . . . . . . . . . 72 4.2.2 Tokenizazioa eta sarreraren luzera . . . . . . . . . . . . . . . . . . 74 4.3 Arkitekturak ................................. 76 4.3.1 Baseline arkitektura ......................... 76 4.3.2 MedMCQA arkitektura . . . . . . . . . . . . . . . . . . . . . . . . 78 4.4 Datu-sortaorekatua.............................. 79 5 Emaitzak 80 5.1 Esperimentuak eredu elebakarrarekin . . . . . . . . . . . . . . . . . . . . 80 5.1.1 CasiMedicos datu-sorta originala . . . . . . . . . . . . . . . . . . 80 5.1.2 CasiMedicos datu-sorta orekatua . . . . . . . . . . . . . . . . . . 82 6 GAIEN AURKIBIDEA 5.2 Esperimentuak eredu elebidunarekin . . . . . . . . . . . . . . . . . . . . 83 6 Ondorioak eta etorkizuneko lana 85 6.1 Ondorioak................................... 85 6.1.1 Ondorio pertsonalak . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.1.2 Beste ondorio batzuk . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.2 Etorkizunekolana............................... 86 A Datu-sorten instantzia adibideak 93 A.1 MedMCQA datu-sortaren instantzia adibidea . . . . . . . . . . . . . . . 93 A.2 CasiMedicos datu-sortaren instantzia adibidea . . . . . . . . . . . . . . . 94 B HEH ereduen eboluzioa 95 C Emaitza aurreratuak 96 C.1 Baseline arkitektura eta CasiMedicos originala datu-sorta . . . . . . . . . 96 C.2 MedMCQA arkitektura eta CasiMedicos originala datu-sorta . . . . . . . 97 C.3 Baseline arkitektura eta CasiMedicos orekatua datu-sorta . . . . . . . . . 98 C.4 MedMCQA arkitektura eta CasiMedicos orekatua datu-sorta . . . . . . . 99 D Entrenamendu eta inferentzia fluxuak 100 D.1 baseline arkitekturaren fluxua . . . . . . . . . . . . . . . . . . . . . . . . 100 D.2 MedMCQA arkitekturaren entrenamendu fluxua . . . . . . . . . . . . . . 101 D.3 MedMCQA arkitekturaren inferentzia fluxua . . . . . . . . . . . . . . . . 102 D.4 Konkatenazioa erabiltzen duen arkitekturaren fluxua . . . . . . . . . . . 103 7 IRUDIEN ZERRENDA Irudien Zerrenda 1 BAME azterketaren adibide bat CasiMedicos datu-sortatik aterata. . . . 15 2 Proiektuaren LDE diagrama. . . . . . . . . . . . . . . . . . . . . . . . . . 21 3 Proiektuaren Gantt diagrama. . . . . . . . . . . . . . . . . . . . . . . . . 36 4 Arriskuen klasifikazioa “Probabilitatea” eta “Eragina”-ri dagokionez. . . 46 5 Proiektuaren MCQA ataza AA-ren arloan kokatuta. . . . . . . . . . . . . 47 6 Ohiko Ikasketa Automatikoa eta Ikasketa Sakonaren arteko errendimenduaren konparazioa entrenamendurako erabilitako datu kantitatearen arabera (iturria: [9])................................ 49 7 Ikasketa gainbegiratuaren “entrenamendua” (urdinez) eta “inferentzia” (berdez) (iturria: https://radimrehurek.com/data_science_python/). . . 49 8Train,dev eta test multzoak eta hauen zehaztasunak (iturria: NLP-Planet). 50 9 Pertzeptroi sinplea x1,x2eta x3sarrerekin, w1,w2eta w3pisuekin eta z irteerarekin................................... 51 10 Geruza anitzeko pertzeptroiak edo Multi Layer Perceptron (MLP) (iturria: [13])....................................... 52 11 Atzeranzko propagazioa. . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 12 Ckostu funtzioaren gradientearen jaitsiera wparametro bakar baten menpean....................................... 54 13 “epoch”, “batch-size”, “GPU-aren batch-size”, “gradientearen metaketa” eta “pauso” definizioen laburpenak. . . . . . . . . . . . . . . . . . . . . . 55 14 Ikasketa-tasaren planifikatzaile ezberdinak. . . . . . . . . . . . . . . . . . 56 15 Azpidoiketa, gaindoiketa eta doiketa zuzena bi dimentsioko espazio batean. 57 16 Gelditze goiztiarraren teknika. . . . . . . . . . . . . . . . . . . . . . . . . 57 17 RNN, LSTM eta GRU neurona-sare arkitektura motak (iturria: [25]). . . 58 18 HE-en eta HEH-en kapazitatearen eboluzioa HNP atazak betetzeko (iturria: [27]).................................... 59 19 HNP atazak (iturria: https://www.nlplanet.org/)............ 60 20 HNP-rako pipeline komuna (iturria: [35]-tik egokituta). . . . . . . . . . . 61 21 Tokenizazio prozesuaren adibidea. . . . . . . . . . . . . . . . . . . . . . . 61 22 “medical” hitzaren eta hitz honekin esanahi estua duten hitzen errepresentazio bektoriala “word2vec”[38], [39] erabiliz (iturria: https://projector. tensorflow.org/)............................... 62 23 MedMCQA datu-sortaren instantzien banaketa train,dev eta test multzoetan. .................................... 66 24 MedMCQA ikerketan erabilitako fluxua ereduari instantziak emateko (iturria: [1]).................................... 67 25 MedMCQA arkitekturaren Linear geruzaren arkitektura. . . . . . . . . . 68 26 Entrenamendu fluxua MedMCQA arkitektura erabiliz. . . . . . . . . . . 68 27 Inferentzia fluxua MedMCQA arkitektura erabiliz. . . . . . . . . . . . . . 69 28 CasiMedicos datu-sortaren instantzien banaketa train,dev eta test multzoetan. .................................... 69 29 Adibide baten nahasmen-matrizea eta horren accuracy metrikaren balioa. 71 30 5 aukera duen sarrera (a), 4 aukera duen sarrera (b) eta 5 aukera duen sarreraren adibidea (c). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 31 5 erantzun-aukerako sarrera (a), 4 erantzun-aukerako sarrera (b) eta maskara erabiltzen duen klasifikazio burua (c). . . . . . . . . . . . . . . . . . 73 8 IRUDIEN ZERRENDA 32 5 aukera duen sarrera baten adibidea RoBERTa-ren token bereziak erabiliz. 74 33 CasiMedicos datu-sortaren train,dev eta test multzoen instantzien token luzerarekiko kutxa diagramak (oharra: ‘x’ ardatza eskala logaritmikoan dago adierazita). Eskumako lerro gorriak 512 token balioa adierazten du. 74 34 Baseline arkitektura.............................. 76 35 Baseline arkitekturaren klasfikazio burua “transformers” liburutegiaren “RobertaClassificationHead” klasifikazio burua erabilita. . . . . . . . . . 77 36 MedMCQA arkitekturaren egokitzapena (iturria: [1]-etik egokituta). . . . 78 37 Datu-sorta orekatuaren sorkuntzaren prozesua. Goiko lerroan datu-sortaren instantzia originala eta beheko lerroan instantzia original horretatik sortu diren 5 aldaerak agertzen dira. . . . . . . . . . . . . . . . . . . . . . . . . 79 38 CasiMedicos datu-sortaren erantzun-aukera zuzenen banaketaren uniformetasun faltarengatik lortzen diren nahasmen-matrizeak. . . . . . . . . . 81 39 CasiMedicos datu-sortaren train (a), dev (b) eta test (c) multzoen erantzun zuzenenbanaketa................................ 82 40 HEH ereduen eboluzioa azken urteetan (iturria: [53])............ 95 41 Baseline arkitektura eta CasiMedicos datu-sorta originala erabiliz entrenamendu optimoan lortutako emaitzak. . . . . . . . . . . . . . . . . . . . 96 42 MedMCQA arkitektura eta CasiMedicos datu-sorta originala erabiliz entrenamendu optimoan lortutako emaitzak. . . . . . . . . . . . . . . . . . 97 43 Baseline arkitektura eta CasiMedicos datu-sorta orekatua erabiliz entrenamendu optimoan lortutako emaitzak. . . . . . . . . . . . . . . . . . . . 98 44 MedMCQA arkitektura eta CasiMedicos datu-sorta orekatua erabiliz entrenamendu optimoan lortutako emaitzak. . . . . . . . . . . . . . . . . . 99 45 Fluxuaren zehaztasunak 5 erantzun-aukera galdera baterako Huggingfaceeko “RobertaForSequenceClassifcation” eta “RobertaClassificationHead” klaseen inplementazioa aztertuta GitHub-eko errepositorio publikoan. . . 100 46 MedMCQA ikerketan erabilitako arkitekturaren doikuntza testuingurua ez erabiltzeko eta 5 aukeretako galderak erabiltzeko entrenamenduan. . . . . 101 47 MedMCQA ikerketan erabilitako arkitekturaren doikuntza testuingurua ez erabiltzeko eta 5 aukeretako galderako erabiltzeko inferentzian. . . . . . . 102 48 Errepresentazio bektorial desberdinak erabiltzen dituen arkitektura. . . . 103 9 1 SARRERA mentazioen aldaera berriak sortuko dira HNP-ko teknika eta paradigma desberdinak erabiliz. 1.1 Motibazioa eta lanaren jatorria BAME azterketak erantzuten dituzten hainbat eredu jada existitzen diren arren, GrAL honetan garatutako ereduek metodologia eta zehaztasun desberdinak erabiltzen dituzte BAME azterketetako galderetatik erantzunak lortzeko. BAME azterketako galderak erantzun anitzeko galdera motak dira. Garatutako sistema automatikoaren ataza nagusia, galdera bakoitzarekin eskainitako erantzun-aukera posibleetatik bat aukeratzea da. Proiektu honetan erabilitako hizkuntza-ereduak (HE) hainbat BAME galdera adibideetatik ikasten du entrenamendu fasean zehar (ikasle batek azterketa prestatzean egiten duen modura). Ondoren, ereduaren entrenamenduan ikusi gabeko galderak erantzuteko gaitasuna ebaluatuko da. Modu horretan, HE horrek galderak erantzuteko ataza orokortzeko gai den ala ez egiaztatuko da. Ataza hau ebazteko kanpoko informazio-iturriak erabili ahal badira ere, GrAL honetan, ez dira erabiliko ikasketa prozesuan ezta ebaluazio prozesuan. Horrek zailtasun maila handitzen du beste urteko BAME azterketak bakarrik erabili ahal dituelako ikasketa prozesuan. Hala ere, erabiliko diren ereduak medikuntza arloan aurre-entrenatuta daude, erabiltzen diren terminoetan eta kasu klinikoetan jakintza izanik. Orain arte garatutako lan guztietan, galdera hauen erantzun-aukera kopuru finko batekin lan egiteko garatu dira sistemak. Lan honetan garatutako ereduek datu-sortetako galderen erantzun kopuru desberdinekin lan egiteko kapazak dira. Horretarako, aurrekari diren ikerketetako eredu arkitekturak moldatu egingo dira erantzun kopuru aldakor batekin lan egiteko. Gainera, zehaztasun hau betetzen duten eredu arkitektura desberdinak proposatuko dira, beste ikerketetan erabilitakoak aztertuz eta hauetatik beste berri batzuen diseinua, garapena eta ebaluazioa gauzatuz. Bestalde, aurrekari diren eredu gehienak ingeleseko BAME azterketekin daude entrenatuta. Horregatik, GrAL honen helburuetatik bat gaztelania eta ingelesa erabiltzeko gaitasuna duen eredu elebiduna inplementatzea eta ebaluatzea da. Gaztelanian aurreentrenatutako eredu eta datu-sorta gutxiago daude ingelesarekin konparatuta eta proiektu honetarako eta etorkizuneko lanerako erronka bat da. 1.2 Garapen Iraunkorreko Helburuekiko eta unibertsitatearen printzipio eta balio demokratikoekiko lotura Garatutako proiektua bat dator UPV/EHU-ko bizikidetza arautegiarekin3eta horrela ikus daiteke proiektuan zehar hurrengo alderdietan: •Gardentasuna eta zintzotasuna mantentzen da lanaren jarduera akademikoarekiko (1. artikuluko 2.e atala). •Espazio komunen errespetua dago, proiektua garatzeko erabili diren gelak modu zintzoan erabiliz eta espazio digitalari dagokionez, unibertsitateko ikerketa-taldeak 3https://www.ehu.eus/documents/10707338/31966924/Bizikidetza+arautegia.pdf/ 528ab06e-a0f1-d4d1-3026-d147d0716a1e?t=1698238766321 16 1 SARRERA eskainitako hardware eta software tresnak era arduratsuan erabiliz (1. artikuluko 2.g atala). •Unibertsitatearen izen eta ikurrak UPV/EHU-k ezarritako protokoloaren arabera erabiltzen dira (1. artikuluko 2.h atala). •Unibertsitateko ikaskideekiko, irakasleekiko, tutoreekiko edota edozein beste langileekiko errespetua mantentzen da haien jaiotza, arraza edo etnia, sexua, erlijioa, sinesmenak edo iritzia, adina, desgaitasuna, sexu orientazioa edo identitatea, genero adierazpena, gaixotasuna edo osasun egoera, egoera serologikoa edota patologia eta nahasmenduak izateko joera genetikoa, hizkuntza, egoera sozioekonomikoa, edota beste edozein ezaugarri edo inguruabar pertsonal zein sozial edozein delarik (15. artikulua 1. atala). Nazio Batuen Erakundeak (NBE) 2015-ean onartutako Garapen Iraunkorreko 2030 Agenda-n zehazten diren 17 Garapen Iraunkorreko Helburuen (GIH) artean, hurrengoak betetzen ditu garatutako lanak: •3. Osasuna eta ongizatea: osasunaren arloan lan egiten da eta osasuna hobetzeko tresnak garatzen dira. Garatutako tresnekin, medikuen prestakuntza sustatzen da. Aldi berean, eskaintzen duten arreta medikoaren kalitatea hobetu lezake. •4. Kalitateko hezkuntza: medikuntzako ikasleei BAME azterketa prestatzeko tresna erabilgarria eskaintzen zaie, eta horrek lagundu lieke ibilbide profesionalean arrakasta izateko behar dituzten trebetasunak eta ezagutzak garatzen. •8. Lan duina eta hazkunde ekonomikoa: tresna medikuntzako ikasleek eskuragarri izatearekin, ikasle gehiago medikuntza ikastera lagundu dezake eta horrela lanpostu duinak izatea erraztu. Bestalde, AA-ko sektoreak hazkunde-ahalmen handia duela ikustaraztean, sektorean lanpostuak sortzea dakar. •9. Industria, berrikuntza eta azpiegitura: hezkuntza-medikoa izateko eskuragarritasuna hobetzen da informazioeta komunikazio-teknologiak erabiliz 9.c helburuan adierazten den bezala. Gainera, gobernuei ikustarazten zaie ikerketa zientifiko hauetan inbertitzea onurak dakarrela 9.5 helburuarekin lotuta, ikertzaile kopurua eta inbertsio publikoa handituz. •12. Ekoizpen eta kontsumo arduratsuak: eredua entrenatzeko eta fintzeko (finetune) erabiltzen diren hardware tresnak, modu arduratsuan erabiltzen dira, hauetan sortu litzatekeen energia-kontsumo gehigarria saihestuz. •17. Helburuak lortzeko aliantza: hezkuntza-erakundeekin, mediku-elkarteekin eta beste erakunde batzuekin lankidetzen aritu baitaiteke medikuntzako ikasleak BAME azterketetarako prestatzeko. Bestalde, UPV/EHU unibertsitateak era sendo batean bermatzen ditu GIH-ak. •18. Hizkuntza eta kultur aniztasuna: proiektuko aurrekari nabarmenak, ingelesez garatu dira eta lan hau, euskaraz garatzen da. Horrek, kultura-nahasmena sustatzen du. Halaber, gutxitua izan den euskara hizkuntza sustatzen da. 1.3 Dokumentuaren egitura Idatzitako memoria dokumentu hau hurrengo ataletan banatuta dago: 17 1 SARRERA 1. Sarrera: proiektuaren ideia nagusiak, motibazioa eta lanaren jatorria, lanaren GIH-ekiko eta unibertsitatearen printzipio eta balio demokratikoekiko lotura, dokumentu honen egitura eta lanaren helburu nagusiak azaltzen dira 1 atalean. 2. Planifikazioa: proiektuan erabilitako tresnak, proiektuaren irismena LDE diagramarekin batera, denboraren kudeaketa, ebaluaketa ekonomikoa eta arriskuen ebaluaketa azaltzen dira 2 atalean. 3. Oinarri teorikoa eta artearen egoera: proiektuaren esperimentazioan garatu dena azaltzeko beharrezkoa den oinarri teorikoa 3 atalean eskaintzen da. 4. Esperimentazioa eta inplementazioa: esperimentuetarako inplementatutako arkitekturak eta beste zehaztasunak azaltzen dira 4 atalean. 5. Emaitzak: esperimentazioan lortu diren emaitzak azaltzen dira 5 atalean. 6. Ondorioak eta etorkizunerako lana: esperimentazioan zehar ateratako ondorioak eta etorkizunerako lana eskaintzen da 6 atalean. Lanari amaiera eman eta gero, aurreratuagoak diren adibideak, emaitzak eta diagramak eskaintzen dira eranskinetan. 1.4 Lanaren helburu nagusiak GrAL honen 3 helburu nagusiak hurrengo zerrendan izendatzen dira: •MCQA ataza ebaztea: arlo medikoan hainbat erantzun-aukera posible dituzten galderak erantzutean datza MCQA ataza. GrAL honen kasuan zehazki, BAME azterketa medikoaren galderak ebatzi behar izango dira CasiMedicos datu-sorta erabiliz, azterketa hauek biltzen dituen datu-sorta izanik. Honen azpiatazak: –Kanpoko informazio-iturririk gabeko MCQA ataza burutu. –4 eta 5 erantzun-aukera duten galderak ebazteko HE dinamikoak garatu. •HE-n arkitektura desberdinak proposatu MCQA ataza burutzeko. Horretarako arkitektura desberdinak diseinatu eta inplementatuko dira hauen arteko emaitzak konparatuz. •Ingelesez eta gaztelaniaz MCQA ataza ebazten duen HE elebiduna entrenatzea. Gainera, emaitza hoberenak eskaintzen dituen hizkuntza ondorioztatuko da. 18 2 PROIEKTUAREN PLANIFIKAZIOA 2 Proiektuaren planifikazioa Proiektuaren planifikazioaren bitartez, proiekturako beharrezkoak diren baliabideak eta helburuak kudeatuko dira. Horretarako, erabilitako tresnak (2.1 atalean), proiektuaren irismena (2.2 atalean), denboraren kudeaketa (2.3 atalean), ebaluaketa ekonomikoa (2.4 atalean) eta arriskuen ebaluaketa (2.5 atalean) azalduko dira. 2.1 Erabilitako tresnak Atal honetan, lanean zehar erabili diren tresna aipagarrienak azaltzen dira: •Software tresnak: – Visual Studio Code:software-a garatzeko ordu gehien erabili den software-a da. Honen bitartez, inplementatutako iturri-kode guztia idatzi da. – Git eta GitHub: Git bertsio-kontrol sistema erabili da iturri-kodea kudeatzeko. Honen bitartez, garatutako bertsio guztiak gordeta geratzen dira eta errore bat izatekotan, denboran atzera bueltatzeko aukera ematen du. Gainera, GitHub-en bitartez, kodearen segurtasun kopia bat gorde da hodeian (teknologia honen funtzionalitaterik garrantzitsuena proiektu honetarako). – Python: Python programazio lengoaia erabili da lana garatzeko, gaur egun AA-n gehien erabiltzen den programazio lengoaia. Gainera, nagusiki, kanpoko liburutegi hauek beharrezkoak izan dira: ∗Huggingface4-eko liburutegiak: “transformers”, “datasets” eta “evaluate” izan dira behar-beharrezko liburutegiak lana garatzeko orduan. Hauek, eredua entrenatzeko prozesua asko errazten dute eskaintzen duten abstrakzio-maila dela eta. ∗PyTorch: AA-ko liburutegirik erabilenetarikoa da. Aurreko liburutegiekin konparatuta, abstrakzio-maila txikiagoa eskaintzen du inplementazioaren zehaztasun asko garatzailearen eskuetan utziz. – Weights & Biases5(Wandb): ereduen entrenamendua monitorizatzeko, metriken bilketarako eta hiperparametroen optimizaziorako erabili den tresna da. Grafikoen bitartez, hainbat metrika ikustarazteko aukera ematen du entrenamendua behar bezala doan ziurtarazteko. – GitHub Copilot:software garapenerako AA-ko tresna honek, kodea azkarrago idazteko aukera ematen du. Gainera, idatzitako kodean sintaxi erroreak erraz aurkitzeko kapaza da. – Overleaf: memoria idazteko tresna izan da. L A T EX testu-prozesamendu lengoaia erabiltzeko hodei-software-a da. – Notion: proiekturako eginbeharrak eta epeak kudeatzeko, argibideak idazteko eta proiektua era zentralizatu batean mantentzeko tresna izan da. 4https://huggingface.co/ 5https://wandb.ai/site 19 2 PROIEKTUAREN PLANIFIKAZIOA – Microsoft 365: tresna-sorta hau, tutoreekin komunikatzeko (Outlook) eta Excel orriak idazteko erabili da. – draw.io eta Miro: garatutako diagramak diseinatzeko erabili dira. – Freefrom: diagramak eskuz hartzeko erabili da, geroago draw.io edota Miro aplikazioetara pasatzeko. •Hardware tresnak: – MacBook Pro M2 Pro 2023: proiektua garatzeko erabili den ordenagailu eramangarria. – Ikerketa-taldeko zerbitzariak eta GPU-ak: ereduak entrenatzeko, beharrezkoak izan dira Graphics Processing Unit-ak (GPU) erabiltzea. Hauen paralelizazio ahalmenak aprobetxatuz, ereduen entrenamendua azkarragoa da. GPU hauek IXA ikerketa-taldeko zerbitzarietan eskuragarri daude. 2.2 Proiektuaren irismena GrAL-aren helburuak eta proiekturen irismena zehazteko, Lan-Paketeen Deskonposaketa Eredua (LDE) diagrama eta lan-pakete bakoitzaren azalpenak egingo dira. Lanpaketeen deskonposaketa erabiliz, lanaren proiektua ataza txikitan banatzen da planifikazioa eta kontrola erraztuz. LDE-ak beharrezko lanaren ikuspegi orokor eta argi bat izaten laguntzen du proiektuaren helburuetatik ez urruntzeko. Bestalde, LDE-aren bitartez geroago azalduko den denboraren kudeaketa (2.3 atalean) eta ebaluaketa ekonomikoa (2.4 atalean) egin ahal izango da. 2.2.1 LDE diagrama 2 irudiko LDE diagraman, GrAL-aren lan-pakete nagusiak eta hauen azpi-atazak banatu dira. 20 2 PROIEKTUAREN PLANIFIKAZIOA Irudia 2: Proiektuaren LDE diagrama. 21 2 PROIEKTUAREN PLANIFIKAZIOA 2.2.2 Lan-paketeak Atal honetan 2 irudiko lan-paketeak deskribatzen dira hurrengo taulen bitartez: 1. Proiektuaren planifikazioa: 2, 3, 4, 5, 6 eta 7 taulen bitartez definitua. 2. Formakuntza: 8, 9, 10, 11 eta 12 taulen bitartez definitua. 3. Eredu arkitektura eta datu-sorta desberdinak: 13, 14, 15, 16 eta 17 taulen bitartez definitua. 4. Hizkuntza desberdineko entrenamenduak: 18, 19 eta 20 taulen bitartez definitua. 5. Dokumentazioa: 21, 22, 23 eta 24 taulen bitartez definitua. 1. Proiektuaren planifikazioa Aurreikusitako denbora 42 ordu Deskribapena Proiektua era koordinatu eta antolatu batean aurrera eramateko behar den kudeaketa integrala egitea. Helburuak argi definitzea, atazak eta denbora kudeatzea eta bilerak antolatzea. Baliabideak Notion, Miro, draw.io eta Excel moduko kudeaketa eta diseinu tresnak (lan-pakete honen azpi-paketeetan sakonduta). Aurrekariak ∅ Irteerak/ Emangarriak LDE eta Gantt diagramak. Taula 2: “1. Proiektuaren planifikazioa” lan-paketea. 1.1. Atazak kudeatzea Aurreikusitako denbora 10 ordu Deskribapena Proiektuan zehar agertzen diren atazak era antolatu batean kudeatzea. Garapena aurrera joan ahala, ataza hauek birpasatu eta denboran antolatu. Beste momentu baterako uzten diren atazak apuntatu geroago bukatzeko. Bestalde, lan-paketeak eta LDE diagrama finkatzea ataza txikiak kudeatzeko beharrezkoa da. Baliabideak Notion tresna erabili da atazen kudeaketa egiteko. Miro tresna erabili da LDE diagrama egiteko. Aurrekariak LDE eta lan-paketeak egoki definituta izatea. Irteerak/ Emangarriak LDE diagrama. Taula 3: “1.1. Atazak kudeatzea” lan-paketea. 22 2 PROIEKTUAREN PLANIFIKAZIOA 1.1.1. LDE sortu Aurreikusitako denbora 4 ordu Deskribapena LDE diagrama sortu helburuak lan-pakete moduan definituta izateko eta denboraren planifikazioa eta ebaluaketa ekonomikoa egin ahal izateko. Baliabideak Miro tresna LDE diagrama diseinatzeko. Aurrekariak Helburuak argi definituta izatea. Irteerak/ Emangarriak LDE diagrama. Taula 4: “1.1.1. LDE sortu” lan-paketea. 1.1.2. Betekizunen eta daten kudeaketa Aurreikusitako denbora 8 ordu Deskribapena Lan-paketeen azpi-atazak era antolatu batean betetzea entregadata eta lehentasunak kontuan hartuz. Ataza hauek lana aurrera joan ahala birplanifikatuko dira momentuan denbora gehien dagokion atazari denbora eskaintzeko. Baliabideak Notion tresna erabiliko da atazak kudeatzeko. Aurrekariak LDE eta lan-paketeen deskribapena. Irteerak/ Emangarriak Lehentasunagatik ordenatutako atazen zerrenda. Taula 5: “1.1.2. Betekizunen eta daten kudeaketa” lan-paketea. 23 2 PROIEKTUAREN PLANIFIKAZIOA 1.2. Denboraren planifikazioa Aurreikusitako denbora 5 ordu Deskribapena Atazak kudeatzearekin batera, denboraren planifikazioa egin behar da. Ataza bakoitzak zenbateko denbora behar duen eta proiektuaren entrega-datarako atazak betetzen ari direla ziurtatu. Horretarako Gantt diagrama erabiliko da. Baliabideak Notion, betetzeko geratzen diren atazak denboran beteko diren ziurtatzeko eta Excel kalkulu-orria, lan-pakete bakoitzari eskainitako denbora kontrolatzeko. Miro erabiliko da Gantt diagrama diseinatzeko. Aurrekariak LDE eta lan-paketeak egoki definituta izatea. Irteerak/ Emangarriak Gantt diagrama. Taula 6: “1.2. Denboraren planifikazioa” lan-paketea. 1.3. Bilerak Aurreikusitako denbora 15 ordu Deskribapena Tutoreekin edota ikerketa-taldeko kideekin proiektuari buruz egindako bilerak. Periodikoki egingo dira bilera hauek lana nola burutzen doan kontrolatzeko eta lortutako emaitzetatik esperimentu eta inplementazio berriak sortzeko. Baliabideak Bilera gela eta proiektorea. Aurrekariak Aurreko bileratik aurrera egindako emaitzen laburpena prest izatea. Irteerak/ Emangarriak Ataza berriak eta garatutakoaren balorazioa. Taula 7: “1.3. Bilerak” lan-paketea. 24 2 PROIEKTUAREN PLANIFIKAZIOA 2. Formakuntza Aurreikusitako denbora 63 ordu Deskribapena GrAL-a garatu ahal izateko beharrezkoa den formakuntza. Graduan zehar landu diren baino aurreratuagoak diren kontzeptuak landu behar izan dira lan honetan. Ikerketa-taldeko kideen ezagutza aprobetxatuz, Interneten eskuragarri dagoen informazioa erabiliz eta lan honen inguruan dauden aurretiko ikerketei esker lortu da ezagutza nahikoa izatea. Baliabideak Bilera gela eta proiektorea. Aurrekariak Graduan zehar landutako kontzeptuak argi izatea. Irteerak/ Emangarriak Proiektua garatzeko ezagutza nahikoa izatea. Taula 8: “2. Formakuntza” lan-paketea. 2.1. Ikerketa-taldean jasotako formakuntza Aurreikusitako denbora 20 ordu Deskribapena Ikerketa-taldeko kideen eskuz lana garatzeko behar den formakuntza jasotzea. Nahiz eta graduan zehar proiektuaren alorrari buruzko hainbat kontzeptu landu izana, ez dira nahikoak izan proiektua garatzeko. Proiektuak artearen egoeran erabiltzen diren teknologiak erabiltzen dituenez, alor honetan lan egiten duten ikerlariengatik formakuntza jaso behar izan da. Baliabideak Bilera gela eta proiektorea. Aurrekariak Graduan zehar landutako kontzeptuak argi izatea. Irteerak/ Emangarriak Proiektua garatzeko ezagutza nahikoa izatea. Taula 9: “2.1. Ikerketa-taldean jasotako formakuntza” lan-paketea. 25 2 PROIEKTUAREN PLANIFIKAZIOA 5.1. Memoria idaztea Aurreikusitako denbora 72 ordu Deskribapena Proiektuan zehar garatutako inplementazioa eta hori ulertzeko behar diren kontzeptuen azalpenak memorian idaztea. Baliabideak Overleaf tresna L A T EX testu-prozesamendu lengoaia erabili ahal izateko. Aurrekariak Inplementazioa bukatuta izatea eta oinarri teorikoa indartzen laguntzen duten artikuluak eta liburuak bilatuta izatea. Irteerak/ Emangarriak Memoriaren dokumentua PDF formatuan. Taula 22: “5.1. Memoria idaztea” lan-paketea. 5.2. Memoria birpasatzea Aurreikusitako denbora 15 ordu Deskribapena Memoria birpasatzea inkongruentziak, kohesio eta koherentzia faltak eta formatu erroreak zuzentzeko. Memoria formatu egokian egoteko zehaztasunak kontrolatuta izateko, hainbat aldiz irakurriko da memoria entrega-data baino lehen. Baliabideak Overleaf tresna PDF-a konpilatzeko eta tresna lagungarriak PDFaren gainean oharrak idatzi ahal izateko. Aurrekariak Memoria idatzita izatea. Irteerak/ Emangarriak Memoriaren bertsio finala. Taula 23: “5.2. Memoria birpasatzea” lan-paketea. 32 2 PROIEKTUAREN PLANIFIKAZIOA 5.3. Iturri-kodearen dokumentazioa Aurreikusitako denbora 7 ordu Deskribapena Ereduen entrenamendurako erabilitako script-ak dokumentatua izatea publikoki eskuragarri eta ulergarri eskaintzeko moduan. Iturri-kodea idatzi ahala dokumentatzen joango da eta hilabetean behin birpasatuko da script-a ulergarria dela ziurtatzeko. Baliabideak Visual Studio Code iturri-kodea idazteko. Aurrekariak Script-en fluxuk ondo definituta izatea. Irteerak/ Emangarriak Iturri-kodearen bertsio finala. Taula 24: “5.3. Iturri-kodearen dokumentazioa” lan-paketea. 33 2 PROIEKTUAREN PLANIFIKAZIOA 2.3 Denboraren kudeaketa Behin LDE diagrama eta lan-paketeak definitu direla, denboraren kudeaketa egiteko beharrezkoa den orduen estimazioa (25 taulan) eta Gantt diagrama (2.3.1 atalean) azalduko dira. 25 taularen bitartez lan-pakete bakoitzaren denbora estimazioa egin da. Entregadatak kontuan izateko eta Gantt diagrama diseinatzeko beharrezkoa izango da. Gainera, benetan zenbat denbora eraman duen adierazten da 25 taulan beste zutabe baten bitartez. Aurreikusitako denborarekin ebaluaketa ekonomikoa egin ahal izango da. Ataza Aurreikusitako denbora (orduak) Denbora erreala (orduak) 1. Proiektuaren planifikazioa 42 +2 1.1. Atazak kudeatzea 10 +2 1.1.1. LDE sortu 4 +0 1.1.2. Betekizunen eta daten kudeaketa 8 +2 1.2. Denboraren planifikazioa 5 +0 1.3. Bilerak 15 +0 2. Formakuntza 85 +10 2.1. Ikerketa-taldean jasotako formakuntza 20 +10 2.2. Ikerketa-taldeko irakurketa saioak 20 +0 2.3. Erabilitako erremintetan trebatzea 25 +5 2.4. Aurretiko ikerketak ulertzea 20 −5 3. Eredu arkitektura eta datu-sorta desberdinak 109 +1 3.1. 4-5 aukerekin entrenatzeko diseinua 15 −4 3.2. baseline arkitektura 24 +3 3.3. MedMCQA arkitektura 40 +2 3.4. Datu-sorta orekatuarekin entrenamenduak 30 +0 4. Hizkuntza desberdineko entrenamenduak 40 −13 4.1. Hizkuntza desberdinak dituzten datu-sortak sortzea 10 −5 4.2. Ereduen entrenamendu elebiduna eta ebaluazioa 30 −8 5. Dokumentazioa 94 +40 5.1. Memoria idaztea 72 +26 5.2. Memoria birpasatzea 15 +12 5.3. Iturri-kodearen dokumentazioa 7 +2 Totala 370 410 (+40) Taula 25: Lan-pakete bakoitzeko aurreikusitako denbora, denbora erreala eta denbora totalak. 2.3.1 Gantt diagrama Proiektuaren iraupena 2023ko urritik 2024ko uztailera arte dela jakinda, 3 irudiko Gantt diagraman iraupen horretan zehar lan-paketeen antolaketa agertzen da. 2023ko 34 2 PROIEKTUAREN PLANIFIKAZIOA urriaren aurretik, 2023ko udan Eusko Jaurlaritzak eskaintzen duen Ikasiker6bekan batean parte hartu zen IXA ikerketa-taldearekin eta honetan jasotako formakuntza guztia GrALerako beharrezkoa izan da. Horregatik, Gantt diagramaren lehenengo zutabean agertzen da. Gantt diagramaren gezien bitartez, baldintzatutako lan-paketeak adierazten dira: •“3. Eredu arkitektura eta datu-sorta desberdinak” eta “4. Hizkuntza desberdineko entrenamenduak” lan-paketeak gauzatu ahal izateko, “2. Formakuntza” lanpaketean jasotako formakuntza beharrezkoa izan da. •Memoria idazteko —“5.1. Memoria idaztea” lan-paketea—, “3. Eredu arkitektura eta datu-sorta desberdinak” eta “4. Hizkuntza desberdineko entrenamenduak” lanpaketeetan garatutako esperimentazioak eta emaitzak beharrezkoak izan dira. •Memoria birpasatzeko “5.2. Memoria birpasatzea” lan-paketean, “5.1. Memoria idaztea” lan-paketea lehenik gauzatu behar izan da. “1.3. Bilerak” lan-paketeko bilerak eta “2.2. Ikerketa-taldeko irakurketa saioak” lan-paketeko irakurketa saioak bi astetan behin egin dira eta horregatik agertzen dira periodikoki Gantt diagraman 3 irudian. Proiektuaren mugarriak eta entrega-datak 26 taulan laburbiltzen dira. Ataza Epe-muga GrAL-aren matrikula 2024/07/15-24 GrAL-a bidali eta defentsa eskatu 2024/07/26 GrAL-aren defentsa 2024/09/03-06 Taula 26: Proiektuaren mugarriak eta entrega-datak. 6https://www.euskadi.eus/becas-ikasiker-de-colaboracion/ 35 2 PROIEKTUAREN PLANIFIKAZIOA Irudia 3: Proiektuaren Gantt diagrama. 36 2 PROIEKTUAREN PLANIFIKAZIOA 2.4 Ebaluaketa ekonomikoa Atal honetan, proiektuarekiko kostu guztiak adieraziko dira. GrAL bat denez, kostuak ez dira kostu errealak izan. Gainera, erabili diren hardware tresna gehienak jadanik amortizatuta daude. Hala ere, proiektu honek zenbateko kostua izango lukeen adierazteko erabiliko da atal hau. Proiektu honen iraupena 2023-ko urritik 2024-ko uztailera arte izan dela kontuan izanda, hau da, 10 hilabete, hurrengo eskulan kostuak, kostu zuzenak eta kostu ez-zuzenak planteatzen dira. 10 hilabete horietan lanaldi osoaren ordu kopurua 8 ordu egun ·5egun aste ·4aste hilabete · 10 hilabete = 1600 ordu izango litzateke. Kontuan izanda proiektuaren iraupenaren estimazioa 370 ordu izan direla (ikusi 25 taula), lanaldi osoaren 370 ordu 1600 ordu ·100 ≈%23 lan egin da proiektu honetan. 2.4.1 Eskulan kostuak Espainia mailan, ingeniari informatiko baten batezbesteko soldata garbia 2250 e-koa da. Kontuan hartuta soldata gordinaren gainean Gizarte Segurantzari enpresak ordaindu behar dion ehunekoak hurrengoak direla: •Gertakari arruntengatiko kotizazioak soldata gordinaren %4,70-a suposatzen du. •Langabeziagatiko kotizazioak soldata gordinaren %1,55-a suposatzen du. •Lanbide Heziketarako kotizazioak soldata gordinaren %0,10-a suposatzen du. •Pertsona Fisikoen Errentaren gaineko Zerga (PFEZ) soldata gordinaren %30 ingurukoa suposatzen du aipatutako batezbesteko soldata garbia kontuan hartuta. Beraz, soldata gordina hilero: soldata garbia = soldata gordina −soldata gordina ·(%4,70 −%1,55 −%0,10 −%30) soldata gordina = 2250 e 1−%4,70 −%1,55 −%0,10 −%30 = 3534,96 e 3534,96 ehilero, 3534,96 e 160 ordu hilabete = 22,09 e ordu . Beraz, proiektuaren estimatutako 370 ordutan egindako lanak, hurrengo kostua izan du: 22,09 e ordu ·370 ordu = 8173,30 e 2.4.2 Kostu zuzenak Informatika arloko lan bat izanik, kostu zuzenak bi talde nagusitan banatu daitezke: hardware kostuak eta software kostuak. Hardware kostuak kalkulatzeko, Zerga Administrazioak gailu elektronikoak 10 urtetan7amortizatzen direla adierazten du. Erabilitako gailuak 10 urte horietan amortizatuko direla kontuan hartuta, hardware gailuen kostuak hurrengoetan banatzen dira: 7Zerga Administrazioak “Tabla de amortizaci´on simplificada”-n adierazten duen bezala: https:// sede.agenciatributaria.gob.es/Sede/ayuda/manuales-videos-folletos/manuales-practicos/ folleto-actividades-economicas/3-impuesto-sobre-renta-personas-fisicas/3_ 5-estimacion-directa-simplificada/3_5_4-tabla-amortizacion-simplificada.html 37 2 PROIEKTUAREN PLANIFIKAZIOA •Ordenagailu eramangarria: erabili den ordenagailu eramangarria MacBook Pro M2 Pro 14” izan da eta haren prezio totala 2119 eda. Beraz, 10 hilabetetan zehar izandako kostu totala amortizazioa eta lanaldi oso baten proportzioan kontuan hartuta: 2119 e 120 hilabete ·10 hilabete ·%23 = 40,61 e •Zerbitzariak: proiektua garatzeko erabili diren zerbitzariak jadanik daude amortizatuta. Gainera, ez dira behar-beharrezkoak izan proiektua garatzeko, zerbitzariaren GPU-ak baizik. Beraz, zerbitzariaren kostu totala ez da kontuan izango baizik eta GPU-arenak. •GPU: erabili den GPU-a NVIDIA Titan V 12GB izan da, 1500 e-ko prezioa duena. Kontuan izanda 500 ordu inguruko exekuzio-ordu izan dituela, eta honako GPU-ek 40.000 ordu inguruko bizitza-iraupena dutela: 1500 e·500 ordu 40000 ordu = 18,75 e Bestalde, GPU-aren erabilerak sortzen duen elektrizitate kontsumoa 2.4.3 atalean ikusiko da. Erabili den software gehiena, freeware edota open source motakoa da, hau da, ez du kostu ekonomikorik izan. Hala ere, dohaineko erabilera ez duten software-a erabili den arren, UPV/EHU-ko ikaslea izateagatik dohainik izan da. Hala ere, ordaindu behar izatekotan, hurrengo kostuak dituzte: •Microsoft 365 Personal: Microsoft Word eta Microsoft Excel motako tresnak eskaintzen duen paketeak, 7 e hilabete -ko kostua du. Proiektuan zehar izandako kostua orduan: 7e hilabete ·10 hilabete ·%23 = 16,10 e •GitHub Copilot: garapenerako adimen artifizialeko laguntzailea 10 e hilabete -ko kostua du. Proiektuan zehar izandako kostua orduan: 10 e hilabete ·10 hilabete ·%23 = 23,00 e 2.4.3 Kostu ez-zuzenak Kostu ez-zuzenetan, elektrizitate kostuak sartuko dira. Zaila da elektrizitate gastuak kuantifikatzea baina zenbait estimatu daitezke. Horretarako, lana garatu den hilabetetan zehar elektrizitatearen prezioaren batez-bestekoa kalkulatuta80,119 e kW h da. Kostu ezzuzenen osagaiak hurrengoak dira: •Ordenagailua kargatzea: ordenagailu eramangarriaren kapazitatea 70 Wh-koa da9. 10 hilabeteko lanegunak 10 hilabete·20 lanegun 1 hilabete = 200 egun izan dituela, egunero behin kargatzen dela eta %23-ko lana proiektuari dedikatu zaiola kontuan hartuta: 70 Wh ·0,119 e kW h 1000 k·200 egun ·%23 = 0,38 e 8OCU-ren arabera: https://www.ocu.org/vivienda-y-energia/gas-luz/informe/precio-luz 9Apple-en arabera: https://support.apple.com/es-es/111340 38 2 PROIEKTUAREN PLANIFIKAZIOA •GPU-aren erabilera: kontuan izanda GPU-aren exekuzio 500 orduak ∼%100-ra izan direla eta GPU-ak 200 Wkontsumitzen dituela errendimendu horretara: 0,2kW ·0,119 e kWh ·500 ordu = 11,90 e •Argia: osagai zailena kalkulatzen, argia da. Estimazio moduan, mahaigaineko lanpara batek 10 Wkontsumitzen dituela kontuan hartuko da. Izan ere, modu indibidualen kontsumitzen den argia da: 0,01 kW ·0,119 e kWh ·370 ordu = 0,44 e 2.4.4 Kostu totalak Kostu totalak, deskribatutako eskulan kostua, kostu zuzenak eta ez-zuzenak batuz lortuko da. Laburpen moduan, 27 taulan ikusi dezakegu osagaiak eta totala. Osagaia Kostua Eskulan kostua 8173,30 e Kostu zuzenak 98,46 e Ordenagailu eramangarria 40,61 e Zerbitzariak 0 e GPU 18,75 e Microsoft 365 Personal 16,10 e GitHub Copilot 23,00 e Kostu ez-zuzenak 12,72 e Odenagailua kargatzea 0,38 e GPU-aren erabilera 11,90 e Argia 0,44 e Totala 8284,48 e Taula 27: Kostuen laburpena eta kostu totala. 39 2 PROIEKTUAREN PLANIFIKAZIOA 2.5 Arriskuen ebaluaketa 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40 eta 41 tauletan, lanaren arriskuak azaltzen dira. “Probabilitatea” eta “Eragina” eremuek, “Oso-baxua”, “Baxua”, “Normala”, “Altua” edo “Oso-altua” balioak hartuko dituzte. 1. Kodea, dokumentazioa edota baliabideak galtzea Deskribapena Lanerako garatutako kodea, dokumentazioa, irudiak, diagramak eta dokumentuak galtzea. Arazo hau, hainbat arrazoirengatik gerta daiteke; hala nola, ekipoa hondatzea eta proiektua gordeta dagoen Internet plataformaren batek datuak galtzea. Prebentzio plana Baliabide hauek ez galtzeko, segurtasun kopiak egingo dira. Zehazki: •Kodea ekipo pertsonalean, zerbitzarian eta GitHub-en gordetzea. •Dokumentazioa Overleaf-en izatea eta noizean behin proiektua deskargatzea. •Ekipo pertsonalean, lan direktorioa Google Drive hodeiarekin sinkronizatuta izatea segurtasun kopiak automatikoki egiteko. Kontingentzia plana Proiektuaren atal guztiak bi lekutan edo gehiagotan gordeta daudenez, leku batetik galtzen badira, bestetik berreskuratuko dira. Ataza hau lehenbailehen gauzatuko da lan-fluxua berreskuratzeko. Probabilitatea Baxua Eragina Altua Taula 28: Kodea, dokumentazioa edota baliabideak galtzearen arriskuaren ebaluaketa. 2. Aldaketekin lana hondatzea Deskribapena Lanerako garatutako kodean edo dokumentazioan egindako aldaketak, kodea ez funtzionatzea edo dokumentazioa formatu zuzenean ez geratzea sor dezake. Batzuetan, egindako aldaketak zehatz-mehatz ez badira gogoratzen, atzera bueltatzea zaila izan daiteke. Prebentzio plana Koderako Git bertsio-kontrolerako software-a erabiltzea eta dokumentaziorako Overleaf-ek eskaintzen duen bertsio-kontrol sistema erabiltzea. Kontingentzia plana Git erabili aurreko commit-ak berreskuratzeko edo Overleaf-en bertsio-kontrol sistema erabili dokumentua zuzen zegoen momentura berreskuratzeko. Probabilitatea Altua Eragina Baxua Taula 29: Aldaketekin lana hondatzearen arriskuaren ebaluaketa. 40 2 PROIEKTUAREN PLANIFIKAZIOA 3. Komunikazio eta koordinazio falta Deskribapena Tutoreekin eta proiektuan inplikatutako alde guztiekin komunikazio eta koordinazio falta izatea. Proiektua alde batera uztea edo zereginak ondo ez ulertzea sor dezake. Prebentzio plana Lana egunean eramatea eta egindakoa tutoreei erakustea dagokion bidetik doala ziurtatzeko. Kontingentzia plana Lanean inplikatutako alde guztiekin biltzea komunikazioa antolatzeko eta hobetzeko. Probabilitatea Normala Eragina Normala Taula 30: Komunikazio eta koordinazio faltaren arriskuaren ebaluaketa. 4. Hardware tresnak hondatzea Deskribapena Lanerako erabiltzen den hardware-a hondatzea. Garrantzitsuenak, ekipo pertsonala hondatzea, zerbitzaria hondatzea, GPU-ak hondatzea eta periferikoak hondatzea. Prebentzio plana Hardaware-a arduraz erabiltzea eta sintomaren bat izatekotan, hauek aztertzea eta konpontzea. Kontingentzia plana Pareko beste hardware-a bilatzea edota beharrezkoa izatekotan, berri bat erostea. Probabilitatea Baxua Eragina Oso-altua Taula 31: Hardware tresnak hondatzearen arriskuaren ebaluaketa. 41 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA •Ahotsaren prozesamendua: ahotsak eta soinuak prozesatzea eta haietatik informazioa ateratzea edota sortzea (AA sortzailea). •Robotika eta jokoak: adimena dituzten agenteak sortzen dira. •Big data: datu-baseetan, Interneten edota beste bolumen handiko datu-multzoetan gordetako datu kantitate handietatik informazioa eta patroiak ateratzea da helburua. Hainbat sektore publikok eta pribatuk erabiltzen dituzte arlo nagusi hauetan lortzen diren hobekuntzak; hala nola, medikuntza, industria, automobilgintza, finantzak, etab. 3.1.1 Ikasketa Automatikoa eta Ikasketa Sakona Ikasketa Automatikoa makinek haien kabuz ikasteari deritzo eta AA-rekin lotutako kontzeptua da. Hala ere, Ikasketa Automatikorik gabeko AA existitzen da, sistema batek gizakiak inplementatutako erabaki-multzo baten menpean erabakiak har ditzakeelako [4] inolako ikasketa prozesurik gabe. Ataza bera egiteko kapaza den makina bat Ikasketa Automatikorik gabe eta Ikasketa Automatikoarekin adierazteko, hurrengo adibideak planteatzen dira [7]: •Xakera jolastu dezakeen makina batek Ikasketa Automatikoa erabili gabe, agindu-multzo bat izango du ezarrita xakera jolasten dakien gizaki batengatik idatzita eta ez da egongo inolako ikasketarik. •Xakera jolastu dezakeen makina batek Ikasketa Automatikoa erabiliz, xakeko posizio eta jokaldi askorekin entrenatuko da, mugimendu bakoitzaren eragina ikasita eta irabazteko optimizatuta, erabaki onena hartzeko moduan. Artearen egoeran neurona-sareen gainean egiten den Ikasketa Automatikoari, Ikasketa Sakona (Deep Learning) deritzo. Ikasketa Sakonean erabiltzen diren ereduak, datubolumen handiak erabili ditzakete eta hainbat geruza ezkutuz osatutako arkitekturak (3.1.1.1 atalean sakonduta) erabiltzen dituzte. Ezkututako geruza horietan barreiatzen den heinean, zenbat eta geruza sakonagoa izan, orduan eta sarreraren errepresentazio abstraktuagoa ikasiko du. Abantaila nagusia ohiko Ikasketa Automatikoarekin konparatuta, beren helburua lortzeko (sarreren araberako erabakiak hartzeko gaitasuna garatzea) sarreren datu gordinak erabili ditzaketela da (ez da beharrezkoa 20 irudian aurkeztuko den aurreprozesamendu guztia behar) [8]. Gainera, datu kantitate handiekin, Ikasketa Sakonak errendimendu handiagoa eskaintzen du (ikusi 6 irudia). 48 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Irudia 6: Ohiko Ikasketa Automatikoa eta Ikasketa Sakonaren arteko errendimenduaren konparazioa entrenamendurako erabilitako datu kantitatearen arabera (iturria: [9]). Ikasketa Automatikoan erabiltzen diren algoritmoak, hiru metodologia desberdinetan sailkatu daitezke [10]: •Ikasketa gainbegiratua: ereduak irteerak eskaintzen ditu etiketatutako sarrerak (esperotako irteerarekin adierazitako sarrerak) emanez. Eredu batek sarrera bat irteera batean bihurtzen duen funtzioa ikas dezan, hainbat sarrera-irteera adibide ikusiko ditu “entrenamendu” deritzon prozesuaren bitartez train (entrenamendu) multzo bat erabiliz. Behin funtzio hori ikasi duela, “inferentzia” prozesu bat egiten da non entrenamenduan zehar ikusi ez diren adibideak erabiltzen diren ereduaren emaitzak lortzeko [11]. Prozesu bi hauen laburpena 7 irudian ikusi daiteke eta 3.1.1.2 atalean sakonduko da. Irudia 7: Ikasketa gainbegiratuaren “entrenamendua” (urdinez) eta “inferentzia” (berdez) (iturria: https://radimrehurek.com/data_science_python/). Ataza betetzeko eskuragarri dauden datuak, hirutan banatzen dira, bakoitzak ezau49 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA garri desberdinekin [7]: –Train multzoa: eredua entrenatzeko erabiltzen diren entrenamendu multzoko datuak dira. Datu gehien dituen multzoa da. –Dev multzoa: eredu onena zein den ebaluatzeko, gelditze goiztiarra konfiguratzeko (early stopping) edota gaindoiketa (overfitting) (3.1.1.2 atalean sakonduta) saihesteko erabiltzen den datu multzoa da. –Test multzoa: behin eredua entrenatu denean honen errendimendua neurtzeko inferentzian erabiltzen den datu multzoa da. Datu hauek ez dira entrenamenduan zehar ikusi eta horregatik metrika egokiak ateratzeko aproposa da. Laburpen moduan 8 irudia eskaintzen da. Irudia 8: Train,dev eta test multzoak eta hauen zehaztasunak (iturria: NLP-Planet). Ikasketa gainbegiratuan hurrengoak dira gehien erabiltzen diren ikasketa algoritmoak [4]: sailkapen lineala, sailkapen logistikoa, Na¨ıve Bayes, Sare Bayesiarrak, Support Vector Machines (SVM), Erabaki-Zuhaitzak, Random Forest, AdaBoost, Bootstrapped Aggregation (Bagging), k-Nearest Neighbours (k-NN) eta NeuronaSare Artifizialak (NSA). NSA-k 3.1.1.1 atalean sakonduko dira artearen egoeran HNP atazetan gehien erabiltzen den algoritmo/eredu mota delako. Eredu/algoritmo hauek ikasketa gainbegiratuan bete ditzaketen atazen adibide batzuk hurrengoak izan daitezke [10]: –Irudi batean txakurra edo katua den agertzen den animalia ezagutzea. –Email bat spam edo ham den sailkatzailea. –Zerbitzari batera konektatzen ari diren erabiltzaileak asmo txarra duten detektatzea. •Ikasketa ez-gainbegiratua: mota honetako ikasketan, sarrera datuek ez daude irteerako datuekin lotuta. Hau da, datuak ez daude etiketatuta ikasketa gainbegiratuan bezala. Ikasketa honek datuen banaketan oinarritzen da eta datuetan begi bistaz ikusten ez diren egiturak deskubritzen lagundu dezakete. Gehien erabiltzen diren algoritmoak, clustering algoritmoak (K-means algoritmoa), 50 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA asoziazio algoritmoak (Apriori algoritmoa) eta dimentsionalitatea txikitzeko algoritmoak (Principal Component Analysis, PCA) dira [9]. •Reinforcement Learning: sari eta zigor sistema bat erabiltzen da eredua entrenatzeko. Honetarako erabiltzen den algoritmoa edo agentea, sariak jasotzen ditu jokabide zuzenengatik eta zigorra jokabide okerrengatik. Adibidez, xakera jolasten ikasten duen makina batek, saria jasoko du partida irabaztean edo zigorra galtzean [9]. Ikasketa metodologia hauek, haien artean osagarriak dira, hala nola, HE-ak entrenatzeko momentuan aurrerago 3.1.2.2 atalean aipatuko den bezala. 3.1.1.1 Neurona-Sare Artifizialak (NSA) Arestian aipatu den bezala, artearen egoerako testua prozesatzeko atazetan gehien erabiltzen den ikasketa algoritmoa edo eredua Neurona-Sare Artifizialak (NSA) dira. NSA-k, neurona artifizialez osatuta daude. Atal honetan, pertzeptroi sinple batetik hasiko da azaltzen geroago NSA-ei eta hauen mota desberdinei eta zehaztasunei sarrera emateko. Horri esker, 3.1.2.1 atalean Transformer eredu arkitekturen egitura orokorra ulertzeko beharrezko oinarria lortuko da. Pertzeptroia NSA sinpleenari “pertzeptroi” deritzo, neurona artifizial bakarra erabiltzen duena, hain zuzen ere. Rosenblatt-ek [12] lehen aldiz pertzeptroia erabiltzen izan zen. Rosenblatt, filosofo bat izan zen eta filosofia saila konputazio-zientzietara eraman zuen pertzeptroiari bizitza emanez. Pertzeptroia, hainbat sarreren bitartez erabaki bat (irteera) hartzeko kapaza da [13]. Horretarako, sarrera bakoitzari, pisu bat esleitzen dio. 9 irudiko pertzeptroian ikus dezakegun bezala, 3 sarrera ditu: x1,x2eta x3. Sarrera bakoitzari, pisu bat esleituko dio, w1,w2eta w3hurrenez hurren. Hauen konbinazio lineala gauzatuz, zirteera bat lortuko da non z=x1·w1+x2·w2+x3·w3bezala definitzen den. Beraz, pertzeptroia wipisuak ezarriz erabakiak hartzen duen sistema da. Irudia 9: Pertzeptroi sinplea x1,x2eta x3sarrerekin, w1,w2eta w3 pisuekin eta zirteerarekin. Eguneroko adibide batera eraman nahian, demagun larunbatean kontzertu bat dagoela zure ondoko herri batean (adibidea [13]-tik egokituta). Kontzertua gogoko duzu eta 51 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA horra joateko edo ez joateko erabakia hartu nahi duzu. Horretarako, hiru faktore kontuan hartuko dituzu: •Eguraldi ona egingo du? •Zure lagunak joango al dira? •Kontzertura joateko garraio publikorik ba al dago? (ez duzu autorik) Hiru faktore hauek, x1,x2eta x3sarrerak izango lirateke. Demagun bakoitzak -2 eta 2 arteko balioak har ditzakeela. Orduan, erabakia hartzeko momentuan, sarrera bakoitza horri ze garrantzia ematen diozun ezarri behar da, hau da, w1,w2eta w3pisuak. Hauek erabiliz, z=x1·w1+x2·w2+x3·w3lortuko duzu. z-ren balio horrekin, erabaki bat hartu beharko duzu. Horretarako, irizpide bat aukeratuko duzu. Adibidez, zbalioa 0 baino txikiagoa bada, kontzertura joango zara; bestela, ez zara joango. Beraz, matematikoki formulatuta, hurrengo sistema erabiliko duzu kontzertura joango zaren ala ez erabakitzeko: z=x1·w1+x2·w2+x3·w3→z < 0→kontzertura joan z≥0→kontzertura ez joan Adibidean aipatu den irizpidea, aktibazio funtzio bat da. Aktibazio funtzioak, neurona baten produktu eskalarra balio errepresentagarri batean bihurtzen du. Erabiltzen diren aktibazio funtzio komunenak sinu funtzioa, sigmoidea, tangente hiperbolikoa, ReLU (Rectifier Linear Unit) eta Softmax dira [14]. Geruza anitzeko pertzeptroiak Agerian uzten den bezala, pertzeptroia erabakiak hartzeko kapaza da; ez horrela datuen patroiak ez daudenean hain argi. Horregatik, NSA-k erabiltzen dira edo geruza anitzeko pertzeptroiak —Multi Layer Perceptron (MLP)— 10 irudian ikus dezakegun bezala. Hauetan, geruza ezkutuak erabiltzen dira, sarrera datuetan patroi zehatzagoak ikasteko kapazak direnak. Irudia 10: Geruza anitzeko pertzeptroiak edo Multi Layer Perceptron (MLP) (iturria: [13]). 52 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA 1 edo 2 geruza ezkutu duten neurona-sareei, azaleko neurona-sareak (Shallow Neuronal Network) deritze. 3.1.1 atalean aurkeztu den bezala, geruza ezkutu hauen kantitatea handitzean —normalean geruza 2 edo gehiago—, neurona-sare sakonak deritzen neuronasareak sortzen dira, Ikasketa Sakona kontzeptuari bizitza ematen diotenak. Momentu honetatik aurrera, neurona-sare sakonen neurona bakoitzak datuetan erreparatzen dion patroia zein den jakiteak ez dauka arrazoiketa argirik izaten [13]. Horregatik gehienetan neurona-sare sakonak kutxa beltzak direla esan ohi da. Ikasketa prozesua NSA-k entrenatzeko, atzeranzko propagazioa (backpropagation) deritzon teknika erabiltzen da. NSA-en entrenamendu batean zehar, aipatutako wipisuak —hemendik aurrera “parametro” bezala deituko dira— doitzen joan behar dira ereduak bete behar duen ataza emaitza egokiekin lortzeko. Horretarako, NSA-ei datuak ematen zaizkion bakoitzean, eskaintzen duen irteeraren errorea neurtu behar da. Erroreak kostu funtzioen bitartez neurtzen dira, erabilienak Cross-Entropy Loss eta errore koadratikoak dira [13]. Aipatutako kostu funtzio bat erabiliz errorea neurtuta dagoenean, NSA-etan zehar dauden wiparametroak doitu behar dira. Hemen erabiltzen da atzeranzko propagazioaren teknika. Erabilitako Ckostu funtzioa, xieta wiguztien menpekoa da; sarrerako xibalioak ezin dira aldatu baina wiparametroak bai. Hau jakinda, Ckostu funtzioari zenbateko eragina egin dion wiparametroak kalkulatuko da eta haren arabera eguneratuko da (ikusi 11 irudia). Irudia 11: Atzeranzko propagazioa. Termino matematikoetan, Ckostu funtzioaren deribatu partzialak kalkulatu behar dira wiparametro guztietarako: ∂C ∂wi ,∀wi. Definizioz, funtzio baten deribatu partzial guztiak kalkulatzeari gradiente deritzo eta horrela definitzen da: ∇C=           ∂C ∂w1 ∂C ∂w2 ... ∂C ∂wn           53 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Beraz, gradientea kalkulatuta, wiparametro bakoitzak zelako eragina duen Ckostu funtzioarengan jakingo dugu eta honen arabera parametro hauek eguneratu [14]. Helburua Ckostu funtzioaren balioa minimizatzea denez, atzeranzko propagazioan erabiltzen den teknika honi “Gradientearen Jaitsiera” (Gradient Descent) bezala ezagutzen da. 12 irudian Ckostu funtzioaren gradientearen jaitsiera erakusten da Ckostu funtzioa wparametro bakar baten menpean izanda. Irudia 12: Ckostu funtzioaren gradientearen jaitsiera wparametro bakar baten menpean. 3.1.1.2 atalean, entrenamendu hauen konfigurazioetan sakonduko da hauek gauzatzeko behar diren zehaztasunak nola eta zertarako ezartzen diren azalduz. 3.1.1.2 Entrenamenduak, konfigurazioak eta hiperparametroak Atal honetan, entrenamendu baterako konfiguratzen diren hiperparametroen esanahia azalduko da, batez ere proiektuan zehar erabili direnak. Izan ere, publikoki proiektu honetarako eskuragarri dauden entrenamendu script-etan10, konfiguratu behar diren balioak dira. Hiperparametroak entrenamendu batean konfiguratzen diren aldagaiak dira non entrenamendu beraren portaera aldatu dezaketen edota erabiltzen den ereduaren arkitekturaren zehaztasunak. Balio hauek entrenamendua hasi baino lehen definitu behar dira [15]. Hiperparametroak eta parametroak ez dira nahastu behar, parametroak 3.1.1.1 atalean azaldutako pisuak dira. Entrenamendu batean erabiltzen den train multzoaren instantzia (adibide bakoitza) guztiak neurona-saretik pasatzen direnean, epoch bat bete dela esaten da [16]. Zenbat eta epoch gehiago erabili, ereduak train multzoa gero eta hobeto ezagutuko du baina aurrerago aipatzen den gaindoiketa (overfitting) arazoa sor dezake. Batch-size balioa atzeranzko propagazioa train multzoko zenbat instantzietan behin egiten den adierazten du. Balio honen arabera, 3.1.1.1 atalean azaldu den gradientearen jaitsiera 3 motakoa izan daiteke [17]: •Stochastic Gradient Descent (SGD): atzeranzko propagazioa instantzia bakoitzeko egitearen estrategiari deritzo (Online Gradient Descent bezala ere ezagututa). 10Iturri-kode guztia eskuragarri: https://github.com/AingeruBeOr/GrAL 54 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA •Batch Gradient Descent: atzeranzko propagazioa epoch bakoitzeko egitearen estrategiari deritzo, hau da, train multzoko instantzia guztiak behin neurona-saretik pasatuta. Horretarako, gradienteen balioak metatzen dira epoch-a bukatzen denean atzeranzko propagazioa gauzatzeko (Vanilla Gradient Descent bezala ere ezagututa). •Mini-batch Gradient Descent: aurreko bien arteko nahasketa da. Kasu honetan, train multzoko kinstantzia bakoitzeko egiten da atzeranzko propagazioa. Artearen egoeran erabiltzen den teknika da. Kontuan izan behar da batch-size deitzen dugun balioa, egia esanda mini-batch-size balioa dela. Izan ere, SGD eta Batch Gradient Descent ez dira gehiegi erabiltzen. Batch-size balioa ezartzerakoan, normalean bi balioen arteko biderkadura da: •GPU-aren batch-size: entrenamendurako GPU-a erabiltzean, GPU horrek paraleloki prozesatzen dituen instantzia kopurua da. Entrenamendua diseinatzerakoan, balio hori nahierako baliora ezartzen saiatzen da baina GPU-aren memoria dela eta, hainbeste instantzia paraleloki prozesatzeko kapaza ez bada, gradientearen metaketa erabiliko da. •Gradientearen metaketa: GPU-ak prozesatzen dituen multzoen metaketaren balioa da atzeranzko propagazioa egin baino lehen. Beraz, benetako batch-size balioa (normalean “batch-size eraginkorra” bezala ezagututa), hurrengo formularekin kalkulatuko da: (batch-size eraginkorra) = (GPU batch-size)·(gradientearen metaketa) batch-size eraginkorraren balioa, “step” edo “pauso” bezala ere ezagutzen da. Pauso bat aurrerako pauso (forward pass) batekin eta atzeranzko propagazio batekin betetzen da. 13 irudian, hona arte aipatutako “epoch”, “batch-size”, “GPU-aren batch-size”, “gradientearen metaketa” eta “pauso” definizioak adibide baten bitartez laburbiltzen dira. Irudia 13: “epoch”, “batch-size”, “GPU-aren batch-size”, “gradientearen metaketa” eta “pauso” definizioen laburpenak. 55 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA 3.1.1.1 atalean aipatu den bezala, atzeranzko propagazioaren bitartez, neurona-sareen parametroak eguneratzen dira. Ikasketa-tasaren bitartez (learning rate), gauzatutako eguneraketak zenbateko eragina duten ezartzen da. Neurona-sarearen zehar dauden parametro guztien bektorea −→ w=w1, w2, ..., wnizanik, ηikasketa tasaren balioa izanik eta ∇C kostu funtzioaren gradientea izanik, −→ wpisuen eguneraketa hurrengo formularen bitartez definitzen da [13], [14]: −→ w=−→ w−η· ∇C Ikasketa-tasa honen balioa, zaila izan ohi da ezartzea. Gainera, hiperparametro honen balioa entrenamenduan zehar konstante mantentzea ez dugu nahi, entrenamendua aurrera joan ahala balio hau txikitzea komeni zaigu kasu askotan. Ikasketa-tasa planifikatzaileak ikasketa-tasaren balioa konstante ez mantentzea lortzen du [18]. 14 irudiaren bitartez ohiko planifikatzaileek ikasketa-tasari eragindako aldaketa entrenamenduan zehar ikus daiteke. Irudia 14: Ikasketa-tasaren planifikatzaile ezberdinak. Artearen egoeran erabiltzen diren entrenamendu teknikekin batera, ikasketa-tasaren optimizatzaileak erabiltzen dira. Entrenamenduan zehar ikasketa-tasa dinamikoki aldatzean datza optimizatzaile hauen estrategiak. Gradientearen jaitsierak dituen desabantaila asko konpontzea lortzen dute, hala nola, minimo lokaletan geratzea, minimoak astiroegi topatzea edo minimoak ez aurkitzea ikasketa-tasa handiengatik [19]. Artearen egoeran erabiltzen diren ikasketa-tasa optimizatzaile erabilienak, “Adagrad”, “AdaDelta”, “Adam” [20] eta “AdamW” [21] dira. Entrenamendu baten helburua eredua datuetara doitzea da hauen gainean ataza bat betetzeko. Hala ere, eredua entrenamenduko datuei gehiegi doitzea arazo bat izan daiteke. Izan ere, entrenamenduan zehar ikusi ez dituen instantzia berriak ikustean, ez da kapaza izango ataza modu egonkor batean ebazteko. Fenomeno honi “gaindoiketa” (overfitting) deritzo. Bestalde, entrenamendu gutxi egitearen eta ataza betetzeko kapazitate faltari “azpidoiketa” (underfitting) deritzo. 15 irudian portaera hauek ikus ditzakegu [22]. 56 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Irudia 15: Azpidoiketa, gaindoiketa eta doiketa zuzena bi dimentsioko espazio batean. Aipatutako azpidoiketa arazoa kontrolatzeko “gelditze goiztiarra” deritzon estrategia erabili ohi da. Gaindoiketa neurtzeko aukera bat, entrenamenduan zehar erabiltzen diren train eta dev multzoen errore funtzioak neurtzean datza. Gauzak horrela, entrenamenduan zehar dev multzoa erabiltzen da nolako emaitzak ateratzen dituen multzo honekin konprobatzeko, multzo hau ez baita parametroen entrenamendurako erabiltzen. Era honetan, train multzoko errorea eta dev multzokoa ere jaistea bilatzen da. Momenturen batean train multzoko errorea txikitzen bada baina dev multzokoa handitzen bada, gaindoiketa batean gaudela jakingo dugu. Entrenamendua bertan geldituko da eta momentura arte entrenamenduan lortutako eredua gordeko da. 16 irudiko grafikoan azpidoiketa eta gaindoiketa ikus ditzakegu errore funtzioaren bitartez. Irudia 16: Gelditze goiztiarraren teknika. Aipatutako dev multzoarekin, esan bezala, entrenamenduan zehar ereduaren errendimendua neurtzen da. Erabili ohi den beste teknika bat dev multzoa erabiltzean, momentu horretaraino entrenatutako ereduaren kontrol-puntu (checkpoint) bat gordetzea da. Horrela, gaindoiketa edo beste edozein arazo izatekotan (korronte-elektrikoa moztea edota makinako exekuzioa gelditzea), entrenamenduan zehar izandako eredu desberdinak eskuragarri egongo dira. Entrenamenduetan zehar ausazko hainbat prozesu gertatzen dira, hala nola, ereduaren pisuen hasieraketa eta train multzotik datuak hartzeko ausazko prozesua. Prozesu hauek ausazkoak izanik, entrenamenduak errepikatu nahi izatekotan ez legoke aukerarik emaitza berdinak ateratzeko. Horregatik, ausazko balioak kontrolatzen dituen hazia (seed) erabiltzen da. Hazi honen balioa entrenamendua baino lehen definitzen da eta honekin entrenamenduak emaitza berdinekin errepikatzeko aukera lortzen da [23]. 57 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA – Esaldiak bete: hutsuneak betetzeko galderen aldaera bat da non esaldi baten azkenengo zatia bete behar den. •Erantzunaren arabera (43 taulan adibideak): – Erauzitako erantzunak: galdera sarrera moduan jasota, galderaren erantzuna bilatu behar da informazio-iturri batetik. Ataza hau bilaketa algoritmoak egiten dutenarekin konparatu daiteke. – Aukera anitzeko erantzunak (Multiple Choice Question Answering, MCQA): kasu hauetan, galdera ez da sarrera bakarra, galderarekin batera hainbat erantzun posible ematen dira. Ataza honetarako eskuragarri dauden datu-sortak [44], [45], eskuz idatzita daude profesionalengatik eta normalean test moduko galderak izaten dira eskoletako azterketetarako. Formatu honen erantzunen abantaila erauzketa erantzunekin konparatuz, erantzuna aukera multzo itxi batean erabaki behar dela da. Gainera, galdera eta erantzunak idatzi duenak, erantzuna aukeratuko duenaren arrazoiketaren gaineko kontrola du. Ereduen ebaluazioa, beste erantzun formatu motetan ez bezala, berehalakoa da erantzun zuzena bakarra (edota erantzun anitz multzo bakarra) delako. Hala ere, zaila da mota hauetako galderak ereduari ondo planteatzea ikasketa egokia izateko. Izan ere, erantzun okerrak baztertzeko errazak badira, ereduak hauek baztertzen ikasiko du eta ez erantzun zuzena arrazoitzen. Arazo hau konpontzeko, [46]-en erantzunak formulatzeko eskemak sortu dira. Kontuan izan behar da gizakiak erantzuna aukeratzeko irizpideak ez direla ereduak erabiltzen dituen berdinak. Adibidez, eskola azterketa batean, ikasleak erantzun-aukera bakoitzeko erantzun zuzenen banaketa uniformea izango dela kontuan hartzen du normalean. Garatutako proiektuak, mota honetako erantzunak ditu eta aipatutako zailtasunak eta desabantailak emaitzetan zehar ikusiko dira 5 atalean. – Erantzun kategorikoak: multzo itxi eta finitu batean definituta egoten dira erantzun hauek, hola nola, zenbakiak, datak, bai/ez, etab. Beste aukera bat, entrenamenduan zehar ikusitako erantzunak, inferentziaren erantzun berak izatea da. Inferentzian ereduak erantzun beharreko aukerak badaki zein diren entrenamenduan ikusi dituelako. – Eredu sortzaile batengatik sortutako erantzunak: gizakiok hizkuntza naturalean sor genezakeen erantzunak dira. Erantzuna informazio-iturri batetik lortu ez ezik, ereduak erantzun hori sortzen du haren ezagutzaz baliatuz. Eredu sortzaileen emaitzak zailak dira ebaluatzen ez dagoelako erantzun zuzen bakarra. 64 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Ebidentzia Formatua Galdera Erantzuna Einstein was born in 1879. Galdera When was Einstein born? 1879 Kontsulta Which year Einstein born 1879 Hutsuneak bete Einstein was born in . 1879 Esaldiak bete Einstein was born ... in 1879 Taula 42: QA galderen formatuak (iturria: [43]-tik egokituta). Ebidentzia Formatua Galdera Erantzuna Einstein was born in 1879. Erauzketa When was Einstein born? 1879 (token 5) MCQA When was Einstein born? (a) 1879, (b) 1888 Kategorikoa Was Einstein born in 1880? No Sortuta When was Einstein born? 1879 (eredu sortzaile batekin) Taula 43: QA erantzunen formatuak (iturria: [43]-tik egokituta). 3.2 Artearen egoera Proiektu hau garatzerako orduan, hainbat aurrekari izan dira. Ereduen arkitektura eta datu-sorta desberdinak frogatu dira eta hauek aprobetxatuz, hauetan sakondu da lan honetan zehar. 3.2.1 MedMCQA datu-sorta eta MedMCQA eredu arkitektura MedMCQA [1] ikerketan, medikuntza arloko MCQA atazarako datu-sorta bat sortu zen. Gainera, ikerketa horretan datu-sorta horrekin lortu zitekeen emaitzak konprobatzeko eredu arkitektura zehatz bat erabiliz egin ziren entrenamenduak. Atal honetan, ikerketa honetako datu-sorta eta arkitekturaren zehaztasunak azalduko dira. 3.2.1.1 MedMCQA datu-sorta [1] ikerketan, “All India Institute of Medical Sciences (AIIMS PG)” eta “National Eligibility cum Entrance Test (NEET PG)” azterketak erabili dira datu-sorta bat sortzeko. Honen aurretik saiakerak egin dira biomedikuntzan MCQA motako galderak dituzten datu-sortak sortzeko baina lortu direnak txikiak eta biomedikuntzaren domeinu espezifikoetan oinarrituta daude. Beraz, helburu nagusia, biomedikuntza arloan MCQA15 datu-sorta bat sortzea izan zen. Datu-sorta honek, azterketa hauen 193155 galdera ditu, 182822 train multzoan, 4183 dev multzoan eta 6150 test multzoan16 (ikusi 23 irudia). 15[1] ikerketa honen argitalpenaren ostean, “MedMCQA” deitu zaio biomedikuntza arloko MCQA atazari baina dokumentu honetan zehar “MCQA” erabiliko da atazari buruz hitz egiteko eta “MedMCQA” ikerketa honetan bildutako datu-sortari eta eredu arkitekturari erreferentzia egiteko. 16Nahiz eta [1] ikerketan 6150 instantzia dev multzoan eta 4183 instantzia test multzoan direla aipatu. 65 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Irudia 23: MedMCQA datu-sortaren instantzien banaketa train,dev eta test multzoetan. Datu-sorta, JSONL (JSON Lines) formatuan eskaintzen da17 eta hurrengo eremuak ditu instantzia/galdera bakoitzak: •id: instantziaren identifikatzailea. •question: galdera. •opa: A aukera. •opb: B aukera. •opc: C aukera. •opd: D aukera. •cop: aukera zuzena. •choice type: “single-choice” edo “multi-choice” aukera bakarra edo bat baino gehiago egon badaiteke18. •exp: aditu baten azalpena aukera zuzenaren inguruan. •subject name: galderaren medikuntza eremua. •topic name: galderaren eremu espezifikoa medikuntza eremuaren barruan. Instantzia hauen adibide bat ikus daiteke eranskineko 1 iturri-kodean. 3.1.3.1 atalean egindako sailkapenaren arabera datu-sorta honen instantzietan agertzen diren galderak, galdera formatua eta esaldiak betetzeko formatua dute. Bestalde, erantzun motak MCQA motakoak dira guztiak. Ikerketa honetan, baseline moduan erabilitako HEH-ak aurre-entrenatutako BERT [30], SciBERT [47], BioBERT [48] eta PubmedBERT [49] izan ziren. Eredu hauek sortutako datu-sortarekin findu ziren eta eredu hornitzaile bat erabili zen Wikipedia eta PubMed kanpoko jakintza iturriekin hornitzeko datu-sortaren galderei testuingurua gehituz. Lortutako emaitzak —%47 emaitzarik onena— gizakiak mota honetako azterketetan dituen emaitzak baino txarragoak dira (ikasle hoberenak %90-ko asmatze-tasa inguru izan ohi dute). Hala ere, helburua datu-sorta egoki bat sortzea denez, datu-sorta hau etorkizuneko ikerketetarako pentsatu da ikerketa honetan. Datu-sorta honen kalitatea eta zuzentasuna hurrengo ezaugarriengatik dator: 17Datu-sorta eskuragarri: https://github.com/MedMCQA/MedMCQA?tab=readme-ov-file# data-download-and-preprocessing 18Datu-sortaren instantzia guztiak erantzun zuzen bakarra duten arren. 66 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA •Momentura arte biomedikuntzan dagoen MCQA datu-sortarik handiena da. •Galderak mundu errealeko azterketen galderak dira, profesional baten edo batzuengatik proposatuta. •Datu-sorta biltzerakoan egin den garbiketari esker, ereduaren sarrerako desegokiak diren elementuak ezabatu dira, hala nola, URL-ak eta HTML etiketak. Gainera, gramatika eta sintaxi erroreak zuzendu eta errepikatutako galderak ezabatu dira. 3.2.1.2 MedMCQA eredu arkitektura [1] ikerketan proposatutako eredu arkitekturari instantziak emateko, 24 irudian jarraitzen den fluxua erabiltzen da. Instantzia bakoitzari testuingurua ematen zaio eredu hornitzaile bat erabiliz Wikipedia edota PubMed jakintza iturriak erabiliz. Behin testuingurua duela, 4 azpi-instantziatan banatzen da, bakoitza testuingurua, galdera eta aukera bat izanik. Bakoitza, Transformer eredutik igarotzen da eta bukatzeko, Linear neurona-saretik iragarpena egin dezan. Irudia 24: MedMCQA ikerketan erabilitako fluxua ereduari instantziak emateko (iturria: [1]) . Aukera bakoitzarekin sortutako azpi-instantziak Transformerretik pasatuta, azpi-instantziaren token bakoitzeko errepresentazioa lortzen da 768 dimentsioko bektorea erabiliz. Linear neurona-sareak lehenengo tokenaren errepresentazio bektoriala jasotzen du. Beraz, sarrerako geruzak 768 neurona ditu. Neurona-sare honek ez dauka ezkutuko geruzarik eta irteerako geruzan neurona bakarra dago (ikusi 25 irudia). 67 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Irudia 25: MedMCQA arkitekturaren Linear geruzaren arkitektura. Arkitektura hau entrenatzerako momentuan, Linear klasifikazio buru bakoitza ematen dituen logit-ak (konbinazio linealaren emaitzaren balioa) biltzen dira logit-en tentsore (bektoreen modukoak) batean. Errore funtzio bezala Cross-entropy loss erabiltzen da eta horrekin atzeranzko propagazioa egiten da (ikusi 26 irudia). Irudia 26: Entrenamendu fluxua MedMCQA arkitektura erabiliz. Bestalde, inferentzia egiteko momentuan logit-ekin funtzioa maximizatzen duen argumentua erabiltzen da (ikusi 27 irudia): ereduaren aukera = arg max{l1, l2, l3, l4} 68 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA Irudia 27: Inferentzia fluxua MedMCQA arkitektura erabiliz. 3.2.2 CasiMedicos datu-sorta CasiMedicos proiektua, medikuen elkarte bat da BAME azterketen galderen erantzunei buruzko azalpenak idazten dituztenak, elkarlanean eta borondatezko lanean [2]. Haien helburua, baliabide bat sortzea da etorkizuneko medikuei BAME azterketetarako ikasten laguntzeko. Datu-sorta honek, azterketa hauen 579 galdera ditu, 404 train multzoan (%70), 56 dev multzoan (%10) eta 119 test multzoan (%20) (ikusi 28 irudia). Irudia 28: CasiMedicos datu-sortaren instantzien banaketa train,dev eta test multzoetan. Eskaintzen den datu-sorta19 gaztelaniaz bildu da eta DeepL20 erabiliz ingelesera, frantsesera eta italierara itzulita dago. Instantziek hurrengo eremuak dituzte: •id: instantzia identifikatzen duen zenbakia. •year: galderaren azterketa urtea. •question id specific: antzeko galderen identifikatzailea. Ez da aurretik aipatutako id-arekin nahastu behar. •full question: galdera. •full answer: erantzunaren azalpena. •options: aukera guztiak eskaintzen duen JSON eremua. 19Datu-sorta eskuragarri: https://github.com/ixa-ehu/antidote-casimedicos 20https://www.deepl.com/es/translator 69 3 OINARRI TEORIKOA ETA ARTEAREN EGOERA •correct option: erantzun zuzena. •explanation: aukera bakoitza zergatik den zuzena edo ez-zuzena adierazten duen eremua. Aukera bakoitzeko, galderaren zer zatian aurkitzen den ebidentzia adierazten da. Instantzia hauen adibide bat ikus daiteke eranskineko 2 iturri-kodean. BAME azterketetan erabiltzen diren galdera moten arabera, irudiak erabiltzen dutenak, kasu klinikoa erabiltzen duten galderak eta ezagutza mediku orokorra duten galderak izan ohi dira. Datu-sorta honetan, kasu klinikoa erabiltzen duten galderak bakarrik erabili dira, garatutako lanerako aproposa dena. 3.1.3.1 atalean egindako sailkapenaren arabera datu-sorta honen instantzietan agertzen diren galderak, galdera eta esaldiak betetzeko formatua duten galderak dira. Bestalde, erantzun motak MCQA motakoak dira guztiak. 3.2.3 EriBERTa EriBERTa [50] medikuntza arloko HNP-n ingelesez eta gaztelaniaz aurre-entrenatutako HEH da, RoBERTa [51] arkitekturaren gainean (BERT [30] Transformerraren aldaera) aurre-entrenatuta. Eredua zerotik entrenatu da RoBERTa-ren tokenizatzaile eta aurre-entrenamendu metodologia bera erabiliz, honen errendimendua aprobetxatuz baina gaztelaniako mediku domeinuan aurre-entrenatuta. Ereduaren arkitekturari dagokionez 44 taulan agertzen den konfigurazioa erabiltzen du. EriBERTa-ren arkitektura Oinarriko eredua RoBERTa Geruza kopurua 12 Ezkutuko geruzaren tamaina 768 Atentzio buru kopurua 12 Parametro kopurua 135M Taula 44: EriBERTa ereduaren ezaugarriak. 3.2.4 Beste lan batzuk [52] lana medikuntza arloko MCQA atazean garatutako GrAL-a da. Honetan garatutako helburu nagusia, ezagutza-base bat prestatzea izan zen. Honi esker eta [1]-n garatutako arkitektura erabiliz, helburua ezagutza-base honek emaitzetan suposatzen dituen hobekuntzak aztertzea izan zen. 70 4 ESPERIMENTAZIOA ETA INPLEMENTAZIOA 4 Esperimentazioa eta inplementazioa Garatutako proiektuan zehar, CasiMedicos datu-sortarekin eta hainbat arkitektura eta estrategia ezberdinekin esperimentatu da. Atal honetan, zehaztasunak eta arkitektura diseinuak azalduko dira. Garatutako inplementazio osoaren iturri-kodea, GitHub-en eskuragarri aurkitu daiteke21. Aurre-entrenatutako eredu gisa, EriBERTa-ren bertsio librea [50] (datu-sorta publikoak erabili dituena aurre-entrenamendurako) erabili da (3.2.3 atalean azalduta) Transformer gisa 4.3.1 eta 4.3.2 ataletan azaltzen diren eredu arkitekturetarako. Izan ere, eredu honek medikuntza arloko jakintza du eta GrAL honetarako aproposa izan da. 4.1 Ebaluazioa Ereduen eta arkitekturen errendimendua neurtzeko eta emaitzak emateko, accuracy (zehaztasuna) metrika erabiliko da, hau da, instantzia posible guztietatik zenbat asmatzen diren: accuracy =ASMATZE TOTALAK INSTANTZIA KOPURUA Metrika hau sinplea den arren, BAME azterketa batean gero eta instantzia gehien asmatzea garrantzitsuena da. Honekin batera, 3.1.1.2 atalean azaldutako “gelditze goiztiarra” accuracy metrikarekin konfiguratu da; dev multzoan accuracy-a handitzen badoa, entrenamenduak aurrera jarraituko du eta aurkako kasuan entrenamendua geldituko da. Entrenamenduetan ereduak asmatzen dituen galderak konprobatzeko, nahasmen-matrizea erabiliko da. Izan ere, baliteke ereduak erantzun-aukera konkretu bat iragartzeko joera izatea (5.1.1 atalean joera hori dagoela ikusiko da). Nahasmen-matrizea aukera zuzen bakoitzetik —a), b), c), d) eta e) 5 aukerako galderetan, adibidez— ereduak zenbat asmatu eta zenbat huts egin dituen konprobatzeko erabiliko da. 29 irudiko adibidean, 100 instantziako multzo baterako lortutako nahasmen-matrizea adierazten da. Nahasmen-matrizearen diagonal nagusian (berdez koloreztatuta) asmatutako instantziak agertzen dira erantzun-aukera posible bakoitzeko. Accuracy metrika kalkulatzeko, diagonal nagusian dauden balioak erabiliko dira eta instantzia kopuruarekin zatitu. Irudia 29: Adibide baten nahasmen-matrizea eta horren accuracy metrikaren balioa. 21https://github.com/AingeruBeOr/GrAL 71 4 ESPERIMENTAZIOA ETA INPLEMENTAZIOA Nahasmen-matrize batean, diagonal nagusian gero eta balio handiagoak izatea bilatuko da instantziak ondo iragartzen direla adieraziz. Diagonal nagusitik kanpo dauden balioak, txarto iragarritakoak izango dira. Esperimentuen memorian zehar aipatuko den bezala, entrenamendua hobetzeko aukera eman du honako nahasmen-matrizea erabiltzeak. Esperimentazioaren atal honetan zehar erabilitako bi arkitektura nagusiak modu labur batean izendatzeko, “baseline” eta “MedMCQA” —[1] ikerketan erabilitako arkitekturaren doiketa bat delako— deituko dira. 4.2 Sarreraren prozesaketa CasiMedicos datu-sortaren galderak ereduari emateko, galdera hauek prozesatu behar dira ereduei sarrera bezala emateko moduan. Horretarako, atal honetan nola egituratu diren sarrerak azalduko da erantzun-aukera kopuru aldakorra kudeatzeko. Bestalde, sarrera hauen tamaina egokia den eredu hauen sarrerarako konprobatuko da. 4.2.1 Erantzun-aukera kopuru aldakorraren kudeaketa Garatutako ereduak galderen erantzun-aukera kopuru aldakorrarekin lan egiteko kapazak dira. Izan ere, erabilitako CasiMedicos datu-sortak, 4 eta 5 erantzun-aukera kopuru posibleko galderak ditu. Izan ere, urteetan zehar BAME azterketaren formatua aldatu egin da eta erabilitako datu-sortetan, beste herrialde batzuetako azterketak daude eta herrialde hauen arteko galderen erantzun-aukera kopuruek ez dute bat egiten. Erabiliko den teknika eskalagarria izango da eta beste ereduek kopuru aldakor batekin lan egiteko aukera izango dute arkitekturaren doiketa txiki bat eginez. 4 eta 5 erantzun-aukera dituen CasiMedicos datu-sortarekin lan egiterakoan sarrera dinamiko bat proposatu da. Bi erantzun-aukera kopuru badira ere, sarrerak beti 5 eremu izango ditu: tamaina 5 denean, 5 eremuak erabiliko dira; tamaina 4 denean, 5. eremua hutsik egongo da —azken banatzaile tokenaren eta amaierako tokenaren arteko eremua—. Bi kasu hauek 30 irudian ikus daitezke 5 aukerako adibide batekin (30c irudia) batera. (a) (b) (c) Irudia 30: 5 aukera duen sarrera (a), 4 aukera duen sarrera (b) eta 5 aukera duen sarreraren adibidea (c). 72 4 ESPERIMENTAZIOA ETA INPLEMENTAZIOA Beste aukera bat erantzun-aukera kopuru bakoitzari formatu bat ezartzea eta klasifikazio buruan (feed forward neurona-sarea) maskara bat erabiltzea izango litzakete. Horrela, klasifikazio buruaren neurona batzuk desaktibatuta geratuko lirateke klasifikazio buru hau baino erantzun-aukera gutxiagorako prestatuta dagoen sarrera bat jasotzean. 31 irudian 4 eta 5 erantzun-aukerako galderen sarrera formatuak eta aipatutako klasifikazio burua aurkezten dira. 31c irudiko klasifikazio buruak bosgarren aukerarentzat (E erantzun-aukera 31c irudian) eskaintzen duen balioa desaktibatuko luke maskarak galderaren erantzun-aukera kopurua 4-koa izatekotan. (a) (b) (c) Irudia 31: 5 erantzun-aukerako sarrera (a), 4 erantzun-aukerako sarrera (b) eta maskara erabiltzen duen klasifikazio burua (c). Aitzitik, proposatutako maskara ez da inplementatuko baseline arkitekturan, ereduak berak bosgarren erantzun-aukera ez denean agertzen hau ez iragartzen ikasi behar izango du. Etorkizunerako lan bezala maskara inplementatzea aukera bat izan daiteke, ereduari 4 edo 5 erantzun-aukerako galdera bat denaren atazarekin lagunduz eta horrela ziurtatuz ereduak ez duela bosgarren aukera iragartzen 4 erantzun-aukerako galdera batean. Bestalde, 4.3.2 atalean aurkeztuko den MedMCQA-ren doikuntza arkitekturan, azpiinstantzietan banatutako sarrera (azpi-instantzia bakoitza galdera eta erantzun-aukera posible batekin sortuta dago) prestatuko da. Azpi-instantzia bakoitza klasifikazio burutik pasatuko da eta ez da doitu behar izango. Hala ere, 4 eta 5 erantzun-aukeretako datusortekin lan egitean bosgarren azpi-instantzia erantzun-aukerarik gabe geratu daiteke 4 erantzun-aukerako instantzia batean. baseline arkitekturan bezala, ereduak erantzunaukera hori ez iragartzen ikasi behar izango du. Hasieran esan bezala, aipatutako bi teknikak eskalagarriak izango dira 4 edo 5 erantzun-aukera baino gehiago edo gutxiago dituzten galderekin. Garatutako inplementazioan erantzun-aukeren kopurua sarrera-parametro bat da, eta azken horren arabera konfiguratuko da arkitektura. 73 5 EMAITZAK 5 Emaitzak Atal honetan, 4 atalean azaldutako inplementazioa erabiliz lortutako emaitzak azalduko dira. Emaitzen atal hau bi zatitan banatu da: •Eredu elebakarrarekin egindako esperimentuak 5.1 atalean azalduko dira. Hemen, 4.3.1 atalean proposatutako baseline arkitektura eta 4.3.2 atalean proposatutako MedMCQA arkitekturen arteko konparazioak gauzatuko dira CasiMedicos datusorta originala eta datu-sorta honen bertsio orekatua erabiliz. •Eredu elebidunarekin egindako esperimentuak 5.2 atalean azalduko dira. Gaztelaniako eta ingeleseko instantzia kantitate desberdineko entrenamenduen emaitzak agerian jarriko dira hizkuntza bakoitzak emaitzetan zelako eragina duen ondorioztatzeko. 5.1 Esperimentuak eredu elebakarrarekin Baseline (4.3.1 atalean) eta MedMCQA (4.3.2 atalean) arkitekturak izanda, konbinazioak esperimentatu dira CasiMedicos datu-sortaren ingeleseko bertsioa erabiliz. Helburua emaitza hoberenak lortzen duen arkitektura topatzea izan da. Arkitekturen hiperparametroak optimizatzeko egin diren ekorketetan, Huggingface-k eta Wandb-k hiperparametroen ekorketak egiteko eskaintzen duten metodo Bayesiarrak erabili dira. Hauek, hiperparametro bakoitzerako adierazitako tarteetan zehar entrenamenduak gauzatuko dituzte eta ordura arte lortutako emaitzen arabera konfiguratuko dira entrenamendu berriak. 100 saiakera egin dira erabilitako arkitektura bakoitzerako eta hurrengo tarteak erabili dira ekorketak konfiguratzeko: •Epoch tartea: [1, ..., 30] •Ikasketa-tasa (η) tartea : [1E-4, ..., 1E-6] •Batch-size eraginkorra tartea: [1, ..., 144] 5.1.1 CasiMedicos datu-sorta originala CasiMedicos datu-sortaren ingeleseko bertsioa erabilita eta azaldutako baseline eta MedMCQA arkitekturak erabilita parametro ekorketetan lortu diren hiperparametro optimoak eta garrantzitsuak diren beste hiperparametro batzuk 45 taulan agertzen dira: CasiMedicos baseline MedMCQA arkitektura Epochs 27 25 Ikasketa-tasa (η)9.95E-5 7.99E-5 η-planifikatzailea Linear with warmup Linear with warmup η-optimizatzailea AdamW AdamW Batch-size eraginkorra 85 4 Taula 45: CasiMedicos datu-sortaren ingeleseko bertsioarekin baseline eta MedMCQA arkitekturetarako lortutako hiperparametro optimoak. Konbinazio hauetarako lortu diren emaitzarik hoberenak 46 taulan biltzen dira. 80 5 EMAITZAK CasiMedicos dev test baseline 0,42 ±0,04 0,35 ±0,01 MedMCQA arkitektura 0,47 ±0,02 0,34 ±0,04 Taula 46: CasiMedicos datu-sortaren ingeleseko bertsioarekin baseline eta MedMCQA arkitekturetarako lortutako emaitzak. Emaitzek datu-sortaren dev eta test multzoetan eta 42, 1234 eta 16 haziekin gauzatutako entrenamenduen batezbesteko accuracy-a eta haien desbiderazio tipikoa adierazten dute. 46 taulan agertzen diren esperimentuen emaitza aurreratuak eranskinetako 41 eta 42 irudietan ikus daitezke. Lortutako emaitzen nahasmen-matrizeari erreparatuta, iragarritako erantzun-aukeren arteko desoreka handia dagoela ikusten da. 38 irudiaren bitartez, entrenamendu batzuen (hiperparametro optimoak ez dituztenak) nahasmen-matrizeak eskaintzen dira adibide bezala. 38a irudian C erantzun-aukera bakarrik iragartzen du ereduak eta 38b irudian C erantzun-aukera da gehien iragartzen duena, B ere zenbaitetan eta D oso gutxitan (A eta E ez dira inoiz iragartzen). Joerarik idealena diagonal bat izatea izango litzateke baina ez da horrela lortutako nahasmen-matrizeei erreparatuta. (a) (b) Irudia 38: CasiMedicos datu-sortaren erantzun-aukera zuzenen banaketaren uniformetasun faltarengatik lortzen diren nahasmen-matrizeak. Lortutako nahasmen-matrize hauetan eskaintzen diren iragarpenen joera zuzenean lotuta dago CasiMedicos datu-sortaren erantzun-aukera zuzenen banaketarekin, 39 irudian multzo bakoitzaren histograma batekin adierazita. 39a irudian train multzoaren erantzun-zuzenen banaketari erreparatuta, C erantzun-aukera instantzietan zehar gehien errepikatzen den erantzun-aukera zuzena dela ikusten da. C erantzun-aukera honen ostean, B eta D dira gehien errepikatzen diren erantzun-aukera zuzenak. Horrek argi uzten du ereduak datu-sortaren (bereziki train multzoaren) instantzietan zehar dagoen erantzun-aukera zuzenen banaketa ikasten duela. 81 5 EMAITZAK (a) (b) (c) Irudia 39: CasiMedicos datu-sortaren train (a), dev (b) eta test (c) multzoen erantzun zuzenen banaketa. Beraz, ereduek erantzun-zuzenen banaketaren araberako iragarpenak egitean, zerbait ikasi dutela kontsideratu daiteke lortutako nahasmen-matrizearen bitartez ereduek banaketa baino zerbait gehiago ikasten dutela ikustean. Horretarako accuracy emaitzak ere erabili daitezke; accuracy balioa ereduak datu-sorta multzoaren gehien errepikatzen den erantzun-aukera zuzenaren proportzioa baino handiagoa bada (0,34 dev multzoan eta 0,32 test multzoan), zerbait ikasi duela kontsideratu daiteke. Lortutako hiperparametro optimoekin ereduek banaketa baino gehiago ikasi badute ere, hauen hasierako joera banaketa ikastea da. Arazo hau konpontzeko eta ereduak erantzuna arrazoitu dezan eta ez bakarrik banaketa ikasi, 4.4 ataleko datu-sorta sortu da konponbide bezala eta honekin lortutako emaitzak hurrengo 5.1.2 atalean azaltzen dira. 5.1.2 CasiMedicos datu-sorta orekatua CasiMedicos datu-sortaren ingeleseko bertsio orekatua erabilita eta azaldutako bi arkitekturak erabilita, hiperparametroen ekorketak gauzatu dira 5.1 ataleko konfigurazio berdinak erabiliz. Hauetan lortutako hiperparametro optimoak eta garrantzitsuak diren beste hiperparametro batzuk 47 taulan adierazten dira. CasiMedicos orekatua baseline MedMCQA arkitektura Epochs 25 30 Ikasketa-tasa (η)2.23E-5 5.00E-5 η-planifikatzailea Linear with warmup Linear with warmup η-optimizatzailea AdamW AdamW Batch-size eraginkorra 12 9 Taula 47: CasiMedicos datu-sorta orekatuaren ingeleseko bertsioarekin baseline eta MedMCQA arkitekturetarako lortutako hiperparametro optimoak. Konbinazio hauetarako lortu diren emaitzarik hoberenak 48 taulan biltzen dira. 82 5 EMAITZAK CasiMedicos orekatua dev test baseline 0,23 ±0,01 0,21 ±0,02 MedMCQA arkitektura 0,49 ±0,01 0,39 ±0,04 Taula 48: CasiMedicos datu-sortaren ingeleseko bertsio orekatuarekin baseline eta MedMCQA arkitekturetarako lortutako emaitzak. Emaitzek datu-sortaren dev eta test multzoetan eta 42, 1234 eta 16 haziekin gauzatutako entrenamenduen batezbesteko accuracy-a eta haien desbiderazio tipikoa adierazten dute. 47 taulan agertzen diren esperimentuen emaitza aurreratuak eranskinetako 43 eta 44 irudietan ikus daitezke. Datu-sorta originalaren arteko emaitzak ezin dira zuzenean konparatu inferentziarako multzoak ez direlako berdinak (originala eta orekatua). Hala ere, datu-sorta originalaren emaitzekin alderatuz gero, baseline-aren emaitzak okertu egin dira, eta MedMCQA arkitekturarenak hobetu. Ondorio moduan, baseline-ak datu-sortaren erantzun-aukera zuzenen banaketa ikasten duela dirudi, eta horregatik lortzen du %20-ko inguruko accuracy-a. Bestalde, MedMCQA arkitekturak datu-sortaren handitzetik eta orekatzetik ikasten duela erakusten du, eta, ondorioz, baseline-a baino sendoagoa eta egokiagoa da MCQA atazan. Horregatik, ondorioztatu daiteke MedMCQA arkitekturak benetan ataza egiten ikasten duela baita erantzunak arrazoitzeko gai dela. 5.2 Esperimentuak eredu elebidunarekin Eredu elebiduna lortzeko ingelesez eta gaztelaniaz eskuragarri dagoen CasiMedicos datu-sorta erabiliko da. Gainera, EriBERTa ingelesez eta gaztelaniaz aurre-entrenatuta dago 3.2.3 atalean aipatu den bezala. Datu-sorta orekatuarekin MedMCQA arkitekturarekin lortutako emaitzak originalarekin baino altuagoak direla ikusita, datu-sorta honekin esperimentuak egiten jarraituko da. Arkitekturaren aldetik, bestalde, 4.3.2 atalean azaldutako MedMCQA arkitektura bera erabiliko da inolako aldaketarik gabe. Gauzatutako finketak, hurrengo bi motakoak izango dira: •Finketa elebakarrak: hizkuntza bakarra (gaztelania edo ingelesa) erabiltzen duten multzo orekatuak erabiliko dira. •Finketa elebidunak: batera gaztelania eta ingelesa nahasita duten multzo orekatuak erabiliko dira. Multzo honekin hainbat froga egin dira hizkuntza bakoitzeko portzentaia desberdinak erabiliz. Portzentaia hauek erabiltzean errepikatutako instantziarik ez egotea bilatu da. Izan ere, gaztelaniazko eta ingelesezko datu-sorten instantziak, instantzia berdinak dira baina dagokion hizkuntzara itzulita (bakarrik “%100-es+%100-en” finketan errepikatu dira instantzia guztiak). Finketa hauetan lortutako ereduen inferentziarako, 4 multzo erabili dira: 1. Gaztelaniako dev multzo orekatua. 83 5 EMAITZAK 2. Gaztelaniako test multzo orekatua. 3. Ingeleseko dev multzo orekatua. 4. Ingeleseko test multzo orekatua. CasiMedicos datu-sorta orekatua eta MedMCQA arkitektura erabiliko denez, arkitektura eta datu-sorta honetarako 47 taulan lortutako hiperparametro optimoak erabiliko dira. Lortutako emaitzak 49 taulan adierazten dira. es en dev test dev test elebakarra %100-en 0,39 0,33 0,51 0,43 %100-es 0,44 0,28 0,28 0,32 elebiduna %100-es+%100-en 0,50 0,42 0,51 0,43 %50-es+%50-en 0,41 0,29 0,50 0,35 %70-es+%30-en 0,45 0,34 0,45 0,33 %80-es+%20-en 0,48 0,34 0,39 0,31 %30-es+%70-en 0,44 0,39 0,41 0,39 %20-es+%80-en 0,32 0,33 0,53 0,49 Taula 49: Finketa elebakarretan eta elebidunetan lortutako accuracy emaitzak. Zutabe bakoitzeko eta esperimentu mota bakoitzeko beltzez adierazita daude lortutako emaitzarik hoberenak. 49 taulan eredu elebakarren emaitzei erreparatuta, orokorrean ingeleseko finketak emaitza hoberenak lortzen duena da. Gaztelaniarekin fintzerakoan, gaztelaniako dev multzoarekin emaitza hoberenak lortzen dira zentzuzkoa den moduan. Izan ere, dev multzo hau finketa fasean erabiltzen da ereduaren kalitatea estimatzeko. Hala ere, gaztelaniako test multzoan emaitzarik hoberenak ingelesa erabiliz lortzen dira ere. 49 taulan eredu elebidunen emaitzei erreparatuta, gaztelanian emaitza hoberenak “%100-es+%100-en” finketan lortzen direla ikus daiteke. Gaztelaniarekin orokorrean, badirudi zenbat eta datu gehiago izan orduan eta emaitza hobeagoak lortzen direla dev multzoan baina ez da gauza bera betetzen test multzorako. Ingelesarekin bestalde, emaitza hoberenak lortzeko “%20-es+%80-en” finketan gaztelaniako hainbat instantzia (%20) behar izan dira. Hala ere, eredu elebidunekin lortutako emaitzengatik, “%100-es+%100-en” finketak gaztelania eta ingelesaren arteko emaitza orekatuagoak eskaintzen duen finketa da. “%50es+%50-en” finketan, aldiz, nahiz eta ingeleseko eta gaztelaniako instantzia kopuru bera izan, emaitzak askoz hobeagoak dira ingeleserako. “%100-es+%100-en” finketarekin batera “%70-es+%30-en” finketak ingelesa eta gaztelaniaren arteko emaitza antzekoak eskaintzen duen finketa da. Finketa honi esker ikusi daiteke ereduak gaztelaniako emaitzak ingeleseko emaitzak berdintzeko, gaztelaniako instantzia gehiago behar dituela. 49 taulan orokorrean ikus daitekeen bezala, ereduaren emaitzak hobeagoak dira ingelesarekin gaztelaniarekin baino. Horrek adierazi dezake EriBERTa-ren aurre-entrenamenduan ingelesa hizkuntza hobeto ikasi duela edo CasiMedicos datu-sortaren ingeleseko bertsioa termino medikoetan hobeto idatzita dagoela. 84 6 ONDORIOAK ETA ETORKIZUNEKO LANA 6 Ondorioak eta etorkizuneko lana Garatutako inplementazio eta esperimentazio guztia azalduta, esperimentu eta emaitzetatik ateratako ondorioak eta etorkizuneko lanerako atazak azaltzen dira hurrengo lerroetan. 6.1 Ondorioak Hasierako orekatu gabeko CasiMedicos erabiliz, planteatutako bi ereduek datu-sortaren erantzun-zuzenen banaketa ikasteko joera dutela baieztatu da. Ereduek erantzuna arrazoitu dezaten eta ez bakarrik erantzun-aukera zuzenen banaketa ikasi, CasiMedicos datu-sortaren bertsio orekatu bat sortu da. CasiMedicos orekatuarekin lortu diren emaitzak nahiko hobetu dira MedMCQA arkitekturaren kasuan. Hala ere, baseline arkitekturari dagokionez, datu-sorta orekatu honen banaketa ikasteko joera mantentzen duela konprobatu da. Beraz, CasiMedicos orekatuarekin eta MedMCQA arkitekturarekin lortutako emaitzak hoberenak direla ondorioztatu da lortutako accuracy-a eta nahasmen-matrizeak kontuan hartuta. Hori dela eta, arkitektura honen iragarpenak datu-sorta orekatuarekin sendoagoak eta ziurragoak direla ondorioztatu da. Baseline arkitekturarekin, aldiz, datu-sortaren erantzun-aukera zuzenen banaketa ikasteko joera duela ondorioztatu da nahiz eta orekatutako datu-sorta erabili. Egin diren esperimentu elebidunetatik, emaitzak hobetzeko ingelesa gaztelania baino lagungarriagoa dela ikusi da. Izan ere, gaztelaniako entrenamenduek ingeleseko entrenamenduak baino instantzia gehiago behar dute ingeleseko pareko emaitzak lortzeko. Bestalde, nahiz eta ingelesa emaitza hobeagoak lortzeko lagungarriagoa izan, emaitza hobeagoak lortu dira ingeleseko instantziei gaztelaniako hainbat instantzia sartuta elearteko transferentzia dela eta. 6.1.1 Ondorio pertsonalak GrAL honen bitartez, HNP-ren arloan eta Ikasketa Automatikoaren arloan prestakuntza eta esperientzia lortu da. Honi esker, arlo honetako ikerkuntzako artikulu-zientifikoak ulertzeko kapazitatea lortu da. Bestalde, artearen egoeran erabiltzen diren framework eta teknologietan sakondu da hauek garatzeko behar den trebetasuna landuz. Lortutako trebetasuna, etorkizunerako baliagarria izango da batez ere AA-ren arloan lan egin delako eta arlo hau goreneko une batean dagoelako lan hau garatzeko momentuan. Gainera, teknologia hauetan lortutako trebetasuna graduan zehar ez da landu eta GrAL honek aukera paregabea eskaini du arlo honetan lan egiteko. 6.1.2 Beste ondorio batzuk GrAL honetan euskara erabili denez, AA-ren arloan euskaraz idatzita dauden lanetan ekarpena egin da. Izan ere, AA-ren arloan euskaraz idazten diren artikulu, lan eta liburuak ez dira hain nabariak eta honelako lanek arlo honetako hiztegi teknikoa zabaltzera laguntzen dute. 85 6 ONDORIOAK ETA ETORKIZUNEKO LANA 6.2 Etorkizuneko lana Etorkizuneko lan bezala, 3.2.1 atalean azaldu den bezala, [1] ikerketan testuingurua erabili litzateke. Aldagai hau lan honetan barneratzean, esperimentazioaren beste bide bat irekiko litzateke. Artearen egoeran erabiltzen diren Retrieval-Augmented Generation (RAG) motako eredu hornitzaileak erabili litzateke testuingurua gehitzeko eta teorikoki eta probabilitate handiarekin, ereduaren errendimendua handitzeko. Hala ere, 4.2.2 aipatutako teknikaren bat aplikatu beharko litzateke seguruenik 512 tokeneko sarrera tamaina gaindituko litzatekeelako. Erabilitako EriBERTa [50] eredua, encoder-only motako eredua da eta ez dauka arkitekturarik erantzunak eredu sortzaile batetik lortzeko. Beraz, eredu honi decoder motako arkitektura bat gehituz edo artearen egoeran eskuragarri dauden beste edozein eredu sortzaile erabilita, ataza birplanteatzeko aukera egongo litzateke. Instruction Prompt Tuning motako teknikak erabili ahal izango lirateke ereduaren finketak beste modu batetan jorratuz encoder-only motako ereduekin konparatuz. Lan honetarako bi datu-sorta eskuragarri izanda, bi datu-sortekin eredua fintzeak emaitza hobeak eman dezake. Aitzitik, MedMCQA datu-sorta erabiltzean instantzia kantitatea izugarri handitzen da eta eskuragarri izandako hardware baliabideak, denbora, epeak eta proiektuaren irismena direla eta, finketa hauen esperimentazioak proiektuaren denboraren eta kostu planifikaziotik kanpo geratuko lirateke. Datuen egiturari dagokionez, [1] ikerketan argi uzten da MedMCQA datu-sortaren galderaren arlo medikoak garrantzia izan dezakeela finketa orduan. Izan ere, inferentzian zehar arlo medikoren baten inguruan galdetu daiteke finketa gauzatzerakoan ikusi ez dena eta honi buruz ereduak ezer ez dakiena. Arkitekturen hobekuntzen artean, baseline eta MedMCQA oinarrituta beste motako arkitekturak diseinatzea izango litzateke. Hauen artean hurrengoak laburbiltzen dira: •Baseline arkitekturaren maskara: 4.2.1 atalean aipatutako maskara erabiltzea zehaztasun interesgarri bat izan daiteke baseline arkitektura aldatzeko. Hala ere, eredua kapaza izan beharko litzateke erantzun zuzena arrazoitzeko maskara motako laguntzarik erabili gabe. •Klasifikazio buruaren arkitektura aldatzea bai baseline eta MedMCQA arkitekturan. Erabili izan diren arkitekturak lehenetsiak diren arren eta normalean ondo funtzionatzen duten arren, beste motako klasifikazio buruen arkitekturekin emaitzak konparatu daitezke. Adibidez, ezkutuko geruza gehiago erabiltzen duten arkitekturak, aktibazio-funtzio desberdinak erabiltzea edota errore-funtzioen zehaztasunak aldatzea. •Klasifikazio buruak hartzen duen aukeratutako tokenaren errepresentazioa aldatzea. Garatutako esperimentu guztietan, hasierako tokenaren —‘<s>’ EriBERTa ereduan— errepresentazio bektoriala erabili da. Balio lehenetsia da ere baina beste errepresentazio batzuk erabili genezake, hala nola, azken tokena edo banatzaile tokenen konkatenazioa (arkitektura honen diagrama eranskineko 48 irudian agertzen da). •MedMCQA arkitekturan ez dago erlaziorik azpi-instantzien artean (ikusi 26 eta 27 irudiak), klasifikazio buruak azpi-instantzia bakoitza instantzia bakarra 86 6 ONDORIOAK ETA ETORKIZUNEKO LANA balitz bezala egiten du iragarpena. Beharbada, klasifikazio buruen arteko erlazioren bat sortzen bada arkitektura aldetik, klasifikazio buruak jakingo du beste instantzien errepresentazioaz eta erabaki bat hartzen lagunduko dio. Beraz, BAME azterketak erantzuteko atazean hainbat ondorio eta emaitza garrantzitsu eman dira GrAL honetan zehar. Hala ere, etorkizunerako lanerako bide asko egon daitezke lan honetan lortutako emaitzetatik abiatuta, datu-sortekiko eta arkitekturekiko egin diren ekarpenetan oinarrituta. 87 6 ONDORIOAK ETA ETORKIZUNEKO LANA Esker onak Atal honetan, eskerrak eman nahi dizkiot gradua bukatzeko eta GrAL-a garatzeko bidean lagundu didazuenon guztioi. Ama, aita eta Andekari, eskerrak eman nahi dizkizuet etxean nire zoramenak jasateagatik eta txikitatik nire ibilbide pertsonalean nire aldean egoteagatik. Aitite-amama, osaba-izeko eta lehengusinekin batera bihotzaren nire hasierako pausoetatik hor egon zarete eta bihotzaren sakon-sakonetik eskerrak eman nahi dizkizuet baldintzarik gabeko euskarriagatik. Familia ederra dut! Ibon, zu ezagutzeak bizitza beste modu batera ikustea egin dit eta benetan zoragarria da horrela ikustea. Eskerrak eman nahi dizkizut zure bihotzaren zati bat niretzat gordetzeagatik eta zure bizitzan parte hartzen uzteagatik. Pertsona miresgarria daramat ondoan! Kuadrillako lagunei bizitza zelako alaia izan daitekeen geratzen garen bakoitzean erakusteagatik eta batez ere, gogoratzeagatik! Burua lan egiteko moduan jartzen dudanean ahazten zait eta! IXA taldeko kideei eta batez ere Aitziber, Koldo, Josu eta Anderri ikerketa-taldeko ateak zabaltzeagatik eta erakutsi didazuen guztiagatik. Oso gustura egon naiz zuekin lan egiten eta profesional eta pertsona itzeleko taldea zarete! Ikerri ere eskerrak eman nahi dizkiot proiektu honetan eskainitako borondatezko izugarrizko laguntzagatik, asko-asko ikasi dut zure partez. Graduaren hasierako kurtsotik hona batera izan dudan Maitane, Nagore eta Sergiori. Beharrezko pieza izan zarete azken kurtso hauek hain ondo bukatzeko, lanetarako taldekide onenak zarete! Hemendik aurrera gure bideak banatzen badira ere, ziur nago arrakasta izango duzuela edonon. Inpertsonalki nire zaletasunei: kirola eta gitarra. Burua eta gorputza lanetik deskonektatzen laguntzen didazue eta argi daukat beharrezkoak izan zaretela lanean aurrera jarraitzeko. Ezinbestekoak izan zarete honainorako bidean eta GrAL honen zati bat zuena da ere. Eskerrik asko! 88 ERREFERENTZIAK Erreferentziak [1] A. Pal, L. K. Umapathi eta M. Sankarasubbu, “MedMCQA: A Large-scale MultiSubject Multi-Choice Dataset for Medical domain Question Answering”, non Proceedings of the Conference on Health, Inference, and Learning, G. Flores, G. H. Chen, T. Pollard, J. C. Ho eta T. Naumann, edk., ser-zb. Proceedings of Machine Learning Research, bol. 174, PMLR, ap. de 2022, orrk. 248-260. esteka: https: //proceedings.mlr.press/v174/pal22a.html. [2] I. Goenaga, A. Atutxa, K. Gojenola, M. Oronoz eta R. Agerri, Explanatory Argument Extraction of Correct Answers in Resident Medical Exams, 2023. arXiv: 2312.00567. esteka: https://arxiv.org/pdf/2312.00567.pdf. [3] D. Dobrev, A Definition of Artificial Intelligence, 2012. arXiv: 1210.1568 [cs.AI]. [4] P. P. Shinde eta S. Shah, “A review of machine learning and deep learning applications”, non 2018 Fourth international conference on computing communication control and automation (ICCUBEA), IEEE, 2018, orrk. 1-6. [5] P. N. Stuart Russell, Artificial Intelligence: A Modern Approach. 28 de ap. de 2020. esteka: https://aima.cs.berkeley.edu/. [6] K. G. Nalbant eta S¸. Uyanık, “Computer vision in the metaverse”, Journal of Metaverse, bol. 1, zb. 1, orrk. 9-12, 2021. [7] NLP-Planet. “Machine Learning and Artificial Intelligence”. (), esteka: https : //www.nlplanet.org/coursepracticalnlp/00aiandmlrefresher# machine-learning-and-artificial-intelligence (azkenekoz ikusia 2024-05-28). [8] N. K. Chauhan eta K. Singh, “A review on conventional machine learning vs deep learning”, non 2018 International conference on computing, power and communication technologies (GUCON), IEEE, 2018, orrk. 347-352. [9] A. Mathew, P. Amudha eta S. Sivakumari, “Deep learning techniques: an overview”, Advanced Machine Learning Technologies and Applications: Proceedings of AMLTA 2020, orrk. 599-608, 2021. [10] NLP-Planet. “Main areas of Machine Learning”. (), esteka: https://www.nlplanet. org/course - practicalnlp/00 - aiandmlrefresher #mainareasof - machine-learning (azkenekoz ikusia 2024-05-28). [11] V. Nasteski, “An overview of the supervised machine learning methods”, Horizons. b, bol. 4, zb. 51-62, orr. 56, 2017. [12] F. Rosenblatt, “The perceptron: a probabilistic model for information storage and organization in the brain.”, Psychological review, bol. 65, zb. 6, orr. 386, 1958. [13] M. A. Nielsen, Neural networks and deep learning. Determination press San Francisco, CA, USA, 2015, bol. 25. [14] C. C. Aggarwal et. al., Neural networks and deep learning. Springer, 2018, bol. 10. [15] P. Radhakrishnan. “What are Hyperparameters ? and How to tune the Hyperparameters in a Deep Neural Network?” (9 de abu. de 2017), esteka: https:// towardsdatascience.com/whatarehyperparametersandhowtotune89 C EMAITZA AURRERATUAK C Emaitza aurreratuak C.1 Baseline arkitektura eta CasiMedicos originala datu-sorta (a) Inferentzian dev multzoaren nahasmen-matrizea. (b) Inferentzian test multzoaren nahasmen-matrizea. (c) Entrenamenduan zehar train multzoaren gainean izandako errorea. (d) Entrenamenduan zehar dev multzoaren gainean izandako errorea. (e) Entrenamenduan zehar dev multzoaren gainean izandako accuracy-a. Irudia 41: Baseline arkitektura eta CasiMedicos datu-sorta originala erabiliz entrenamendu optimoan lortutako emaitzak. 96 C EMAITZA AURRERATUAK C.2 MedMCQA arkitektura eta CasiMedicos originala datusorta (a) Inferentzian dev multzoaren nahasmen-matrizea. (b) Inferentzian test multzoaren nahasmen-matrizea. (c) Entrenamenduan zehar train multzoaren gainean izandako errorea. (d) Entrenamenduan zehar dev multzoaren gainean izandako errorea. (e) Entrenamenduan zehar dev multzoaren gainean izandako accuracy-a. Irudia 42: MedMCQA arkitektura eta CasiMedicos datu-sorta originala erabiliz entrenamendu optimoan lortutako emaitzak. 97 C EMAITZA AURRERATUAK C.3 Baseline arkitektura eta CasiMedicos orekatua datu-sorta (a) Inferentzian dev multzoaren nahasmen-matrizea. (b) Inferentzian test multzoaren nahasmen-matrizea. (c) Entrenamenduan zehar train multzoaren gainean izandako errorea. (d) Entrenamenduan zehar dev multzoaren gainean izandako errorea. (e) Entrenamenduan zehar dev multzoaren gainean izandako accuracy-a. Irudia 43: Baseline arkitektura eta CasiMedicos datu-sorta orekatua erabiliz entrenamendu optimoan lortutako emaitzak. 98 C EMAITZA AURRERATUAK C.4 MedMCQA arkitektura eta CasiMedicos orekatua datusorta (a) Inferentzian dev multzoaren nahasmen-matrizea. (b) Inferentzian test multzoaren nahasmen-matrizea. (c) Entrenamenduan zehar train multzoaren gainean izandako errorea. (d) Entrenamenduan zehar dev multzoaren gainean izandako errorea. (e) Entrenamenduan zehar dev multzoaren gainean izandako accuracy-a. Irudia 44: MedMCQA arkitektura eta CasiMedicos datu-sorta orekatua erabiliz entrenamendu optimoan lortutako emaitzak. 99 D ENTRENAMENDU ETA INFERENTZIA FLUXUAK D Entrenamendu eta inferentzia fluxuak D.1 baseline arkitekturaren fluxua Irudia 45: Fluxuaren zehaztasunak 5 erantzun-aukera galdera baterako Huggingface-eko “RobertaForSequenceClassifcation” eta “RobertaClassificationHead” klaseen inplementazioa aztertuta GitHub-eko errepositorio publikoan. 100 D ENTRENAMENDU ETA INFERENTZIA FLUXUAK D.2 MedMCQA arkitekturaren entrenamendu fluxua Irudia 46: MedMCQA ikerketan erabilitako arkitekturaren doikuntza testuingurua ez erabiltzeko eta 5 aukeretako galderak erabiltzeko entrenamenduan. 101 D ENTRENAMENDU ETA INFERENTZIA FLUXUAK D.3 MedMCQA arkitekturaren inferentzia fluxua Irudia 47: MedMCQA ikerketan erabilitako arkitekturaren doikuntza testuingurua ez erabiltzeko eta 5 aukeretako galderako erabiltzeko inferentzian. 102 D ENTRENAMENDU ETA INFERENTZIA FLUXUAK D.4 Konkatenazioa erabiltzen duen arkitekturaren fluxua Irudia 48: Errepresentazio bektorial desberdinak erabiltzen dituen arkitektura. 103