Testování a hodnocení studentů na VŠ

OBÁLKA KAROLINUM Testování a hodnocení studentů na VŠ Čestmír Štuka Martin Vejražka Testování a hodnocení studentů na VŠ Čestmír Štuka Martin Vejražka Publikace se zabývá metodikou přípravy, provedení a hodnocení testů. V deseti kapitolách nabízí nejen praktickou příručku metodiky a nástrojů pro sestavování a vyhodnocování vlastních testů, ale předkládá i fundovaný a obsáhlý teoretický základ a příklady z různých oborů i úrovní. Autoři chápou hodnocení znalostí jako formu komunikace mezi učitelem a studenty a jako nedílnou součást informované výuky. Začátečníci, ale i pokročilí v problematice testování získají povědomí o standardizaci, reliabilitě či validitě testu, o zabezpečení nebo i o novějších a rychle se rozvíjejících přístupech – např. testování s otevřenou knihou. testovani a hodnoceni studentu VS_mont.indd 1testovani a hodnoceni studentu VS_mont.indd 1 25.02.2022 10:3325.02.2022 10:33 Testování a hodnocení studentů na VŠ Čestmír Štuka, Martin Vejražka Recenzovali: PhDr. Eva Řídká, CSc. PhDr. Iva Štětovská, Ph.D. Mgr. Linda Nepivodová, Ph.D. Publikace byla vydána za podpory Ministerstva školství, mládeže a tělovýchovy v rámci centralizovaného rozvojového projektu MŠMTC-13/2021 Posilování akademické integrity studujících vysokých škol se zaměřením na rizika a příležitosti distančních metod vzdělávání a hodnocení. Vydala Univerzita Karlova, Nakladatelství Karolinum Praha 2021 Redakce Dita Křišťanová Grafická úprava Lukáš Kejha Sazba DTP Nakladatelství Karolinum Vydání první This work is licensed under a Creative Commons Attribution 4.0 International License (CC BY 4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited. © Univerzita Karlova, 2021 © Čestmír Štuka, Martin Vejražka, 2021 ISBN 978-80-246-5107-1 ISBN (pdf) 978-80-246-5108-8 https://doi.org/10.14712/9788024651088 Univerzita Karlova Nakladatelství Karolinum www.karolinum.cz [email protected] 5 OBSAH Obálka OBSAH 1 Úvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1 Předmluva . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2 Roletestovánínavysokýchškolách . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3 Typologietestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.4 Mezetestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.4.1 Dimenzeznalostí,dovednostíapostojů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.4.2 Bloomovataxonomievzdělávacíchcílů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.4.3 Jinétaxonomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.4.4 Kvantitativníakvalitativníformyhodnocení . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2 Plánování testu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1 Specifikačnítabulka(blueprint) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3 Testové úlohy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.1 Úlohysvýběremzmožností . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 Otevřenéúlohy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3 Dalšítypytestovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.4 Doporučeníprotvorbutestovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.4.1 Doporučeníprotvorbuvýběrovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.4.2 Doporučeníprotvorbuotevřenýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.5 Technikytipováníodpovědí . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.6 Automatizacetvorbytestovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.7 Recenzetestovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.7.1 Obsahovárevize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.7.2 Redakčnírevize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.7.3 Formulářprorecenzentyúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.7.4 Revizeférovosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4 Provedení testu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.1 Pilotovánítestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.1.1 Subjektivnízpětnávazba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.1.2 Objektivnízpětnávazba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.2 Cvičnétesty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 Administracetestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.4 Papírovétestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.5 Počítačovétestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.6 Distančnítestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.7 Proktorovanétestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 6   4.7.1 Prevenceadetekcepodváděnípřidistančnímtestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52   4.7.2 Kontroverzeproktorovanéhozkoušení . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53   4.7.3 Alternativnípřístupy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54  4.8 Testovánísotevřenouknihou . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55   4.8.1 Doporučeníprotvorbuotázekdotestůsotevřenouknihou . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5 Hodnoceníaklasifikacestudentů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59  5.1 Standardizacetestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59  5.2 Určeníhraničníhoskóretestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60  5.3 Relativnístanovenímezíproprůchodtestem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62   5.3.1 Percentilováškála . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63   5.3.2 z-skóre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64  5.4 Absolutnístanovenímezíproprůchodtestem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64   5.4.1 Angoffovametoda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65   5.4.2 Ebelovametoda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67   5.4.3 Metodazáložek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71   5.4.4 Metodakontrastníchskupin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71  5.5 Kompromisnímetodystanovenímezíproprůchodtestem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72   5.5.1 Hofsteehometoda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72   5.5.2 MetodaCohenové . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74  5.6 Vyrovnáváníobtížnostitestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75  5.7 Klasifikacestudentů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78   5.7.1 Klasifikacezaloženánaporovnánívýkonuveskupině . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78   5.7.2 Klasifikacezaloženánakritériích . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80   5.7.3 Klasifikačníschémataapřepočítávánískóre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82   5.7.4 Škálování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 6 Analýzatestuajehopoložek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87  6.1 Reliabilita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88   6.1.1 Odhadyreliability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89   6.1.2 Cronbachovoalfa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90  6.2 Validita . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92   6.2.1 Validacetestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93  6.3 Popisnéstatistikyagrafy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95  6.4 Položkováanalýza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96   6.4.1 Obtížnostpoložky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97   6.4.2 Citlivostpoložky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98   6.4.3 Vizualizacevýsledkůpoložkovéanalýzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100   6.4.4 Příkladypoložekagrafickévyjádřeníjejichvlastností . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100   6.4.5 Analýzadistraktorů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102   6.4.6 Grafickýnáhlednavýsledkyceléhotestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105   6.4.7 IndexyRitaRir . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105  6.5 Klasickátestováteorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106  6.6 Teorieodpovědinapoložku . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107   6.6.1 VlastnostiIRTmodelů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108   6.6.2 Informačnífunkcepoložky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111   6.6.3 Informačnífunkcetestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112   6.6.4 SoftwareprovýpočetIRTmodelů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112  6.7 Adaptivnítestování–využitíIRTvpraxi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113   6.7.1 Výhodyanevýhodypočítačovéhoadaptivníhotestování(CAT) . . . . . . . . . . . . . . . . . . . . . . . . 114   6.7.2 Požadavkynapočítačovéadaptivnítestování(CAT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115  6.8VyužitíIRTproanalýzuférovosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 7 Testový cyklus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 7 8 Položkovábanka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123  8.1 Položkyajejichmetadata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124  8.2 Typyvztahůmezipoložkamivtestech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124  8.3 Funkcionalitypoložkovýchbank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125  8.4 Výhodypoložkovýchbank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126  8.5 Příkladypoložkovýchbank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127  8.6 Rozsáhlébankytestovýchúloh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 9 Bezpečnosttestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131  9.1 Bezpečnosttestovánízpohleduřízenírizik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133  9.2 Bezpečnostníplántestu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135  9.3 Bezpečnostníanalýzatestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138   9.3.1 Statistickéindikacemožnéhopodvodnéhojednání . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139   9.3.2 Nástrojeproforenzníanalýzutestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140  9.4 Příkladybezpečnostníchincidentů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142  9.5 Prevencepodvodnéhojednání . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10 Nástroje pro testování a analýzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149  10.1 Softwareprotestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149   10.1.1 Rogō . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150   10.1.2 Moodle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152   10.1.3 RemarkOffice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154   10.1.4 Socrative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154   10.1.5 Kahoot! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155   10.1.6 Mentimeter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155   10.1.7 Interoperabilitatestovýchnástrojů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156  10.2 Softwareproanalýzytestů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 11 Dodatky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159  11.1 Testováúzkost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159  11.2 Nákladytestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162  11.3 Zkratkyvtextechotestování . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 12 Doslov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 13 Literatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 14 Rejstřík . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 9 1 Úvod 1 1 ÚVOD 1.1Předmluva Modernímetodyhodnoceníznalostístudentůpatřívakademickémsvětěkvelmidiskutovanýmtématům.Hodnoceníjeformoukomunikacemeziučitelemastudentem.Jetopříležitost sdělit,coučitelpovažujevevýucezapodstatné. Spravedlivé,prokazatelnéaobjektivníhodnoceníznalostíadovednostístudentůjezákladem jakproposouzenívýkonůstudentůakvalityvýuky,takpromotivacistudentůkdalšímu studiu. Vzhledemktomu,žetesty,jakosoučásthodnocení,majívýznamnývlivnaučenístudentů, jedůležitétestysladitsevzdělávacímiaučebnímicíli. Utestůvelkéhovýznamu,kdysenapř.rozhodujeopostupudodalšíhostudia,jedůležité zajistitpřesnostaspolehlivosttestů.Knihapřinášísouhrnpostupů,doporučeníametodpro tvorbukvalitníchdidaktickýchtestůsnáslednouanalýzoujejichvýsledků.Příručkajeprimárnězaměřenanačlenyakademickékomunityodpovědnézahodnocenístudentůamábýt praktickýmnástrojem,kterýučitelipomůževprůběhuceléhoprocesuplánování,vývoje, nasazeníavyhodnocenítestů. Autořisesnažínabídnoutčtenářůmpraktickypoužitelnoumetodikuanástrojeprosestavováníavyhodnocováníjejichvlastníchtestů.Prácistestovýmipoložkami,jejichorganizaci vpoložkovýchbankáchatématuzabezpečenípoložekatestů. Metodikyanástrojepropřípravuahodnocenítestůurčenýchkobjektivnímuposouzení výsledkůučeníjsouspolečnénapříčobory.Součástítextujsouvybranépasážezpublikací uvedenýchvseznamupoužitéliteratury.HlavnímvýchozímzdrojembylapříručkaTestování při výuce medicíny,kterouvydalonakladatelstvíKarolinum(Štukaetal.2013). Textječleněntak,abyprovázelpostupempřípravytestůaumožnilsevproblematicezorientovat.Zájemceopodrobnějšístudiumodkazujemenačlánkyaknihyuvedenévliteratuře. 16 1Úvod Přistoupíme-linato,žeabsolventvysokéškolymábýtprofesionálpřipravenýkvýkonuurčité činnosti,mělibychomvprůběhučinejpozdějivzávěrustudiaověřit,žeskutečněnabylpříslušnýchkompetencí.Zatímcoznalostiaporozuměníobvyklemůžemevelmidobřehodnotitpomocístandardizovanýchtestůinestandardizovanýchmetod(třebaústnímzkoušením), hodnocenínejvyššíchúrovníkompetencíjesložitější.Jistěbychompovažovalizaabsurdní,kdybynapř.orchestrpřijímalhouslistunazákladěpísemnéhotestuneboústnízkoušky zhouslovéhry.Stejněabsurdníbybylonazákladěpouhéhopísemnéhotestučiústnízkoušky oněkomprohlásit,žejenapř.dobřepřipravenýmučitelem,právníkem,historikemnebolékařem.Ověřilibychomsicesvětšíčimenšívěrohodností,ženabylznalostíaporozumění,jež jsounezbytnýmpředpoklademprovýkonpovolání,alenijakbychomnezjišťovali,zdajich takédokážeodpovídajícímzpůsobemvyužít,zdanabylpotřebnýchdovednostíazdaskutečně dokáževykonávatčinnosti,kteréjsousoučástíkonkrétnípráce. Dobřepřipravenýmastandardizovanýmpísemnýmtestovánímlzekvalitněhodnotitznalosti aporozumění.Hodnocenídovednostípísemnýmtestemjeužmožnéjenvkonkrétníchpřípadech.Můžemejejpoužít,pokudjedovednostínapříkladschopnostvyřešitmatematickou úlohunebopopsatnějakoureakcichemickýmirovnicemi.Většinudovednostíalepísemným testemaniústnízkouškouhodnotitnelze–těžkobychomtaktozkoušelinapř.laboratorní úkony,praktickouprácisezeměměřičskýmipřístrojineboodběrkrve. Proověřovánídovednostíačinnostílzevyužíttechniky,kteráseobecněoznačujejakopraktické zkoušení(practical examination)nebohodnocení na pracovišti(workplace (based) examination)(TheRoyalCollegeofPathologists2019;Prakashetal.2020).Zprincipujde ometodu,kterámůžebýtstandardizovánajentěžko.Připraktickyzkoušenýchúkonechtotiž nelzejednodušezajistitstejné(standardizované)podmínkyvětšímupočtukandidátů.Kromě tohosemnohdyhodnotíidovednosti,kterévesvéúplnostistandardizovaněklasifikovat nelze,napříkladjesoučástízkouškyikomunikacesklientemnebotýmováspolupráce. Itytopraktickézkouškyvšakmohoubýtobjektivizované,tj.uspořádanétak,abybylpotlačenvlivnežádoucíchfaktorů–napříkladsubjektivityzkoušejícíhonebovariabilitypodmínek,zanichžzkouškaprobíhá.Dalšímkrokemjepakvalidacepraktickýchzkoušek,tj. ověření,ževýsledekzkouškyskutečněodpovídázískanýmdovednostempotřebnýmpro reálnoupraxi. Objektivizovanémetodypraktickéhozkoušenímívajíněkoliktypickýchcharakteristik: ● Sledujesedlouhodobýneboopakovanývýkon,nikolijednorázovývýkonvrámcijednohotestovéhosezení.Pokudpraktickázkouškaprobíhávkrátkémčasovémúseku(např. běhemjedinéhodne),jerozdělenadoněkolikasamostatnýchčástí(označovanýchčasto jakostanice).Každouznichposuzujíjiníhodnotiteléakaždájezaměřenánajinýchokruh dovednostíačinností. ● Zkoušenéhohodnotínezávislenasoběvětšípočethodnotitelů.Mezihodnotitelijsouodbornícivdanéoblasti,alečastoidalšíosoby–napříkladspolužáci,figuranti,kteřívprůběhu zkouškyvedousezkoušenýmmodelovoukomunikaci,někdyitechnickýpersonál. ● Zkouškaajejíhodnoceníjsoustrukturované,tj.hodnotitelésevyjadřujípodlepředem danýchkritériíkesledovanýmaspektůmvýkonu(tzv.rubrikyzkoušky). ● Zkouškajevalidovanájakocelek,nebojsouvalidovanéjejíjednotlivéčásti. 17 1 Úvod Velkýposunveformátechpraktickéhozkoušenípřineslozavedenítzv.objektivníchstrukturovaných klinických zkoušek(objective structured clinical examination,OSCE)vmedicíně vpolovině70.let20.století.Odvacetletpozdějisetentopřístupzačalpoužívativjiných oborech,někdyseprotooznačujeijakoobjektivní strukturované praktické zkoušení,OSPE . VprůběhuOSCEstudentiprocházejířadoustanic,vnichžjsoukonfrontovánisběžnými situacemikaždodennípraxeamajíprovésturčitouproceduru.Jsouhodnocenipomocístrukturovanéhodotazníku,kterývyplňujípřítomníhodnotitelé.Většíváhumajíkrokyapostupy obecnějšípovahy(vmedicíněnapř.prevencešířeníinfekce,komunikacespacientemvprůběhuvýkonu,poučenípacientaavysvětlenívýkonuapod.),menšíváhupakmajíúkony,které jsouúzcespecifické. Jinýmzpůsobem,jakhodnotitdosaženívyššíchvzdělávacíchcílů,jesestavováníportfolií . Portfoliojesystematickytvořenýsouborukázekprácestudenta,kterýdemonstrujejehoúsilí, pokrokadosaženícílůvzdělávánívprůběhuceléhokurzuneboikurikula(Klenowskietal. 2006,Seifert2011,HermanaZuniganedatováno,Hillnedatováno).Jdeovysloveněkonstruktivistickypojatýnástrojhodnocení.Jehovýhodouje,ževěrněodrážídosaženínejvyšších,kreativníchvzdělávacíchcílůatakézískáníprofesionálníchnávykůapostojů,hodnotovýchžebříčkůapod.Nadruhoustranujdeovysoceindividualizovanýhodnotícínástroj,který neumožňujestandardizaci,aobtížnájeijehoobjektivizace.Vesrovnánísjinýminástrojijsou portfoliapoměrněnáročnánačasstudentaiučitele.Zavedeníhodnocenípomocíportfolia vyžadujepečlivoupřípravuadokonalouintegraciskurikulem(Driessenetal.2007). 1.4.4Kvantitativníakvalitativníformyhodnocení Vpředchozímtextujsmevycházelipředevšímzpohledunahodnocenívýsledkuvzdělávání jakonaměření,dojakémírystudentdosáhločekávanýchznalostíadovedností.Výsledkem hodnoceníjevtomtopojetíurčitákvantita,známkanebočíselnáhodnota.Půvabtohoto pojetíspočívávjehopochopitelnostiavtom,želzeoprávněnostzávěrů,kteréučiníme, snadnozkoumatvědeckýmimetodami.Můžememluvitopřesnostiaspolehlivostitakových závěrů,kdemírupřesnostimůžemekvantifikovatstatistickýmimetodami,můžemedokonce měřitmírunejistoty,sjakouvýsledeksdělujeme.Můžemetakésledovatdopadykaždé změny,kterouvrámcivýukyazkoušeníuděláme.Všedohromadynámumožňujezkoušky standardizovat–zajistit,ževýsledkyhodnoceníjsoupodložené,reprodukovatelné,objektivníavalidní. UžhierarchizacevýukovýchcílůpodlenejběžnějšíhopojetíBloomovytaxonomiealeukazuje,žestandardizovanýmtestovánímazkoušenímnelzehodnotitceloušířivysokoškolského vzdělávání.Ukázalijsme,žedokážepostihnoutjennižšíúrovněpoznání.Vyššívzdělávacícílelzehodnotitsicenestandardizovanými,alestáleještěobjektivizovanýmimetodami avýsledkempořádmůžebýtnějakáhodnota.Prohodnocenínejkomplexnějšíchcílů,dovednostíapostojůnámvšakpouhéjednorozměrnévyjádřenínestačí. Komplexníkompetence,postoje,chováníčidosaženíprofesionalityvurčitéoblastinemůžememěřitčíslem.Přestoženejsouměřitelné(nebojeaspoňnelzevyjádřitjednorozměrnou veličinou),jsoupopsatelné.Lzejepopsatslovnímhodnocením.Toalemávždysubjektivní složku,jdetypickyonestandardizovanéhodnocení. 18 1 Úvod Přístupykhodnocenívýsledkůvzděláváníseneustálevyvíjejí.Vesvětěsevminulýchdesetiletíchintenzivněrozvíjelostandardizovanéhodnoceníavevyspělýchzemíchsestalonedílnousoučástívzdělávacíčinnosti.Díkypřezkoumatelnostiaobhajitelnostivýsledkůvmnoha oblastechpostupnězcelavytlačilonestandardizovanémetody.Vposledníchletechseale upozorňujenalimitytakovéhopřístupu(Vleuten2019a).Standardizovanémetodyzůstávají nejlepšímznámýmnástrojemvurčitýchfázíchvýuky,někteříautořialeupozorňují,žeby nemělybýtnástrojemjediným(Fairtest2007,Riffert2005).Nestandardizovanémetodytedy nejsouméněcenné–nejsoualeaninadřazenéstandardizovaným.Jdeorůznénástroje,znichž každýsehodíkněčemujinému. 2 19 Plánování testu 2 PLÁNOVÁNÍ TESTU Testmákvalitněhodnotitvýsledkyvýukyačastojetakésámsoučástívýukyjakotakové. Propřípravuvýukyajejíhonáslednéhohodnoceníjeprotonutné,abychomdokázalico nejpřesnějidefinovat,comáabsolventumět,tj.jakéjsoucíle výuky(learning objectives). Vpraxisevšakskutečnávýukatěmtocílůmjenblíží.Vněkterýchoblastechstudenti dokoncecílůvýukyzcelanedosáhnou,současněalemnohdyzískajíjiné,neplánované, znalostiadovednosti.Tomu,coabsolventskutečněumí,říkámevýstupy výuky(learning outcomes). Test,kterýmověřujeme,zdaabsolventdosáhlpožadovanýchznalostíadovedností,byměl svýmobsahemirozsahemconejlépeodpovídatcílůmvýukyasoučasněbytestumělyco nejvíceodpovídativýstupyvýuky.Vpraxinikdynebudeshodaúplná.Abybylaconejlepší, jetřebařádněplánovatjakvýuku,takitest.Pokudstudentiznajícíle,kterýchmajídosáhnout,avědí,jakbudejejichvýkonhodnocen,jsoumotivovanějšíkestudiu(Herman1992). Pokudsenaopakobsahtestunebozkouškylišíodskutečnénáplně(tj.výstupů)výuky,cítíse studentipodvedeniaoznačujízkoušenízanespravedlivéamotivacikučeníčastonahrazují získáním„vtestupožadovanýchodpovědí“. Dalšímdůvodem,pročpečlivěplánovattesty,jeskutečnost,žemnohdynemůžemevyzkoušetvšechnystudentynajednouapotřebujemevytvořitvíceparalelníchforem(variant)testu. Pokudpřitvorběvšechvariantpostupujemepodlestejného,dostatečněpodrobnéhoplánu, lzesejejichrovnocennostipřiblížitvcelkusnadno. 2.1Specifikačnítabulka(blueprint) Jednaznejosvědčenějšíchmetod,jakpřipravitplántestu,jekonstrukcetzv.specifikačnítabulky(vanglickéliteratuřeblueprint)(Vleutenetal.1991).Prvnímkrokemjevytvořenířádků tabulky,kteréodpovídajíobsahovýmcílům.Tentokrokjepoměrnějednoduchý–vycházíse většinouzesylabupředmětu,pořadíkapitolvzákladníučebniciapod.Každýřádekodpovídá jednomutématu.Jevhodné,abyčleněnítématbylodostatečněpodrobné–jednépřednášce, lekcičikapitolevučebnicitakvětšinouodpovídáněkolikřádkůsdílčímipodtématy. Sloupcespecifikačnítabulkyodpovídajíaspektům(přesnějivýukovým doménám),znichžse natématamůžemedívat(AbdellatifaAl-Shahrani2019).Nalezenítakovýchpohledů,znichž 2 20 Plánování testu lzepopisovatvětšinuobsahovýchcílů(tj.řádkůtabulky)najednou,jeklíčový,apřitomvětšinounejobtížnějšíkrokpřitvorběspecifikačnítabulky.Nejobecnějšíradoujevycházetzcílů Bloomovytaxonomie,např.: ● znalost–např.znalostterminologie,definic,pojmenováníurčitéhofenoménu; ● porozumění–např.porovnávání,interpretacegrafůadat; ● aplikace–např.řešenínovéhoproblémupomocíanalogie; ● analýza–např.identifikacepříčinadůsledků,schopnostvysvětliturčitýjev; ● syntéza–napříkladpředpověďvýsledkunějakéhoděje,odhaddůsledků. JelikoždoményvytvořenépodleBloomovytaxonomiejsoupoměrněpodrobné,azejménapro tvorbukratšíchtestůjejichpřílišmnoho,používajíseněkdyjednoduššíschémata,např.vybavení si znalosti – aplikace – řešení problému.Vněkterýchoborechspolečnéaspektypřirozeně vyplývajízvyučovanélátkyanacházejíserelativněsnadno,např.vklinickýchoborechmedicínylzečastosloupcenadepsatetiologie – příznaky – diagnostika – léčba – prognózaatd. Vkaždémpřípadějetřebatabulkusestavovattak,abydávalosmyslconejvícekombinací řádkůasloupců.Dojednotlivýchpolíčeksepakzaznamenáváplánovanýpočetúloh,případnětyp úlohčizpůsobzkoušení.Nenínutnévyplnitvšechnapolíčkatabulky,nicméněplán testubymělbýtvyvážený–nemělbyzůstatžádnýprázdný,nebotéměřprázdný,řádekani sloupec,anemělybyzůstávatanirozsáhlejšíprázdnéoblasti. Přivyplňovánípočtůúlohjižberemevpotazcelkovýrozsahtestu.Můžesestát,ženěkterápolíčkatabulky,odpovídajícíméněpodstatnýmznalostemadovednostem,sevyužijíjen vněkterýchverzíchtestuajinéverzebudounamístonichobsahovatjinéúlohy.Vkaždém případětaktosestavenýplántestupomůžedosáhnouttoho,žepočetúlohvěnovanýchurčitémutématuodpovídájehovýznamuažeseadekvátnězkoušejívšechnyaspektyurčitého problému(Patiletal.2015). Dvourozměrnáspecifikačnítabulkajemnohdyvelmipodrobnáarozsáhlá,připomínáproto svýmirozměrytechnickývýkres–iprotoseprotentozpůsobplánovánítestuvžilanglický termínblueprinting.Podrobnáspecifikačnítabulkajezpravidlaneveřejná,sloužípouzetvůrcůmtestu.Jejízveřejněníbytotižmohlovéstkespekulativnímujednánítestovaných,kteříby přípravuvícesoustředilinatestsamotnýnežnazískáníznalostíadovednostípotřebnýchpro praxi(Chváletal.2015).Nadruhoustranubyvždymělbýtzveřejněnobsahtestu(tj.řádky specifikačnítabulky),popřípaděipodílkaždéoblastinacelkovémrozsahutestu. 21 3 Testové úlohy 3 TESTOVÉ ÚLOHY Základnímstavebnímprvkemkaždéhotestujsouúlohynebotéžpoložky.Záměrněsebudeme vyhýbatčastopoužívanémutermínuotázka,kterýjakuvidímedále,mátrochujinývýznam. Obecněmůžemedovednostizkoušetpřímonebonepřímo.Připřímémzkoušenídostane studentzaúkolpřímovykonaturčitoučinnost.Přímézkoušeníčastovyužívátechnikpraktickéhozkoušení(workplace based assessment),některépříméúlohyalemohoubýtisoučástí písemnýchtestů. Příklady: Napištesvůjstrukturovanýživotopisvanglickémjazyce. VprogramovacímjazyceRvytvořtefunkci,která... Pomocípřímýchúlohlzedobřehodnotit,dojakémírykandidátdosáhlcílovýchkompetencí anakolikjenapř.připravenprovýkonurčitépracovníčinnosti.Jejichnevýhodoujeobtížná klasifikace.Výkonkandidátamusíhodnotitněkolikhodnotitelů,hodnotísezpravidlaněkolik oblastíčiaspektůvýkonu.Hodnotitelémusíbýtpředemvyškoleni,prohodnocenípoužívají strukturovanýhodnotícíformulář. Častějšíjsounepřímémetodyzkoušení.Schopnostistudentasenezkoušejípřímo,ale posuzujísenazákladěznalostíadovedností,kteréjsouprokonkrétníschopnostnezbytným předpokladem. Typickýpísemnýtestsesnažídosaženícílovýchkompetencíhodnotitnepřímo.Autořitestu vytvářejíurčitýkonstrukt,jakéznalostiadovednostijsouprodosaženíkompetencepodstatné.Jejichzkoušenímsesnažíodhadnout,zdatestovanýmohlcílovékompetencedosáhnout. Ztohotopohledutedynezkoumáme,zdazkoušenýskutečněněcodokáže,alejestlimápředpokladytodokázat. Pomocísamotnýchnepřímýchmetodzkoušenínenímožnéspolehlivěrozhodnout,zdaje kandidátschopensamostatněvykonávaturčitoučinnost,aneníjimimožnépřímémetody zcelanahradit.Tytometodyjsouvšakmnohemrychlejší,lépesevyhodnocují,jsoulevnější, snázesedosáhnejejichreprodukovatelnosti. Nepřímétestovéúlohymohoubýtvzásadědvojíhodruhu(Chváletal.2015): 22 3Testové úlohy 1.Otevřenéúlohy Zkoušenýmusíodpověďvytvořit–napsattext,provéstvýpočet,nakreslitobrázekapod. Odpověďmůžemítnejrůznějšíformátidélku–najednéstraněmůžejítodoplněníchybějícího písmene,nadruhéonapsáníněkolikastránkovéhoeseje.Zkoušenýsvouodpověďtvoří,proto lzetytoúlohytakéoznačitjakoproduktivní . 2.Uzavřenéúlohy Zkoušenývybírářešenízuzavřenéhookruhumožností,kterémubylynabídnuty.Řešenísám nevytváří,mázaúkoljejjenomvybratavyznačit.Nejčastějivolímeziněkolikaodpověďmi naurčitouotázku.Patřísemaleidalšítypyúloh,vnichžzkoušenývybírázněkolikapředem definovanýchalternativ,např.ksoběmánavzájempřiřaditsouvisejícípojmy,uspořádat položkyvurčitémpořadí,doplnitvtextunavynechanámístaineboy,neborozhodnout,zda sevurčitésituacinějakáveličinasníží,zvýší,čizůstanebezezměny. Hranicemeziotevřenýmiauzavřenýmiúlohamineníúplněostrá.Vněkterýchpřípadech zkoušenývolíodpověďzpraktickyneomezenéhookruhumožností,nejdevšakovysloveněproduktivníúlohu.Příklademmohoubýttřebaúlohy,vekterýchmástudentvyznačit (tj.vybrat)určitémístonafotografiimikroskopickéhopreparátu. Otevřenéiuzavřenéúlohymajívtestováníavevysokoškolskévýucesvénezastupitelné místo,každásevšakhodíkněčemujinému: Otevřenéúlohyumožňujídobřehodnotitkomplexnějšídovednosti,předevšímdovednosti produktivní,kreativnípovahy(Schindler2006).Proformulaciodpovědijsoustudentinuceni aktivněpoužívatodbornouterminologii.Častojemožnésledovatmyšlenkovýpostup,který testovanéhovedlkřešení.Přivyhodnocovánílzerozpoznat,nakoliktestovaníporozuměli zadáníajestliúlohaneníšpatněformulovaná.Otevřenéúlohyjsouneocenitelnýmnástrojem proprůběžnéformativnítestováníběhemvýuky,kterémápředevšímposkytnoutzpětnou vazbustudentůmivyučujícím.Zpětnouvazbuposkytujíúčinnějinežvýběrovéúlohyalze jevelmidobřevyužítjakovýchodiskoprodiskusioprobíranýchtématech.Otevřenéúlohy mohoubýttakésoučástízávěrečnýchsumativníchtestů,kdesejimiověřujedosaženínejen dílčíchznalostíaporozuměnínaučenýmfaktům,aleijejichvyužitíazapojenívesložitějších úkonech.Přípravaotevřenýchúlohprosumativnítestyjealenáročná,stejnějakohodnocení otevřenýchúloh. Otevřenéúlohynelzeklasifikovatautomaticky,odpovědimusíposouditkvalifikovaníhodnotitelé.Můžesepakstát,žehodnoceníjezatíženosubjektivníchybou.Každouotevřenou úlohuhodnotípostupněněkoliknavzájemnezávislýchhodnotitelů,kteříjepokudmožno dostávajíanonymizované.Prohodnotitelesepředempřipravujívelmidetailnípokyny. Přestomohouzkoušenínapadatobjektivitutestuamůžebýtobtížnějšírozhodnutíhodnotitelůnezpochybnitelněodůvodnit.Pokudsetedyotevřenéúlohymajípoužítvtestu, kterýmázásadnívýznam,jepotřebatytoúlohyapravidla,podlekterýchsebodují,velmipečlivěpřipravit.Otevřenéúlohysečastohodnotínaširšíškálenežjen„správně/ nesprávně“avšichnihodnotitelémusístejněpřidělovatidílčíbodyzačástečněsprávné řešení.Obecněplatí,žečímjeúlohaotevřenější,tímjeobtížnějšíjejíobjektivníhodnocenízajistit.Takéjenutnémítpřipravenépostupypropřípad,žesenázoryhodnotitelůna 23 3 Testové úlohy konkrétnířešeníliší.Přípravaotevřenýchúlohprotobývázdlouhaváajejínáročnostroste svýznamemtestu. Otevřenéúlohymohouznevýhodňovatkomunikačněslabšístudenty,neboťformulaceodpovědičastoovlivňujehodnocení. Uzavřenéúlohyzahrnujívýběrové,přiřazovacíauspořádacíúlohy(Schindler2006).Bývají jednoduššíprozpracování,testyječastomožnéohodnotitautomatickypočítačem,popřípadějemůžeopravovatiméněkvalifikovanýpracovník.Vevětšiněsituacíjdeonejrychlejší anejefektivnějšínástrojprozjištění,nakoliksistudentosvojilznalostiaporozumělprobírané látce.Vomezenémířemůžemetěmitopoložkamihodnotitizvládnutíněkterýchjednoduchýchdovedností. Velkouvýhodouuzavřenýchúlohje,želzesnadnorozhodnout,zdatestovanýodpověděl správně.Hodnocenítestujedíkytomureprodukovatelné.Obodovánítestujetakévelmirychlé.Odpovědinejsouzávislénaformulačníchdovednostechtestovaných,jejichgrafomotorickézdatnosti,rychlostipsanínaklávesnicipočítačeapod.Naprotitomuuzavřenéúlohy neumožňujízkoušetmnohotypůdovedností.Uzavřenéúlohyznevýhodňujístudenty,kteří jsouméněpozorní,popřípaděméněpřesněpracujípřistresu. 3.1Úlohysvýběremzmožností Výběrovéúlohydnesvpísemnýchtestechpřevažují.Jejichhlavnívýhodouje,žesesnadno hodnotí.Jakuvidímedále,mohoumítřaduforem.Všechnyspojuje,žezkoušenývybírá jednunebovíceodpovědíznabídnutýchmožností.Nenírozhodující,jakýmzpůsobem semožnostinabízejí–můžejítnapř.ozaškrtávání,„radiobutton“,„checkbox“,výběr zroletky. Zhlediskavlastnostíivyužitívtestechjedůležitévýběrovéúlohyrozdělit–bezohleduna jejichformálnívzhled–dodvouskupin: Dichotomickéúlohy(úlohytypuANO/NE) Jednanabízenámožnost(čivíceznich)jezcelasprávná,ostatníjsouzcelachybné. Příklad: Označte,zdatvrzeníplatí: Plejtvákjesavec,kterýžijevmořiANO–NE Bodovánídichotomickýchúlohjejednoduché.Nejčastějisezasprávnouodpověďudělíjeden bod,zachybnounic.Méněčastájsouskórovacíschémata,vnichžsepřidělujíjinépočty bodů,např.bodovýziskseurčípodlenáročnostiúlohy,nebosezachybnouodpověďbody strhávají. Nevýhodoujednotlivýchdichotomickýchúlohje,žeprostýmtipovánímlzezískatprůměrně 50%maximálníhomožnéhoskóre.Tonaprvnípohlednemusívadit,pokudjesprávněnastavenáhranice,kterémusístudentdosáhnout,abyvtestuuspěl.Snižujesetímalerozlišovací 24 3Testové úlohy schopnosttestu.Někteříautořiprotodoporučujírůznémodifikacedichotomickýchúloh, napříkladsevyžaduje,abyspoluskaždouodpovědí„NE“studentnapsal,jakbysemusela otázkazměnit,abynanibylaodpověď„ANO“(KubiszynaBorich2000).Vznikátímvlastně kombinacevýběrovéúlohysúlohouotevřenou. Svazkydichotomickýchúloh (Téžmultiple true/false,MTF;multiple response question,MRQ.) Někdyseněkolikdichotomickýchúlohkombinujedosvazkusespolečnýmkmenem. Příklad: Pesjerozšířenédomácízvíře.Chovásemnohoplemen,kteráselišívelikostí,barvou apovahou.Kterétvrzeníopsechjepravdivé? a)Některáplemenapsůnemajívůbecžádnéchlupy. ANO–NE b)Bezohledunavelikostabarvu,všechnaplemenapsůpatří  dojedinéhobiologickéhodruhu. ANO–NE Důležitouvlastnostísvazkůdichotomickýchúloh(MTF)je,žezkoušenýmáokaždémtvrzení rozhodnoutsamostatně,nezávislenaostatníchtvrzeníchvesvazku.Jinýmislovy,výšeuvedenýsvazekdichotomickýchúlohmůžemerozepsatdodvousamostatnýchdichotomických úloh: Úloha 1: Pesjerozšířenédomácízvíře.Chovásemnohoplemen,kteráselišívelikostí,barvou apovahou. Označte,zdaplatítvrzení: Některáplemenapsůnemajívůbecžádnéchlupy. ANO–NE Úloha 2: Pesjerozšířenédomácízvíře.Chovásemnohoplemen,kteráseliší velikostí,barvouapovahou. Označte,zdaplatítvrzení: Bezohledunavelikostabarvu,všechnaplemenapsůpatří dojedinéhobiologickéhodruhu. ANO–NE Formálnívzhleddichotomickýchúlohajejichsvazkůmůžebýtrůzný.NejčastějisekekaždémutvrzenívybíráodpověďANO/NE,neboPRAVDA/NEPRAVDA.Méněvhodnéjevyzvat testovaného,abyoznačiltvrzení,kterájsoupravdivá,anepravdivátvrzeníponechalneoznačená.Vtomtopřípaděsetotižsvazekdichotomickýchúloh(MTF)podobáúlohámsjedinou správnouodpovědí(SBA),kterémajíalejinévlastnostianeodpovídásevnichnakaždou znabízenýchmožnostízvlášť. Jsouovšemidalšímožnosti,kterýmisevzájemněsevylučujícíalternativyoznačí. Příklad: Mámekdispozicipětzkumavek.Vkaždéznichje1mlroztokujednohoznížeuvedených sacharidůokoncentraci1g/l. 25 3 Testové úlohy Dokaždézezkumavekpřidáme1mlroztokuhydroxidudraselného(2g/l)asměskrátce povaříme.Potédovšechzkumavekpřidámeroztokskomplexněvázanoudvojmocnou mědí.Výslednábarvasměsivněkterýchzkumavkáchjemodrá,vjinýchčervená. Prokaždýsacharidzakroužkujte,jakoubarvusměsiposkončenípopsanéhopokusu očekáváte: a)amylóza      MODRÁ–ČERVENÁ b)fruktóza      MODRÁ–ČERVENÁ c)glukóza      MODRÁ–ČERVENÁ Odjednotlivýchdichotomickýchúlohsejejichsvazekčastolišíbodováním.Používajíse různáskórovacíschémata: 1. Vše,nebonic–pokudjsouvšechnyodpovědivesvazkusprávné,hodnotíse100%(nejčastěji1bodem),vevšechostatníchpřípadech0body. 2. Dílčískóre–každádílčídichotomickáotázkasebodujenezávislenapř.0,25body. 3. Dílčíváženáskóre–každádílčídichotomickáotázkasebodujenezávisle,každámájinou bodovouhodnotu(např.dlevýznamnostineboobtížnosti). 4. Bodováníspenalizací–zaněkterénesprávnéodpovědisedávázápornýpočetbodů. 5. Parciálnískórování–např.PS50:Pokudtestovanýodpovícelýsvazeksprávně,obdrží 100%.Pokudodpovísprávněnavícenežpolovinudílčíchdichotomickýchotázek,obdrží50%.Vostatníchpřípadechnedostanenic. 6. Korekcenatipování–odhadujese,jakéhoskórezasvazekmohlzkoušenýdosáhnout náhodnýmtipováním,avýsledeksekoriguje. 7. Dalšísložitějšímetody. Nejvícesepoužívajímetodyvše,nebonicaPS50,ostatníseopouštějí. Úlohysjedinousprávnouodpovědí (vanglickéliteratuřesingle best answer,SBA). Nejpoužívanějšímasoučasněnejefektivnějšímtypemúlohsvýběremzmožnostíjsouúlohy sjedinousprávnouodpovědí.Vzhledemmohoupřipomínatsvazkydichotomickýchúloh, avšakjejichkonstrukcejeodlišná.Ivtomtopřípaděmáúlohakmennásledovanýnabídkou několikamožností.Úkolemjevybratodpověď,kterájevýraznělepšínežvšechnyostatní. Zkoušenýtedynevyhodnocujekaždoumožnostzvlášťanesnažíseurčit,zdaplatí,činikoli, jakovesvazkudichotomickýchúloh,aleporovnávánabízenémožnostimezisebou.Žádná znabízenýchmožnostípřitomnemusíbýtsprávnázcelabezvýhradněazavšechokolností ažádnánemusíbýtzcelachybná.Nadruhoustranunabízenémožnostimusíbýtmožné seřaditodnejlepšíponejhorší. Oběúlohyvpříkladuseptajínatotéžanabízejístejnářešení.Voboupřípadechautor považujezasprávnouodpověďmožnost2.Všimnětesiale,žepoložkatypuANO/NE nenízcelajednoznačná:lzenamítat,žeZeměnemápřesnětvarelipsoidu,anadruhou stranulzeproněkteréúčelyjejítvardostatečněpřesněaproximovatkoulí. VpřípaděpoložkytypuSBAjesituacejiná:zkoušenýmávybratnejpřesnější(nikoli nutnězcelapřesnou)odpověď.Řešeníjejednoznačné. 32 3Testové úlohy Všimnětesi,ževmodifikovanémesejibývajíjednotlivéotázkypojatymnohemšířejinež vtypickýchúloháchskrátkoutvořenouodpovědí.Tentokrátjižneočekáváme,žetestovaný odpovíslovemneboslovnímspojením.Jehoodpověďbudespíšezahrnovatvícesamostatnýchvýroků.Studentmusínejenovládattestovanoulátku,aletakémusíbýtschopenvkrátkémčasestručněapřesněsvouodpověďformulovat. Esej Esejjeúlohasdlouhoutvořenouodpovědí.Zkoušenýpíšerozsáhlejšítext(odjednoho odstavcedoněkolikastránkovépráce). Esejobvykletvořísamostatnoučástzkoušky,jehohodnocenísenekombinujesjinýmiúlohami.Hodnocenímůžebýtzatíženosubjektivitouhodnotitele.Pokudseesejpoužíváksumativnímuhodnocení,hodnotíjejprotovětšinouvícehodnotitelůavideálnímpřípadědostávají esejeanonymizované.Abybylohodnoceníobjektivnější,hodnotísevětšinoupodlepředem danéosnovy,tj.bodujese,nakolikzkoušenývesejinaplnilurčitéhodnocenéaspekty(„rubrics“).Kroměznalostí,tj.obsahovéstránky,majítypickyvelkývlivnahodnoceníischopnost podatdobřeuspořádanývýklad,analyzovatapopsatsouvislosti,přehledně,strukturovaně asrozumitelněsevyjadřovatasprávněktomupoužívatodbornouterminologii,dodržovat konvenceobvyklévoboruatd. Využíváníesejejakonástrojeprohodnoceníjerůznévrůznýchčástechsvěta.Dourčitémíry sedáříci,žealternativoukesejijeústní zkouška,přinížvedezkoušejícísezkoušenýmrozhovor.Výhodouústnízkouškymůžebýtdialog,díkyněmužlzepřesnějiidentifikovatslabé isilnéstránkyzkoušeného.Nevýhodoujeovšemnereprodukovatelnosthodnocení.Zatímco esejlzekdykolidátznovuoznámkovatjinémuhodnotiteli,ústnízkouškunelzezopakovat. Dokonceivpřípadě,žebyzníbylpořízenaudiovizuálnízáznam,můžebýtopakovanéhodnocenísvízelné,zejménapokudzkoušejícívnějakémokamžikuvedlrozhovornevhodným nebochybnýmzpůsobem.Kezvýšeníobjektivitymůžepřispětzkoušenípředkomisí,avšak vpraxivětšípočetzkoušejícíchautomatickyneznamená,žebyjebylomožnépovažovatna vzájemněnezávisléhodnotitele,kteřísepřiznámkováníneovlivňují.Přesvšechnytytovýhradyaleústnízkouškamásvoupedagogickouhodnotu,Právědíkymožnostizaložitzkušební aktnaodbornémdialoguainterakci.Podmínkoujeovšemvysokáerudiceaprofesionalita zkoušejícího. 3.3Dalšítypytestovýchúloh Testshodysescénářem Úloha,téžoznačovanájakoscript concordance test(SCT),začínámedailónkempodobným jakovSBA.Následujeotázka,kterájednaknabízímožnéřešení(hypotézu),jednakpřináší novouinformaciaptáse,dojakémírynováinformacenabídnutouhypotézupodporuje.Testovanývybíráodpověďobvyklezpětimožností(odhypotézajevelminepravděpodobnápo hypotézajevelmipravděpodobná). Příklad: Vyšetřujete 14měsíční holštýnskou jalovici, která je nadmutá a má anorexii. Její tělesnáteplotaje39,5°C,tepováfrekvence115/min.,dechováfrekvence64/min.Není 33 3 Testové úlohy dehydratovaná,kontrakcebachorujsouneslyšné,trusujevelmimálo. Pokudjakomožnoupříčinuzvažujetedislokacislezudolevaavlaboratornímnálezuje fibrinogen10g/l,stávásetatopříčina - 2 velminepravděpodobnou - 1 méněpravděpodobnou  0 animéněanivícepravděpodobnou  1 pravděpodobnější  2 velmipravděpodobnou Zavinětoučastonásledujeněkolikotázek: Vyšetřujete48letéhomužesFourniérovougangrénou,kterýopakovaněpodstoupil chirurgické odstranění nekrotické tkáně. Nemocný je léčený širokospektrými antibiotiky. Pokudjsteměl v plánu... ...azjistiljste,že jeplánovanéřešení 1.transplantaci kůženaskrotální defekt včástidefektuje granulačnítkáň,ale onemocněnídále postupujedotřísel, kdejsounovénekrotickéoblasti, -2 : absolutněkontraindikované -1 : relativněkontraindikované 0 : stejněindikovanénebokontraindikované 1 : indikované 2 : velmiindikované Pokudjsteměl v plánu... ...azjistiljste,že jeplánovanéřešení 2.další debridement pacientjeseptický, zaintubovaný, kardiopulmonálně nestabilní, -2 : absolutněkontraindikované -1 : relativněkontraindikované  0 : stejněindikovanénebokontraindikované  1 : indikované  2 : velmiindikované Pokudjsteměl v plánu... ...azjistiljste,že jeplánovanéřešení 3.hyperbarickou oxygenoterapii pacientjeseptický, zaintubovaný, kardiopulmonálně nestabilní, -2 : absolutněkontraindikované -1 : relativněkontraindikované  0 : stejněindikovanénebokontraindikované  1 : indikované  2 : velmiindikované Bodováníodpovědísestanovujezvlášťprokaždouotázkunazákladěnázoruskupinyexpertů.Každýexpertoznačíjednumožnost,kteroupovažujezasprávnou.Možnost,kterouoznačilnejvětšípočetexpertů(tzv.modální možnost),sebodujeplnýmpočtembodů.Skóreza ostatnímožnostisepřidělujepodlevztahu [Skórezamožnost]=[početexpertů,kteříoznačilitutomožnost]/[početexpertů,kteří označilimodálnímožnost] 34 3Testové úlohy Například: Úlohuposuzovalo10expertů.Správnémožnostioznačilitakto: Možnost -2 -1 012 Početexpertů,kteřímožnostoznačilijakosprávnou 00253 Modálnímožnostíjeodpověď„1“,kterouoznačilnejvětšípočetexpertů–zatuto možnosttedybudenáležetplnýpočetbodů.Celébodováníbudevypadattakto: Možnost -2 -1 012 Skórezamožnost 0/5=0 0/5=0 2/5=0,4 5/5=1 3/5=0,6 3.4Doporučeníprotvorbutestovýchúloh Psanípoložekjeúkol,kterývyžadujepředstavivostakreativitu,alezároveňvyžadujeznačnoudisciplínupřipráciaznalostvýukovýchcílů.Tvorbapoložekmusívycházetzjasné představyocílechučení.Testbymělměřitjednukognitivníoblast. Nežzačneteúlohytvořit Dříve,neždojdenavlastnítvorbuúloh,jetřebasevrátitkotázce,covlastněchcemezkoušet aproč.Nestačíjenvzítučebnici,prolistovatkapitoly,kteréobsahověpokrývajípřipravovaný test,avytvořitúlohyktextu,nanějžpadnezrak. Videálnímpřípaděmámekdispozicipředemzpracovanýplán testu(specifikačnítabulku). Pokudtomutaknení,mělbyplántestuvzniknout,nežzačnemepsátúlohy.Není-lianito zjakéhokolidůvodumožné,mělibychompřinejmenšímmítconejpodrobnějisepsanécíle výuky(tedynikolijentematickéokruhy,kterýchsevýukatýká).Kcílůmvýukyjevhodné doplnitpředstavu,jakvelkáčásttestubysejimimělazabývat. Plántestunebopodrobnýseznamcílůvýukynámdávájasnévodítko,jakéúlohyprotest potřebujemeavjakémmnožství.Současněbychomjižvtétofázimělimítzákladnípředstavu otypechúloh,kterévtestupoužijeme. Volbatypůúloh Přisestavovánísumativníhotestuneudělámechybu,pokudvětšinaúlohbudouúlohysjedinounejlepšíodpovědí(single-best answer)apřípadnějedoplnímeotevřenými otázkamiskrátkoutvořenouodpovědí.Dalšítypyúlohbychommělipoužívatuvážlivě, případněpodlezvyklostíkonkrétníhooboru.Úlohysjedinounejlepšíodpovědíposkytujínejlepšípoměrcena/výkon.Časpotřebnýnajejichzodpovězeníjerelativněkrátký, takžetakovýchúlohmůžebýtdotestuzařazendostatečnýpočet,asoučasněumožňují dostatečněcitlivěrozpoznatschopnostistudentů.Úlohyskrátkoutvořenouodpovědíse hůřehodnotí,nadruhoustranujsoualevhodnýmdoplněním,neboťposkytujíučitelilepší zpětnouvazbu. 35 3 Testové úlohy Veformativníchtestech,zvláště,pokudjeskupinatestovanýchmalá,můžebýtpoměrobrácený–většinutestumohoutvořitúlohyskrátkoutvořenouodpovědí,kteréjsoudoplněné výběrovýmiúlohamisjedinounejlepšíodpovědí.Veformativníchtestechnenítřebasebát anidalšíchformátůúloh,je-lijejichpoužitíúčelné.Testbyalenikdynemělkombinovatpříliš mnohorůznýchformátů(nevícenežtřinebočtyři),jinakbudenepřehlednýastudentistráví hodněčasuzkoumáním,coseponichvlastněchceajakmajínakterouúlohuodpovídat. Pokudsevtestukombinujevícetypůúloh,jetřebastudentůmjednoznačněříci,coseodnich čeká.Pokynmusíbýtzcelakonkrétní. Příklad: Pokynkúlohámsjedinounejlepšíodpovědí Vhodný:Zakroužkujtenejlepšíodpověď. Nejasný:Vybertenejlepšíodpověď. Pokynkúlohámskrátkoutvořenouodpovědí Vhodný:Odpověztejednímslovemneboslovnímspojením. 3.4.1Doporučeníprotvorbuvýběrovýchúloh Doporučeníprotvorbuuzavřených(výběrových)úlohuvedemenatomtomístěproúlohysjedinounejlepšíodpovědí(sigle best answer,SBA),tedytypúloh,kterýbymělbýtzákladem většinytestů.Zvelkéčástilzestejnádoporučenípoužítiproostatníformátyvýběrovýchúloh. Častýmproblémempřipoužitívýběrovýchúlohjenejednoznačnost.Většinoujizpůsobíto, žeautorúlohypřijejímsestavovánímánamyslinějakoukonkrétnísituaci,alepaksesnaží zadánínapsatconejstručněji.Tímsezjejíhotextuztratípodrobnostiapředpoklady,které jsoualeprozodpovězenídůležité.Student,kterýřešítest,paknejprvemusíodhadnout,co vlastněmělautortestunamysli,apakteprvemůžeodpovídat.Úlohapakzákonitěměříspíše schopnoststudentaodhadnout,nacoseučitelchtělzeptat,nežsamotnéznalostiadovednosti vezkoušenéoblasti. Základemkvalitnívýběrovéúlohyjeprotodobřenapsanýkmen.Úlohysjedinousprávnou odpovědímívajíkmenpoměrnědlouhý,naněkolikřádek(někdyseoznačujejakomedailonek).Kmenbymělvyprávětpříběh–popsatjednoduchou,alereálnousituaci,nebotřeba pokus.Jasnýmpopisemsituace,kteroumělautornamysli,sepředejdevětšiněnejednoznačností.Prostudentyjsounavíctaktosestavenéúlohymotivující–příběhy,kterépřipomínají reálnoupraxi,jimpřipomínají,žeseučíněcopraktického,cobudoupotřebovatvesvém budoucímzaměstnání. Prozačínajícíautorytestovýchúlohjeněkdypsanímedailonkůobtížné.Základnídoporučení říká,žemajíúlohypsátstejně,jakobynavrhovalivýzkumkzodpovězeníkonkrétních(ale samozřejmějednoduchých)otázekzesvéhooboru. Zamedailonkemnásledujevlastníotázka.Tamábýtkrátká,jednoznačná,musíseptátjen najednuvěc.Vúloháchsjedinounejlepšíodpovědímusíbýtzotázkyjasné,žesepostudentovichce,abyvyznačilopravdujenjednumožnost,kterájelepšíodpovědínežvšechny ostatní.Tojedůležitéhlavněvpřípadě,kdybyidalšíznabízenýchmožnostídávalyaspoň 36 3Testové úlohy zaurčitýchpodmíneksmysl.Správněkonstruovanéotázkymívajípodobunapř.Jaká je nejpravděpodobnějšípříčina?Jakýjenejvhodnějšídalšípostup?Kčemunejspíšepovede popsanýděj? Zvýšeuvedenéhovyplývádalšíjednoducházásada:Kvalitnípoložkymajíobvyklerelativně dlouhýkmen(medailonek),zakterýmnásledujestručná,alejasnáotázka.Následuje nabídkamožností,kterébymělybýtrovněžkrátké. Cosetýčenabízenýchmožností,bývájednoduchévytvořitsprávnouodpověď(tzv.klíč). Platítadyzásada,žeodborníkbymělsprávnouodpověďřícipopřečteníkmeneaotázky, ibeznabídkymožností.Výběrzněkolikamožnostívlastnějenusnadňujevyhodnocenítestuaposkytujeurčitoupomocstudentovi,kterývdanéoblastiještěnenítakzběhlýjako odborník. Obtížnějiseučitelůmnavrhujínesprávnéodpovědi–distraktory.Autořiúlohsinemusíjiž zcelavybavovat,včemspočívalproblémpřiosvojovánízkoušenéhotématu,anavrhujípak distraktory,kteréjsouprostudentyirelevantní.Můžeprotobýtvýhodnéúlohunejprvedát studentůmjakootevřenouotázku,nejlépeveformativnímtestu.Distraktorysepakvytvoří zchybnýchodpovědí.Učitelsoučasnězískápředstavu,jakbudevytvářenáúlohaobtížná. Pokudtakovýtopostupzkombinujesdiskusínadodpověďmi,popřípaděvyzvestudenty,aby přiřešení„přemýšlelinahlas“,poskytnemutodalšícennéinformacejakprovýuku,takipro dalšíúpravytestovýchpoložek. Zběhlejšímautorůmtestovýchúlohčastopomůžepěticedoporučení,jakbymělapoložka sjedinounejlepšíodpovědívypadat.Těchtopětdoporučenípomůžetakérecenzentůmpři oponentuřenovýchúloh. 1.Zaměřtesenavýznamnýproblém. Vysokoškolskévzdělávánímástudentypřipravovatproreálnoupraxi,aprotoitestovéúlohy semajíptátnaproblémyrelevantnípropraxi.Neztrácejtečastriviálnímianipřílišsložitými otázkami.Nemásmysltestovatmálopodstatné,marginálníznalosti–takovéúlohyobvykle nicnevypovídajíopřipravenostipropraxi,spíšzkouší,jakkterýstudent„umípsáttesty“. Nepoužívejte„chytáky“,vyhýbejtesenegativněformulovanýmúlohám.Zkoušejteznalosti aporozumění,nikolivpozornost. 2.Zkoušejtevyužitíznalostí,nikolivvybavenípojmuneboizolovanéhofaktu. Delšímedailonekúlohyvyžaduje,abystudentnějakýmzpůsobemvyhodnotilpopsanousituaci ainterpretovalji.Vsumativníchtestechsevyhýbejtezkoušenídefinicaklasifikací–zkoušejte, jestlistudentrozumíobsahupojmůadokážesnimizacházet,popřípadějestlimázařazenípojmudourčitékategoriespojenotakésporozuměním,jakévlastnostidanákategoriemá.Zdase totodoporučenípodařilonaplnit,lzemnohdyjednodušeověřit:zkopírujtecelýkmenúlohydo internetovéhovyhledávače–nemělabysepředvámiobjevitsprávnáodpověď. 3.Naúlohumusíbýtmožnéodpovědětisezakrytýmimožnostmi. Nechejteotázkuzkontrolovatsvýmikolegy.Nejprvejimjidejtebeznabízenýchmožností– mělibynanidokázatsprávněodpovědět.Pokudne,úlohupřepište. 37 3 Testové úlohy 4.Nepoužívejterelativizujícíaniabsolutnítermíny. Textkmeneaninabízenémožnostibynemělyobsahovatrelativizujícítermínyjakočasto, zřídka, výjimečně, většinouapod.Použitítakovýchslovzpůsobí,žeúlohanebudejednoznačná,vrelativizujícímtermínuseskrýváurčitýpohledautora,kterýstudentnemusísprávně odhadnout.Určitásituacenapříkladmůžebýtvzácnázpohleduběžnépopulace,současněje alerelativněčastázpohleduodborníka,kterýseřešenímtakovésituaceprofesionálnězabývá. Mezi„zakázanáslova“,předevšímvnabízenýchmožnostech,patřítakéabsolutnítermínyvždy, nikdyapod.Jenmálokdyněcoplatíopravduna100%,takžepoužitítakovéhoto slovavněkteréznabízenýchmožnostíobvykleznamená,žejdeodistraktor–astudentito snadnorozpoznají. 5.Všechnynabídnutéodpovědimusejíbýthomogenní. Všechnynabídnutémožnostimusejívypadatpodobně–mělybybýtpsanépodobnýmstylem amělybymítpodobnoudélku.Musejíspadatdojednékategorie–napříkladvšechnynabízenémožnostijsoumožnépříčinynějakéhoděje,slovnídruhy,biologickétaxony,pracovní úkony,chemickélátkyapod.Odpovědimusíbýtmožnéseřaditodnejlepšíponejhorší. Obr.3.4.1Napříkladuvlevolzemožnostinabídnutékotázceseřaditodnejhorší(možnostC)ponejlepší(možnostD).Svědčítoohomogenitěnabídnutýchmožností.Pokudstejnouotázkupoložíteněkolikaexpertům,všichni nabídnutéodpovědiseřadívestejnémpořadí.Naprotitomuvpřípaděvpravonenímožnénabídnutémožnostiseřadit–každámožnostspadádojinékategorie,odpovídánapoloženouotázkuzjinéhoaspektu,takžebychompři pokusuoseřazení„srovnávalijablkashruškami“. Příkladotázkysnehomogennímimožnostmi VybertenejlepšítvrzeníoMarfanověsyndromu: A.Postihuječastějimuže. B.Jdeoporuchukolagenníhovaziva. C.Léčísekyselinouhyaluronovou. D.Býváspojensoligofrenií. E.Projevujesenápadněkrátkýmikončetinami. 38 3Testové úlohy Nabízenémožnostimajíbýtseřazenynáhodněnebopodleabecedy.Pokudmožnostiobsahují číselnýúdaj,mělybybýtseřazenépodleněj. 3.4.2Doporučeníprotvorbuotevřenýchúloh Přivytvářeníotázekskrátkouodpovědípropísemnétestydbejtetěchtodoporučení(Jolly 2010): ● Otázkyformulujtejasněajednoduše,vystříhejtesejazykovýchzáludnostíachytáků. Dobráotázkaskrátkouodpovědítestujeznalostkonkrétníchfaktneboschopnostanalyzovatainterpretovatnějakýscénář.Nenívhodnévestejnéúlozesoučasnětestovatschopnostporozumětsložitěkonstruovanéotázce–výsledkyhodnoceníbypakbylyprakticky neinterpretovatelné. ● Pokustesenaotázkuodpovědětzrůznýchúhlůpohledu. Otázka,kteráseptánajednukonkrétnískutečnost,bymělamítjedinousprávnouodpověď. Naopakotázka,kteráseptánamožnévarianty(např.nadiferenciálnídiagnózu),budemít vícesprávnýchřešení.Počítejtestím,žeiotázku,kterávámpřipadájednoznačná,mohou různíčtenářipochopitrůzně.Vždyjevhodné,abyotázkyzkontrolovalrecenzent. ● Napište,jakdlouhouodpověďočekáváte,např.Odpovězte jedním slovem nebo slovním spojenímneboNačrtněte graf funkce....Napištetaké,jakbudeúlohahodnocena. ● Negativněformulovanéotázkypoužívejteopatrně. Kladněformulovanéotázky(„Jakýjenejlepšípostup...“,„Jakájenejpravděpodobnějšípříčina...“)majívětšídidaktickouhodnotu,nežnegativníotázky(„Jakýjenesprávnýpostup“). Pokudužpoužívátenegativněformulovanouotázku,zdůraznětezápornapř.použitímverzálek(„KteréantibiotikumvtétosituaciNENÍvhodné?“). ● Dbejte,abyodpovědinenapovědělanapř.velikostmístaprojejívepsání. ● Pečlivěpřipravtepokynyprohodnotiteleanechejtejezkontrolovatsvýmkolegům společněsúlohou. 3.5Technikytipováníodpovědí Jako testová moudrost(test-wise,testwiseness)seoznačujeschopnost,kteráumožňuje studentovisprávněvybratodpověďnaotázku,anižbyznaloblast,nakterouseúlohaptá (AmericanPsychologicalAssociation2020,TheUniversityofKansasnedatováno).Využívá toho,žeautořivýběrovýchúlohmajíobvyklenejprvedobřerozmyšlenousprávnouodpověď akníaždodatečněvymýšlejídistraktory.Častotakdělajístereotypně,takželzejejichúvahy odhadnout,nebosedopouštějíněkterýchtypickýchnedopatření(Berk2002). Nejdelšíodpověďjesprávná Testovámoudrostvelístudentůmpreferovatnejdelšíodpověď.Někdyjetakésprávnámožnostnaprvnípohledkompletnějšínežostatnímožnosti,nebojespecifičtějšíčidetailnější (Al-Farisetal.2010).Jetotím,žeautořiúlohvesnazeojednoznačnostnapíšísprávnou možnostvelmidetailně,distraktorůmpakvěnujímenšípéči.Můžesetakéstát,žeprotvorbu 39 3 Testové úlohy distraktorůpoužijíneúplnoučásttextusprávnéodpovědi.Typickýmpříklademmohlybýtdřívějšípoložkynapř.vautoškole,nebovtestechbezpečnostipráce,kdenejdelšíznabídnutých odpovědíbývalazpravidlatasprávná. Odpověď„uprostřed“ Pokudlzeodpovědilogickyseřadit(např.jdeočísla)astudentneví,kterájesprávná,tipne siněkterouzprostředních.Kdyžautořiúlohvymýšlejídistraktory,častozvolínějakémenší anějakévětšíhodnoty.Studenti,kteřísijsouvědomítohotopravidla,prototipujíněkterou zodpovědíuvnitřnabízenýchmožností.Tím,ževyloučínejnižšíanejvyššíhodnotu,sepravděpodobnostsprávnéhotipupodstatnězvýší.Nabízenéodpověditakéněkdy„kroužíkolem“ správnéhořešení,takžestačívysledovat,včemspočívávzájemnápodobnost,asprávnou odpověďlzeodhadnout. Příklad: JakájeplochapapíruformátuA4vesrovnánísformátemA6: a)poloviční, b)trojnásobná, c)čtyřnásobná, d)osminásobná. Student, kterýneznáodpověď,vyloučíextrémy,tj.možnostia)ad).Volítedymezib)ac). Odpověďc)jepodobnámožnostema)id)(jdeomocninyčísla2),zatímcomožnostb)se liší.Zkusítedyvybratc)–cožjesprávnáodpověď. Gramatickánávodnost Přitvorběkmenepoložkyadistraktorůjetřebasidátpozor,abygramatickáformanenapovídalasprávnouodpověď.Přitvorběkmeneúlohyautorobvyklejižmávymyšlenousprávnou odpověďaformulacekmenejíbudeodpovídat.Tonemusíplatitodistraktorech,kterémnohdyvymýšlídodatečně,nebojenaposledníchvílimění. Příklad: Zdroj,kterýumožňujenejrychlejizkontrolovat,zdajevoboruněconového,je: a)knihy, b)odbornéčasopisy, c)internet, d)vědeckékonference. Absolutníarelativizujícívýrazy Přikonstrukciodpovědíseautorpokoušívyloučitnedorozuměnítak,žepoužijeupřesňující výrazy,kteréaleposkytujívodítkoprotipování.Pokudněkterámožnostobsahujeněkterý zpřesňující(„extrémní“)termín,např.vždy,nikdy,pouze,nezbytně,musí,všechny,žádný, nemožné,stále,jdeonesprávnouodpověď(distraktor).Naopakrelativizujícívýrazyčasto, zřídka,možná,někdy,obvykle,většinou,můžeapod.bývajívesprávnýchodpovědích. Příklad: Kterétvrzeníosavcíchjesprávné? a)Jdevýhradněosuchozemskéživočichy. 40 3Testové úlohy b)Žádnýsavecneumílétat. c)Mohoumítploutve. d)Všichnimajívyvinutýzrak. Logickýklíč–protikladynebovyčerpávajícívýčetmožností Pokudjsoumezinabízenýmiodpověďmidvěnebotři,kterépokryjívšechnymožnostipřipadajícívúvahu,jistěbudejednaznichsprávná. Příklad: Uvažujmematematickékyvadloshmotnostízávažímadélkouzávěsul.Pokudzvětšíme hmotnostm, a)dobakyvusezkrátí, b)dobakyvusenezmění, c)dobakyvuseprodlouží, d)maximálnívýchylkasezmenší, e)maximálníúhlovárychlostsesníží. Možnostia),b)ac)společněpokrývajívšechnymožnépřípady(dobakyvusezkrátí, nezměníneboprodlouží).Student,kterývyužívátestovémoudrosti,budeuvažovatjenom otěchtomožnostechavůbecnebudeztrácetčasmožnostmid)ae). Přílišjednoducháodpověď Studentipředpokládají,žepoložkybudouobsahovatchytákyasložitosti.Majíprototendenci nezvolitodpověď,kterájejednoducháasamozřejmá.Občasjevhodnétakovousprávnou odpověďzařadit,abysetotoschémaporušilo. Vševýšeuvedené Pokudjemezinabízenýmiodpověďmi„všechnyuvedenéodpovědi“,nebo„niczuvedeného“(ajimpodobné),paktutoodpověďstudentiupřednostní.Navícseukazuje,žeformulace tohototypuvodpovědíchnediskriminujídobřemezilepšímiahoršímistudenty.Nemělyby seprotovtestechpoužívat. Opakujícísejesprávně Učitelčastopřipravujedistraktorytak,abysemuzdálycomožnápodobnésprávnéodpovědi. Můžesetakstát,želzeodpověďuhádnoutporovnávánímnabízenýchmožnostíahledáním, včemseshodují. Příklad: VyjádřetejednotkuohmvzákladníchjednotkáchSI: a)m·kg·s - 3·A - 2, b)m2·kg·s - 2·A - 2, c)m3·kg·s - 3·A - 2, d)m2·kg·s - 3·A - 2 . Vyjádřeníjednotkyohmvzákladníchjednotkáchjenesporněnáročnáúloha.Vidímevšak, žeseodpovědilišípraktickyjenvexponentech.Aexponentysevodpovědíchopakují. 41 3 Testové úlohy Vyberemetedytuvariantuodpovědi,vnížseobjevujívšechnyopakujícíseznaky.Vnašem případějetoodpověďd). Nápovědamezipoložkami Vtestechsemohouvyskytnoutpoložky,kteréjsounápovědouprojinoupoložku.Zvláště udelšíchtestůjevelmiobtížnéudržettentoaspektpodkontrolou.Proprevencitétosituacese používajídvěstrategie.Položkyvpoložkovébancemajínastavenyvzájemnérelaceasystém nedovolívybratdostejnéhotestu„příbuzné“položky.Druhoustrategiíjenabízetstudentům otázkypostupněaneumožňovatnávratkotázkámjiždřívezodpovězeným. Verbálnípodobnost Pokudjsoumezikmenempoložkyajednouznabízenýchodpovědíverbálnípodobnosti,bývá tatoodpověďsprávná. 3.6Automatizacetvorbytestovýchúloh Stím,jakpřibývápočítačempodporovanéhotestování,azvláštěpaksrozvojemadaptivního testování,přitahujípozornostmetody,kterýmibysetvorbatestovýchúlohmohlazjednodušit.Vtradičnímpřístupukekonstrukcitestůvytvářejíjednukaždoupoložkuspecialisténa konkrétníoblast.Nejprveúlohunapíšeautor,potomjidalšíodbornícioponují,následněji pedagogprověřívpilotnímtestuapodlevýsledkujirevidujíaupravují.Teprvepotésepoložkakonečněpoužijeprotestování.Celýprocesjedlouhýanákladný.Vdůsledkutohojestále obtížnějšípokrýtrostoucípoptávkupozkušebníchpoložkách(Drasgowetal.2006).Automatickégenerovánípoložek(automatic item generation,AIG)bymohlopředstavovatvelkouúsporučasuiprostředků,ajeprotopředmětemintenzivníhovýzkumu.Některékoncepty řešenítohotoúkolusedostalyjiždostádiapraktickéhotestování. Vprvnímzkonceptůmůžemeprocesautomatickéhoklonovánípoložekrozdělitdodvou kroků.Autořitestovýchúlohnejprvevytvářejímodelypoložek,kterésloužíjakojakésišablony.Snažísezúlohvydestilovatjejichpodstatu,kterájezásadníproprokázáníznalostí.Na vhodnámístavtěchtošablonáchjsoupaknavrhoványrůznéalternujícítermíny(častostrojově,např.pomocíslovníkůsynonym).Svyužitímsadyzástupnýchtermínůpakalgoritmus změnítutošablonunaskupinusouvisejícíchpoložekvytvořenímvšechmožnýchpermutací. Tímdocházíkegenerování„nových“,nikolivvšaknezávislýchpoložek.Vkonkrétnímběhu testunemůžebýtpoužitavícnežjednapoložkazkaždéskupinyklonů.Navícněkterépermutacepovedoukevznikunesmyslných,nebonepravděpodobnýchkombinací,takžemusíbýt vyloučeny(GierlaHaladyna2012;GierlaLai2012;Gierletal.2012). Jepakpředmětemdiskuse,zdavpoložkovýchbankáchmajíbýtažvýslednéklony,nebo zdrojovéšablonyavariabilnísoučástipoložek.Účelemjezískatpoložky,jejichžpsychometrickécharakteristikybybylyodhadnutelnézeznámýchvýsledkůjinépoložkyzestejné sérieklonů.Díkynáročnémuprocesutvorby,kterývedeknutnostiujasnitsipodstatukaždé položky,jsoutaktovznikléúlohyčastopřekvapivěkvalitní.Poznamenejme,žepoužitelnost strojověgenerovanýchvariantjezávisláinakonkrétnímjazyce.Napříkladvčeštiněsjejí komplikovanougramatikoubytobylomimořádněobtížné. 48 4Provedení testu kefektivitědalšíhozpracováníjenejrozšířenějšídotazníkováformavelektronicképodobě, kdejemožnéodpovědisnadnozpracovatapředatvpřehlednémformátupracovnískupině. Nížejeuvedenvýčetvhodnýchmožností,jaklzesubjektivnízpětnouvazbuprovádět: ● dotazník, ● diskusnífórum, ● diskusevefrontálnívýuce(vpřípaděmenšíhomnožstvístudentů,přivětšímpočtusetato variantastáváneefektivní), ● poznámkyvtestunebotzv.přemýšlenínahlas,„think aloud“(TavakolaDennick2011a), kdyjsoustudentižádáni,abypřiřešenítestukomentovalinebozaznamenávalisvémyšlenkovépochody. 4.1.2Objektivnízpětnávazba Objektivnízpětnávazbajedůležitáprosvounepopiratelnost,kteráseopíráomatematické zpracovánívýsledkůpilotníhotestu.Závěryobjektivnízpětnévazbydávajíindiciekpřípadné modifikacinevyhovujícíchtestovýchpoložek.Mezinejznámějšíanejhojnějiužívanévýstupy hodnocenítestůpatří: ● zhodnoceníobtížnostitestovýchúloh(identifikacesnadnýchaobtížnýchúloh,nevyhovujícíchpoložek,možnostuspořádáníúlohpodleobtížnosti), ● určenícitlivostijednotlivýchúloh(analýzaakorekcenebovyřazeníúlohsnevyhovující citlivostí), ● vyhodnoceníkvalitytestujakocelku,předevšímjehoreliability a validity . Přivyhodnocovánívýsledkůtestupilotnískupinymusímemítnapamětimožnéodlišnosti pilotnískupinyodcílové,způsobenénapř.odlišnoumotivacíobouskupin.Tytoodlišnostije dobrépředemminimalizovat,např.vhodnou„legendou“provázejícípilotnítest. 4.2Cvičnétesty Pokudmajístudentipříležitostabsolvovatcvičnétestyzlátky,kterouseučí,mátočasto příznivývlivnavýsledkyvýuky–jdeotzv.efekt testování.Udůležitýchtestůseproto častoorganizuje„testnanečisto“(anglickymock test).Studentidíkytomuzískávajímožnost ujistitse,ženebudeproblémstechnickoustránkuvěci(upočítačovýchčidistančníchtestů), vyzkoušetsitestovýformát(položkysjednounebovícesprávnýmiodpověďmiapod.),ověřit sipředemznalostiačasovounáročnost.Tytozkouškynanečistovýznamněsnižujítestovou úzkost,zvyšujímotivacia„efektemtestování“ipřipravenoststudentů.Zpohleduorganizace tytotestyumožňujíkalibrovatnovépoložky,vyzkoušetsiorganizacizkoušekpředostrým běhemazejménapodpořitpřípravustudentůposkytnutímzpětnévazbyojejichaktuálním výkonu. Zkouškananečistoobvykleobsahujetytéžsoučástijakoostrýtest.Všechnyčástitestuse vyhodnocujíaúčastníkůmsenabízízpětnávazbapoukazujícínajejichsilnéaslabéstránky. Studentůmtoumožňujepoučitsezesvýchchybazískatpraxiasebejistotupředfinálnímtestem. 49 4 Provedení testu Prostudentamajícvičnétestyřadupřínosů:  ● Nastavenísprávnéstrategie.Pokudjetestčasověstresující,můžesitostudentpři vypracovávánícvičnéhotestuuvědomitapřizpůsobittomusvoustrategiipráce sčasem(např.časověnáročnéúlohyodložínakonec).  ● Získánípraxe.Zkouškyvelkéhovýznamumohouúčastníkystresovatasnižovattak jejichpřirozenývýkon.Tojemožnéomezitpřípravouvpodmínkáchpodobnýchskutečnézkoušce.  ● Analýzavlastníhovýkonu.Pokaždémtestubystudentimělivěnovatčasanalýzesvých chyb.Mělibypečlivěprojítkaždoučásttestu,abyzjistili,kdedělajínejčastějichyby, amohlisvoupřípravunatatomístazaměřit.Pomocítohotodruhupřípravymohou studentilépeporozumětotázkám,kterébymohlybýtpoužityvzávěrečnémtestu. Metaanalýzaprovedenávroce2017,aleidalšípráceukázaly,žecvičnétestyajejichzpětná vazbamajívelkývlivnavýsledkyučeníalzejepoužítjakoúčinnýnástrojpropodporuučení.Ukazujese,žestudenti,kteříseúčastnilicvičnýchtestů,častodosahujílepšíchvýsledků nežstudenti,kteřísepřipravovalijinýmzpůsobem,např.opakovánímučiva,procvičováním apod.Podleněkterýchstudiíjsoucvičnétestyproučeníprospěšnějšínežopakováníučiva avšechnyostatnímetody,kterésesrovnávaly.Cvičnétestylzeprotodoporučitkefektivní podpořeučeníajakosoučástzpětnévazbyprostudentyiučitele(Adesopeetal.2017;Yang etal.2019). 4.3Administracetestu Administracetestu–prezenční,nebodistanční? Díkyrozvojipočítačovétechnikyjemožnévolit,jakýmzpůsobembudetestadministrován. Můžetobýtpísemně(paper based test,PBT),neboonline(computer based test,CBT).Každýztěchtopřístupůmásvévýhodyasváomezení. 4.4Papírovétestování Papírovétestytvořenépoložkamisvýběremodpovědísedočkalymasivníhorozšířeníjižza 1.světovéválkyvreakcinapersonálnípotřebyamerickéarmády.Bylotehdynutnérychle aefektivněklasifikovatvelkýpočetrekrutů,atosenedalořešitdotédobyobvyklouindividuálnípracípsychologů(Dubois1970). Díkysvéefektivitěsetestovánípomocípředtištěnýchtestůrychlerozšířilododalšíchoborů, kterédřívespoléhalynaindividuálněadministrovanétesty–vzdělávání,testováníinteligence adalších. Vanglickypsanéodbornéliteratuřeserozlišujídvapojmy:čistěpočítačové testování(computer based testing)apočítačem podporované testování.Vedruhémpřípaděmůžesběrodpovědíprobíhatipomocípapírovýchdotazníků(jdetedyopaper based testing),pomocívýpočetnítechnikysepakaletestyvyhodnocujíadáleanalyzují. 50 4Provedení testu Počítačovétestováníjejistěmeta,knížcelýoborsměřuje.Přestomápapírové testovánísvůj významnejenpřinedostatkupočítačovéhovybavení,aleijakosnadnývstupdosvětatestováníapoužívánísouvisejícíchmetodik.Vhodnězvolenéprogramyatechnologienámmohou výrazněulehčitpráci. Vnejjednoduššípodoběpapírovéhotestustačívolněvytištěnéúlohysnabídnutýmiodpověďmi.Tradičnívyhodnocováníodpovědníchformulářůpomocíprůsviteksešablonousprávných odpovědívykazovalodíkylidskémufaktoruvelkouchybovost,častosrovnatelnouspočtem chyb,kterévodpovědíchudělalrespondent.Snástupemoptickýchskenerůatechnologie optickéhorozpoznáváníznaček(optical mark recognition,OMR)jižčteníodpovědníchformulářůneníproblém.Poměrněsnadnolzeanalyzovatiopravyazměnyodpovědí,které zkoušenýprovedl.Proautomatizovanévyhodnoceníjeovšemtřebanavrhnoutformuláře tak,abybylysnadnostrojověčitelné,tedyvyhovovalypožadavkůmnaoptickérozpoznáváníznaček.Příkladystrojovězpracovatelnýchdotazníkovýchlistůlzevyhledatnainternetu podtermíny„bubbleanswersheet“,„OMRanswersheet“,případně„scantrontestsheets“. Testylzegenerovatatisknoutpřímoizprogramůpodporujícíchtestování,jakojespecializovanýtestovýprogramRogō.Tenpodporujetiskstrojověčitelnýchformulářů,včetně vytvářeníněkolikaverzítestusrůzněseřazenýmiúlohami.TisktestovýchformulářůumožňujeiLMSMoodle,kterýmáprotvorbustrojověčitelnýchformulářůrozšířeníQuiz OMR . Zatímcotisktestovýchformulářůjevtestovacíchprogramechčastozahrnut,čteníarozpoznávánívyplněnýchformulářůnenívejmenovanýchtestovacíchsystémechřešeno.Jenutné využítexternířešení,např.osvědčenýkomerčnísoftwareRemarkOffice. Výhody ● Papírovétestovánívětšinouvyužívápředtištěnéformuláře,vnichžtestovanývyznačísvé odpovědi.Výhodouje,želzesouběžněadministrovatvelkýpočettestů. ● Odpovídánínapapírujeproněkterétestovanéintuitivnějšíakomfortnější,nebudívnich obavy,jestlizvládnouprácistechnikou. Nevýhody ● Nevýhodoujenepružnostceléhoprocesudanápoužitýmitechnologiemi. ● Nelzezískatněkteréinformace,např.orychlosti,kteroutestovanýodpovídal. 4.5Počítačovétestování Elektronickéhodnocenísezvelkéčástivyvinulozkonvenčníchforemhodnocení.Původní papírovétestyaodpovědníformulářebylypřevedenydodigitálnípodobyadoručoványtestovanémubuďaplikacíběžícínalokálnímpočítači,alesrozvojemtechnikydalekočastějion- -line,prostřednictvíminternetu.Masivnínárůstelektronickéhotestovánípozorujemezvláště vposledníchdesetiletech(Egarteretal.2020).Ktomusenověotevírátestovánípomocí mobilníchplatforem(Denisonetal.2016).Prorealizacion-linetestováníjekdispoziciřada softwarovýchnástrojů.Najednustranutojsouspecializovanéprogramy,kteréřešíjentestování(např.Rogō)nebojsoutestovacímodulysoučástírůznýchkomplexníchnástrojů(např. LMSMoodle). 51 4 Provedení testu Výhody Počítačovéhotestováníjeoprotipapírovémunesrovnatelněflexibilnější.Umožňujevzadáníúlohvyužívatmultimédia,takéobrázkypřiněmneztrácejíkvalitu.Počítačovétestování taképřinášířaduvýhodproadministracitestu,řízeníjehoprůběhu(jenapř.možnénastavit jednosměrnýprůchodtestem,hotovéúlohysemohouuzamknoutapod.).Obrovskouvýhodouprobezpečnosttestůjemožnostsledovat,jaktestovanýodpovídalvčaseajakdlouho mukteráúlohatrvala.Mimotopočítačovétestováníotevírázcelanovémožnostiadaptivníhotestování.Přímévyplňováníazpracovánítestunapočítačipodstatněurychlujejeho vyhodnocení,cožstudentiočekávajícízpětnouvazbuvelmikvitují.Elektronickétestování jeobecněméněchybovéavedekezvýšeníkvalityhodnocení(Denisonetal.2016).Díky počítačovémutestovánípronikajídohodnocenínovéformátytestovýchúloh,využívající napříkladmožnostvyznačitodpověďvobraze.Avneposlednířadějepočítačovétestování nákladověefektivnějšíaekologickyšetrnějšínežjehopapírováobdoba(Dennicketal.2009). Nevýhody Počítačovétestováníjevesrovnánís„papírovým“limitovanévýpočetnítechnikou,kterou máprovozovatelkdispozici.Počítačovýsystémmůžebýtnapadenvirem,nebohackery, případněselhatvdůsledkuztrátynapájenínebokonektivity.Předelektronickýmtestovánímjetřebazaškolittestovanéipersonáldopoužíváníelektronickéhotestovacíhosystému. Případnéřešenísporůsnespokojenýmiúčastníkytestumůžebýtkomplikovanější,protože neníkdispozici„papírovýdůkaz“,jakébylozadáníajakstudentodpověděl.Přitestování mnohaklientůnajednoumohouvznikatzvýšenépožadavkynapřenosovoukapacitu,zvláště vpřípaděmobilníchzařízenísbezdrátovýmpřipojením.Odnasazeníelektronickýchforem hodnocenímohouodrazovatvysokévstupnínáklady(HW+SW),aletutonevýhoduvyvažují pozdějšínízkénákladyprovozní. 4.6Distančnítestování Srozvojemdistančnívýukyseobjevilapotřebapřevéstitestovánínanovoudistančníformu. Narozdílodústníhodistančníhozkoušení,kterézezkoušeníprezenčníhopřebírávětšinu metodologieadoplňujejijenovideokonferenčnínástrojprokomunikaci,distančnítestování seodprezenčníhopodstatněodlišuje.Dopopředísedostávádůraznavěrohodnostaminimalizacipokušenísivnepřítomnostiučitelevylepšitvýsledkytestupomocínepovolených pomůcekazdrojůinformací. Prouchovánívěrohodnostihodnoceníjetřebatestovánípřizpůsobitdistančnímpodmínkám. Jsouvprincipudvěcesty,jaktohodosáhnout:proktorovanétestováníatestovánís„otevřenouknihou“. 4.7Proktorovanétestování Jsousituace,kdyjepotřebavyzkoušetkandidáty,kteřínejsouvšichninastejnémmístě.Většinousevyžaduje,abykezkoušcevšichnipřijelidomístakonání.Toalenemusíbýtvždy efektivní,nebotodokoncenemusíbýtaniuskutečnitelné. 52 4Provedení testu Klasickýmřešenímtakovésituaceje,žesezkoušeníshromáždídoněkolikacenter,kam zanimipřijedezkušebníkomise.Vevšechmístechmůžezkouškaprobíhatsoučasně,nebo ivrůznýchčasech.Vytvářejísetedyparalelnítestovásezení,případněsevyužívajíiparalelní verze(varianty)testu. Plněkvalifikovanýzkoušejícímůžebýtzastoupenýdohlížitelem,proktorem.Proktornení odborníkemvezkoušenéoblasti,nemůžetedybýthodnotitelemtestu,nedokážektestu poskytovatzpětnouvazbuaexpertanenahradíanivjinýchrolích.Můževšakzajistitprostředí apodmínkyproregulérníprovedenítestu. Proktorované zkoušenízískalooblibunejprvepřiověřováníkompetencíarmádníchdůstojníků,kdybylopotřebavyzkoušetlidirozptýlenépocelémsvětě,nebovmezinárodníchjazykovýchzkouškách.Vtypickémuspořádánísezkoušenídostavídovybavenéhozkušebního centrasproškolenýmpersonálem,kterýověříidentituzkoušeného,poskytnemutestadohlíží,abyprůběhzkouškyodpovídalvypsanýmpravidlům. Anidohlížitelnemusíbýtnamístě,kdesepíšetest,fyzickypřítomen.Můženatestované dohlížetnadálku(vzdálené proktorování).Tatocestaumožňujevyužítstávajícítyptestů adoplňujejedůslednýmonlinedohledem.Popsanámetodikaonlinedohledunaddistančním testovánímsezhrubapředdesetiletyrozvinuladosamostatnédisciplíny–„onlineproktorování“.Proktorovánísesnažítechnickýmiprostředkyeliminovatrizikanežádoucíhochování účastníkůtestu.Pokrývácelýprocesodidentifikacezúčastněných,kontrolyprostoru,vněmž jetestovaný,umístěníkamer(y),kontrolyspuštěnýchprogramůvpočítači,ažpoodeslání avyhodnocenívýsledků. On-lineproktorovanétestovánímádvěhlavnímodality.Jednaktestovánívevelkémměřítku,kdesejakovýhodajevíúsporyzrozsahu.Druhoumodalitoujsoudistančnízkoušky velkéhovýznamu,kterémajívyššíbezpečnostnístandardyapoužívajísenapříkladpro přijímacíavýstupnízkoušky,procertifikaceapod.Obatypysenabízejíikomerčnějako služba. Proktorovanétestovánívelkéhorozsahusezpravidlaorganizujeprostovkyažtisíceúčastníků.Prodoručovánítestunejčastějivyužívámírněmodifikovanénástrojeproběžnéelektronickétestování(Moodle,BlackBoard,...),případněrozšířenéomodulyomezujícínapř.otevírání dalšíchaplikací.Prodohledsevtakovýchvelkokapacitníchsystémechčastovyužíváumělá inteligence,kterádetekujenestandardníchováníúčastníků.Přivolběsoftwareproonline testováníjepotřebabrátvúvahu,jaksechovápřiztrátěspojení.Pokudsenapř.rozpadne spojenípřitestovánívMoodle,jsouvšechnadatavyplněnátestovanýmztracena.Pokuddojde kvýpadkuspojenípřitestovánívRogō,jeztracenapouzeposlední(aktuálnězodpovídaná) položka. 4.7.1Prevenceadetekcepodváděnípřidistančnímtestování Prevencepodváděnípřiproktorovanémtestováníseřídístejnýmipravidlyjakoprevence podváděnípřitestování,kteréproberemevsamostatnékapitoleobezpečnostitestování. Specifikouproktorovanéhotestováníjenepřítomnostpedagoganamístě,cožmůžeproněkteréstudentypředstavovatvýzvukhledáníneetickýchmetodovlivňovánívýsledku.Protojepři 53 4 Provedení testu distančnímtestovánívěnovánavelkápozornosttechnickýmřešením,kteránahrazujíosobní dohledaomezujímožnostipodvádění.Provedenídohledumůžemítněkolikpodob,lišících semírouzabezpečení,počtemtestovanýchacenou. Živéproktorovánívreálnémčase Kekontrolesloužístreamovanévideozwebovékameryamobilníhotelefonuvreálném čase.Tentodruhvzdálenéhodohleduvytváříobtížněřešitelnýsouběhpožadavkůnapřenos obrazu.Narozdílodvideokonferencí,kdevevysokémrozlišenístačípřenosodpřednášejícího,udohledovýchsystémůjepožadaveknapřenosobrazuvevysokémrozlišeníodvšech testovanýchosob.Tobypřisdíleníplnéhovideavedlokrychlémuvyčerpáníšířkypřenosovéhopásmaatímkomezenímaximálníhopočtuosobvjednomběhutestu.Používajíse protovýkonnékomprimacevidea,obrazsepřepínámezitestovanými,nebosepřenášejíjen jednotlivéfotografiepořízenévnáhodnýchčasech. Proktorovánípomocízáznamuadodatečnéhopřezkoumání Průběhtestovánísezaznamenáváazáznamseposlézevyhodnocuje,čiuchovávápro pozdějšívyhodnocení.Výhodoujemožnosttestovatvětšískupinysmenšímmnožstvím dohlížitelů.Proktorovánípomocízáznamuobrazuzwebovékamerymáprokazatelnépříznivéefektynazmírněníakademickénepoctivostivonlinetestech(DendiraMaxwell 2020).Nicméněproblémysešířkoupřenosovéhopásmajsoustejné,jakovpřípaděživého proktorování. Proktorovánípomocíuměléinteligence Dohledjedvojstupňový.Vprvníúrovnisledujezkoušenéstudentyuměláinteligence,která vyhodnocujechovánístudentavreálnémčase.Vpřípaděincidentuupozorníživýdohled, kterýsituaciřeší.Výhodoujeopětmožnostobsloužitvelkýpočettestovanýchsmalým počtemdohlížejících.Pokudaplikacesumělouinteligencíběžínapočítačitestovaného,snižujísenárokynapřenosovépásmoaotevírajísemožnostiobsloužitskutečněvelképočty testovaných. Kromědohleduseobvyklenasazujíitechnickářešeníomezujícímožnostinelegálníhozískáváníinformacízinternetuvprůběhutestování.Používajísektomuspeciálněvyvinuté internetovéprohlížeče–např.SafeExamBrowseradalší.Programytohototypuobvykle skvělefungujínastandardizovanýchpočítačíchvučebnách,alepřijejichpoužitívdomácímprostředístudentůmohouvznikatproblémysrůznýmivariantamioperačníchsystémů aneslučitelnýmikombinacemijinýchprogramů. Zvláštníprohlížečneníjedinýmřešenímzmíněnéhoproblému.JakoalternativabylvyzkoušenjavascriptovýprogramPageFocus,kterývelmicitlivěaselektivněmonitorujepokus ootevřenídalšíhooknaaupozornítestovanéhonajehonedovolenéjednání(Diedenhofen etal.2017). 4.7.2Kontroverzeproktorovanéhozkoušení Diskutovanýmpedagogickýmproblémemproktorovanéhozkoušeníje,žea prioripohlížína testovanéhosnedůvěrouasvýmitechnickýmiopatřenímipředjímánežádoucísoutěž–„kdo 54 4Provedení testu skoho“.Nevýhodproktorovanéhoonlinezkoušeníanámitekvůčiněmujevíce(Nigamet al.2021): ● Docházíknežádoucíintruzidosoukromístudenta,napříkladuchovávánímobrazového záznamuzjehodomácnosti.Vznikajíproblémysuchovávánímosobníchabiometrických údajů. ● Vytváříseprostředívzájemnénedůvěryapodezřívání. ● Zvyšujesetestováúzkost. ● Mezizkoušenéhoazkoušejícíhosestavířadatechnickýchprostředků,znichžkaždýmůže selhat(ztrátaspojení,zamrznutísystému...).Některékrokytestováníjsousložitější(např.ověřeníidentity,kontrolapracovníhomísta).Vznikajíprotorozsáhlépokynyascénářeproproktoryizkoušené.Proškolovánívšechzúčastněnýchmůženežádoucímzpůsobemodvádět pozornostodsamotnézkoušenéoblasti,nanižbysemělistudentipředtestemsoustředit. ● Onlinezkoušeníjeovlivněnotím,dojakémíryjezkoušenýseznámenspoužitýmitechnickýmiprostředky.Závisínatomrychlost,kteroudokážeodesílatodpovědi,aletakéjistota, sekterouodpovídá,atestováúzkost.Přechodnavzdálenézkoušenítakmůževnéstdo hodnocenívýznamnézkreslení. Vsoučasnédoběneníuzavřenádiskuse,zdapřínosyonlineproktorovanéhozkoušeníaproktorovanéhozkoušenívyužívajícíhoumělouinteligencivůbecmohouvyvážitjejichnevýhody arizika(Nigametal.2021).Někdyvšaknenívyhnutíaproktorovanétestováníjetřebapoužít isvědomímtěchtoproblémů. 4.7.3Alternativnípřístupy Velkáčástproblémůspojenýchsproktorovanýmzkoušenímvevysokoškolskémvzdělávání souvisíseznalostnímpojetímhodnocení.Vzdálenézkoušeníohrožujevevětšímíře,nežje tomuuprezenčníhozkoušení,jenněkolikhrozeb:záměnaidentityzkoušeného(tj.odpovídá někdojiný,nežbyměl),nedovolenáspolupráce(tj.zkoušenémuněkdopomáháčinapovídá) azejménapoužitínedovolenýchzdrojůapomůcek. Ačkolivsoučasnétechnicképrostředkyumožňujívideálníchpodmínkáchpoměrněspolehlivěověřovatidentituzkoušeného(např.ipodlebiometrickýchznaků),přičasovémstresu,velkémpočtutestovanýchašpatnékvalitěspojenímůžebýtidentitasnadnopodvržena. Zvláštěpokudmápodvádějícípovědomíopoužitýchtechnickýchprostředcíchaomezeních, jimžzkoušejícíčelí.Vtakovémpřípadějenamístězvážitnahráníauloženíidentifikační procedury,coždávádodatečnoumožnostřešitpřípadnépochybnosti. Velkýmohroženímvalidityvýsledkůjenedovolenáspolupráceapoužívánínedovolených zdrojůapomůcekběhemzkoušky.Pokudvyčerpámetechnickéaorganizačníprostředkypro jejichvyloučení,můžetatorizikadálesnížitvhodnákonstrukcetestuatestovýchúloh.Napovídání(vzájemnáspolupráce)jesnadnéuuzavřenýchúloh.Efektnedovolenýchpomůcekje podstatnýzejménapřizodpovídáníznalostníchotázek. Vhodnoucestouseprotozdákonstruovatvzdálenézkouškytak,abyověřovalypředevším dosaženívyššíchvzdělávacíchcílů,nikolijensamotnézapamatováníavybavenífaktickýchznalostí.Konkrétnífaktickéúdajesetotiždajívprůběhutestunejsnázenajítpomocí 55 4 Provedení testu vyhledávače,vpoznámkáchnebovliteratuře,avkrátkémčasepoužít.Naprotitomupři řešeníúlohzaměřenýchnahlubšíporozumění,nebodokonceurčitédovednostinepomůže hůřepřipravenémukandidátovianivyhledávánínainternetu,aniopisovánízknihčitaháků– samotnáizolovanáfaktaprozodpovězeníúlohynestačí.Obtížnějšíjetakénapovídánínebo spoluprácesdalšíosobou. Častýmdoporučenímje,abysevzdálenézkouškyconejvícekoncipovalyjako„zkoušky sotevřenouknihou“(open book).Vsoučasnédoběsiceještěnenídostatekstudií,kterými bybylomožnétotodoporučeníjednoznačněpodpořit,jevšakdobřepodloženéteoreticky. Vúvahujetřebabrátivztahymezizkoušenýmazkoušejícími.Atmosféradůvěryaférovosti doznačnémírypotlačujepokusyopodvodnéjednání.Méněpřísnýdohledseprotojevíjako vhodnéřešeníhlavnětehdy,pokudvyučující/zkoušejícípracujesestudentydlouhodobě,jsou vytvořenékvalitnívztahymeziučitelemastudentyimezistudentynavzájem,apokudse zkoušívyššíúrovněvzdělávacíchcílů.Naprotitomutypickousituací,kdysenelzeobejítbez „tvrdého“přístupuapřísnéhodohledu,jsouvysocekompetitivnízkoušky,unichžsekandidátiazkoušejícínavzájemneznají,např.přijímacínebocertifikačnízkoušky. 4.8Testovánísotevřenouknihou Testovánísotevřenouknihou PozoruhodnýmpřínosempandemieCOVID-19bylprudkýrozvojtestovánísotevřenouknihou.Testyazkouškysotevřenouknihouumožňujípedagogůmklástotázky,jejichžzodpovězenínenímožnéjennazákladěpřístupukinformačnímzdrojům.Vyžadujívyššíkognitivní dovednosti,vyhledáníazpracováníinformacíakritickémyšlenímístomemorování.Vmnoha ohledechjezkouškasotevřenouknihoubližšíběžnépraxi.Open-booktestovánípřipravuje studentynaprácivdigitálnímsvětě(Sametal.2020). Zdáse,žedohledarestrikcezajišťujícípřidistančnímtestovánírovnépodmínky,nejsoujedinou možnoucestoukespravedlivémuon-linetestování.Zvláště,kdyžzesílenákontrolazestrany pedagogůvedekreakcizestranyčástistudentů,kteřípodtímtotlakemhledajístálesofistikovanějšícesty,jakrestrikceobejít.Tímsedoohniskavztahůmezistudentemapedagogemdostává místospoluprácenežádoucísoutěž„kdoskoho“vpodvádění.Tatosituacesezvláštěvyhrocuje přitestovánívonlineprostředí,kdejepřiproktorovanémtestovánídozorvelmizřetelnýakaždá nedokonalostvzabezpečenítestumůžesnadnovéstkjehoznehodnocení. Svojirolihrajeispolečenskýatechnologickýpokrok.Novístudentijsou„digitálnídomorodci“ajsousnovýmitechnologiemizvyklínativněpracovat.Novákomunikačníavýpočetní zařízeníjsoustálekompaktnějšíasofistikovanější.Dobudoucnabudetéměřnemožnézabránitstudentůmvjejichpoužívánípřidistančníchzkouškáchabudestáleobtížnějšíjimbránit iuzkoušekprezenčních.Použitíonlinezdrojůběhemzkouškysetakstanenekontrolovatelné ajejichzákazbudepraktickynevymahatelný.Radikálnírestrikce,jakonapř.vypnoutvden přijímacíchzkoušekdatovépřipojeníamobilníslužbyvcelézemi,senezdajíbýtvnašich podmínkáchsprávnou(anižádoucí)volbou(Esemes.cz2014). Abychomzachovalirovnostpodmínekaakademickouintegritu,můžemevnovýchpodmínkáchpřesunouttěžištěhodnoceníodtradičníchtestů(sezavřenouknihou)ktestům 56 4Provedení testu sotevřenýmpřístupemkinformacím.Netestovatjižtoliksamotnéznalosti,alepřesouvat pozornostktestovánídovedností.Klasickétestypoužívámezesetrvačnostiačastojenproto, žejsmedřívenebylischopnidovednostihodnotit–jenačasetozačítměnit. Přechodnaopen-booktestováníznamenáuzpůsobitceloutestovouagendunovésituaci.Klasickétestováníumožňujeklástotázkyzaměřenénavybaveníjednotlivýchinformací.Pokud uvažujeteotestovánísotevřenouknihou,znamenátoposunnavyššíúrovněBloomovytaxonomie.Jetřebapoložitotázky,kterévyžadují,abystudentiaplikovalisvéznalostinanové situaceapoužilianalytickéakritickémyšlení.Abytakovýpřístupbylvůčistudentůmspravedlivý,doporučujesenechatstudentyprocvičitsitytopokročilejšíkognitivnídovednosti dříve,nežjebudoupotřebovatvtestu. Přepracovattestynapodobu„sotevřenouknihou“jenesmírněnáročné.Praktickyjepotřeba opustitvšechnyznalostnítestovépoložkyavypracovatnové,navyššíchúrovníchBloomovy taxonomie,kterébytestovalyporozuměníadovednosti. Přínosy Jednouznejtěžších,aleinejpřínosnějšíchvěcí,kterémusítevyřešitpřipřechodunaopen-book testování,jezměnapohledunaakademickévzdělávání.Pokudbudeteupřímní,připustíte,že vesvévlastnípraxineustálevyhledáváterůznéinformace,vzorce,podrobnosti.Typotom aplikujetenakonkrétnísituaci,provádítejejichsyntézuapostupnětvořítesvouvlastnípráci.Našistudentibudouvbudoucnudělattotéžamělibychomjenatopřipravit.Open-book hodnocenímusímestrukturovattak,abyměřilojejichschopnostdělattutoaplikaciasyntézu, místoabychomtestovalizapamatováníjednotlivýchinformacích,kterézapomenouzaměsíc. Mohoutedytesty/zkouškysotevřenouknihoupomociřešitproblémpodváděnípřidistančnímzkoušení?Zdáse,žemohou,neboťnedávnésystematicképřehledyprokázaly,žetesty sezavřenouaotevřenouknihoudávajísrovnatelnévýsledky(Sametal.2020,Durningetal. 2016). Alenejento.Open-booktestymohoupomocizapojitstudentydoprocesůreflexivníhoakritickéhomyšlení.Taképodporujíjejichdigitálnígramotnost,kritickémyšleníaprocesyceloživotníhoučení,cožjsouvšechnovýznamnéingredienceprobudoucíuplatnitelnostabsolventů. Zagury-OrlyaDurning,alenejenoni,pokládajízapravděpodobné,ževbudoucnostisebudemesetkávatshybridnímmodelem,vněmžstudentibudouhodnocenipomocíkombinace zkoušeksotevřenouazavřenouknihou.Prvníčástzkouškybymohlabýtsezavřenou knihouahodnotilabystudentypodletoho,cobymělivědět,anižbynahlíželidoučebnic. Druháčástizkoušky(sotevřenouknihou)bybylazaměřenanavyššíkognitivníúrovně,na dovednosti,kteréjsourelevantnípropraxizaloženounadůkazech(Zagury-OrlyaDurning 2021,Johannsetal.2017). Rizika Jednímzrizikpoužívánízkoušeksotevřenouknihoujeto,žeučitelénemusínazačátkuvědět, jaknavrhnoutefektivnízkušebníúlohy,kterévyžadujíkritickémyšlení.Studentimohoubýt ukolébánifalešnoupředstavou,žesiběhemzkouškybudoumocivšedohledatařádněsena ninepřipraví.Můževznikatmylnýpředpoklad,žezkouškabudesnadnáavšechnyodpovědi půjdenaléztvučebnicinebovjinýchpovolenýchzdrojích. 57 4 Provedení testu Ipřizkoušcesotevřenouknihoumusíučitelvymezitokruhypovolenýchzdrojůinformací, abybylazachovánarovnostšancí. 4.8.1Doporučeníprotvorbuotázekdotestůsotevřenouknihou Protestovánísotevřenouknihoubudouužitečnézejménaotevřenétypypoložek,kteréposkytujístudentůmvíceprostoru,tedynapříkladotázkystvořenouodpovědí.Používejteúlohy založenénapříběhu,kterévyžadují,abystudentiuplatnilikritickémyšlenívreakcinaspouštěcíscénář.Předložtestudentůmúdajeaptejtese,cotomůževrámcidanéhoscénářeznamenat.Codalšíhotomohloovlivnit,jaksetodáověřitatd. Uveďmeněkolikpříkladůotevřenýchpoložekvhodnýchproopen-booktestování(roztříděnýchpodleúrovníBloomovytaxonomie): ● Aplikace  ■ Seřaďte...,abystetímdemonstrovali... ● Analýza  ■ Identifikujtechybuvdůkazunebovýpočtu.  ■ Vysvětletetutosituacipohledemteorie...  ■ Jakéjsouprotiargumenty...  ■ PročsevýsledekAlišíodvýsledkuB?  ■ JakýjevztahmeziXaY ● Syntéza  ■ Popis experimentu.Jakýočekávátevýsledek?  ■ Popištedalšíkrokvtomtoprocesu...  ■ Kterámetodajeprototonejlepší?  ■ Kterýargumentjenejsilnější? ● Hodnocení  ■ Posuďtesituacizatohotostavukritérií.  ■ Vyhodnoťte,posuďte,doporučte,cobybylolepší,...  ■ Jakézměnybysteprovedli?  ■ Cobysestalo,kdyby... Používejtevotázkáchformulacetypu:„cojenejvhodnější“,nebo„cojenejdůležitější“,což studentyvedeformulováníúsudkůapostojů. Testovánísotevřenouknihouakompetencedigitálníhověku ● Vdoběvysokédostupnostiinformacínabývánavýznamustudentovaschopnostsprávnězformulovatotázku.Samotnéinformacejsousnadnodostupné,alebezschopnostiposouditsituaci azformulovatotázku,kterázníplyne,nenímožnéjeefektivněvyužít. ● Dopopředísedostávápotřebaorientovatsevesvětě,kdejeinformacíspíšmnohoajejichrelevancejenejistá.Informacesimnohdyprotiřečí,včetněvědeckýchstudiídodržujících„evidence based“přístup.Orientovatsevtéto„džungli“budepatřitkeklíčovýmkompetencímdigitálního věku. 64 5Hodnocení a klasifikace studentů student.Pakseurčí,jakvelkoučástcelkovéhopočtustudentůtvořítatoskupina.Percentilové pořadíPRiproosobusi-týmnejhoršímcelkovýmskórelzeodvoditprostřednictvímvztahu: kdeNijekumulativníčetnostudanéhovýsledku,niječetnostdanéhovýsledkuanjepočet testovanýchstudentů.Kumulativníčetnostvyjadřujepočetstudentů,kteřídosáhlidaného nebohoršíhovýsledku. 5.3.2z-skóre Dalšímetodoustandardizacevýsledkustudentajevýpočetjehoz-skóre.Prodanéhostudentajehoz-skóreukazuje,nakolikjejehovýsledeknadnebopodprůměrem(měřenovjednotkáchsměrodatnéodchylky).Jednodušetedymůžemez-skórevypočítatjako rozdílstudentovahrubéhoskóreXaprůměruceléskupiny , vydělenýsměrodatnou odchylkouSD: Pomocíz-skóremůževyučujícísnadnoidentifikovatžákyvýtečné(z>2)anaopakvelmi slabé(z<−2).Snadnomůžetaképorovnatstudentovyvýsledkyvrůznýchčástechtestu. Podrobnějšírozbordalšíchmetodstandardizace(např.C-škálaadalší)jekdispozicinapříkladvpublikaciautorůJeřábkaaBílkaTeorie a praxe tvorby didaktických testů(Jeřábek 2010). 5.4Absolutnístanovenímezíproprůchodtestem Absolutníhodnocení(standardizace)jezpůsobhodnocenítestu,přiněmžsevýkonstudenta porovnávásabsolutnímikritérii–spožadavkemnanabytívědomostínebodovedností,které musímít,abybylomožnopovažovatjehoznalostzadostatečnouproúspěšnéabsolvování testu(akurzu).Kritériemsepřitommyslídosaženíkonkrétnívědomostiaschopnosti,nikolivdosaženíurčitéhopočtubodůvtestu.Např.stanovíme,žepoabsolvováníkurzuprvní pomocibymělfrekventantznátdoporučenítýkajícísekardiopulmonálníresuscitace,jinak musíkurzabsolvovatznovu.Jinýmpříklademabsolutněstandardizovanéhotestujetest vautoškole:jedůležiténevypouštětdoulicřidiče,kteříneznajízákladnípředpisy,atoani vpřípadě,žebysevrámcikonkrétnískupinyuchazečůřadilimezirelativnělepší.Absolutně standardizovanétestysevangličtiněnazývajícriterion-referenced tests(CRT)apoužívají senapříkladpřinárodníchlicenčníchzkouškáchzdravotníchsestervUSA(NationalCouncilLicensureExamination,NCLEX). Vpřípaděabsolutníhohodnocenítestujetřebasprávnězvolithranicimeziúspěšnýmaneúspěšnýmstudentem,tedyrozhranímezistudenty,kteřídanouoblastzvládlidostatečně, atěmi,kteříjidostatečněnezvládli.Kestanovenítétohranicesebohuželobčaspoužívají 65 5 Hodnocení a klasifikace studentů intuitivníči„tradiční“postupyaarbitrárněnastavenémeze(50%,60%,75%apod.)bez dalšíhozdůvodnění. Existujecelářadametodpropodloženénastaveníabsolutníchmezírůznýchtypůhodnocení studentů.JejichpřehlednaleznečtenářnapříkladvobsáhlémdíleHandbook of Test Development (DowningaHaladyna2006a). Mezinejznámějšímetodyprostanoveníhraničníhoskórenazákladěabsolutníchkritériípatří Angoffovametoda,Ebelovametoda,metodazáložek,metodakontrastníchskupinametoda hraničníchskupin.Dalšískupina„smíšených“metodpoužíváprvkyoboupřístupůabsolutníhoirelativního–jmenujeztétoskupinynapř.metoduCohenové. Metodyzlatéhostandardu(AngoffovametodaaEbelovametoda)vycházejízexpertního posudkurelevantníchodborníků,kteříposuzujípostupnějednotlivépoložkytestuahledají shodunanázoru,sjakoupravděpodobnostínaněmajístudentibýtschopnisprávněodpovědět.Tytometodyjsoupovažoványzanejspolehlivější,alesoučasnějsouvelmipracné anákladné.Protosečastopoužívajíjednoduššíarychlejšímetodyavpřípaděpochybnostíse ověřujeshodasmetodamizlatéhostandardu. Podívejmesenynípodrobnějinadvěnejdůležitějšímetodynastavenímezeprůchodutestem–AngoffovuaEbelovumetodu. 5.4.1Angoffovametoda Angoffovametoda,resp.jejímodifikacepodleHambletonaaPlakeové(1995),jezaloženana konceptuminimálněkompetentníhokandidáta.Tímsemyslítakovýmodelovýkandidát, jehožznalostiadovednostijsouprávěnaspodníhraněpřípustnéhominima.Jinýmislovy,je tonejslabšístudent,kterýbyještěměltestemprojít. Položkytestuposuzujeskupina4–20odborníků,kteřímajípředstavujakotématu,takoskutečnýchkompetencíchstudentů,tedynejčastějiučitelůdanéhooboru.Vrámcipřípravného setkáníbymělabýtskupinaproškolenavmetodiceaseznámenaspožadovanýmivýkonnostnímistandardyodpovídajícímikurikulu,abysesjednotilapředstavaopožadovaných kompetencích.Vdalšímkrokuprojdoupanelistésamostatnějednupoložkutestupodruhé adopřipravenýchformulářůsipoznamenávajísvůjodhad,sjakoupravděpodobnostíbyji mělonenminimálně kompetentní kandidátzodpovědětsprávně.Doporučujese,abyněkolik prvníchpoložekbyloztréninkovýchdůvodůposouzenospolečně.Výsledkyodborníkůjsou pakzapsánydospolečnétabulky.Pokudseodhadyproněkteroupoložkulišívíce,nežje předemdohodnutámaximálnípřípustnáodchylkameziodhady(obvykle15%),diskutuje setakováúlohavceléskupiněahledásekonsenzus,tj.shodavhodnocení.Položky,unichž nelzekonsenzudosáhnout,seztestuvyřazují,protožerozdílnénázoryodborníkůobvykle indikujíproblémvpoložcesamotné. Požadovanéprocentnískóreproprůchodtestemsepakstanovíjakoprůměrpravděpodobností úspěšnéhořešenívšechpoložekpoužitýchvtestu.Výhodoutohotopostupujejehoobjektivita anezávislostnaosobníchpreferencích.Nevýhodouječasováaodbornánáročnostpostupu (McKinleyaNorcini2014). 66 5Hodnocení a klasifikace studentů PronastavenísprávnémezeproprůchodtestemjevAngoffověmetodězásadní,žeexperti musídobřeznátcílovouskupinuamusíbýtschopniodhadnout,jakbudouprotutoskupinu obtížnékonkrétnípoložky.Navzdorytomu,žeseAngoffovametodavpraxijevíjakofunkční, někteříautořidiskutují,zdajepředstavaminimálněkompetentníhostudentadostatečnoukotvoupronastavenístandardu.Dleněkterýchnázorůbypřiurčovánípožadovanýchstandardů výkonumohlobýtvhodnějšíbrátvpotaz,čehojedůležitédosáhnout(místotoho,jakobtížné jetohodosáhnout)ačehobymělidosáhnoutvšichnikandidáti(nikolijenčehobydosáhla skupinaúspěšnýchkandidátů).Existujetedypodezření,žeexpertibudoumítpředočimaspíše Tab. 5.4.1Tabulkaexpertníchodhadůpravděpodobnostisprávnéhozodpovězeníotázkyminimálněkompetentním studentem Položka číslo Odborník 1 Odborník 2 Odborník 3 Odborník 4 Odborník 5 Odborník 6 Odborník 7 Průměr 10,70 0,70 0,65 0,65 0,80 0,60 0,70 0,69 20,50 0,50 0,60 0,60 0,55 0,50 0,60 0,55 30,80 0,75 0,70 0,70 0,70 0,80 0,70 0,74 40,70 0,60 0,70 0,70 0,75 0,60 0,60 0,66 . . . . . . . . . . . . . . . . . . . . . . . . . . . Průměr 0,66, tj. 66 % Poznámka:PokudbybylyvtestuotázkytypuANO/NE,bylbysamozřejměnejnižšímožnýodhadúspěšnosti0,5, neboťistudent,kterýodpověďnezná,má50%šanciodpovědětsprávně.Analogickyuvýběrovéotázkyspětimožnostmiajedinousprávnouodpovědíbudeminimum0,2. Obr. 5.4.1 MezúspěšnostistanovenápomocíAngoffovymetodyrozdělísoubortestovanýchnaúspěšnéaneúspěšné. Tutometodupodporujíiněkterétestovacíprogramy,napříkladRogō(oněmžbudepojednánovsamostatnékapitole), znějžmůžeteobdržetprávětentograf. 67 5 Hodnocení a klasifikace studentů průměrnéhokandidátaabudoupřemýšlet,jakbyprošel,nežabyhledaliminimálněpřípustnoumírukompetencevevztahukpožadovanýmcílůmučení(Burretal.2017). PoužitíAngoffovymetody Položkyposuzujeskupinaexpertůakaždýznichukaždépoložkyodhaduje,jaképrocento minimálněkompetentníchstudentůbynadanouotázkuodpovědělosprávně.Expertipracují samostatně,abysevzájemněneovlivňovali.Výsledkysezapíšídotabulky,vnížřádkypředstavujípoložkyztestuavesloupcíchjsouodhadyjednotlivýchexpertů. Povyplněnítabulkyseobvykleposuzuje,zdaseexpertivesvýchodhadechshodli.Položky, vnichžjerozptylodhadůvětšínežpředemdohodnutéprocento(typicky15%),jetřebaprodiskutovat;častoseodhalínejednoznačnáformulacečijinýproblém. Nazávěrsevypočteprůměrvšechodhadůvtabulce.Tentoprůměrříká,kolikprocentzcelkovéhomožnéhopočtubodůbyměldosáhnoutminimálněkompetentnístudent.Jinýmislovy tentoprůměrudávámezúspěšnostiprodanýtest–tedyhranicimezi„prošel“a„neprošel“. Mezúspěšnostirozdělísoubortestovanýchnaúspěšnéaneúspěšné. PodporaAngoffovymetodyjezahrnutanejenvtestovacímprogramuRogō,alevolně(za registraci)jivčetněnávodunaYouTubenabízíispolečnostAssessmentSystems,výrobce programůprotestováníaanalýzutestů(ASCnedatováno;AssessmentSystems2018). PodmínkypoužitíAngoffovymetody ProúspěšnépoužitíAngoffovymetodyjenutné,abyzúčastněníexpertimělidostatek zkušenostívdanéoblastiapoměrněpřesněseshodlivpředstavě,costudentivdaném kurzumusízvládnout.Expertisitedymusíumětpředstavit,cominimálněkompetentní studentumí,resp.bymělumět. 5.4.2Ebelovametoda Pronastavenímezeproprůchodtestemsevedlezlatéhostandardu–Angoffovymetody, používáimetodaEbelova.Využívátaképaneluexpertů(nejčastějiučitelů),okterýchse předpokládá,žejsoudůvěrněseznámenijakstestovanýmtématem,taksúrovnístudentů. Metodamátřifáze: 1. kategorizaciotázek, 2. odhadhodnotitelů,jakýpodílkandidátůbymělnaúlohyzařazenévjednotlivýchkategoriíchsprávněodpovídat, 3. výpočetmeze. Fáze1 Kategorizaceotázek Vprvnímkrokujetřebakaždoupoložkuzařaditdodvouortogonálníchdimenzí,tj.odhadnout jejíobtížnostadůležitost. 68 5Hodnocení a klasifikace studentů Dimenze„obtížnost“rozlišujetřiúrovněobtížnostipoložek:„lehké“,„střední“a„těžké“. Posuzovateléindividuálněodhadnouobtížnostkaždépoložkyazařadíjidopříslušnékategorie(Lafaveetal.2008). Dimenze„důležitost“mástupně„zásadní“,„důležité“a„užitečné“. Každáúlohasenazákladětohotozařazeníumístídotzv.Ebelovymřížky: Fáze2 Odhadúspěšnosti Vtomtokrokumákaždýexpertodhadnout,jakoučástúlohzkaždékategoriebymělsprávně zodpovědětminimálněkompetentnístudent.Ivtomtopřípaděbyexpertimělidosáhnout předemdohodnutéshody,napříkladkrajníodhadyprokaždézdevítipolíEbelovymřížky byseodsebenemělylišitovícenež20%.Vopačnémpřípaděseexpertimusísejít,rozdíly prodiskutovataodhadopakovat. Fáze3 Výpočetmeze Součinytěchtoprocentuálníchodhadůúspěšnostiminimálněkompetentníhostudentaapočtů otázekvkaždékategoriisepotésečtou.Součetsevydělícelkovýmpočtempoložek,výsledek jehledanáhraniceúspěšnosti. Obr. 5.4.2Ebelovamřížkaprozařazenípoložekdokategoriíobtížnostavýznam.Tutomřížkunajdetenapříklad vtestovacímprogramuRogō,kterýstandardizacipomocíEbelovymetodynabízí. 69 5 Hodnocení a klasifikace studentů Ebelovametodamáimodifikovanouvariantu,přinížexpertihodnotípouzerelevanciúloh aseskupíjeodzásadníchpoužitečné.Soudcipotéurčíprocentopoložekvkaždézetříkategorií,nakterébymělbýthraničníkandidátschopensprávněodpovědět.Správnáhodnota proprůchodstudentazkouškoujepakprůměrnapříčkategoriemi.ZatímcotradičníEbelova metodasloužíprostanoveníexpertníhoodhaduminimálníhovýsledku,kteréhobyměl studentdosáhnout,abyještěprošeltestem(Cantor1989;Violatoetal.2003),modifikovaná Ebelovametodasloužíspíšepropřípravuobsahověvalidníhotestu(Aziz2005;Butterwick etal.2006;Violatoetal.2002). Příklad: Tab. 5.4.2Ebelovametoda–fáze1 Expertirozdělíotázkypodledvoukritérií–význam a obtížnost(vizEbelovamřížkavýše). Vtabulcejsoupočtyúlohvkaždékategorii. Zásadní Důležitá Užitečná Těžká 321 Střední 421 Lehká 322 Tab. 5.4.3Ebelovametoda–fáze2 Expertiodhadnouúspěšnostzodpovězeníotázekzkaždékategorieminimálněkompetentnímstudentem Zásadní Důležitá Užitečná Těžká 50 % 50 % 30 % Střední 70 % 70 % 50 % Lehká 90 % 80 % 60 % Tab. 5.4.4Ebelovametoda–fáze3 Vypočtouseparametryprojednotlivékategorie: početotázek · odhadúspěšnostiminimálněkompetentníhostudenta Zásadní Důležitá Užitečná Těžká 3 · 0,5=1,5 2 · 0,5 =1,0 1 · 0,3=0,3 Střední 4 · 0,7=2,8 2 · 0,7=1,4 1 · 0,5=0,5 Lehká 3 · 0,9=0,3 2 · 0,8=1,6 2 · 0,6 =1,2 Nakonecvypočtemehraniciúspěšnosti:sečtemeodhadyprojednotlivékategoriezpředešlé tabulkyavýsledekvydělímecelkovýmpočtemotázek.Vnašempřípadětedy13:20=0,65, tj.zaúspěšnéabsolvovánítestupovažujemezískánínejméně65%zcelkovéhopočtubodů. 70 5Hodnocení a klasifikace studentů Stejnývýpočet,kterýbylvýšerozepsanýdotříkrokůmůžemeprovéstivjednomkroku,jak jeukázánovnásledujícítabulce: Tab. 5.4.5 Tabulkaprovýpočetmezeúspěšnosti Obtížnost Důležitost (Relevance) Početotázek (n) Proporce (P) Součin (n·P) Těžká Zásadní 30,50 1,5 Střední Zásadní 40,70 2,8 Lehká Zásadní 30,90 2,7 Těžká Důležitá 20,50 1,0 Střední Důležitá 20,70 1,4 Lehká Důležitá 20,80 1,6 Těžká Užitečná 10,30 0,3 Střední Užitečná 10,50 0,5 Lehká Užitečná 20,60 1,2 Celkem 20 13,0 Hraniceúspěšnosti 13:20=0,65, tj.65 % Poznámka:Uvedenýpříkladjejenilustrativní,vpraxibychommělipracovatsvětšímipočtyúloh. OvýznamuEbelovymetodysvědčíito,žeEbelovamřížkajesoučástíněkterýchtestovacích programů.KonkrétnějepřímozahrnutavtestovacímprogramuRogō,oněmžbudepojednánodále. Kontroverze Hodnoceníobtížnostipoložekjenutněsubjektivníavýsledekzávisínazkušenostech aproškoleníhodnotitelů.Některéprácepoukazujínaproblémy,kterétozpůsobuje.Zdá se,ženeníjednoduchédosáhnoutpřijatelnéshodymezihodnotitelipoložek.Rovněžse zdá,žeexistujesystematickátendencehodnotitelůpodceňovatobtížnostobtížnýchpoložek apřeceňovatobtížnostlehkých(Homeretal.2012).Vexperimentálnístudiinebylaskupina hodnotitelůschopnadosáhnoutkonzistentníhoodhaduobtížnostipoložky,akdyžjimbyly poskytnutyúdajeofungovánípoložkyvtestu,snažiliserevidovatsvéúsudkytak,aby odpovídalytěmtoúdajům,atodokonceivtompřípadě,žedatabylapodvržená(Clauser etal.2009). Animetodyzlatéhostandardunemusíbýttakrobustní,jaksezdá.Mohouzávisetnazkušenostiaškoleníhodnotitelů(Bourqueetal.2020). 71 5 Hodnocení a klasifikace studentů Jeprotovhodnéiosvědčenéstandardizačnímetodyobčaszpětnězkontrolovatnapříklad pomocíkotvícíchpoložekaIRTanalýzy,ikdybyjenproto,abystesepřesvědčili,žeopravdu fungujítak,jakmají(HomeraDarling2016). 5.4.3Metodazáložek Metodazáložekfungujetak,žesetestdoručíreprezentativnímuvzorkuúčastníkůanazákladětétoskupinysevypočítajíhodnotyobtížnostiprokaždoupoložku.Položkypotomseřadímepodleobtížnostiavyzvemeodborníky,abyumístilizáložkutam,kdesimyslí,žebymělo býthraničnískóre.Vypočteseprůměrzavšechnyposuzovateleatenjeveskupinědiskutován.Potéjsouvšichniporotcipožádáni,abyumístilidruhouzáložku,stejněneboodlišněod téprvé,podletoho,zdasejejichnázorpřidiskusizměnil.Nazákladěprůměru,nebomediánu druhéhoskórejestanovenaúroveňpožadovanáproprůchodtestem. Vdnešnídoběpoužívámeprotutoprácipočítače,alevminulostisetoopravdučastodělalo tak,žesepoložkytisklydotestovýchsešitůaodbornícidonichdoslovavkládalizáložku.Na rozdílodAngoffovymetodymusíbýtumetody záložekobtížnostpoložekzmapovánapředem nazákladěprovedenítestunareprezentativnímvzorkutestovaných. 5.4.4Metodakontrastníchskupin Dalšímpostupemprostanoveníhajitelnéhohraničníhoskóre(cutscore)jemetodakontrastníchskupin(Jørgensenetal.2018).Narozdílodpředchozíchmetodsepřiníneposuzují jednotlivépoložkytestu,alepracujesejenscelkovýmibodovýmizisky. Předpoklademtétometodyje,žemámekdispozicidvěkontrastní skupiny.Testpředložíme napříkladskupinězačátečníků(tj.třebastudentům)askupiněpokročilých(napříkladlidem zpraxe).Prokaždouskupinusevytvoříkřivka,kteráukazujerozdělenízískanýchskóre. Hraničníbodproprůchodtestemsestanovíjakoprůsečíkkřivekoboukontrastníchskupin (obr.5.4.3). Vreálnémpřípadě,zvláštěpřimalémpočtujedincůveskupinách,nebudoukřivkytakhladké a„normální“.Běžněseprotoreálněnasbíranébodyprokládajíhladkoukřivkouahledáse průsečíktaktoproloženýchkřivek. Vkaždémetoděnastaveníhraničníhoskóremusíbýtsplněnyimplicitnípředpoklady. ZatímcovAngoffověmetoděimplicitněpředpokládáme,žeodhadyodborníkůkorelují sobtížnostípoložek,vmetoděkontrastníchskupinpředpokládáme,ževýkonvtestukorelujesjinoudostupnoumetodouhodnocení.Cílemmetodykontrastníchskupinvlastněje vyhodnotit,jakvýsledkytestůpředpovídajínějaký„zlatýstandard“hodnocenítestovaných, tj.rozdělenístudentůdokontrastníchskupin.Takovýmzlatýmstandardemmůžebýthodnoceníučitele,nebonějakáuznávanámetrikavýkonu.Pokudvhodný„zlatýstandard“nelze nalézt,jetřebasáhnoutpojinýchmetodách–např.metodězáložek,nebomodifikované Angoffověmetodě. 72 5Hodnocení a klasifikace studentů 5.5Kompromisnímetodystanovenímezíproprůchodtestem 5.5.1Hofsteehometoda Absolutníirelativnístandardizacemajísváprincipiálníomezení.Upozornilnatopředčasem napříkladHofstee,kdyžprof.WijnenzMaastrichtskéuniverzitynavrhlzajímavoumetodurelativnístandardizace(Wijnenovumetodu)(Cohen-SchotanusaVleuten2010):Wijnen předpokládal,žeprůměrnýstudentsepokusívydatzesebetonejlepšíamělbyobstát,takžemůžemeprůměrnétestovéskórevzítjakovýchozíparametr.Jakohraničnískórepotom můžemepoužítarbitrárnězvolenouhodnotumezitímtoprůměrnýmskóreajehohodnotou sníženouodvěstandardnísměrodatnéodchylky.Výhodoutohotořešeníje,žekorigujevliv nespolehlivostitestu,protožesměrodatnouodchylkupoužívájakoměřítko.Prof.Hofstee nebylstoutometodouspokojenaargumentoval,žetentopostupneberevúvahuabsolutní výsledkytestuajakokaždárelativnístandardizaceodsuzujevíceméněpevnéprocentostudentůpředemkneúspěchubezohledunajejichvýkon. Hofsteehoometoda Hofsteeprotonavrhlsmíšenoustandardizacinabízejícíkompromismeziabsolutníarelativní standardizací.Hraničnískóreproúspěchvtestusevtétometoděnastavípomocíexpertních odhadů. Předpokládáse,žekaždýzexpertůjedetailněseznámens: ● testem, ● povahoutestovanéskupiny, ● očekávanouúrovníznalostíkandidátů. Obr. 5.4.3Nalezeníhraničníhoskóremetodoukontrastníchskupin.(Obrázek ilustruje použití metody kontrastních skupin. Čárkovaná normální křivka představuje výkony skupiny začátečníků. Tečkovaná normální křivka představuje skupinu pokročilých. Svislá černá čára procházející průsečíkem obou křivek představuje mezní skóre vyhověl/ nevyhověl.) 73 5 Hodnocení a klasifikace studentů Expertimusíodpovědětnadvěotázky: ● Vjakémrozmezíbysemělpohybovatpočetstudentů,kteříudanéhotestupropadnou (např.:Tímto testem by nemělo projít 10–30 % studentů z dané skupiny)? ● Vjakémrozmezíbysemělopohybovatminimálnískóreproúspěšnéabsolvovánípředloženéhotestu(např.:Minimum pro úspěšné složení tohoto testu by mělo být někde mezi 50 a 60 %)? Analogickykabsolutnístandardizacijsoutedyexpertitázáninahraniciúspěšnostiasoučasnějsou,podobnějakopřirelativnístandardizaci,tázáninažádoucíprocentoúspěšných.Po diskusinadnavrženýmihodnotami,kdeexpertimohousvénávrhyještěupravit,získáme4 hodnoty: ● minimálníamaximálnípřípustnýpodílneúspěšnýchfmin a fmax, ● minimálníamaximálnípřípustnáhraniceúspěšnostikmin a kmax). Všechnyčtyřihodnotysestanovíjakomediánynávrhůjednotlivýchexpertů. Hraniceúspěšnostisestanovípoobodovánítestutakto:Nazákladěprovedenéhotestuse sestrojídistribučníkřivkaskórevtestu.Navodorovnéosesevynesekmin a kmax,nasvislé osesevynesefmin a fmax.Sestrojísepřímkaspojujícíprůsečíkfmaxskminaprůsečíkfminskmax . Průsečíktétopřímkysdistribučníkřivkousepoužijejakohraniceúspěšnostivtestu(Norcini 2003). Obr. 5.5.1Hofsteehometodaurčeníhraničníhoskóreproprůchodtestem 80 5Hodnocení a klasifikace studentů ● Jsouvhodnévevelkýchkurzech,kterénepodporujíspoluprácimezistudenty,aleobecně kladoudůraznaindividuálníúspěch. ● Zjevnounevýhodouje,žeprohodnoceníjednotlivcejsouurčujínejenjehovýsledky,ale takévýsledkyostatníchstudentů. ● Hranicehodnocenílzestanovitažpoté,cotestproběhl.Dopředusetedynelzevyjádřit ktomu,jakbudetestobtížný(byťjedopředuznámo,jaksehraniceurčí). ● Relativníhodnoceníbudespíšepoužitelnévevelkýchneselektivníchskupinách,které budoureprezentativníproceloupopulacistudentů.Vmalýchtřídách(pod40)nemusíbýt tatoskupinareprezentativnímvzorkem.Jedenstudentmůžedostatvýbornéhodnocení, protožejeveskupiněseslabýmprospěchem,zatímcojehospolužáksestejnýmvýsledkem vlepšískupinědostanenižšíohodnocení. ● Druhounámitkouprotihodnocenívrelacikostatnímje,žepodporujesoutěživostspíše nežspolupráci.Tentozpůsobhodnocenínastavujemezistudentyvztahpřímékonkurence.Kdyžjsoustudentipostaveniprotisoběkvůliněkolikamálonejlepšímhodnocením,kterámajíbýtrozdána,jeméněpravděpodobné,žebudoupřistudiunavzájem spolupracovat. Kompromisnímřešenímpromaléskupinyjepoužítpřirelativnímhodnocenítzv.„kotvení“. Známkováníseupravípodletoho,jakájecelková(průměrná)úroveňstudentůveskupině (JacobsaChase1992).Pokudučitelpoužilpodobnýtestvrůznýchletechopakovaně,může nashromážděnévýsledkytestůpoužítjakokotvu.Současnouskupinupakporovnávástouto nasbíranouvelkouskupinou.Podobnělzejakokotvuvyužítdobřesestavenýpretest,vekterémpomocíabsolutníchkritériíodhadnemeschopnostceléskupiny.Modifikacerelativního klasifikačníhosystémupomocíkotvenípomáházmírnitpocitykonkurencemezistudenty, protožepakjižnesoutěžíjenmezisebou. 5.7.2Klasifikacezaloženánakritériích Absolutníklasifikace(criterion-referenced)měříúspěšnoststudentave vztahu ke kritériímvyžadovanýmprodosaženítohokteréhoklasifikačníhostupně.Obvyklejsoukritériem počtybodůneboprocentozcelkovéhopočtubodů,jichžmusístudentdosáhnout,abymohl dostatpříslušnéohodnocení.Nejjednoduššímzpůsobemklasifikacejestanovit,kolikprocentzcelkovéhopočtubodůjetřebakdosaženíurčitéklasifikace.Napříkladproklasifikaci známkouApožadovat90%avíce,proB80–90%atakdále.Problémtohotopřístupuje varbitrárnímnastaveníhranicjednotlivýchklasifikačníchstupňů.Pokuddopředustanovíme podobnébodovéhranice,autortestusedonichmusí„strefit“.Bude-litestneboněkterájeho variantaobtížnějšínebonaopaksnazší,nežpředpokládaltvůrceklasifikačnístupnice,bude takévýslednéhodnocenívnímanéjakonepřiměřeněpřísné,nebonaopakbenevolentní.Proto jevhodnéudůležitějšíchzkoušeknastavithranicepomocíodhadůvětšíhopočtuexpertů, napříkladpodleAngoffovyneboEbelovymetody. Přiabsolutníklasifikaci,narozdílodrelativníklasifikace,neníoznámkovánístudentaovlivněnovýkonnostíostatníchanenízaloženonavzájemnémsrovnávánístudentůveskupině. Pokudbychomzkoušelivýrazněnadprůměrnouskupinustudentů,mohouvšichnidostatdobréznámky,anaopak,pokudbysenáhodousešlaskupinaslabýchstudentů,nemusídobré známkydostatnikdo.Studentimezisebounesoutěží,ajetedypravděpodobnější,žebudou spolupracovat.Tomůžebýtvýhodnéiprojejichaktivnízapojenídovýuky,kteráječasto 81 5 Hodnocení a klasifikace studentů naspoluprácizaložená.Klasifikacejednotlivéhostudentapřitomneníovlivněnacelkovým výsledkemtřídy. Absolutníarelativníklasifikacejsouveskutečnostidojistémíryprovázané.Většinavyučujícíchnastavujekritérianazákladěsvýchzkušenostísobvyklýmvýkonemstudentů.Tímse doabsolutníklasifikacedostávajírelativníprvky.Podobněsiněkdyučiteléponechávajíjistou flexibilituvabsolutníklasifikacitím,žestudentůmpředemsdělí,žekritériavprvnímběhu testumohoubýtzmírněna,pokudbydobrýchznámekdosáhlopřílišmálostudentů.Napříkladhranice90%prozískáníklasifikaceAmůžebýtsníženana85%.Pokudbytestbylpro studentyobtížnější,nežsivyučujícípředstavoval,můžetaktosnížitkritériaprohodnocení. Opačnýpostup,kdybyvyučujícízpřísnilkritéria,protožepřílišstudentůdosáhlodobrého hodnocení,senedoporučuje. Dalšímzpůsobem,jakklasifikovatstudentypodlekritérií,jestanovitcílepředmětuapřidělovatznámkypodletoho,dojakémíryjichstudentdosáhl(např.A=studentdosáhlvšech hlavníchivedlejšíchcílůpředmětu,B=studentdosáhlvšechhlavníchaněkolikavedlejších cílůatd.). Propracovanějšíformaabsolutníklasifikacerozlišujemezirůznýmitypyčiúrovněmiznalostí adovedností,kteréstudentprokazujenarůznýchúkolech.Většídůrazsekladenatyznich, kteréodrážejívyššíúrovněosvojenílátky.Tentopřístupberevúvahujakmnožstvílátky,tak úroveňjejíkognitivníkomplexity.Můžemenapříkladvzdělávacícílesvéhokurzurozdělitdo dvouskupin:nazákladníapokročilé.Základnícílesetýkajíminimálníchnezbytnýchznalostí adovedností,kterésistudentimusíosvojit.Pokročilécílenaprotitomupředstavujívyššíúrovně dovedností,jakopoužitíkritickéhomyšlení,řešeníkomplexníchproblémůapodobně. Prozjištění,nakoliksepodařilodosáhnoutzákladníchapokročilýchvýukovýchcílů,může býtpřinejmenšímprozačátekjednoduššípoužítdvazcelaoddělenétesty.Zjednodušísetím vyhodnocenízkouškyauchovávánízáznamůoní.Přioddělenítestůjetakésnazšísezaměřit najednotlivécílevýukyazpracovatpronětestovéotázky.Proposouzenízákladníchcílů výukytobývápoměrněsnadné.Posuzování,nakoliksepodařilodosáhnoutpokročilýchcílů výuky,býváobvykleobtížnější,neboťjetěžšívymyslettestovéúlohypostihujícíischopnost nabytévědomostiaplikovat. Proabsolvováníoboudruhůtestulzenastavitodlišnépožadavkynavýkonstudentů,jakje naznačenovtabulce5.7.1. Tab. 5.7.1Příkladmožnéhonastaveníabsolutnístandardizaceproklasifikacizákladníhoapokročiléhotestu vpětibodovéklasifikačnístupnici. Klasifikačnístupeň Základnítest Pokročilýtest A90%nebovíce 85%nebovíce B90%nebovíce 75–84% C80%nebovíce 60–74% D80%nebovíce 50–59% Fméněnež80% méněnež50% 82 5Hodnocení a klasifikace studentů Vuvedenémpříkladupožadujeme,abystudentiprokázalizvládnutíalespoň80%základních vzdělávacíchcílůa50%pokročilýchcílů.Pokudpožadujeme,abynastaveníhranicúspěšnostibyloobjektivnější,můžemepoužítněkterouzmetodexpertníhoodhadupopsaných výše. Kriteriálníhodnoceníjezhlediskavýukynavysokéškoleprioritní.Jesiceproučitelenáročnější,vyžadujepromyšleníočekávanýchvýsledkůučení,aleprostudentyjetransparentní aodvozenéznámkybymělybýtobhajitelnézpřiměřeněobjektivníhohlediska–studentiby mělibýtschopnivysledovatsvéznámkypodlekonkrétníchvýkonůpřiřešenístanovených úkolů.Kriteriálníhodnocenísvoutransparentnostívytvářídůležitýrámecprozapojenístudentůdoprocesuučení. Přiabsolutnímhodnoceníjesoučasněvhodnésledovatrozloženíznámekvestudijnískupině–jinýmislovy,sledovatvýsledkykriteriálníhomodeluznámkovánízpohledurelativníhomodeluhodnocení.Pokudnarazímenato,žepřílišmnohostudentůdostávášpatné, nebonaopakdobréznámky,nebojerozloženínějakýmzpůsobemdeformované,paktomůže naznačovat,ženěconenívpořádkuažejetřebaprověřitproceshodnocení.Můžejítnapříkladoproblémscelkovouobtížnostíhodnotícíchúloh(napříkladmálonáročnézkušební otázkynebopřílišmálootázek,případněúkoly,kterénerozlišujímezistudentysrůznou úrovníznalostíadovedností).Osvědčenépostupyklasifikacevevysokoškolskémvzdělávánívycházejízpřevážnězkriteriálníhohodnocení,mírněmodifikovanéhorelativníkorekcí azpětnouvazbou(James2002). 5.7.3Klasifikačníschémataapřepočítávánískóre Mnohdyjeužitečné,abyvýsledkyhodnocenístudentabylyvyjádřenézpůsobem,který umožňujesrovnávánímezipředměty,případněimezioborynebovysokýmiškolami.Vznikajíprotostandardníklasifikačníschémata(marking scheme,grading system,academic grading,...)(Wikipedia2021).Tatoschémataumožňujísrovnávánívrámcijednotlivých univerzit,aleněkdyivrámcicelýchstátů.Výsledkykonkrétníchtestů,popřípaděcelých souborůpísemnýchijinýchprací,sepřepočítávajínastandardníškálu,podlenížsepak udělujíznámky. JakopříkladmůžemevzítklasifikačníschémataUniverzityvEdinburgu(CSPC2021). Např.propregraduálnílékařskéoboryjerelevantníschémaCMS3(CMS3:BachelorofMedicineandBachelorofSurgery): Přiřazeníznámkyapřepočtenískóresimůžemeukázatnanásledujícímpříkladu:Uvažujme test,vněmžmohlistudentizískatod0do50bodů.Pomocístandardizačníchmetodtvůrci testuurčili,žeproúspěchvtestujetřebazískatalespoň24bodůz50možných(tzv.pass mark).Klasifikačníschémaoznačujenejhoršíznámku,kteráodpovídásplněnítestu,písmenemDahraniciúspěchupřiřazuječíselnouhodnotu60%.Vtomtopřípadětedyhrubéskóre 24bodůz50možnýchodpovídápřepočtenémuskóre60%. Poté,cojsmestanovilipřepočetprohraničnískóre,určíme,jaksebudoupřepočítávatvyšší bodovézisky.Obvyklesepoužívájednoduchýlineárnípřepočethrubéhoskórenapřepočtené. Vtomtopřípaděbudepřepočtenémuskóre70%(minimumproznámkuC)odpovídathrubé 83 5 Hodnocení a klasifikace studentů skóre30,5boduz50,přepočtenéhoskóre80%dosáhnestudents35bodyz50atd.Jinými slovy,nejprvejsmeurčili,kteřístudentivtestuuspějí,apakjsmejemechanickyrozdělilido jednotlivýchklasifikačníchstupňů.Přepočetlzematematickyvyjádřitnásledovně: , kdeZjepřepočtenéskóre(zkteréhodleCMS3schématuurčímeznámku),Pjeminimální hrubéskórenutnékúspěšnémuabsolvovánídanéhotestu(pass mark)apjehrubéskóre dosaženédanýmstudentem. Tab. 5.7.2CMS3schéma Početbodů Známka Popis 90–100 AVýborně 80–89 BVelmidobře 70–79 CDobře 60–69 DSplnil(pass) 50–59 EPodmíněnéselhání(můžebýtpřehodnoceno)* 0–49 FSelhání *Podmíněné selhání je forma výzvy studentovi, aby si známku ve stanoveném čase opravil. Pokud tak neučiní, počítá se horší známka. Obr. 5.7.2Přepočettestovýchskórenaklasifikaci. Metodamistandardizacebylaurčenahraniceúspěšnostivkonkrétnímtestuna24bodůz50.Vklasifikačnímschématu,kterépoužívádanáinstituce,tomutomeznímuhrubémuskóreodpovídápřepočtenéskóre60%(hranicepro známkuD).Výsledkylepšínež24bodůz50sepakrovnoměrněrozdělíkjednotlivýmznámkám. 84 5Hodnocení a klasifikace studentů Podobněpakmůžemepřepočístihrubéskórenižšínežhraniceúspěšnosti(pass mark).Přepočítávánívcelémrozsahumožnýchbodovýchziskůpakmůžebýtdvojitělineární. Tatotransformacemápodobudvounavazujícíchúseček,alevliniijemírnýohyb.Vanglické literatuřeseprotooznačujejako„dogleg“(Thompson2019). 5.7.4Škálování Složitějšímzpůsobempřevoduskórenajinoustupnici,vhodnějšíproreportování,ješkálování.Narozdílodpředchozíhopřístupu,kdybylpřepočetzaložennatřechbodech(0%,hranice úspěšnostia100%),ješkálovánípodrobnější.Sloužípředevšímktomu,abychommohli srovnatelnýmzpůsobemsdělitvýsledkyrůznýchparalelníchforem(variant)testu,kterése mohoumírnělišitsvouobtížností(viztéžVyrovnáváníobtížnostitestů). Obr. 5.7.3Dvojitělineární(lineardogleg)přepočethrubýchskórenapřepočtenáskóre.Vtomtotestubylometodami prostandardizaciurčeno,žehraničnískóremábýt36bodůz50.Tomumáodpovídatpřepočtenéskóre60%.Vyšší bodovéziskyselineárněpřepočtoutak,abyhrubéskóre50bodůz50odpovídalopřepočtenémuskóre100%.Obdobněnižšíbodovéziskyselineárněpřepočtoutak,abyhrubéskóre0bodůz50odpovídalopřepočtenémuskóre0%. ŘadadůležitýchtestůjakojsouACT,SAT,GREaMCAT,jevykazovánanastupnicích,které jsouzvolenyzáměrnětak,abyneslyurčitouinformaci.SATaGREmajíhistorickynastaven nominálníprůměr500asměrodatnouodchylku100,zatímcoACTmánominálníprůměr18 asměrodatnouodchylku6.Jednásevlastněostejnéškály,protoženejsouničímjinýmnež přepočtenýmz-skóre. „Průměrnéhodnoty“bylyvybrányarbitrárně,apotébylynastavenyhranicerozsahuskóre pomocínásobkusměrodatnýchodchylek.DíkytomusehodnocenívtestechSATaGRE pohybujívrozmezíod200do800avtestechACTvrozmezíod0do36.Prolepšípocit zkoušenéhojsoustupnicenastavenétak,žeza„odevzdáníformuláře“uzkouškySATobdržel 200bodů.Výsledek300bodůsemůžejevitjakopovzbudivéčíslo,alejetojen100bodůnad minimem,cožodpovídápouhému3.percentilu. 85 5 Hodnocení a klasifikace studentů Častosevůbecneuvádíhrubéskóredosaženévtestu,alevýhradněněkterépřepočtenéskóre. Pokudexistujevíceverzítestů,kterésesrovnávají,škálovánívyrovnáskutečnost,žeseverze lišíobtížností.Zvolenábodovacíškálabymělabýtalespoňtakširoká,jakojepočetpoložek vtestu,jinakbyseztratilačástrozlišení,kterévýsledkytestupřinášejí. Přiškálovánísenejprvedefinujerozsah,vekterémmajíležetsdělovanévýsledky.Začíná seobvyklenalezenímstředníhodnotyasměrodatnéodchylkyhrubýchskórevtestu,atyse potépřevedounajinou,přepočtenoustředníhodnotuasměrodatnouodchylku.Jižzmiňované lineárníadvojitělineárnípřepočtynemusístačit,používajíseprotoisložitějšítransformace.Provyrovnáváníparalelníchforemtestujevhodnánapř.ekvipercentilnítransformace (vizkapitolaVyrovnáváníobtížnostitestů). 87 6 Analýza testu a jeho položek 6 ANALÝZA TESTU A JEHO POLOŽEK Sumativnídidaktickýtestlzechápatjakonástrojnaměřenímíryznalostíadovedností,které sistudentpřivýuceosvojil.Výsledkyrozhodnéhotestovánímohoumítproúčastníkytestu zásadnídůsledky–např.přijetíčinepřijetídodalšíhostudia,certifikaciprourčitépovolání čiudělenítitulu.Pokudbybylytestyneadekvátnísvémuúčeluaneměřilykvality,které očekáváme,žebudouměřit,mohlobydocházetpřirozhodováníkpodstatnýmchybámatím kesníženíefektivityaohroženívěrohodnosticeléhosystému.Jeprotodůležitékvalitutestů itestovýchúlohměřitaprůběžněsledovat. Částvlastnostítestů(aúloh)jepopsatelnápomocíintuitivněpochopitelnýchkategoriíobtížnosti a citlivosti.Obtížnostmůžemechápatjakopravděpodobnost,snížtestovanýnadaný testneboúlohuneodpovísprávně.Citlivostísemyslímíra,snížtestnebopoložkarozlišují mezilépeahůřepřipravenýmistudenty. Kromětěchtointuitivníchmetrikpoužívámepropopisvlastnostítestuještěpojmyreliabilita a validita.Reliabilita(spolehlivost)vyjadřujepřesnostaopakovatelnosttestu.Pomocíreliabilityvlastnězjišťujeme,zdapřezkoušenístudentajinouverzítéhožtestupovedekpotvrzenípředchozíhovýsledku.Validita(správnost)říká,zdatestnebopoložkaměříznalost,kterou měřitchceme. Mimotytotradičnímetrikysevposledníchletechvěnujeznačnápozornostférovosti(spravedlivosti)testů.Ověřujeme,zdatestnějakýmzpůsobemneznevýhodňujeněkteréskupiny testovaných. Položkováanalýzaumožňujevyhodnotitnazákladěanalýzyproběhléhotestuvlastnosti jednotlivýchúloh(položektestu),zejménajejichobtížnostacitlivost.Součástípoložkové analýzymůžebýtianalýzadistraktorů,kterápodrobnějizkoumákvalitunabízenýchmožnostívuzavřených(výběrových)úlohách.Zabývásenapř.tím,jaktestovanívolilijednotlivé navrženéodpovědivzávislostinacelkovémvýkonutestovaného. Výsledkypoložkovéanalýzyposkytujíprokaždouúlohuřadupsychometrickýchúdajů,které umožňujíkonstruovatnezávislétestysobdobnýmivlastnostmi. Součástíanalýzytestubymělybýtjehopopisné statistikyagrafickézobrazenívýsledků, nejčastějiveforměhistogramů.Porovnánígrafůzjednotlivýchběhůtestunámpomůže posoudit,zdanedošlonapříkladkvyneseníněkterýchúlohpoužitýchvtestuapod. 88 6Analýza testu a jeho položek Podívejmesenejprvenavlastnostitestujakocelku,předevšímnajehoreliabilituajeho validitu. 6.1Reliabilita Výsledektestubymělvideálnímpřípadězávisetjennatom,cochcemetestovat,tj.skórezískanévtestubymělozávisetjennaschopnostechtestovanéhovoblasti,kteroutestemzkoušíme(tzv.skutečné skóre).Vreálnémživotěsealevýsledektestu(hrubéskóre)odskutečného skórelišívdůsledkuvíceméněnáhodnýchchyb.Každýtestmátedyurčitouspolehlivost apřesnost,kterouvyjadřujemejakoreliabilitu(spolehlivost,preciznost,reprodukovatelnost)(Schindler2006). Reliabilitaříká,dojakémírypřiopakovanémnezávislémhodnocenítýchžjedincůdostanemepodobnévýsledky.Vlivnanimátřeba,jakdobřetestovanýrozumízadáníúloh,zejména pokudjsoukomplikovaněformuloványaonjezjinéhokulturníhonebojazykovéhoprostředí. Výsledektestutakézávisínapozornostitestovaného,ovlivníjejprostředívmístnostiavyrušováníběhemtestu,neboto,zdatestovanýpracujevestresu.Reliabilitusnižujeipřípadné hádáníodpovědíatd. Reliabilitanabýváhodnotmezi0a1(0%a100%).Zjednodušeněsimůžemereliabilitu představitjakomírupotlačenínáhodnýchchybvyjádřenouvprocentech.Reliabilita50% znamená,žepřibližnězapolovinouvariabilitypozorovanéhoskóre(hrubéhoskóre)jevariabilitaskutečnéhoskóre(tj.měřenýchschopnostítestovaného)adruhápolovinajdenavrub náhodnýchchyb.Reliabilita0,8znamená,ževariabilitapozorovanéhoskórejez80%tvořenavariabilitouskutečnéschopnostia20%tvoříchyby. Minimálnívýšereliabilitytestu,kteroulzepovažovatzauspokojivou,závisínakontextu, např.napočtuúlohvtestuapočtutestovaných.Pokudjdeopočettestovaných,bylouveřejněnoněkolikdoporučení,kteráseshodují,žeprorozumnýodhadreliabilitybynemělklesnout podněkolikstovek(Kline1995).Pokudbybylpočetúčastníkůvýrazněnižší,jemožné místoreliabilitypracovatscelkovou užitečností,jakjizavedlVanderVleuten(Vleuten1996; VleutenaSchuwirth2005). Proúčelypedagogickédiagnostikyjedinců,např.přirozhodováníopřijetíkdalšímustudiu, sezpravidlapožadujekoeficientreliabilityminimálně0,8(avyšší).Proostatníškolskoupraxi postačujekoeficientreliabilitypohybujícísevblízkostihodnot0,6–0,7(Schindler2006). Utestůsmalýmpočtemúloh(10améně)zpravidlareliabilitanepřesahujehodnotu0,6–0,8. Nižšíhodnotareliabilitynemusínutněznamenat,žetestjevysloveněšpatný,alemusíse snímzacházetopatrněanemělbysloužitjakosamostatnýpodkladprorozhodování.Naopak velmivysokýkoeficientreliability(blízký1)můžeznamenat,žeúlohyvtestujsoutakvnitřně konzistentní(navzájemsitakpodobné),žejsouvzájemnězastupitelnéavtestubyjichmohlo býtméně,anižbytovýraznězhoršilojehovlastnosti. Reliabilitapopisujetechnickoukvalituavnitřníkonzistencitestu,avšaknikolijehosprávnost. Testmůžebýtspolehlivý–mítvysokoureliabilitu,alepřitomnemusíměřitto,cobyměl, takžemůžemítsoučasněnízkouvaliditu.Reliabilitatestujeovšemnutnýmpředpokladem jehovalidity. 89 6 Analýza testu a jeho položek Konceptyreliabilityavalidityavztahmezinimilzedobřeilustrovatnapříkladu: Obr. 6.1.1Schémapřibližujícívztahreliabilityavalidity Nízká validita Nízká reliabilita Nízká validita Vysoká reliabilita Vysoká validita Vysoká reliabilita 6.1.1Odhadyreliability Reliabilituzprincipunelzespočítatpřímo,alemůžemejizkusitodhadnout.Přiodhadureliabilitysesnažímeurčit,dojakémíryjevariabilitavýsledkůtestůzpůsobenavariabilitou skutečnýchskóreadojakémírychybamivměření.(Připomeňme,žechybyměřenímohou mítnáhodnouasystematickousložku.)Cílemjenavrhnouttestytak,abyzdrojechybbyly minimalizovány. Proodhadreliabilitytestůsepodlesituacepoužívajíčtyřihlavnípřístupy(MurphyaDavidshofer2005;AmericanEducationalResearchAssociation2014): ● Reliabilitajakoshodameziposuzovateli(inter-rater reliability):Tatotzv.klasifikační konzistencesepoužívákposouzenímíry,dojakérůzníhodnotiteléposkytujínavzájem shodnéodhadystejnéhojevu.Využívásezejménatam,kdedoskórovánítestuvstupují subjektivnífaktory.Podmínkouobjektivityjesrovnatelnéproškoleníhodnotitelů,čímž sesjednotípožadovanákritéria.Jetřebamítnapaměti,ževysokáshodamezihodnotiteliještěneznamená,žebytestovanýdosáhlstejnéhovýkonupřiopakovánítestu.Shoda meziposuzovateliakonzistencejejichhodnoceníjetedypodmínkou,aleještěnestačí prozaručenívysokéreliabilityskóretestovanýchosob(AmericanEducationalResearch Association2014). ● Test-retestreliabilita(spolehlivosttestupřijehoopakování):Používásekposouzení,jak jsounavzájemkonzistentnívýsledkystejnéhotestupřiopakovanémpoužitínastejnéskupině.Jejichkonzistencilzeposouditpomocívýpočtujejichkorelace.Zatímcoujevů,kde opakovanáměřenítéževeličinyjsounasoběnezávislá(měřenídélky,váhy,...),dávátato metodavýtečnévýsledky,prodidaktickétestováníjeobtížněpoužitelná.Jednotlivéběhy testutotižnelzepovažovatzanezávislé.Přikrátképauzemezitestysimohouúčastníci 96 6Analýza testu a jeho položek Histogramjegrafickéznázorněnídistribucedatpomocísloupcovéhografu,vněmžvýškasloupcůvyjadřuječetnostsledovanéveličinyvdanémrozsahuhodnotašířkasloupce reflektujerozsahtohotointervalu.Videálnímpřípadě,provelkýsouborhodnotazjemňující sečleněníintervalů,bysedistribucemělablížitnormálnímurozdělení.Vpraxivšakbývá distribucesložitějšíaodrážíspecificképodmínkytestu. Napříkladasymetrickýhistogramnaobrázku6.3.1naznačuje,žetestbylprodanouskupinu testovanýchpoměrněobtížný,protoževětšinapozorováníjesoustředěnadosloupcůsnízkým počtembodů.Vtomtokonkrétnímpřípadětoovšembylozáměrnéažádoucí,protožebylo potřebavyselektovatjenmalouskupinunejlepšíchuchazečů,aprotybyltestnastaven. Druhýhistogram(obr.6.3.2)ukazuje,jaksezmenšíjehovypovídacíhodnotapřimalém počtutestovaných(asoučasněbyloprotvorbuhistogramunastavenopřílišpodrobném děleníintervalůnavodorovnéose,čímždojednohosloupcepadloméněpřípadůagrafje takzatíženvětšínáhodnouchybou).Informacejezašuměnáamůžemesejendohadovat, zdadvouvrcholovérozděleníjereálnéaindikuje,žemezitestovanýmibylapodskupina snezvykledobrýmivýsledky.Pokudbychomtentojevvyhodnotilijakozávažný,byloby možnémetodamiforenzní testové analýzy(vizkapitolaobezpečnosti)dálezkoumatpříčinutohotojevu. 6.4Položkováanalýza Podokončeníostréhoběhutestupravděpodobněnejprvebudemechtíttestvyhodnotit,abychomzjistili,jaksivněmstudentivedli.Avšakodpovědistudentůneobsahujíjeninformaci Obr.6.3.1Histogrambodovýchziskůvreálnémtestu 97 6 Analýza testu a jeho položek ojejichznalostechaschopnostech,dovýsledkůtestusepromítajíivlastnostitestovýchúloh. Takjakovyhodnocenímtestumůžemezískatinformaci,jaksivedlijednotlivíúčastnícitestu,můžemepoložkovouanalýzouzkoumat(psychometrické)vlastnostipoložek.Položková analýzajedůležitáiproautoryarecenzentyúloh,protožejimposkytujeobjektivnízpětnou vazbuotom,jaksejimivytvořenéčirecenzovanépoložkyvpraxichovají.Zatímcorecenzentidobředokážouposouditnapř.obsahovouvaliditu,jejichodhadyobtížnostíúlohbývají častovelmisubjektivní.Protonáspoložkováanalýzazajímájakozdrojobjektivníreflexe našichpoložek,nástrojprojejichprůběžnévylepšováníaproedukaciautorůarecenzentů úloh(Maierováetal.2015). Základnímpředpokladempoložkovéanalýzyje,žeanalyzovanýtestjekonzistentní,tj.že hopsalikvalifikovaníučitelé,ažesetedyskládázúlohměřícíchjednuoblastznalostínebo schopností.Kvalitajednotlivýchpoložekseposuzujeporovnánímodpovědístudentůna položkusjejichcelkovýmskórevtestu. Hlavnímicharakteristikamiúlohjsoujejichobtížnost a citlivost . 6.4.1Obtížnostpoložky Jednouzezákladníchcharakteristiktestovéúlohyje,jestlinanialespoňněkteříúčastnícitestu dokážousprávněodpovědět,jestlineníprotestovanépřílišobtížná. Obr.č. 6.3.2Histogrambodovýchziskůvreálnémtestupřimalémpočtuúčastníkůtestuanevhodněpodrobném členění 98 6Analýza testu a jeho položek Obtížnostpoložkymůžemeodhadnoutpodletoho,jakýpodílúčastníkůtestunanidokázal správněodpovědět.TomutopodíluseříkáindexobtížnostiaznačíseP: kdenSjepočettestovaných,kteřínadanoupoložkuodpovědělisprávněanjepočetvšech testovaných. Indexobtížnostinabýváhodnotmezi0a100%(respektive0a1).Čímvícstudentůnapoložkuodpovědělosprávně,tímjehodnotaindexublížeke100%(respektive1).Jetotrochu matoucí,neboťmluvímeoobtížnostiatentoindexjenejvyšší,kdyžjepoložkanejsnazší. Protosezavádídoplňkováveličina,hodnotaobtížnosti.Hodnotaobtížnostiudávápoměr testovaných,kteřínadanouúlohuodpovědělinesprávně,jdetedyodoplněkindexu obtížnosti: Prosložitějibodovanéúlohyseindexypočítajípomocíaritmetickéhoprůměrubodových hodnocenívšechtestovanýchvdanépoložceanejvyššíhodosažitelnéhopočtubodůzani. Přisumativnímtestovánípřinášejínejvětšíužitek,nejlepšídiskriminaci,úlohy,jejichžhodnotaobtížnostineníanipřílišvelká,anipřílišmalá(typicky20–80%).Jetologické,protože položky,kteréjsoupřílišobtížné,nerozlišímezislabšímialepšímiúčastníkytestu,neboť přílištěžkouúlohuprostěnikdonevyřeší.Podoběnaopačnémkonciobtížnostínepřinese téměřžádnouinformacipřílišsnadnápoložka,protožepřílišsnadnouúlohuvyřešíivelmi slabíúčastnícitestu.Upoložeksokrajovýmihodnotamiobtížnostisetedyzákonitěsnižuje jejichdiskriminačníschopnost. Povšimněmesi,žetentoodhadobtížnostipoložek(zavedenývrámciklasickétestovéteorie, CTT)jezávislýnatestovaných.Prokaždouskupinuvyjdehodnotajinak,abudou-liseskupinynavzájemvýraznějilišit,můžeobtížnosttéžeúlohyvycházetprokaždouskupinuúplně jinak.Překonánítétoprovázanostimeziobtížnostiatestovanýmiumožňujeteorieodpovědi napoložku,vnížjeschopnosttestovanýchjednímzparametrů. 6.4.2Citlivostpoložky Citlivostúlohy,nebolijejídiskriminace,popisujejejíschopnostrozlišovatmezirůzněvýkonnýmistudenty.Představmesi,žeskupinustudentůrozdělímenalepšíahorší,např.podle jejichcelkovéhovýsledkuvtestu.Rozdílmeziprůměrnouúspěšnostíobouskupinpřiřešení konkrétníúlohyvyjadřujeschopnosttétopoložkyrozlišovatmezilepšímiahoršímistudenty aoznačujesejakoupper-lowerindex(ULI) . ULIspočítámejakorozdílúspěšnostimeziskupinoulepších(U–upper)ahorších(L–lower) studentůpřiřešeníkonkrétnípoložky. , 99 6 Analýza testu a jeho položek Protesty,kterémajírozlišitmezinejlepšímiadruhýminejlepšími,např.připřijímacíchtestechsvelkýmpřevisemzájemců,násmůžezajímat,jakpoložkarozlišujeprávěvokolídělícíhoskóremezipřijatýmianepřijatými.VtakovémpřípadělzepoužítindexULIzaměřený napředělmeziurčitýmipercentily,meziněžpadádělícískóre. IndexULImůžeteoretickynabývathodnotmezi−1a1,alezápornéhodnotyjsoupříznakem velmihrubéchybyvpoložce(nebochybyvklíči)avpraxijsouvzácné.ULIrovnéjedné znamená,ževšichnilepšístudentipoložkuzvládnou,zatímcovšichnihoršínikoli.Byčkovský aZvára(2007)uvádějí,že: ● propoložkysobtížnostímezi0,2a0,3,neboobtížnostímezi0,7a0,8bycitlivostULI mělabýtalespoň0,15, ● vpřípaděúlohsobtížnostímezi0,3a0,7byrozlišovacíschopnostULImělabýtaspoň 0,25. PokudjehodnotaULInižší,jetřebaúlohupovažovatzapodezřelou.Vpraxisepoložky kolemuvedenýchhranicpovažujízasicenikoliideální,aletolerovatelné.PokudjevšakhodnotaULIpřílišnízká(ULI<0,1),jetřebaúlohuzkontrolovat,jestlijedobřezkonstruována azdaneobsahujenějakouzávažnouchybu.Pokudpracujemesjemnějšímdělenímintervalu schopností(jakovpřípaděULI54),můžebýthodnotaindexukolem0,1naprostovpořádku. NicménějakmilejehodnotalibovolněpojatéhoULIblízkánule,nebodokoncezáporná, znamenáto,žeúlohanefunguje.ZápornáhodnotaULIznamená,žehoršístudentiodpovídali lépenežlepší.Vpoložcetedymůžebýtněco,colepšístudentyzavedenanesprávnoustopu, např.vúlozehledajíchyták.ZápornýmULIsetaképrojevíchybavklíči,podlekterého seúlohaboduje.Takovoupoložkujetřebabuďopravit,neboztestovánírovnouvyřadit. Zajímavýproblémpředstavujemetodikarozděleníintervaluschopnostínamenšídíly.Může sestát,žeintervalnejde„strojově“rozdělitúplněideálně,např.proto,ženapomezímezi Obr. 6.4.1IndexULI–rozdílvpravděpodobnostisprávnéodpovědinapoložkumezilepšímiahoršímistudenty 100 6Analýza testu a jeho položek skupinamijevelkáskupinasestejnýmivýsledky.Vpraxiseukazuje,žepropředstavuocitlivostipoložkyjezpůsobdělenínahraněintervalumálovýznamný.Ikdyžspornouskupinu nahraněintervalůrozdělítearbitrárně,výslednéULIdávávětšinouvelmidobroupředstavu ochovánípoložky. Některéprácepoužívajíjinéděleníintervaluschopností.Zkoušejícínapříkladrozdělístudentynatřiskupinypodlevýsledkůvtestu.Častosepoužívározdělenítestovanýchna„horní třetinu“a„spodnítřetinu“,alestudieukázaly,žekdyžjsoustudentirozděleninaskupiny, kterémajív„horní“a„dolní“skupiněpo27%studentů,hodnotadiskriminacesezvyšuje (Swerdliketal.2012).Jezřejmé,že46%procentstudentůsestřednímskórevtestusepři výpočtuindexudiskriminaceneprojeví.Tétopraxesepřidržujenapř.itestovacísystémRogō, kterýpočítáULInazákladědolníchahorních27,5%studentů. 6.4.3Vizualizacevýsledkůpoložkovéanalýzy 6.4.4Příkladypoložekagrafickévyjádřeníjejichvlastností Ukažmesiněkolikpříkladůchovánípoložekpoužitýchvpřijímacíchtestechajejichgrafické vyjádření. Příklad první: Člověkslyšízvukvrozsahu: a) 16až20000Hz, b) do100000Hz, c) méněnež16Hz, d) vícenež20000Hz. Přirecenzipoložkybychommohlidiskutovatřaduchyb,kterépoložkavykazuje.Například navrženédistraktoryc)ad)nemajípovahu„rozsahu“,oněmžsemluvívzadání.Podívejme sevšak,jakdopadlopoužitítétopoložkyvreálnémtestu. Obr. 6.4.2IndexULI54–rozdílvpravděpodobnostisprávnéodpovědinapoložkumezipětinounejlepšíchapětinou dalšíchstudentů 101 6 Analýza testu a jeho položek Studentibylirozděleninapětinypodlecelkovéhovýsledkuvtestu.Protytopětinybyly spočtenypravděpodobnostisprávnéodpovědi.Vidíme,žejižnejslabšístudentidosáhlivtéto položcevícenež90%úspěch.Studentivlepšíchskupináchjižtéměř100%.Položkajetak snadná,žepraktickynerozlišujemezilepšímiahoršímistudenty. Příklad druhý: Energiefotonuje: a) nepřímoúměrnáfrekvenci, b) přímoúměrnávlnovédélce, c) přímoúměrnáfrekvenci, d) nezávislánavlnovédélce. Obr. 6.4.3Vizualizacechovánípoložky.Položka„Člověkslyšízvukvrozsahu...“,jetaksnadná,žepraktickynerozlišujemezirůzněschopnýmistudenty. Obr.6.4.4Vizualizacechovánípoložky.Položka„Energiefotonuje...“,jespíšeobtížná.Pronejslabšístudentyje velmiobtížnáanerozlišujemezinimi,alevelmidobřerozlišujemezistudentyvýtečnýmianejlepšími.Vidímetaké značnýrozdílmezinejslabšímianejlepšímistudenty.Položkamůžebýtvtestuvelmiužitečná. 102 6Analýza testu a jeho položek Metodikajestejnájakovpředchozímpříkladu,opětjsmestudentyrozdělilinapětstejně početnýchskupinpodlejejichcelkovéhovýkonuvtestu.Povšimnětesi,žeposlednípětina pokrývározsah40bodůvestobodovémtestu.Jetadypatrné,žetestjakocelekbylpoměrně těžký.Podobněsechováitatokonkrétníúloha.Jejímaximálnírozlišovacíschopnostjemezi čtvrtouapátoupětinou.Položky,kterérozlišujína„obtížném“koncispektrabývajípoměrně ceněnéanapsatjenebývásnadné.Utétoúlohybylotakovéchovánípřekvapením,protože odbornícipřirecenziodhadovali,žebudesnadná. 6.4.5Analýzadistraktorů Jakoanalýzadistraktorůseoznačujerozbor,jakkekvalitěvýběrovéúlohypřispívajínabízené možnosti–tedysprávnáodpověď(klíč)apředevšímpaknesprávnémožnosti(distraktory). Snažímesezjistit,zdajsoudistraktoryprostudentydostatečněatraktivníajakýpodílzcelkovéhopočtustudentůsidistraktoryvybral. Podívejmesevizualizacianalýzydistraktorůnakonkrétnímpříkladu.Studentibylivtestu o70úloháchtázáni,jakvznikámetanol: Jakoureakcímůževzniknoutmethanol? a)Oxidacíoxiduuhelnatého. b)Oxidacímethanalu. c)Redukcíformaldehydu. d)Oxidacímethylaldehydu. Jakosprávnouodpověďoznačiliautořitestumožnostc). Obr.6.4.5Distraktorováanalýza 103 6 Analýza testu a jeho položek Studentibylirozdělenidopětiskupinpodletoho,kolikcelkemzískalibodůzacelýtest. Šedésloupceuvádějí,jakýbylpodílsprávnýchodpovědíprokaždouztěchtopětiskupin. Vidímetedy,ženejslabšískupinastudentů–šedýsloupecnejvícevlevo–odpovídalasprávně mnohemméněčastonežnejlepšískupinapodlecelkovéhodosaženéhoskóre(sloupeczcela vpravo).RozdílvýškyposledníhoaprvníhošedéhosloupceULI51=0,7ukazuje,žepoložka dobřerozlišujemezinejlepšímianejhoršímistudenty,přestožemůžemediskutovat,zdaje opravdudobřesestavená.IrozdílvýškypátéhoačtvrtéhosloupceULI54=0,14jeuspokojivý aukazujenadobroudiskriminacimezinejlepšímiadruhýminejlepšímistudenty.Položka jakocelektedyvelmidobřefunguje. Podívejmesenynínafungovánínabízenýchmožností.Jejichchovánípopisujíbarevnélomenéčáry,kteréprokaždouskupinu(podobněúspěšných)studentůukazují,sjakoupravděpodobnostíbysititostudentinabízenouodpověďvybrali.Červenáčára(distraktorA)jepro všechnyskupinystudentůpraktickynepřijatelnávolba.Jenvnejslabšískupinětutomožnost volíasi12%studentů,alepotomužpraktickynikdodalší.Modrozelenáčárasprávnéodpovědi(klíčC)spojitěrostevcelémintervaluschopností.Tovypovídáotom,žetatoodpověďje správněvytvořena.VnejslabšískupiněvolístudentiodpověďCsestejnoupravděpodobností jakoobadalšídistraktory,takže–vyjmaneatraktivníhodistraktoruA–studentinejslabšískupinyvlastněhádají.Tojeopětpříznakdobřerozlišujícípoložky.ZatímcodistraktorD(tmavě modráčára)monotónněklesávcelémintervaluschopností,cožukazujenajehosprávné fungování,distraktorB(žlutáčára)srostoucíschopnostístudentůnejprvetrochurosteapak teprvezačneklesat.Znejlepšíchstudentůjejnevolípraktickynikdo.Nicméněto,žepokles nenímonotónní,znamená,žestudentidruhénejslabšískupinyoněmuvažujízpůsobem,který autornepředpokládal.Vtétoúlozeautořipoužilitřirůznénázvyprotutéžlátku–formaldehyd,methanalamethylaldehyd.Prvnídvajsoupoměrněběžné.Vedruhénejslabšískupině bylopravděpodobněhodněstudentů,kteřísicevěděli,žemetanollzevytvořitjednoduchou reakcízformaldehydučilimethanalu,pakužalejentipovali,jestlijeonoureakcíoxidace, neboredukce. Podívejmesenynínaanalýzudistraktorůvpřípaděnefunkčnípoložky.Studentibylivtestu o100položkáchtázáninavzácnéplyny: Vzácné plyny a) Jsouvpříroděmálozastoupenéanetvořítéměřžádnésloučeniny. b) Alespoňjedensevyužívávlékařství. c) Jsounetečné,alejinaknormálníplynysdvouatomovoumolekulou,jakománapř. vodík. d) Jsouvždytěžšínežvzduch. Podíváme-linavýškušedivýchsloupců,vidíme,ženapoložkuodpovídajínejhůřeprávě nejlepšístudenti.Správnouodpověďmápředstavovatsoučasnávolbanabízenýchodpovědí A)aB).Zatímcopravděpodobnost,žestudentzvolímožnostB),rostesjehoschopností, umožnostiA)tomutaknení.Tutoodpověďvolístudentivedvounejhoršíchskupinách,ale potompravděpodobnostjejíhovýběrustrměklesá.NabízenáodpověďA)obsahujezásadní problém,kterýtutopoložkuzcelaznehodnocuje.Prozkoumáme-lijej,vidíme,žeobsahuje chybhnedněkolik.Jdenikoliojedno,aleokombinacidvoutvrzení:„Vzácnéplynyjsou 104 6Analýza testu a jeho položek vpříroděmálozastoupené.“a„Vzácnéplynynetvořítéměřžádnésloučeniny.“Problematickéjsourelativizujícítermíny„málo“a„téměřžádné“,kterézpůsobují,žerozhodnutí,zda jemožnostsprávná,záležínačistěsubjektivnímpohledu.Ještěvětšíproblémpředstavuje vymezení„vpřírodě“,protožeautormělpatrněnamyslibiosféru,zatímconadanístudentisi pod„přírodou“zřejměpředstavilispíševesmír.Apřitomtopohledutatoodpověďpravdivá není.Zbývajícídvadistraktory(c,d)fungujísprávně,aletoužpoložkunezachrání.Pokud užsestane,žetakovoupoložkuautornapíše,nemělabyprojítrecenzí.Analýzadistraktorů jepakposlednímokamžikem,kdydíkyobjektivnímupohledumůžemenapravitopomenutí autoraarecenzentůapoložkuztestuvyřaditpředjehoobodováním. Abysedalydistraktorovéanalýzydobřeinterpretovat,jetřebamíttestovádatanaddostatečně velkýmsouboremstudentů.Zatímcosamotnáúspěšnostjednotlivýchskupinvpoložce(šedé sloupce)jepoměrněstabilní,protožesenaníprojevídatavšechstudentůskupiny,jednotlivé distraktoryjižceláskupinanevolí,ajsouprotovýrazněcitlivějšínaovlivněnínáhodným „šumem“.Pokudsimázobrazeníchodudistraktorůuchovatrozumnouvypovídacíschopnost, musíbýt(přirozdělenínapětpodskupin)vcelétestovanéskupiněvícenežněkoliksetlidí. Pokudjsoupočtymenší,lzepoužítrozdělenínamenšípočetpodskupin,vkrajnímpřípadě jennadvě(dvašedésloupce).Tímsicepřijdemeojemnostdetailníhopohledu,alevýsledek budeméněovlivněnnáhodnýmijevy. Distraktorjepovažovánzafunkční(plausibilní),pokudsijejzvolínejméně5%ztestovanéskupiny.Navrhnoutdostatečněatraktivnídistraktorymůžebýtpoměrněobtížné,mimo jinéproto,žeučiteljižsinemusíbýtschopenpředstavit,cojeprostudentyobtížnéaco ne.Přitvorběnovýchpoložekmůžeučitelpronávrhdistraktorůpoužítpředchozí,nejlépe formativnítestování,vněmžstudentůmpředložípodobnoupoložkujakoúlohuskrátkoutvořenouodpovědí.Distraktoryprovýběrovouúlohupakvytvořípodlenesprávných odpovědí. Obr. 6.4.6Distraktorováanalýza 105 6 Analýza testu a jeho položek 6.4.6Grafickýnáhlednavýsledkyceléhotestu Dvoubarevnýgraf Prorychlouorientaci,jaksepodařilosestavittest,můžemevpoložkovéanalýzesvýhodou požítdvoubarevnýgraf.Vliteratuřebývátéžnazývánjakodifficulty-discrimination plot,nebo zkráceně„DD-plot“.Navodorovnéosejsoupoložkyseřazenépodleobtížnosti,odnejlehčích knejtěžším.Ukaždéúlohyječervenýmsloupečkemvynesenajejíobtížnostamodrýmjejí citlivost.Natomtografunaprvnípohledrozpoznáme„podivně“sechovajícípoložky,jejichž citlivostjemalá,nebodokoncezáporná,amůžemesezabývatjejichpodrobnějšíanalýzou, abychomzjistilipříčinyanomálií. Obr. 6.4.7 Dvoubarevnýgraf(difficulty-discrimination plot,DD-plot)ukazujetestovépoložkyseřazenépodle obtížnosti(výškačervenéhosloupce).Ukaždépoložkyjevynesenajejídiskriminace(modrésloupce).Vodorovná přerušovanálinkaukazujemez(20%),podnižbyneměladiskriminacefungujícípoložkyklesnout.Položkač.12je velmisnadnáajejídiskriminačníschopnostjevelmimalá.Položkač.20jevelmiobtížnáajejídiskriminačníschopnostjevelmimaláanavíczáporná,tj.lepšístudentiodpovídajíhůřenežslabší.Tatoúlohapravděpodobněobsahuje nějakýdalšíproblém,kteréhosiautornebylvědom.Tutopoložkujenutnoztestuvyřadit. Jinou,možnáještěnázornějšípodobugrafudostaneme,pokudvynesemediskriminacipoložek(nasvisléose)vzávislostinajejichobtížnosti(navodorovnéose). 6.4.7IndexyRitaRir Proposouzenícitlivostipoložkyjerovněžmožnopoužítkorelačníkoeficientmezibodovýmziskemzapoložkuabodovýmziskemzacelýtest,kterýseoznačujeRit(correlation item-test),případněkorelačníkoeficientmezipoložkou a zbytkemtestu,Rir (correlation item-rest). KoeficientRitsepočítájakobodověbiseriálníkorelačníkoeficientmeziskórepoložky acelkovýmskóreztestu.Říkánám,dojakémírydanápoložkapřispívákvýběrusprávně 112 6Analýza testu a jeho položek 6.6.3Informačnífunkcetestu Informačnífunkciceléhotestuzískámejakosoučetinformačníchfunkcíjednotlivýchpoložek(předpokládáme,žeodpovědinapoložkyjsounasoběprokonkrétníhodnotulatentní schopnostinezávislé). Ztvarucharakteristickéfunkcepoložkyseodvíjítvarinformačnífunkcepoložky.Vysoce rozlišujícípoložky(sestrmoucharakteristickoukřivkou)majívysokouaúzkouinformační křivku.Takovápoložkamávysokouinformačníhodnotu,alejenvúzkémrozsahuobtížnosti. Položkysploššícharakteristickoukřivkou,atedynižšíhodnotouinformačnífunkce,mohou mítprodanouúroveňlatentníhoparametrunižšírozlišovacíschopnost,alezasemohoubýt přínosemvširšímrozsahuobtížností.Pokudznámeinformačnífunkcepoložek,můžemepři plánovánítestusledovatpokrytíintervalulatentníschopnostiinformačnífunkcítestu,aby nedocházeloknadbytečnéredundancipodobněfungujícíchpoložekanadruhéstraně,abybyl pokrytcelýintervalschopností,kterýnászajímá. Obr. 6.6.5Schémailustrující,jakseinformačnífunkcetestuskládázinformačníchfunkcíjednotlivýchpoložek. Přerušovanékřivkypředstavujíinformačnífunkcepoložek.Plnoučarounadnimijeznázorněnainformačnífunkce celéhotestu. 6.6.4SoftwareprovýpočetIRTmodelů Zatímcoodhadyobtížnostiacitlivostivrámciklasickétestovéteoriejsouvýpočetněpoměrnějednoduché,vpřípaděIRTjesituacenepoměrněsložitější.Neznámoulatentníschopnost studentaodhadujemehledánímmaximafunkcevěrohodnosti,jakodhadovanéparametry 113 6 Analýza testu a jeho položek popisujíchovánípoložek.Tytooptimalizačníproceduryjednakvyžadujísofistikovanýsoftwarovýnástrojazadruhé,abybylodhaddostatečněrobustníjezapotřebívelkýpočettestovaných.Nejméněstovky,lépevšaktisíce.Čímpřesnější(víceparamteričtější)model,tímvětší jepožadaveknapočettestovaných. Vzhledemktomu,žematematickémodelyIRTmohoubýtproběžnéhosmrtelníkaponěkud nepřehledné,jeprodalšístudiummožnozvolitliteraturu,kterásedržívpřijatelnýchmezích obtížnosti.Můžemedoporučitnapř.přehledliteratury,kterýpodáváHynekCíglervčasopise Testfórum(Cígler2014). Provýpočetmodeluvrámciteorieodpovědinapoložkujekdispoziciřadaprogramů.Můžete zvolitpronájemněkteréhokomerčníhoprogramu,jakojenapříkladStata(veverzi14avyšší), IRTPRO,neboXcalibre.NebonaopaksáhnoutpopříslušnýchknihovnáchvopensourceprostředíR.Komerčnísoftwarejezpravidlauživatelskypřátelštější,aledražší,zatímcoprostředí Rjezadarmo,alepředpokládá,žesenaučítezákladyprostředíabudetepoužívatprogramové kódyzknihoven,nebosisjejichvyužitímbudetevytvářetkódvlastní,cožmůžebýtčasově dostnáročné. NapomezítěchtodvousvětůjezdarmadostupnáwebováaplikaceShinyItemAnalysisod PatricieMartínkovéajejíchspolupracovníků,kteroupoužívámeamůžemedoporučit.Je postavenánaprostředíR,alejejírozhraníje„klikací“,takžesesnadnopoužívá(Martinková aDrabinová2019,Martinkováetal.2017a). 6.7Adaptivnítestování–využitíIRTvpraxi Přiběžnémtestuobdržíúčastníkřadupoložek,znichžněkterépronějnemusíbýtzcelarelevantní.Mohoubýttěžší,nebolehčí,nežjejehoúroveň.Informačnífunkcetestovýchpoložekpokrývajíintervalúrovníobtížnosti,vněmžsepohybujíschopnostivětšinytestovaných Obr. 6.7.1Principadaptivníhotestování.Známe-lipsychometrickévlastnostipoložek,můžemekestejnépřesnosti odhaduparametru„znalosti“dospětspoužitímmenšíhopočtupoložek.Představmesi,žejakoprvnízadámetestovanémupoložkuprůměrnéobtížnosti(A).Testovanýodpovísprávněaalgoritmusadaptivníhotestovánímuvybere těžšípoložku(B),tutestovanýnezodpovídobřeaalgoritmusmunabídnesnazšípoložku(C).Místoabyrespondent muselodpovídatvšechnypoložkytestu,postačívtomtoilustračnímpříkladuzodpovězenítřípoložekkdostatečně přesnémuurčeníúrovněrespondenta. 114 6Analýza testu a jeho položek jedinců.Nechtěnýmvedlejšímjevemje,žekaždýúčastníktestuodpovídánařaduúloh,které jsoupronějmocsnadné,nebonaopakmocobtížné.Přitomobojíjedemotivujícíazpohledu testujícíinstitucejdeoplýtváníčasem.Přielektronickémtestovánísiprotolzepředstavit algoritmus,kterýbudetestovanémuvybíratpoložky,jejichžobtížnostbudepřizpůsobována jehovýkonupřiřešenípředchozíchúloh. Tentopřístupsenazývá„počítačovéadaptivnítestování“(computer adaptive testing,CAT). Umožňujezměřitlatentníschopnoststudentasestejnoupřesnostíjakoklasickýtest,alespoužitímmenšíhopočtupoložek. Adaptivnítestovánítedypřizpůsobujetesttestovanému,položkupopoložce,nazákladějeho odpovědí.Správnáodpověďvedekobtížnějšípoložce,zatímconesprávnáodpověďvede kjednoduššípoložce.Obtížnostpoložekseprůběžněpřizpůsobujeschopnostemtestovaného. Nadanýstudentobdržíobtížnějšípoložky,zatímcoprůměrnýstudentobdržípoložkysnazší. Početpoužitýchpoložeksouvisíspožadovanoupřesnostíměření.Toznamená,žetestse zastaví,kdyžjedosaženopředemstanovenépožadovanépřesnostipsychometrickýchkritérií. Uadaptivníhotestováníjetestjentakdlouhý,jakjeskutečnětřeba. Metodajezaloženanateoriiodpovědinapoložku(item response theory,IRT),okterépojednávalapředchozíkapitola. 6.7.1Výhodyanevýhodypočítačovéhoadaptivníhotestování(CAT) CATjemodernízpůsobtestování,kterývyužíváalgoritmykoptimálnímupřizpůsobenítestu prokaždéhozkoumaného.Vtradičnímpojetíjsoupoložkysestavoványdotestovésadyajsou předkládánystudentůmvtétosadě.Nejviditelnějšínevýhodoujetohotopřístupujeneefektivita.Obtížnosttestovýchpoložeknijaknereflektujeschopnostitestovaného.Představmesi mimořádněschopnéhostudenta,kterýsprávnězodpovívšechnynejtěžšíotázky.Můžememu sjistotoupřiřaditvysokéskórebezztrátyčasunazodpovídánívšechjednoduchýchotázek. Zatímcoujednohostudentasetatoúsporamůžezdátještěmalá,uplatníte-listejnoumetodu naceloutestovanouskupinu,jsouúsporyčasumarkantní. Dalšímproblémemjenestejnápřesnostměřeníprostudentysrůznouúrovníznalostí.Vtradičníchtestechbýváobvyklezastoupenonejvícepoložeksestředníobtížností.Tomádobrý důvod:mezitestovanýmibudepravděpodobněvelkémnožstvílidísestředníúrovníschopností.Lidésprůměrnýmischopnostmibudoutestemvelmipřesněvyhodnoceni.Stanese takalenaúkormalépřesnostiměřeníustudentůsnízkou,nebonaopakvysokouúrovní schopností.Tijsouhodnocenismnohemmenšípřesností.Zestejnéhodůvodumohoumítstudentisnadprůměrnými,nebopodprůměrnýmischopnostmišpatnouzkušenoststestem.Slabí studentisemohoucítitvyčerpaníaodrazenítím,ževětšinapoložekjepřílišobtížná,zatímco nadprůměrnístudentimohoubýtdemotivovánitím,ževětšinapoložekjeproněpřílišsnadná. VýhodyCAT: ● kratšítesty(ažo50%), ● stabilnípřesnost, ● příznivázpětnávazbatestovaných, ● lepšímotivacetestovaných, 115 6 Analýza testu a jeho položek ● menšíexpozicetestovýchpoložek, ● možnostvyužitíproměřenípokrokustudenta(jehotestnakoncibudejiný). NevýhodyCAT: ● nemožnostsevprůběhutestuvracetkdřívezodpovězenýmpoložkám, ● citlivostnatestovou úzkost, ● potřebapředchozíkalibracepoložek, ● upoložeksvýhodnýmivlastnostmimůžejejichpříliščastévyužitízpůsobitjejich vynesení, ● vyžadujedostatekpilotníchtesterů(několikset), ● přípravavyžadujevelmikvalifikovanéodborníky, ● náročnějšínavysvětleníveřejnosti–vyššínákladynapublicrelations. 6.7.2Požadavkynapočítačovéadaptivnítestování(CAT) CATmajímnohovýhod,včetnězkrácenídobytestovánínapolovinu,alevyžadujízkušené psychometriky,rozsáhlépilotnívzorkyaspecializovanýsoftware.Uveďmenatomtomístě základnípřehledtoho,cojepotřebazvážitpřirozhodováníoadaptivnímtestování. 1. Položkymusíbýthodnotitelnéautomaticky,protožepodlevýsledkupoložkypředešlése vreálnémčasevolípoložkanásledující.Tímjsouvyloučenyněkteréjinakužitečnéformy testovýchpoložek(otázkystvořenouodpovědí,esejapod.). 2. Jetřebamítzdrojenavývojbanksvelkýmpočtempoložek.Obvyklepotřebujíbanky alespoňtřikrátvíceúloh,nežjezamýšlenádélkatestu(ikdyžtočastonenívíce,nežje potřebaprotradičníformytestu). 3. Musíproběhnoutrozsáhlépilotnítesty.IRTvyžaduje,abypropilotnítestováníbylpoužit vzorekalespoň100–1000testovaných.Požadovanýpočetzávisínasložitostipoužitého modeluIRT.KomplexnějšímodelyIRTvyžadujívětšívzorky. 4. Jetřebamítodborníkynapsychometrii.Proúspěšnénasazeníjsoutřebakvalifikovaní odbornícizejménanakalibracipoložekaIRTanalýzu,případněiprosimulaciadaptivního testovánísdanoutestovousadou. 5. Kdispozicimusíbýtanalytickýsoftware.Prokalibracipoložekjepotřebasoftwarepro analýzuIRT(např.volnědostupnýShinyItemAnalysisnebokomerčníekvivalenty). 6. NezbytnájepoložkovábankapodporujícíIRT,schopnáukládatIRTparametrypoložek apodporovatnavrhováníCATs. 7. Konečnějepotřebamítvhodnýsystémprodoručovánítestu.TenmusíbýtschopnýadaptivníhotestovánínazákladěIRT,přinejmenšímspříslušnýmikritériiukončeníaalgoritmy výběrupoložek. 6.8VyužitíIRTproanalýzuférovosti Férovostí(spravedlivostí,objektivností)testumyslímejehoschopnostměřitstudovanýrys nebokonstruktsestejnouvaliditouvevšechpodskupináchtestovanépopulace.Férovostí jsmesezabývalipřirecenzitestovýchúlohazmiňovalijsme,žepatřímezidůkazyvalidity. Aleprotožesenámprojejíex-postanalýzu(zdatproběhléhotestu)budouhoditnástroje teorieodpovědinapoložku,vracímesezdektomutotématuznovu. 116 6Analýza testu a jeho položek Položkuoznačujmejako„diferencující“(differentialitemfunctioning–DIF),kdyžlidése stejnoulatentníschopností,alezrůznýchpodskupin,majírůznoupravděpodobnostsprávné odpovědi.Samotnýrozdílvprůměrnémvýkonumeziskupinamiještěnemusíbýtnutněneférový.Neférovostnastávápouzetehdy,pokudrozdílvměřenémvýkonuneodpovídáskutečnémurozdílulatentnívlastnosti,kteroumátestměřit. Představmesinapříklad,žezkoumámespravedlnosttestuporozuměníčtenémutextu. Přitomzjistíme,žestudentisezrakovýmpostiženímdosahujíhoršíchvýsledků.Znamenáto,žetestjevůčitěmtostudentůmnespravedlivý?Tozatímnevíme.Jemožné,že studentisezrakovýmpostiženímmajískutečněnižšíčtenářskédovednostinežostatní studenti. Předpokládejmenyní,žetestvytisknemeznovusvýrazněvětšívelikostípísmaazjistíme, žeprůměrnývýsledekpostiženýchstudentůstoupnenaúroveňstudentůbezpostižení. Tonaznačuje,žetestčtenívpůvodníverzismalýmpísmembylpropostiženéžáky nespravedlivý(neobjektivní).Výsledektakénaznačuje,žetestjespravedlivý,pokudje prezentovánveverzisvelkýmpísmem.Malávelikostpísmavnášeladokonstrukcetestu systematickouchybu. Rozlišujemeprototzv.„benigní“DIF,kdyrozdílvpravděpodobnostisprávnéodpovědisouvisísměřenýmlatentnímznakem,a„nepříznivý“DIF,kdesedovýsledkupromítajíartefakty vprocesuměření,nestejnémožnostipřípravy,najazykovémprostředízávisláinterpretace textuapodobně.Neexistuježádnájednoznačnákvantitativnímetoda,kterábydokázalarozlišittytodvapřípadyodsebe.Pokaždé,kdyžnarazítenadiferenciálnífungovánípoložky,je třebapoložkupozorněpřezkoumatvtýmuodborníků(Breslauetal.2003). DiferenciálnífunkcepoložkypohledemIRT Prozkoumáníférovostipoložeklzepoužítanalýzuzaloženounateoriiodpovědinapoložku vztaženounazkoumanépodskupinytestovanépopulace.Teoretickybymělybýtproblematicképoložkyvyřazenyneboopravenyjižpřirecenzipoložek,kdyseověřujeobsahováakonstruktovávalidita,aleanipečlivárecenzenemusízachytitvše.Analýzaodpovědítestovaných studentůzahrnujícíchovánípoložekvůčirůznýmpodskupinámtestovanýchmůžepomoci zachytitproblematicképoložkyazlepšitkvalituaférovosttestuvdalšíchkolech. Vpraxisezkoumá,zdaobtížnostpoložkynenírozdílnáprovybranépodskupinytestovaných(např.absolventigymnáziívs.absolventiostatníchstředníchškol),kterémajíjinak stejnéschopnosti(měřenonapř.celkovýmskóre).Prodanéskupinyproložímenaměřenými bodycharakteristickékřivkypodleIRTteorieaporovnámetytokřivkymezisebou.Jako indexpopisujícírozdílnéfungovánípoložkyprooběskupinypakberemeplochumezioběma křivkami. VeSpojenýchstátechsevtestechSATsevyskytlaotázkanaverbálníanalogie: Najdětepodobnývztah: běžec:maraton (a)vyslanec:velvyslanectví, (b)mučedník:masakr, 117 6 Analýza testu a jeho položek (c)veslař:regata, (d)rozhodčí:turnaj, (e)kůň:stáj. Jesnadnénajítsprávnouodpověď(„veslař“a„regata“),pokudjstezprostředí,kdese pojmy„maraton“a„regata“používají.Přianalýzetestůseukázalo,ženatutootázku odpovídaliprokazatelněhůřeafroameričtístudenti(22%správnýchodpovědí),nežjejich bílíkolegové(53%správnýchodpovědí),ačkolivjinýchotázkáchtomutaknebylo.Otázka předpokládala„samozřejmou“znalostsporturozšířenéhojenmezijednouzesubpopulací (Culbertson1995). VyužitíIRTproanalýzuférovostipřinášídetailníinformace,kterébybylyzákladěrecenze férovostijentěžkoodhadnutelné.Ukázalosenapříklad,ževotázkáchkpřijímacímtestůmna lékařskoufakultusevyskytujídiferencujícípoložky,nakteréodpovídalyženyvýraznělépe nežmuži.Bylytozejménaúlohytýkajícísedětskýchnemocí. Proodhadyférovostijemožnévyužítidalšístatistickémetody,napříkladvizualizacipomocí grafickéhozobrazeníproporcísprávnýchodpovědí,čianalýzukontingenčníchtabulek(metodaMantel-Haenszel).VšechnyuvedenénástrojenajdezájemcevaplikaciShinyItemAnalysis. Problematikaférovostisvýmrozsahempřekračujerozsahtohototextu.Případnýmzájemcům doporučujemepublikace,kurzyanástroje,kterésetématemzabývajíhlouběji(Vlčková2014; Cígler2020;Martinkováetal.2017a). Obr. 6.8.1Ilustracenejjednoduššíhopřípaduneférovéhochovánípoložky.CharakteristickékřivkyIRTprodvě skupinyřešícístejnou,lečrozdílněfungujícípoložku(vizpříkladvýše).Velikostplochymezikřivkamiodpovídá velikostikoeficientuDIF.Oběcharakteristickékřivkyjsoustejnědiskriminující,alevykazujíprosledovanéskupiny odlišnouobtížnost.Případ,kdyneférovápoložkaposkytujevcelémintervaluschopnostívýhodujednéskupině studentůoprotidruhé(jakozde),seoznačujejako„uniformDIF“. 118 6Analýza testu a jeho položek Obr. 6.8.2Ilustracenejednotnéhodiferenciálníhochovánípoložky.Charakteristickékřivkyspočtenéprooběsledovanépodskupinyvykazujínejenrůznouobtížnostpoložkyprooběskupiny,aleirůznoudiskriminaci.Proprvní skupinu(čárkovanácharakteristickákřivka)jepoložkasnazšínavětšiněintervaluschopností,vyjmanejvyššíchhodnot,kdesepoložkanaopakstávásnazšíprodruhouskupinu(plnácharakteristickákřivka).Tentotypdiferenciálního chovánípoložkyseoznačujejako„non-uniformDIF“.Rozdílnýtvarahodnotymáprooběskupinyiinformační funkcetétopoložky.PrůběhkřivekpřevzatzinteraktivnítréninkovésekcewebovéaplikaceShinyItemAnalysis (Martinkováetal.2017a). 119 7 Testový cyklus 7 TESTOVÝ CYKLUS Jakocelávýukajeitestovánícyklickýproces.Připřípravě,provedeníavyhodnoceníkaždého testuvytváříme(možnámimoděk)nejjednoduššízákladtestovéhocyklu. Obr. 7.1Schémanejjednoduššíhointuitivníhotestovéhocyklu Jakmilezačnemetestypřipravovatopakovaněasystematicky,začnemesvojizkušenostzpředchozíchběhůpromítatdotvorbynovýchpoložekatestůatoutozpětnouvazbouvznikáprvní ucelenýtestovýcyklus,najehožkoncijsmepřipraveni(lépe)pracovatnanovémkoletestu. Utestůvelkéhovýznamu,kterémusísplňovatstandardyvalidityareliability,jetřebarealizovatřadukroků,kterévintuitivnípřípravětestunejsouexplicitnězdůrazněny.Typickymůže testovýcyklusutestuvelkéhovýznamuvypadatnásledovně: Osnovatétoknihypraktickysledujeprávětento„velký“testovýcyklus.Provětšinukroků existujepříslušnákapitola.Protobudemevkomentováníjednotlivýchkrokůpoměrněstruční, neboťcílemjejenpřipomenout,očemsevpříslušnékapitolemluví. Definovánícílůvýuky Prácenatestubysemělaodvíjetodujasněnícílů.Definovánímcílůvýukyučitelvymezí rozsahučiva,kterébymělstudentpoabsolvováníkurzuumět.Učitelspecifikujeklíčové kompetence,kteréjetřebaotestovat. 120 7Testový cyklus Plántestu Návrhtestujedalšímklíčovýmbodemceléhoprocesu.Jetřebastanovit,kolikúlohbudetest obsahovatzkaždéhotematickéhookruhuajakétypypoložeksepoužijí.Zvlášťvýznamná tatofázeje,pokudsetestpřipravujevevícevariantách,kterémajíbýtvzájemněsrovnatelné. Cílevýukysepromítnoudovýběruúlohapoměruzastoupeníjednotlivýchtématvpřipravovanémtestu.Podleanglickéhopojmenovánídříveužívanýchmodrýchkopiístavebníchplánů setomutoplánování testuříkáblueprinting,včeštiněsenejčastějipoužívátermínspecifikační tabulka . Recenzeplánu Připřípravědůležitýchhodnoceníjetřebaminimalizovatvlivindividuálníchpreferencí jednotlivýchpedagogů.Protojeplántestupotřebanechatoponovatdalšímiučiteli,abyse zastoupenítématavyužitítestovýchformátůzakládalonakonsenzuvícevyučujících. Tvorbapoložek Možnánejnáročnějšíetapoutestovépřípravyjetvorbapoložek.Veshoděstématyurčenýmispecifikačnítabulkouaveformátu,kterýjimspecifikačnítabulkapředepisuje,navrhnou učitelénovépoložky. Obr. 7.2Schématestovéhocykluutestůvelkéhovýznamu.Volněpodle(SchuwirthaVleuten2011). 121 7 Testový cyklus Recenzepoložek Položkynesouzpravidla„rukopis“autora.Protojepředložímeučitelům,kteřírovněž znajícílovouskupinuaprobíranoulátku.Přioponentuřeotázekjsoupoložkypředloženy kposouzenískupiněodborníků(např.metodikapřípravytestůprogramuRogōdoporučujenejméně5–9osob,cožjeovšemvnašichpodmínkáchvětšinounereálné),kteřípodle připravenéhoformulářeprocházejítestovéúlohyaověřujíjednotlivéaspekty,kterémusí novápoložkasplňovat,apřípadněnavrhnounezbytnéúpravy.Jednotlivérecenzepotom musíprojítzkušenýautorpoložek,posouditrelevancipřipomínekaupravitpoložky,pokud jetřeba.Přisupervizirecenzímůžesupervizorpřidělovatrecenzentůmkreditzakvalitní recenze.Tímserecenzentůmdostávázpětnávazbaasoučasněvznikáinformaceojejich výkonnostiaužitečnosti. Sestavenítestu Autortestuvybírázvytvořenýchpoložektak,abynaplnilzáměrblueprintuasoučasnědodrželostatní(častonevyřčené)požadavky.Napříkladabyudrželpřiměřenouobtížnosttestu, jehočasovounáročnost,abypočetvýpočetníchúlohnebylvyššínežvjinýchvariantách, apodobně. Pilotováníarecenzetestu Má-libýttestkvalitní,musísoučástíjehopřípravybýtipilotníběhtestuarecenzetestu. Proprověřeníchovánípoložekiceléhotestujevhodnétest„pilotně“vyzkoušet.Analýza výsledkůpilotního testumůžeukázatna(ne)schopnostpoložekrozlišovatstudentypodle zvládnutílátky,ozřejmíjejichobjektivníobtížnostatd.Pilotnítestováníječasověiorganizačněnáročné,protosečastojakopilotnítestovánípoužíváažsamotnýprvníběhtestu. Kroměpilotovánínechámeprověřitkvalitytestuještěskupinouodborníků,kteříidentifikují aodstraníposledníchyby,nejednoznačnéčiproblematickéformulace.Ikdyžsezdá,žedíky všempředchozímkontrolámužvtestužádnéproblémybýtnemohou,vždyckysetamnajdou! Nastavenímezí Důležitýmkrokemjenastavenímezíproprůchodtestem.Pokudjetestvztaženkekritériím, kterémusíúčastníksplnit,abyprošel,nazývásetentokrokabsolutní standardizaceajehočas jeprávěvtomtomístětestovéhocyklu.Nastaveníkritériíproprůchodtestempředemdává účastníkůmtestujistotu,žemeznebudenastavenaúčelově,abyněkterýkonkrétníúčastník ještěprošel.Proučitelejeobjektivnínastavenímezeprostředkemzajišťujícím,žetestemprojdoupouzedostatečněkompetentnístudenti.Možností,jaknajít„meze“jevíc,připomeňme např.zlatéstandardy–AngoffovuaEbelovumetodu. Realizacetestu Jakjsmeužuvedli,můžemítpísemnýtestpodobupapírovou,nebopočítačovou.Vobou případechjetřebazajistitvytvoření„testovýchverzí“,distribucitestůstudentůmasběrjejich odpovědí.Utestování,jehožvýsledkymajívýznamnýdopad,musímenavíczajistitrovné podmínkyproúčastníky,napříkladdozorběhemtestuadalší. Zpracováníodpovědí Tentokrokvtestovémcyklusetýkápředevšímpřípadupapírovéhotestování,kdysebrané odpovědníformulářemusíprojítoptickýmčtenímzaškrtnutýchodpovědí. 128 8Položková banka ● vytvářeníasprávutestů, ● správuautorůarecenzentů, ● doručenítestů, ● správuvýsledků. TAOjeotevřenýamodulárnísystém,kterývycházízpředpokladu,žežádnéřešenínemůževyhovovatvšem,takžeseočekává,žesijejuživatelépřizpůsobíprosvépotřeby.Jde owebovouaplikaci,kteráběžínaserveruanevyžadujecokolivinstalovatnapočítačiuživatele.Podporujepřekladydonárodníchjazyků.Autorůmnabízíprointuitivnítvorbupoložek WYSIWYGeditor,včetněintegracemultimédií. Systémjesiceopensource,ale„zadarmo“jejenzdánlivě.Mátedvěmožnosti,jakjejvyužívat.Buďvyužijeteplacenoucloudovouinstalaciposkytovatele,kterástojíjakoostatnípoložkovébankynatrhu,nebosiTAOnainstalujetenasvojeserverysami.Dokumentacejeovšem nedostatečnáainstalaceaaktualizacejsoušpatněpopsané.Instalačnískriptyobsahujíchyby avmanuálechjsouodkazynaneexistujícískriptyadalšízdroje.Výrobcesicenabízípodporu, aletajedrazezpoplatněna. Vsystémuchybípodporaproadresářovéslužby(LDAP),cožznemožňujevyužítvkonkrétní institucijejístávajícíověřováníidentit(asprávuuživatelskýchjmenahesel).Tojevelmi neprakticképřinasazenívevelkýchinstitucích,kterébytakkvůlitestovánímuselyudržovat adresářůněkolik.SystémTAOrovněžneobsahujenástrojeproanalýzutestůapoložek(pouzeexportdoformátůQTI2.2.neboCSV),takžeprotestovéapoložkovéanalýzyjepotřeba používatsoftwarejinýchvýrobců. Tutopoložkovoubankujsmeimplementovaliaexperimentálněprovozovali(1.LFUK 2017),aleproblémysdokumentacíaaktualizacemiinutnostířešituživatelskájménaaheslastudentůseparátněmimostávajícíadresářovéslužby(LDAP)vedlykukončenítohoto experimentu. 8.6Rozsáhlébankytestovýchúloh Vněkterýchpřípadechpřerostlaběžnáprácespoložkovoubankouobvyklýrozměr.Zmiňme dvatakovézajímavépřípady.NejzajímavějšíztěchtospolupracíjebritskáMedical Schools Council Assessment Alliance(MSA-AA),ježsdružujevšech31lékařskýchškolveVelké Británii(MedicalSchoolsCouncilnedatováno). MedicalSchoolsCouncilAssessmentAlliance Provozujeproněspolečnoupoložkovoubanku.Společnýmcílemvšechúčastníkůjezlepšit hodnocenívýsledkůvýukynalékařskýchfakultách. AliancenavazujenačinnostSdruženílékařskýchfakult–Universities Medical Assessment Partnership(UMAP),kterébylozaloženovroce2003zaúčelemspoluprácepřitvorběasdílenítestovýchpoložek.Sdruženísepostupněrozrůstaloodalšíškolyaporoce2009sepřeměnilonaMSC-AA. 129 8 Položková banka Společnápoložkovábankaobsahujepředevšímpoložkyveformátusjednounejlepšíodpovědí(SBA),alepřibývajíiúlohyprostaniceOSCEa„multiple-miniinterview“.Bankaje přístupnávšemzúčastněnýmškolám.Otázkyvznikajívespolupráciaprocházejírozsáhlýmtestovánímkvalityastandardizací.VšechnylékařskévysokéškolyvUKsedohodly,že zahrnoudozávěrečnýchzkoušekdohodnutýpodílsdílenýchotázek,čímžzajistívzájemnou psychometrickyvalidníporovnatelnost„státních“zkoušek. ItemManagementSystem VněmeckymluvícíchzemíchsenamnohavysokýchškoláchpoužívápoložkovábankaItem Management System(IMS).Vzniklavroce2006jakovýsledekspoluprácelékařskýchfakult univerzityvHeidelbergu,vBerlíněavMnichově.Skupinasepostupněrozrostlana77institucízejménavNěmeckuaveŠvýcarskuajezastřešovánakonsorciemUmbrella Consortium for Assessment Networks(UCAN). Item Management Systemjedatabázepoložek,kteráumíspolupracovatsaplikacemipro počítačovétestování,propapírovéčimobilnítestování,proanalýzuvýsledkůatakdále. Vsystémubylokbřeznu2021uloženo700000položek(bezrozlišeníformátu),znichž 125000bylosdíleno(InstituteforCommunicationandAssessmentResearchnedatováno, Hochlehnertetal.2012). Umbrella Consortium for Assessment Networks(UCAN),kteréseopoložkovoubankustará,jedeklarovánojakoneziskováorganizace,alenavenekfungujejakokomerčnísubjekt. Licencesepočítápodlepočtutestovaných.Cenyjsounastavenyprozápadoevropsképoměry. 131 9 Bezpečnost testování 9 BEZPEČNOST TESTOVÁNÍ Jakkolivmámetendencivěřittomu,ževšesevyvíjísměremklepšímu,zpublikovaných údajůsezdá,žetendencepodvádětpřizkouškáchdlouhodoběspíšroste(Bernardietal.2008, CizekaWollack2017). Obr. 9.1Vývojpravděpodobnostipodváděnístudentůuzkouškyvprůběhupůlstoletí(Sims2010) Podleprovedenýchvýzkumůsemírapodváděnívtestechvprůběhuminuléhostoletídramatickyzvýšila(Bernardietal.2008).Napříkladmezilety1963a1993semíravážného podváděnípřipísemnýchtestechzvýšilaz39%na64%(McCabeetal.2001). Testyjsouvstupníbranoukmnohavzdělávacímaprofesnímcílům.Neníprotodivu,že motivacekpodváděníjevysoká.Přineformálnímprůzkumuprovedenémvroce2007mezi 30000americkýmivysokoškolákyjich60,8%přiznalo,žeběhemstudiapodvádělo(Online EducationDatabase2010).Tentýžprůzkumukázal,že16,5%znichtoaninepociťujejako etickýproblém.Vjinýchstudiíchaž85%studentůuvádí,žesealespoňjednouzasvéstudiumdopustilipřitestechpodvodu(Klerketal.2019).Současněsezvyšujesociálnítolerance kpodvádění,zvláštěpokudseuskutečňujeprostřednictvíminternetu(Vrbová2013). 132 9Bezpečnost testování PřekvapivézjištěnípřineslprůzkumprovedenýnaFordhamověuniverzitě:poukázalna významnýrozdílmezistudijnímiprůměrypodvádějícíchstudentůajejichpoctivýchprotějšků.Podvodnícipatřídoskupinysestatistickyvýznamnělepšímistudijnímivýsledkynežti, kdonepodvádějí.Jenamístěklástsiotázku,jakourolipřiformovánítěchtopostojůhraje motivacezaměřenávýhradněnaúspěch. Současněstím91%studentůpovažovaloignorovánípodváděnízestranyvyučujícíchza silněneetické(Vrbová2013). Zatěchtookolnostíjezřejmé,žeutestůvelkéhovýznamujepotřebavěnovatpozornost jejichzabezpečení.Vširšímkontextuúvahobezpečnostitestovánímusímebrátnazřetel sumuhodnot,kterébymohlybýtpřinarušeníbezpečnostiohroženy.Pokudbypodvádějící byliúspěšní,mohlibytestemprojítuchazeči,kterébytestmělnaopakvyloučit.Zmařenaby takbylanejenpráceučitelů,kteřítestypřipravovali,aleohroženabybylaipověstadůvěryhodnostceléinstituce,kterátestyprovozuje.Jednímzpředpokladůvaliditysumativního hodnoceníjejehověrohodnostaobjektivita.Významzajištěníbezpečnostihodnocenípřitom rostesdůležitostízkoušky. Obr. 9.2Schémabezpečnostníhocyklurozhodnéhotestování.Volněpodle(Klerketal.2019). 133 9 Bezpečnost testování Jezvláštní,žeotomtodůležitémtématupojednáváméněliteratury,nežbychomočekávali. Zčástitomůžebýttím,žepotřebnéknow-howbyloroztříštěnéavdrženítestujícíchsubjektů. Zčástipaktím,žezveřejňovánípostupůproodhalovánípodváděníjevrozporusjejichzáměrem.Nicméněvposledníchdesetiletíchsepřecejenzačínajíobjevovatitextypokrývající celoututooblast(Foster2013;CizekaWollack2017). Většinahodnocenínavysokýchškoláchmáperiodicituspojenousrytmemakademického roku.Vdůsledkutohobyseipéčeobezpečnostmělapravidelněopakovat.Institucenastaví pravidla(např.přijímacíhořízení)aúčastnícisevrámcitěchtopravidelpokusídosáhnout conejlepšíhovýsledku.Institucepaksvápravidlakoriguje,abyoptimalizovalavýběr,při zachovánínestrannostiaobjektivity.Bezpečnosttestováníztohotopohleduneníustálený stav,alecyklickýproces. 9.1Bezpečnosttestovánízpohleduřízenírizik Připosuzovánívýznamu(aracionalityvynaloženýchnákladů)jednotlivýchaspektůbezpečnostitestovánímůžemepoužítmetodikuznámouzoblastiřízenírizik.Vrámciinstituce avkontextupřipravovanéhotestováníbychomsemělizamysletnad: ● identifikacíaktiv, ● ohodnocenímaktiv, ● identifikacíhrozeb, ● odhadempravděpodobnostivýskytujednotlivýchhrozeb, ● odhademzranitelnostiaktivahrozbou, ● odhademcelkovéhorizikavyplývajícíhozjednotlivýchohroženíaktiv. Identifikaceaktiv Aktivysemyslívše,coproorganizacipředstavujehodnotu.Ačkolivtonemusíbýtzúzkého pohledunatestovánízřejmé,mezihlavníaktivaveškolstvípatřízejménadůvěryhodnostcelé instituce.Existujípřípady,kdyhrubéchybyvzabezpečeníprocesutestování(připřijímacím řízení)vedlyažkfatálnímnásledkůmvpodoběodebráníakreditace. Ohodnoceníaktiv Přiohodnoceníaktivmůžemeodhadnoutnapříkladcenupoložkovébanky,respektive jejíhoobsahu.Vpoložkovébance1.LFUKjeasi10tisícpoložek.Nákladynajejich pořízeníbylyasi1500Kčzapoložku.Odtuddostávámecenuzacelýobsahpoložkové banky15milionůKč.Odhadnoutmůžemeicenuvybudovanédůvěryhodnostiinstituce. Jdeodlouhodoběbudovanéhodnotysvelkýmináklady.Pokudbydošlonapř.keskandálu kolempřijímacíhořízení,paktomůžeznamenat,žebylyznehodnocenynákladynaPRza dobutřeba5let.Kdybyztrátadůvěryvregulérnostřízenívedlaažkodebráníakreditace, ztratífakultapříjmyzavýukustudentů,tedyjedenznejvětšíchzdrojůpříjmu,atonaněkoliklet.UvětšífakultytakztrátadosáhneřádověstovekmilionůKč.Mezichráněnáaktiva alepatřínapř.iosobníúdajeúčastníkůtestů,kteréjsouchráněnypodleGDPRpodhrozbou drakonickýchpokut. 134 9Bezpečnost testování Identifikacehrozeb Hrozbamirozumímetakovéscénáře,vnichžmohoubýtohroženaaktivaorganizace.Přitestováníjdezejménaovnějšíavnitřníhrozby.Mezihrozbamizaujímajízvláštnímístopokusy oúmyslnéovlivňovánívýsledkůnedovolenýmipostupy.Existujeřadatypůneetickéhoapodvodnéhojednání,kterémohouohrozitvypovídacíschopnosttestu: Vynesenípoložek,nebotéžneoprávněnézískánípředběžnýchznalostí,můženastat, pokudúčastnícipředchozíchběhůvynesouzněníotázek.Buďsiobsahzkoušky zapamatují,nebozkopírujízadánímobilem,nebohoopíšou.Cílemjedosáhnout vtestuvýhodyprotiostatnímtestovaným,díkyznalostikonkrétníchtestovýchotázek. Neoprávněnýpřístupktestovacímotázkámpřinášípodvádějícímnespravedlivouvýhoduoprotipoctivýmúčastníkůmtestu. Nedovolená spolupráce.Dvanebovícetestovanýchsemohoupokoušetspolupracovatnavypracovánítestu.Napříkladopisovatodpovědi,nebosdíletodpovědiběhem testuprostřednictvímtextovýchzprávapodobně. Záměnaidentity.Kznehodnocenívypovídacíschopnostitestumůžedojít,pokudtest absolvujeněkdojinýnežskutečnýuchazeč.Tomuto„testovacímuproxy“lzezabránit dodrženímvysokýchstandardůproověřeníidentity.Zvláštěpřidistančníchtestech, kdyjsoumožnostiproověřováníidentityomezené,jetřebavěnovattomutoproblému velkoupozornost. Nedovolená pomoc.Výsledektestumůžebýtzkresleni„koluzí“(utajenoudohodou), pokudsetestovanémudostanepomociodpersonálu,kterýtestyorganizuječivyhodnocuje.Koluzeznamená,žetestovýdohled,nebosprávcetestuposkytlzkoušenému neoprávněnoupomocnebonějakýmzpůsobemmanipulovalstestovýmidatynebo testovacírelací.Příklademtajnédohodymůžebýtsituace,kdydohlížitelumožní zkoušenémuodchýlitseodschválenýchtestovacíchpostupů,získatpřístupkneautorizovanýmzdrojůmnebomuumožnípřekročitschválenýčasnavyplněnítestu.Utajenádohodasemůžetakévztahovatnamanipulacisezáznamyozkoušce,jakoje změnaodpovědízkoušenéhozešpatnénasprávnou,nebopřidáníchybějícíchodpovědí. Nedovolenépomůckyazdroje.PodleprůzkumumezipatnáctiletýmižákyvČechách bylvroce2013stálenejrozšířenějšímzpůsobempodváděnípoužívání„taháků“,teprve nadalšíchmístechbylytechnicképrostředkyjakomobilnítelefonyapodobně(Vrbová 2013). Hrozbyprobezpečnostseujednotlivýchdruhůtestováníliší.Papírovézkouškymohoubýt náchylnějšínakopírováníodpovědínežzkouškynapočítači(zvláštěvpřípaděadaptivního testování),zatímcopočítačovétestovánímůžebýtnáchylnějšíkpoužitíneautorizovaných zdrojů.Zásadyapostupyzabezpečeníbymělybýtpřizpůsobenytak,abyvyhovovalydanému druhutestů. Prokaždýtypohroženíjetřebapřipravit: ● odhadpravděpodobnostiapotenciálníchdůsledkůkaždéhozmožnýchpřípadů, ● preventivníopatřeníkomezeníhrozeb, ● následnépostupyprominimalizacidopadumimořádnýchudálostí. 135 9 Bezpečnost testování Ačkolivjeoceňovánírizikpracnéanemusíbýtnaprvnípohledpochopitelné,pročsejímzabývat,jehosmysljezásadní–pomocizajistitnaochranudůležitýchhodnotprostředky,kteréjsou vrozumnérelacikechráněnýmhodnotám. Jezřejmé,žeprevenceaeliminacebezpečnostníchhrozebsivyžadujesystematickýpřístup. Protopřisumativnímtestovánívelkéhovýznamubývávytvořenbezpečnostníplántestu,kterýspecifikujekdo,kdyačímsemázabývat,abybylodosaženopotřebnéúrovněbezpečnosti. Pojďmesitakovýbezpečnostníplánprojítkrokzakrokem. 9.2Bezpečnostníplántestu Bezpečnostníplántestupopisujehodnoty,kteréjetřebachránit,známárizikaapostupy,jež majírizikaomezit. Plánzabezpečenítestujekomplexnísouborzásad,postupůadokumentů,kterénastiňujíařídí akcesouvisejícísbezpečnostítestu.Odvypracováníplánuzkouškyporekapitulacivýsledků přibezpečnostnímaudituse„bezpečnost“týkátéměřkaždéhokroku.Využitískóredosaženýchvtestuproposouzenívýkonukandidátůpředpokládádůvěruvintegrituaobjektivitu testu.Bezdůvěrybybylaohroženaidůvěryhodnost. Cojepotřebaudělat,abytestováskórebyladůvěryhodnáainterpretovatelná?Minimálněto vyžadujemítspolehlivýtestovacíbezpečnostníplánaříditsejím. Většinazásadapostupůvrámcibezpečnostníhoplánutestujezaloženanazdravémrozumu. Napříkladjenezbytnémítkomunikačníkanálprojasnéajednoznačnézasílánízprávuchazečům.Jakjinaklzeoduchazečůočekávat,žesebudouříditpravidly,pokudnebudoutato pravidlaspolusodpovídajícímidůsledkyvysvětlena?Přijatépostupymusejídávatsmysl, dobřezapadatdodanéhotestovacíhoprogramu,musíbýtvynutitelnéamusíbýtprávněobhajitelné.Navrženépostupybysemělysladitshrozbami,kteréjsouspecificképrovašeprogramy,amělybybýtpřizpůsobenykonkrétnímpotřebám.Zatímcovjednompřípaděmůže býthlavnímproblémemvynesenípoložekmezitermínyzkoušek,vjinémuspořádánímůže býtnejvětšíhrozboupodvodsidentitouuchazeče.Hrozbysevjednotlivýchprogramechliší abezpečnostníplánybymělyochranupředtěmitohrozbamiřešit. Role,úkoly,odpovědnosti Přípravadůležitýchtestůjekolektivnípráce.Izhlediskabezpečnostibybylavěrohodnostobtížnězajistitelná,pokudbysevšechnypravomocikoncentrovalyvrukoujediného člověka. Somezenímtěchtorizikpomáhápřístupzaloženýnarolích.Všichnipracovnícispolupracujícínatestováníbymělimítspecifikovanéroleapracovatjenvrozsahutěchtorolí. Někdomůžemítroli„autorpoložky“,někdoroli„recenzentpoložek“,další„autortestu“ nebo„správcetestování“.Bezpečnostnílimityrolípomohouzajistit,ženapř.ten,kdomána starostisprávuseznamutestovanýchstudentů,možnánikdyneuvidížádnétestovépoložky. Meziodpovědnosti,kterémusíbezpečnostnítýmzajistit,patřímimojinéiochranainterních informacípředvynesením.Vrámcitzv.„měkkébezpečnosti“seotutodůvěrnoststaráme 136 9Bezpečnost testování výběremodpovědnýchpracovníků,jejichžmorálníintegritanapovídá,žeseoutajovaných informacíchnebudouzbytečněšířit,činepodlehnoupokušenítytoinformaceposkytnout někomuzaúplatu.Vkonceptu„tvrdébezpečnosti“(napříkladkdyžnemámeozapojených pracovnícíchdostatekinformací)sepoužíváproochranuutajovanýchinformacítestovací bezpečnostnídohoda,někdyoznačovanájakodohodaomlčenlivosti(non disclosure agreement,NDA).Jdezpravidlaojednostrannou,právnězávaznousmlouvumeziinstitucívyvíjejícítest(nebovlastníkemobsahu)adalšístranouřešícídílčíúkol.Dohodaomlčenlivosti obvyklestanoví,jakéinformacenebomateriályjsoupovažoványzadůvěrnéa/nebochráněné, jakájelhůtaprozachovánídůvěrnostiajakéjsoudůsledkyporušenídohody. Kopakujícímseúkonůmpatříaktualizaceprávníchzásadapostupůaškolenízaměstnanců otestovébezpečnosti.Vdobě,kdyjevětšinatestůprodukovánaauchovávánavelektronickémprostředí,jeúkolemtestovéhotýmuzabezpečittestovádatanalokálníchnebocloudovýchserverech.Přístupktěmtoserverůmmusíbýtomezenjennap(r)ověřenépracovníky, monitorovánalogován. Jedobroupraxívyžadovat,abykaždý,kdomápřístupktestovémuobsahunebojinýmchráněnýminformacím,bylvyškolenapodepsaldohoduomlčenlivosti.Patřísemodborníci, kteřísepodílejínavývojitestů,pracovníci,kteřímonitorujíprováděnízkoušky,zaměstnanci,kteřízpracovávajítestovacímateriályavýsledky,učitelé,kteřípřijímajíneboukládají testovacímateriályatd.Smlouvyomlčenlivostibymělybýtkaždoročněaktualizovány auchováványvevidencipodobustanovenouvbezpečnostnímplánuzkoušky(obvykle nejménětřiroky). Přípravaasprávatestů Existujeřadabezpečnostníchopatření,kterábymělabýtprovedenapředsamotnýmtestem. Sempatřínejenbezpečnápřípravaobsahutestu,aleimonitorováníwebůasociálníchmédií. Nebezpečívynesenípoložekseumocňujestechnologiemisdíleníobsahu.Existujíspecializovanéstránky,kteréodjednotlivcůsbírajíjimizachycenépoložkykcertifikacímazkouškám, kumulujíjepodlekategoriíazaúplatupaknabízejízájemcům.Tytostránkyjemožnénajít podheslem„braindump“.Bezpečnostnípřípravaprotopředpokládá,žetýmpřipravující testbudesledovatsociálnísítě,zkoušetcílenédotazydowebovýchvyhledávačůpřihledání uniklýchpoložekčisledovatblogykomentujícídanouzkouškučicertifikaci,abymohluniklé položkyvčasidentifikovat. Připodezřenínanelegálnípraktikyjemožnépoužíttechnikuoznačovanoujako„tajnénakupování“.Tentotypověřováníbezpečnostizkouškypředpokládá,žedomluvenýspolupracovníktestovéhotýmusejakostudentzaregistrujekprovedenízkouškyapojejímprovedení podázprávuobezpečnostitestuzpohleduzkoušeného.Tatoformamonitorováníbezpečnosti jesicenákladná,alevpřípaděpochybnostímůžeposkytnoutvelmicennéajinaknedostupné údaje. Vzhledemkvýznamujetřebavěnovatpozornostidistribucicitlivýchmateriálůapřístupu knim.Vtestovémplánubyprotomělybýtpopsánypostupy,jakjsouchráněnémateriály distribuovány,shromažďoványaarchivoványakdoknimmápřístup.Nahlíženíazásahydo citlivýchmateriálů(např.dozněníostrýchtestů)musíbýtbuďzaznamenánotechnickými prostředky(logování,kamerovézáznamy),neboprovedenokomisionálně(nejméněvedvou 137 9 Bezpečnost testování lidech)aoúkonubymělbybýtprovedenzápis.Nekontrolovanýmrizikemjsouindividuální přístupyazásahy,okterýchnenízpětněžádnýdoklad. Vneposlednířadějetřebasezabývatotázkouškolení.Každý,kdoseúčastnítestovacího cyklu,bymělbýtvyškolenvoblastibezpečnostitestu.Školenísemůžezabývatcelouřadou témat,včetně,alenejen,správnéhozacházenístestovacímimateriály,zřízeníneboudržováníbezpečnéhotestovacíhoprostředí,kritickýchaspektůdohodyozachovánídůvěrnosti, právapovinnostízkoušejících,čipřijatelnýchpostupůtestovéhodozoru.Školenímůžetaké zahrnovatscénářetypu„codělat,když“.Školeníbymělobýtpřizpůsobenotak,abybylo vsouladusrolemirůznýchčlenůtýmu,včetněodborníkůnapředměty,dohledů,administrátorůakoordinátorůzkoušek,pracovníkůprovývojobsahu,psychometrikůamanagementu. Školeníbyměliabsolvovatipracovnícitřetíchstran,kteřínatestováníspolupracují.Zajistit bezpečnosttestovánívyžadujespolupráciceléhotýmu. Zásadytestovacíhodne Dalšímdůležitýmaspektembezpečnostijsoutzv.zásady testovacího dne.Jetestovacíprostředíbezpečné?Jsoupracovnícidohledudostatečněproškoleniobezpečnostitestů?Jaké jsoupožadavkynapřihlášení?Jakseúčastníciidentifikují?Kolikforemidentifikacejepotřeba?Jeprůběhtestunatočenkamerovýmsystémem?Existujepředemstanovenýzasedací pořádektestovanýchvmístnosti?Existujebezpečnémístoproukládáníosobníchvěcí,jako jsoumobilnítelefonyastudijnímateriály?Jsoupovolenykalkulačky?Jedodávánodpovědní formulář?Pokudano,jeformulářindividualizovaný?Sbírajíseformulářenakoncitestu? Používajísechráničeobrazovkyupočítačovýchmonitorů?Jsoupracovnístaniceodděleny? Jsouběhemtestupovolenypřestávkyneboodchodynatoalety? Komunikacesuchazečizačínávdostatečnémpředstihupředdatemzkouškyapokračuje aždookamžiku,kdyjsouoznámenyvýsledky.Pravidlamusíbýtjasněstanovenaašířena zájemcůmazúčastněnýmstranám.Kromětohomusíbýtjasněstanovenyašířenydůsledky porušenípravidel.Předtestovánímlzeodzkoušejícíchpožadovat,abypotvrdili,žečetli, porozuměliasouhlasilisdodržovánímvyžadovanýchpravidel. Připravidelnémtestovánívelkéhovýznamuseneobejdemebeznějakéformykomplexníhotestovéhosystému(položkovébanky).Toovšempřinášínovýdruhrizik,protožecenné informace(zněnípoložek,aleizněnípřipravenýchostrýchtestů)jsouzdekoncentroványve finálnípodoběnajednommístěpodlouhoudobu,cožzvyšujerizikojejichnežádoucíexpozice.Kdůležitýmbezpečnostnímopatřenímtýkajícímsepoložkovýchbankpatřítechnické zajištěnítrvaléhologovánírizikovýchudálostí,zejménaspojenýchsexportytestů,nebozobrazenímvětšíhomnožstvítestovýchpoložek,čipřímocelýchtestů. Zabezpečenívýsledků Dalšísložkouzabezpečeníjsoupostupypřiskladováníadistribucicitlivýchmateriálů(např. zadánítestů)auchovávanítestovýchvýsledků.Tentopostupurčuje,jakjsouchráněnémateriálydistribuovány,shromažďoványaarchivovány.Ukládánajsoutakéjménaafunkceosob odpovědnýchzaprováděnítěchtopostupů.Dataapodpisyodkaždéosobyzapojenédotestováníadohledujsoushromažďoványaarchivoványjakosoučásthistorietestů.Obecněplatí, žepřipráciscitlivýmiúdajijetřebapřístupybuďlogovat,nebodělatpodkontroloudvojích očíavéstoprovedenýchúkonechprotokoly. 144 9Bezpečnost testování kterývtestuzprofilovýchpředmětůzískaljen43z90možnýchbodů,ačkolivhranicepro přijetíbyla46.Odroku2011doroku2018bylotakto„mimopořadí“přijatokaždýrokkolem pětiuchazečů.Propřijímánítěchtoneúspěšnýchuchazečůbyl(zne)užitprocesodvoláníproti výsledkupřijímacíhořízení,jehožvyřizováníbylonetransparentní. Případčtvrtý Na1.LFUKdošlokpokusuopodvodpřipřijímacímřízenívroce2016.Připísemnémtestu zfyzikysipozornýučitelskýdozorvtestovacímístnostivšiml,žeuchazečodevzdávávyplněnýodpovědníformulářjinéverzetestu,nežmělřešit.Všechnačíselnáoznačenítestovéverze přitompřekrylmalůvkami,takženebylomožnojednodušezkontrolovat,kterouverzitestu původnědostal.Problémbylvtom,ževestresovésituacipředzačátkemtestovánínepřiřadili testovanýmmístadozorujícíučitelé,alenechaliuchazeče,abysisedlipodlesvého.Jedinec bezpotřebnýchvědomostí,aledobřeobeznámenýsprocedurou,byldomluvensjiným,dobřepřipraveným.Podvádějícíúčastníkpakopsalcelýodpovědníformulářodvedlesedícího kolegy.Nebýtpozornéhodozoru,kterýzaregistrovalneshoduverzípřiodevzdávánítestu, nemuselobysenapodvodvůbecpřijít.Podivuhodnépřitombylo,žepodvodbylvymyšlen apřipravenshlubokouznalostíprocesů,podlenichžtehdytestováníprobíhalo.Přitomtakto důkladnouznalostnenímožnézískatnazákladějednorázovéindividuálnízkušenosti.Existujeprotopodezření,žemetodupřipravilaněkterázespolečností,kteréstudentůmnabízejí přípravunapřijímacízkoušky.Fakultanaodhalenýpokuspromptnězareagovalaazměnila nejenprůběhtestovéhodne,aleindividualizovalaitestovýsešitaodpovědníarchapřidala tutozkušenostdoškoleníprodohlížejícíučitele. PřípadmasivníhozpochybněnívýsledkůpřijímacíhořízenívUSA Vroce2019propuklveSpojenýchstátechskandál,kdyžseukázalo,žefirmazabývajícíse oficiálněporadenstvímpřipřijímanínavysokéškolyveskutečnostiodroku2011organizovalapodvody,přičemžzaúplatkyvhodnotě25mil.dolarůpomohlaasi750studentůmpři přijetínacelkem11elitníchvysokýchškol.Organizátorpodvodů(WilliamSinger)uplácel psychology,abyvystavililékařskédobrozdáníozdravotnímhendikepuuchazeče,kterébymu přineslovícečasuprovyplněnítestovéhoformuláře(potvrzenípřišlona4000–5000USD). Nejménědvětestovácentraevidentněspolupracovalasorganizátorypodvodů.Přinejmenším ve20případechdošlokpodvodupomocízáměnyidentit,kdytestovanéhozastoupilvysocekompetentnínáhradník.Druhoumetodouovlivňovánívýsledkůpřijímacíhořízeníbylo opatřovánífalešnýchdokladůoprovozovánívrcholovéhosportu,kekterémusepřipřijímání studentůnavysokéškolyvUSApřihlíží.Vpřípadubyloobviněno53osob.Oskandálubyl natočendokumentárnífilmOperation Varsity Blues: The College Admissions Scandal(2020). Skandálpoukázalnejennamezeryvzajištěníspravedlivéhopřijímaníuchazečů,aleina zvláštníroliprestižníchuniverzit,jejichžabsolvovánímzískástudentnejenvzdělání,aleistykyaspolečenskýstatusnezbytnýproprůnikdonejvyššíchpaterfinančnělukrativníchoborů, jakojsouprávoafinance(Winter2019;Baker2019). Shrnutí Ukazujese,ženejvětšírizikopředstavujíti,kdomajíbuďmoc,neboinformace.Koncentrovanáznalostpřijímacíhořízení(napříkladvefirmáchpřipravujícíchstudentynapříjímací řízení)svádíkzneužitítěchtovědomostíkobcházenísystému. 145 9 Bezpečnost testování 9.5Prevencepodvodnéhojednání Prostrukturováníúvahofaktorechovlivňujícíchpravděpodobnostpodváděnímůžemepoužít „trojúhelníkpodvodu“(fraud triangle),modelčastopoužívanýkposouzenípravděpodobnostietickéhoselhánívrůznýchoblastechlidskéhokonání. Modelvzniklnazákladěhypotézy,žedůvěryhodnéosobysedopouštějínečestnéhojednání,pokudsedomnívají,žejsouvbezvýchodnésituaci,asoučasněmajípříležitostvyřešit tutosituaciporušenímpravideladokážousisvéjednánínějakobhájitpředsebousamými (Cressey1953). Identifikovanéfaktoryovlivňujícínepoctivéjednáníjsou: ● tlak, ● příležitost, ● racionalizace. Podívejmesenynítytooblastipodrobněji,abychompochopilidůvody,pročstudentipodvádějí(Simmons2018).Pokudporozumímemotivaci k podvodnému jednání,můžemese pokusitjisnížit(Foltýnek2021). Tlak Tlakjevlivokolí,nebozprostředkovaněvlastnípsychiky,nadosaženínereálnýchcílů.Jedinecmápocitbezvýchodnésituace,cožho„nutí“sáhnoutponekorektnímřešení. Obr. 9.5.1„Trojúhelníkpodvodu“jevizualizacífaktorů,kteréspolečněmohouvéstpodvodnémujednání.Jsou to:vnějšítlak,případněambicepřesahujícíschopnosti,příležitost,neboobecněnedostatekkontrolyaracionalizace,tedymožnostobhajobynečestnéhojednánípředsebousamotným. 146 9Bezpečnost testování Asinejčastějiuváděnoumotivacíkpodváděníjesnahadosáhnoutlepšíhohodnocení,než byodpovídaloskutečněnabytýmznalostemadovednostem(CarltonaKrou2021).Můžeto býtvyvolánotím,žeznámkyjsouznástrojehodnocenípovýšenynacílučení.Častovzniká tlak,abystudentměl„dobréznámky“bezohledunato,cosedoopravdynaučí.Takovýtlak mohouvytvářetnapř.rodiče,spolužácinebostipendijnířád.Vnižšíchstupníchvzdělávání dokoncestudijníprůměrmůžemítzásadnídopadnadalšíosudstudenta–můženaněm závisettřebapřijetínastřednínebovysokouškolu.Vokamžiku,kdyjecílemstudentazískat dobrouznámku,stávásepodváděnílogickyjednouzmožnýchcest,jaktohotocíledosáhnout. Skutečnýmcílemvysokoškolskéhovzděláváníjezískánídovednostíakompetencípronějaké povolání,prácičiroli.Hodnoceníjenástroj,který„jen“měří,dojakémírysetohotocíledaří dosáhnout.Kzískáníznalostíadovednostípodváděnístěžípomůže.Podvodnémujednání takmůžemebránitsníženímtlakunaznámkyjakotakové,anaopakjasnýmdefinovánímcílů výuky.Jetřeba,abystudentiporozuměli,pročsemajíkonkrétníznalostiadovednostinaučit akčemujimbudoudobrévpraxi.Cílevýukybychomjimmělisrozumitelnouformousdělovatamělibychomjemotivovatkjejichdosažení–nikolikdosaženídobréhohodnocení. Studentůmmusíbýtzřejmé,žeseučíprosebe,nikoliprouzavřenípředmětu. Zdáse,žeipřehnanávnitřnímotivacemůževytvářetpodobnýtlakjakoambicióznírodinné zázemí.Klíčovýjezřejměnesouladmeziskutečnýmivýsledkyaočekáváními,kterámajíbuď samistudenti,nebokterájsounaněkladenaokolím.Tendencekpodváděnísetakpřekvapivě zvyšujeunejlepších(nejvícemotivovaných)(McCabeetal.2012). Tlakmůževytvářetinedostatekčasu,nebopocitnedostatkučasu,nazvládnutílátky.Proto jetakzásadníkomunikovatsestudenty,dbátnato,abychápalivýukovécíleaabydokázali odhadnoutčaspotřebnýpropřípravunazkoušku.Ovlivupocitu„nedostatkučasu“svědčí ipráce,kteréprokázalyzvýšenoutendencikpodváděníustudentů,kteříjsouvícezapojeni domimoškolníchaktivit(Maetal.2013).Diskutujeseovšem,zdavpozadítěchtopřípadů neníspíšetendencenapodobovat„úspěšné“vzoryausnadnitsitakracionalizacipodvodného jednání(VowellaChen2004). Jetakévhodnépomocistudentůmporozuměttlakůmokolí,kteréjeovlivňují,aracionálně zhodnotitjejichvýznam.Stanoveníadekvátníchcílůavytvořeníodpovídajícíchhodnotových žebříčkůpomůžestudentůmknacházenísprávnémotivace. Příležitost Snižovánípříležitostíkpodvodnémujednáníutestučizkouškymůžepodpořitpečlivýpedagogickýdohled.Zestudiívyplývá,žesklonkpodváděníseznačněsníží,pokudjsousistudentivědomi,žezkouškajedozorovaná(Dyeretal.2020).Ochotupodvádětsnižujeinastavenípřípadnésankcetak,abydalšístudentyodpodvodnéhojednáníodradilo. Příležitostikpodváděnísnižujeikvalitníorganizacetestu.Pokudučitelurčízasedacípořádek uzkoušky,jerizikoopisovánínižší,nežkdyžsistudentisamimohouvybrat,vedlekohosi sednou.Stejnětaksedárizikomanipulacesvýsledkytestusnížittím,žetestjeaždovyhodnoceníanonymní.Teprvepopřiděleníbodůsetestovéformulářeopětpropojísidentifikací osob.Promyšlenostadobréuspořádánítestovéhoprocesumůžeprostorknežádoucímaktivitámvýrazněomezit. 147 9 Bezpečnost testování Racionalizace Podvádějícíjedinecsesnažínajítracionálnízdůvodněníprosvéchování.Pokudsimůže vduchuříci,žeškolasnímtakynejednápoctivě,jepronějsnazšísiodůvodnitsvojeneetické chování.Mezičastouváděnédůvodyzvyšujícísklonkpodváděnípatřízkoušeníztémat,jež jsouzpohledustudentůzbytečnáaokrajová(Burnettetal.2016).Studentitovnímajíjako „nepoctivé“jednánízestranyškolyacítíseoprávněnipodváděttaky. „Podváděníjepřeciběžné:“Někteřístudentiuvádějí,žeuzkoušeknemajízábranypodvádět,neboťto„dělákaždý“(Kennedy2019).Nemajípocit,žebydělaliněcošpatnéhoanevnímajíspolečenskounebezpečnostpodvádění. Učitelbyměldátjasněnajevo,žepodváděníuzkoušekpovažujezanepřijatelné.Součástí vzděláváníbymělabýtimetakognice–pochopení,jaksmýšlímaproč.Součástímetakognicejeischopnostodhadnoutvlastnímožnosti.Metakognicepomůžestanovitcíle,posílit motivacikučení,upevnitakademickouintegrituamorálnízásady.Jetedypotřebasestudenty průběžněavrámcimnoharůznýchpředmětůmluvitotom,jakapročstudujíačehochtějí dosáhnout. Dalšífaktory Pomocslabšímu:Někteřístudentidávajíuzkoušekatestůopisovatjiným,nebojimjinak nedovoleněpomáhají.Tímsesamistávajíúčastníkypodvodnéhojednání. Mimozkouškyjepomocslabšímuspolečenskyoceňovaná.Aniuzkoušeknenítentodruh nedovolenéhojednáníspolečnostívnímánjednoznačnějakovysloveněnežádoucí.Problémemje,žezkouškyatestyjsouvevětšiněpřípadůindividuální.Většinavysokoškolských studentůsepřitompřipravujeproprofese,kteréjsoutýmové. Nedovolenápomocjinémupřizkoušcepřestanedávatsmyslvokamžiku,kdysenamístočistě individuálníhohodnocenízačnouznalostiadovednostihodnotitvrámcitýmovéspolupráce. Takováformahodnocenínavícmůžepomocistudentylépepřipravitpropraxi.Problémem ovšemzůstává,ževzdělávacísystémpožaduje,abychomnakonecitakovéhodnocení„rozebrali“nahodnoceníjednotlivců.Dokoncejenutné,abychomhodnoceníjednotlivceočistili odvlivuostatníchčlenůtýmu.Přestobysehodnocenítýmovéprácemělostátpravidelnou součástíjakformativníhotestování,takipraktickéhozkoušení. Podváděníjevýhodné:Někteřístudentisekpodváděnírozhodnou,protožetopovažujíza výhodnějšínežinvestovatdopřípravynazkoušku.Jinípřicházejíkezkoušcesvědomímnebo obavou,ženejsoudostatečněpřipraveni,apodváděnísejevíjakoúnosnástrategiek„vyřešení“situace(UniversityofNorthTexasnedatováno). Voboupřípadechmotivacikpodváděníposilujerozdělenívzdělávánínafázi,kdysestudent učí,anafázi,kdyzískávázpětnouvazbuajehodnocen. Studentinemajítendencipodvádět,pokudsecítídobřepřipraveni.Stejnětakmotivacekpodváděníklesá,pokudzkoušenýdopřípravyinvestovalhodněčasuaúsilí.Jakoprevencepodvodnéhojednánísetakjevívětšídůraznaaktivníučeníaosvojovánídovednostíběhemvýuky,současněsčastýmposkytovánímzpětnévazby.Zkouškabynemělabýtizolovanýmaktem nakoncikurzu.Výhodnějšíje,pokudvprůběhucelévýukystudentprocházívelkýmpočtem 148 9Bezpečnost testování dílčíchformativníchtestování.Intenzivnízpětnávazbapomáhávmotivacikučení.Před závěrečnousumativnízkouškounavícstudentmádobroupředstavu,coočekávat,adokáže realistickyodhadnout,jakoumánadějisplnitpodmínky.Snižujesetímtestováúzkost,odstraníseněkdyizbytečnéobavyzneúspěchuatendencekpodváděníklesá. 149 10 Nástroje pro testování a analýzy 10 NÁSTROJE PRO TESTOVÁNÍ A ANALÝZY 10.1Softwareprotestování Nástrojůpropodporuformativníhoisumativníhotestováníjsoudesítky.Průběžněvznikají nové,některénaopakztrácejínavýznamuajsouopouštěny.Stávajícíjsoupaksoučástíintenzivníhovývoje,zejménasměremkmobilnímplatformám.Vtétokapitole,zaměřenénatestovénástroje,senebudemepokoušetoucelenýpřehleddostupnýchproduktů,neboťstatický formáttétopublikacenedovolujezachytitdynamickývývoj,aleomezímesenazprostředkovánínašichzkušenostístěminástroji,kterésenámosvědčily,nebonaopakneosvědčily. Obr. 10.1.1PokrytítestovéhocyklutestovýminástrojiRogō,MoodleaRemarkOffice 150 10 Nástroje pro testování a analýzy 10.1.1Rogō MezinástrojiproelektronickétestovánízaujímávýznačnémístoprogramRogō.Mimořádné postavenítohotosystémuspočívávtom,žejetokvalitní,bezpečnýasnadnopoužitelnýtestovacínástroj,kterýjepřitomvolněšiřitelný . Výhody(kvalita) ● Každáúlohamávlastnízáznamozměnáchapoužitívtestech. ● Přizvaníexterníspolupracovnícimajísnadnýabezpečnýpřístupkrecenzím. ● Přidistančnímtestováníjemožnénastavitukončenítestupovyčerpáníčasovédotace. ● Položkypoužitévtestuseuzamknou. ● Uprávěprobíhajícíhotestunelzepřidávataniodebíratpoložky. ● Možnostnastaveníčasovéholimitutestu. ● Odpovědistudentůlzeanalyzovatajednodušezhodnotitvlastnostipoložek. ● HodnocenílzedlevýkonukohortyupravitposkončenítestupomocíHofsteeho metody. ● PronastaveníhodnocenítestujsoukdispozicirovněžmodifikovanáAngoffovaaEbellova metoda. Bezpečnost ● KpřipojenísepoužívávýhradněprotokolHTTPS.Datajsoušifrovánapomocí256bitovéhoSSL. ● Bezproblémovéabezpečnésdílenímateriálůvrámcitýmůzaměstnancůprospolečnou prácinahodnocení. ● Přizpůsobitelnékontrolyaváhyprozajištěníspravedlivéhohodnoceníprovšechny uživatele. ● Propřístupstudentůaučitelůumívyužívatzavedenémístníautentizačnísystémy. ● Přivýpadkuinternetovéhopřipojeníseztratíjenodpověďnaaktuálněotevřenéstránce testu,nikolivcelýtest. ● PřístupktestusedáomezitnavybranéIPadresy. Použitelnost ● MůžeběžetnaserverechWindowsiLinux. ● KompatibilitasLDAP–prouživatelenenípotřebavytvářetdalšípřihlašovacíúdaje. ● Podporajazykovýchmutací. ● Systémynápovědynamíru–samostatnánápovědaprouživatelepodlerolí. ● Rogōjewebováaplikace,kteráběžínavšechhlavníchprohlížečích–Chrome,Edge, Firefox,Safari,InternetExplorer. ● Adeptůmsespeciálnímipotřebamilzeupravitjakvzhledtestu,takičasovoudotaci. Licence Zpohledulicencejewebováaplikaceproon-linetestováníRogōsvobodněšiřitelnýopen sourceprogram,uvolněnýpodGPLverze3.0.Jetedymožnékódměnit,rozšiřovatjejapřispívattakkprojektu.Vpraxitofungujetak,žepožadavkynaúpravykódu,aťužsetýkají nahlášeníproblémů,nebojdeonávrhynanovéfunkcionality,sezapisujídofrontypožadavků akomunitajepostupněřeší. 151 10 Nástroje pro testování a analýzy Historie Testovacísystémbylodroku2003vyvíjennalékařskéfakultěUniversityofNottinghampod názvem„TouchStone“(„prubířskýkámen“).SystémRogōvzniklnalékařskéfakultěaje velmidobřepřizpůsobenzvláštěprovýukumedicíny.Mimojinédovolujepoužítvúlohách interaktivníobrázky,nanichžstudentmyšívyznačíhledanýobjekt.Systémpakvyhodnotí, zdahledanoustrukturuoznačilspožadovanoupřesností. Poúspěchunadomovskéfakultěbylrozšířennacelouuniverzitu,převedennasoftwaresotevřenýmzdrojovýmkódemapřitépříležitostiipřejmenován,abynedocházelokzáměnám sjinýmisystémy.Rogōvlatiněznamená„ptámse“(Wilson2012).Komunitazabývajícíse vývojemRogōzískalafinančnípodporuspolečnostiJISC,kteráumožniladalšírozvojsystému,mimojinémožnostpřekladudonárodníchjazyků.VČRjesystémRogōnainstalován (naserverech1.LFUK)naadresehttps://www.rogo.cz/akromě1.LFUKsloužíidalším fakultámUK.1.LFUKpřipravilačeskýpřekladprostředíapracujekontinuálněinalokalizacinápovědy.DíkypodpořeLDAPjsoustudentidosystémuimportováníautomatickyze SIS(StudijníinformačnísystémUK)amohouseautentifikovatsvýmCASúčtem(Centrální autentizačnísystémUK). Specifickévlastnosti NarozdílodjinýchprogramůRogōpokrýváapodporujemnohokrokůcyklutvorbytestů,od spoluprácepřipřípravětestovýchúloh,přesjejichoponovánízhlediskaobtížnostiarelevance, tvorbuplánutestu,standardizaci,ažpovyhodnoceníkvalityotázek.Taktokomplexnířešení přinášípodstatnévýhody.Např.koponentuřetestovýchúlohjevhodnépřizvatřaduvlastních iexterníchodborníků,cožbýváobvyklečasověaorganizačněnáročné.Pokudpřitomnávrhy položekkolujímezivětšímpočtemlidí,jevelmiobtížnézajistitjejichutajení.VRogōjsou naopakoponentivyzvánikpřipojenídosystému,takžetestovéúlohysystémvůbecneopustí. KomentářeapřipomínkyseopětvkládajípřímodoRogōaautořiúlohnaněmohouihned reagovat.Poté,cotestproběhl,jemožnézobrazitpopisnécharakteristiky,histogramcelkových skórevšechstudentů,neboobtížnostipoložek.Rogōautomatickyvypočítávádiskriminační indexyprokaždoupoložkutestu,cožumožňujeidentifikovatšpatněsestavenéúlohyavyloučit jezdalšíhopoužívání.Zhlediskauplatňovánímoderníchpostupůvtestováníjesystém zcelaunikátníajehozavedenípodporujerozšířenísprávnétestovépraxedoterénu. Systémumožňujedistribuovatjakpapírové,takion-linetesty,atoprosebehodnoceníipro zabezpečenésumativnítestování(Baylemetal.2011). Rogōobsahujenástrojeumožňujícíautomatickyimportovatdosystémustudentyapředměty, kterémajízapsány.StudentisepakdíkypodpořeadresářovéslužbyLDAP,kteroupoužívá celáUniverzitaKarlova,mohourovnoupřihlásitsvýmCASúčtemavRogōjsoupřiřazeni kevšemsvýmpředmětům. Systémumožňujepedagogůmvytvářetřadutypůtestůaprůzkumů: ● formativníhodnocení, ● sumativníhodnocení, ● testypokroku, ● průzkumy(dotazníky), ● e-OBSE(klinickézkoušení), 152 10 Nástroje pro testování a analýzy ● offlinetesty, ● vzájemnéhodnocení(studentské). Každýztěchtotypůtestůaprůzkumůmůžepoužívatřaduforempoložek: ● vymezeníplochy, ● dichotomickéúlohy, ● úlohysvýběremodpovědi, ● extendedMatching, ● multipletruefalse, ● doplňovánítextu, ● označeníbodůvobrazu, ● Likertovaškála, ● testshodyscénářů, ● textovápole. Výhody: Tab. 10.1.1VýhodysystémuRogō ●Nízkénákladynapořízení. ●Podporaceléhoprocesutestování. ●Podporatýmovéspolupráce. ●Vysokáúroveňzabezpečení. ●Velkývýběrtypůtestovýchúlohvčetněmultimediálních. Tab. 10.1.2NevýhodysystémuRogō ●Menšíkomunitaudržujícíarozvíjejícísystém. ●Potřebalokálnípodporyaadministrace. ●Nezcelaintuitivníovládání. ●Časovánáročnostpřiosvojováníprogramu. 10.1.2Moodle SystémprořízenívýukyMoodlejecelosvětověrozšířenéonlinevýukovéprostředí.Tuto open-sourceplatformuvyužívávícenež250milionůstudenů.Moodlejednesasinejrozšířenějšísystémprořízenívýukynavysokýchškolách.Vzniklvroce2002aprůběžněse aktualizuje.Svýmotevřenýmkódem,zabezpečenímaochranouosobníchúdajůpředstavuje promnohovysokýchškolauniverzitlákavéřešení.NavývojiMoodlespolupracujerozsáhlá aaktivníkomunita.Služby,kterépřesahujímožnostijednotlivýchsprávců,nabízejíspecializovanéfirmyskvalifikacíMoodle partner.Jednásezejménaoslužby,jakojehosting, přizpůsobení,podpora,školeníneboikomplexnísprávacelýchprojektůvMoodle. Výhody: ● cena, ● rozšíření, 153 10 Nástroje pro testování a analýzy ● komunitavývojářů, ● flexibilitadíkymnohamodulům, ● možnostiintegrace, ● mobilníiPCrozhraní, ● podporaLDAP. Nevýhody: ● nepřehlednost, ● chaotickéuživatelskérozhraní, ● přílišmnohomodulů, ● absencevedeníajednotnékoncepce, ● serverovánáročnostpřisouběžnéprácivíceuživatelů, ● upgradymohouznehodnotitpředchozípráci, ● zpohledumoderníchmobilníchaplikacíjdeo„moloch“. ZásadnípřednostíMoodlejejehorozšířeníaflexibilita.Nadruhoustranujepotřebamít napaměti,žepřivelkémpočtusoučasnýchpřístupů(typickásituaceprotestování)sesystémmůžezahltit(Korvinyetal.2009).Řešeníjevevhodnémdimenzováníinfrastruktury, např.rozloženízátěženavíceserverů(KorvinyaFoltyn2012). Výhodyprotestování LMSMoodlenenívyslovenězaměřennatestování,alepřestoposkytujeněkterézajímavé možnosti.Pokudjejpoužívátepřiproktorovanémtestování,jemožnévyužítzabezpečený prohlížečSafeExamBrowser.ProadaptivnítestováníjekdispozicimodulAdaQuiz.Adaptivníkvízvedestudentaitinerářemotázek,přizpůsobenýmprávějehoznalostem. ● vícetypůúloh, ● mícháníúloh, ● časovýlimittestu, ● automatickáklasifikace, ● lokalizace, ● dobrézabezpečení. Nevýhodyprotestování Zpohledupoložkovéhobankovnictvíješkoda,žeMoodleneshromažďujeuúlohinformace ojejichfungovánívpředchozíchpoužitích.TobyumožňovalopoužívatMoodlevícevroli položkovébanky.Zvláštníje,žestatistikyvanalýzáchtestůmajísvébytnénázvosloví,takže učitelobčasmusíexperimentálnězjišťovat,cokterýmoznačenímautořiMoodlemysleli. ● malápodporatýmovépráce, ● nutnostvyškoleníučitelů, ● mnohojinýchfunkcionalitmimotestování, ● neintuitivnírozhraní, ● pracnostpřípravytestu. NicméněipřestytovýhradyjeMoodlehojněpoužívanýnástroj,výtečněvyužitelnýipro testování.TestovéúlohylzepřipravitimimoprostředíMoodle,nebojemožnéjepřevzít zpoložkovébanky.MoodlepodporujestandardyinteroperabilityQTIařaduimportních formátů.