Diseño de instrumentos para medir la usabilidad, la satisfacción y aspectos técnicos de herramientas en la Web para la evaluación educativa
Abstract
El objetivo principal de la tesis por compendio consistió en el diseño, creación y validación de un instrumento para medir la usabilidad y satisfacción de herramientas web educativas. Dentro de la revisión literaria del estado del arte se eligió el cuestionario SUS (System Usability Scale), (Bevan, N., Kirakowski, J., & Maissel J., 1991; Brooke, 1996) por diferentes ventajas: gratuito, sencillo, completo, muchos autores han validado el cuestionario y presenta un alto coeficiente de fiabilidad de 0,91... Por lo que, siendo el instrumento más interesante se empleó para la validación de nuestro instrumento. Un primer artículo de este trabajo parte desde dos marcos teóricos bien amplios: uno de naturaleza pedagógica y otro de índole tecnológico. Donde llegamos a la conclusión de que las eRúbricas son unas herramientas que pueden facilitar los procesos de autorregulación en el aprendizaje de los estudiantes. Por tanto, sería una estrategia muy oportuna conocer la opinión de los usuarios -que son el centro de este modelo-, sobre los recursos tecnológicos o herramientas web. Es decir, conocer lo fácil que resultan estas tecnologías y servicios para los usuarios, saber si se encuentran satisfechos en algo tan particular y privado como es la autorregulación de su aprendizaje y la autoevaluación con herramientas como la eRúbrica. En las fases de elaboración del instrumento, segundo artículo, se crea y mejora las preguntas a partir de los resultados obtenidos en las diferentes versiones del mismo. Para mejorar la fiabilidad, se fue redactando los ítems del cuestionario de una forma más comprensiva, y fue revisando por diferentes expertos participantes en el proyecto I+D+i 2010-2013. EDU2010-15432 que ayudaron con la sintaxis aumentando la fiabilidad, llegando hasta la 4ª versión. En este segundo artículo se expone la información sobre cómo se aplicó las versiones segunda y tercera del instrumento y su mejora. Recogiendo y analizando datos del año 2013, donde accedieron al cuestionario 198 personas. El objetivo de este artículo fue evaluar la usabilidad y la satisfacción de las diferentes herramientas disponibles en línea para la enseñanza universitaria y en especial la eRúbrica, entre otras herramientas. Siguiendo el proceso de mejora del instrumento se aplicó para evaluar la usabilidad y satisfacción de la eRúbrica en los contextos y prácticas planteadas por el proyecto de I+D+i utilizando la autoevaluación y la evaluación de pares. Este estudio se publicó en el tercer artículo que se presenta como parte de la tesis. La muestra se tomo de la población de la Escuela de Educación adscrita a la Universidad de Málaga, y durante todo el curso académico 2011-2012, con asignaturas troncales diferentes y con idénticos grupos. Para el último y cuarto artículo, se mejoró el instrumento aplicándose a otras herramientas diferentes a los estudios previos, como fueron Open video annotation -OVA- y Colaborative annotation tool -Catool- donde se utilizaron las versiones tercera y cuarta del instrumento. En este caso, la muestra fue de 180 estudiantes en asignaturas troncales de segundo año del Grado de Pedagogía, y dos optativas de cuarto curso del mismo grado.
Full text
!" !! # $%& '( ) *%!! +,-. / / 0"/ ! !"
AUTOR: Daniel Cebrián Robles http://orcid.org/0000-0002-3768-1511 EDITA: Publicaciones y Divulgación Científica. Universidad de Málaga Esta obra está sujeta a una licencia Creative Commons: Reconocimiento - No comercial - SinObraDerivada (cc-by-nc-nd): Http://creativecommons.org/licences/by-nc-nd/3.0/es Cualquier parte de esta obra se puede reproducir sin autorización pero con el reconocimiento y atribución de los autores. No se puede hacer uso comercial de la obra y no se puede alterar, transformar o hacer obras derivadas. Esta Tesis Doctoral está depositada en el Repositorio Institucional de la Universidad de Málaga (RIUMA): riuma.uma.es
#1 (' ')') ! #) "'%(& '))*%' ! #$%&# &%& +,-. )/ / "/"#
$ ! !" '() *+#,! $ "-)" '"')./ " /0 / +/ ( 1'2.")3' )" 4" "'"'/5"0./"6/ 1'" 67 $$+$7 '"' )'/))+7%& 8("! 27%&+&$&$ ++99$%:;9<
$&$+ $%7 7$, $%&$%+ $%% =#$
" ! "#" #$%&'&(')*+% ,-./. #00112343 - #1,,#10-15 . 167#,83 8 - 0 6$13 $9:;< $$=294 ;>. $$=.? 6;1@@2=
!"! #$ !"!"%&'(')(*+,&&'(')(,-. !"!/0123 2 #&'(*0#04#&'(*0# 0#4&'(*0#40 5- #6&''701 - - 1 8 9 : "-; 2 2<; $- 8 "< = >
$ 1? 7&+()(' % . < /136#&''70 # 0 - )%8"#%8"0#=6@&'('0)< 3 1 < $;; >AB#&''C0 #" 1(77D&0.- -;/ 1. -;/ ./ < E"1. E/#"@FB-(7DD0 $;1%%9 ?<<9 ; ; -5 $ )G)3 #H@>AB&'(+0I
; - J 8 38 K9@1B#&'''0 . G -/
; 23- 1%1#6B(77C0K- E " ; 1%1#1%10#65LBEBH@KH(77(J 6B(77C08(' -1- ; 23 M% 1#8"@5(7DDJ>1@5(77N0 #M% 101D' ; E -::OOOO &N J<; 1%1;E %1#9&''(0#%1%03 1%1 <-;8,' 1%1 1%K #LBEB (77+0 #1E % K 1%K 0-E #0 PKK #LBEB@8B(77D0#PKK 01%K E<8&' 5 :K%18#LK(77+0
< MK E 1?KF2 8 - 1?7&+()(' 1?7&+()((K4 8 :(0 PKK &0K-2%#2% 0,0K-1KM81%M #9E (77&0 " 1%1;: 4 1 8 K1%1#6&''DJK&''+0 $'7('N -;#9E@1&''70 ; $; !"! $- --8 ; +Q ;- 1%1- 9- =8 %K !"! &'(')((&'(,)(+9 3 4 $ $N*
$ $ *4$ 5,N* ;2- &'(, (7D D+ NNN; -23 9 4 $=%K 5- 23 1 ; 23 !"! 9 %K<&'(() &'(&#F$ :0<#4(R4 ))4(R4 6)0 $3; ? )?S) 8)8)#0- (D' 2 4 $
9 !"!: 123-;"$ 5 !"!&'(')&'(,"%&'(')(*+,&2,'&''7#6?,( 0 ;23 2 !"! - ; ; ";< ; !"! 8; ; !"! ;.9 E/ $;; : ( " E 4F -;J- & 23 ,;;& E4F + 23 - -; *;,;
! " 9 1 :- " --; -<--;- -;#6&''70 23 -;J-; 23 -; $) )E -; 23 $< 23 4F #:OOO0 E <E4 <23 -; < $ 9 #$90#8@&'(+0 3 ./ K
3+/%('4 5%
%B
+C
+D
+E
+B
*&
*'
*%
*+
**
*)
)%
)+
)*
))
)C
)D
)E
)B
C&
C'
CE
CB
D&
37/%(' #'88
D+
D*
D)
DC
DD
E* : % /#&&&#;FFE+ &$7!::"$ #$F;QQ%!9:;>9"$ $! ::$/J9</$7$<;U 7$#$$+ D8+%$:;U$,$ !$!%&!7 #$5 #$%7G$$ %,+#$%! &.+7#$7 #$!+$7$&$ $%$&+%&!%#$ G&$"!$ +%G&N % , $+ % + $ $$,87&% TT":;9;D 9<B>:+$#CN&+$ %+$+%NG! &$#$ > & ' % " ! $ %&!#$"7$#$ +#++8%57/$&9EFFB $+AF+QU$,%:9+B#$+A;U 9F%:BN+%:<<BN"E9+>U%F+>U& +$#$$7 $&$,#$+!" $$%$7#%7N77# &$!#D8"$ P#$+(&G"#G +7$N+ 7&$"$7$&G &
E) $$7GC.+ 7%+7,+$N QEEU7$%>99U7$,.7 &$7$%$&$%%&!.$, !G ;9;;"+$F;QQ7! QQQQ;9;;%&$!%VHGD::LW9>< ,7:A>U7 8D8,$+$77 8$#$<;U,$%$ $$/77D8$$%%&! +#$$%+%& $,!+$$$ ! (% ) )#! #$ $!H"G$L% 0HLG$%!$ 8+%/G!G!%$! !% TT %%$ &+$%!7 .+&&$ $+<#E+<M$7G$$$ $F%E+<"$R4C $%SP<%E+<M$ A<"P"G$+Q<E%$ P2+%$7RS$ $%$,+$$ H9<L$+ $$7#$# & $ % $ ! ,+$,%,#$$% , *! $)&+,-&+,- /,$!&
EC NXM+&$& )6Y)6DC+G+$H 8$&G$L:;9>D9BG$!#$Y %)6D$$+$+% H9F;LP. "$$7&G%+%# $##%$ 9Q7$,7 %+$. !&$!%VQDG / & %+ G & $ #$+#$+7 9;<#%$)67+% &9;<"&$#% &&&+&! % $$C"+ #$ $ &+ 8 / $$C +7 ,$! /$!$$$#$& &&)6$$C /!$! (! G 4% $ 7%G "$!
ED +2 ,+$ &% 9 #N#$=&+$$ H0+9EEFL "N$!= &P"N $+$!,G, $"P$$G, $"$H),9LG $$!$"$& ! , G,+$$&P% P"4#7#$$%G! $ % &! G % #$/$+7#$& $'"!YDGH:;9:L%$$ P"H:;9<L : #$ & %$% &!8%H),:L+$$ &,$+$ 7+##$=&8+ H#++.+57%&LM7%7$ $7#$= H),>L+ &;FFE+$F;QQ! 9:;>9 F. .333G > " !.. .. ...6 33 ;H= B /!$#$,%&#$ 8+!&$%$$8+$ 7 $ ! +
EE !%!GH),BL+$ !)$, G$!8& < %$7$$$$% $%#$=$& $# )6%7 $H),<L"$%C .$+7G#$ +$# $&.7+$$$$ #$&$+%&&$!% $#$7$, +7#$$$&$)) X+$$ 7 #$ G % 8+ $ #$ $$&$ "%8$+#$)6+$%$ &$))$X.&$78$$#$%% +%,8$ $$$7$$ +$$ &$8$ Q /%N$$%&!# $&G$$7 &$+$#+ $&$"% &!#%$ $,$"!7 %+,$8 #$7+!+ $&!%! +$$&N, $7 "$+$#$&$%& HRSL%$%&!# +%+$,,"&$ 7&&+%7#$ $ % &! & $ % $+%&,&+$7 #,R/!%!
EB $$%&!#$%= S",!%$$% TT ,8%!7#$7 & ! % ! , $$"" "N ! $ $ !$%$+7!%! !$$$$+ !7%!%!,+7 %$!%
B& 62 !!!"' $&$C ",%&$G% $G "$$!%$,$$+ !&$+, &G+%+ $7$ +!7% 8+$! #$.7+$,& %8 "$##$$%&!$ ! &$ &%7&#$$! G%$&.$++, %#$R,S+!$ ,%$#$ &&$$$+ && /8$!$$!#$$&% )+7!* 8G%7&7 $#$&#$ #$$$8+57+ +(+.%)6&&$/7#$ #% 4%$%$$$ ))HL"$$#$ $)6%N, #$% "$ 7 + &! % # ! % !!+78& #$7#&$+$$+ &$&7$$D))+!&$)) &$/+!+#% $))$8$%,8$
B' $+#&%)) !&!% 46 G6
B%
'%%"9'
'&' /8$!$C
'&%
'&+
'&*
'&)
'&C
:;2<' % 3
'&B "$+!!G! !%#$8P+&% $$M$G!%,&!#$$!7 +$&!%$$! ! 8$7&%&!7 %$8+%! ,$#$%=, !+,%G!N!G % TT$M$+$ !&$%$$8 ",$87&&7 $!%!$%! 7$!#&#!$ $%&!$$$+G$! $7!+$% $!($!$+ %!& % TT 7 7 $$ '%$!! $$!,$,$! % "$$+$% !$'$+ %,$+%$&$% &/!&$,7 "$$#$ HL%)6D)6P7%$ $.+$$! $+$$% (,% !&$M$+&!$ !+!%!+$!
''C "GH:;9BL+_$`8N$!% N"!"*:_`%*>"!% $!""G"2:;9>O9Q%" 4T"$ $!%"!P#%BFJ:;9BH#9EL B:>$!$H$NL
:2( ")
''B -2 ( #&#=J+$=$#% & 8#=#7 H0J+9EEQL&=#$=$&#=& $#=&+#%&+&= $#7$%+&&#### $&##%&##=J=C 7H%$%L H0+'+9EE9M0J+9EEQL &9;7%$$+%$=## $ & ##=J=## #+# #7* H#+9EFFM4+9EEAL+H*& &&L =#F;+%$ #&==%&$&$#&C #COO$O7O $&:A7#=#$%# &.+#&% &,+J #7=#=J=##&=+$ #"7H/+:;;9L+H&+&+"&L& = %$+#7%$#%+ $#&+& &>;7&# $$#$&+%&+%$ $$%$% # 7 HIJ=J+9EEBL H&=%$ %+ L#7%&&=J #%$%H7&#&&L&$#=&# # 5 7 HIJ=J K J+ 9EEFL H5 % $ %L G& 7+%$#% &=+#7&&& &:;7 #$#%&+=G#$4=+ =&$#$+#C+HI%++9EEBL+=##% $%7%+*"+7$$#%7%= + & $+ %+ &&%+ % &% )" +&$&#$ )E:B9D9;+
'%& #& )E:B9D99P =#$&$#%&$ #%=##&=C9L$$&&+&$J& 5 :L$$$J$#"$H"&&L+>L $&&&+=#7"**+H/=+9EE:L+$ $% )&#+ #7=#$&=##%= %#&&C (& "% ( %###7 H0+:;;FM#+ :;;BL .%&&&;E9&##7&%;A&# =7&H/=K+:;;EL #&=#&#$&#$=$#7 &$##&&&#$($%+# $=&$$#=%+= %&&GK,##=##%G (%#%+%&#&$=J #%+#a#&%&% %#&$#$#,% &&G#=##=#+##B# #&&=+=#### #=$G&%7##=7&# %7#=%=7%$# %#$%&== #%G=&#(%&"# %&+=##=#K,+#=## %7+$&$#%:;9;D99:;9>D9B#$& #&&$$&#%+#=+=$%& ,&#.$%".%=#G$%A< +#.%,##&# (#&&#$=&<$%# #,&=#=#&>A< #=#=#&$&#==## &#$$$%&$:;9>+=#9EF #7+&=##%FB&%+AAA
'%' ##$&#=#%&&#&& %%#+$# ##%#&%&#&.$% "+(%&"+%&+#&'=# +$#%#+G #&$&#$=#% &&G%#K=#&D $$#%=#### &###$=J&$#&#(%&"7+ &&=##%&+###$%:;99D:;9:+=# &&,H#%.%=.##C$ L=# (#%$#%&$=# &&+=D)D) DDH&#L5###&#&#$ = # + # $ = 9F; # , &# ##%&#"+= #&#%&#$
'%% +2 (= # & # , # #+ = # & &##, 9 #=&D+$$H0+9EEFL #D=&=P"&# &&#=# +# =G#&=#%P '#= $%#J#&&$%&"$ #=H),9L#=G$%#&& #$$ #&%$G#&$##+# =G#&+%#/$ &#&&P '=$#$P"# &#=G#&#$&% &#%G/$+#= &%$#'%$&"DDG H:;9:L$%#%&P"H:;9<L : #$&##%%&$% &&#&#,H),:L+# #=J+%##$$+# #=&&H#++.+ 57&$LM##$$= %# =H),>L+=###%&;FFE+# &#F;QQ=#&9:;>9 #&%$+#&%# $##M#$& & > ) #&&#$%&&%+ $%#%&#&#& $J#=J#%7J%#$+ $#=#H#$++J$L B # $ # $ &% & &$ $$%+%#& +&D$ $#%G H),BL+## $ &&G$$ < ##$$$%&
'%+ $==#$&)6 ##&#&#=JH),<L#% &#C (+#&# +$%=#$& +#$$&$==#$&+ $%&$&$J## #& +$$=##))&$&X+#$ $##7 G+=#$$&$ #&%+#)6+=%))&$J X.&$##%##%$%7%# ##=$&$$## ###=J7J$&=+ $J7J#&$=#$& Q ##&$$&%&#= J=#=&G#&$+# ##&$%&# =$&$ $# #=##&#+& &$&#### =##&%$0%&#=$% +=&#####% #+#&#%#&&H% bJbL&#=$ #%#&&$#%#&&# &+###%&% &&###$%+## &&&,+=####$,&## b$&=$$$#% &&=b #=J##$$%#K,% =J=###%#&#&&D &D&(#$+#$$& #"4#"#$&$5## $%$#+##=&# ###$$#### &##&D&D$&+#
'%* =#&#
'%)