Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los entornos personales de aprendizaje

Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 Autor de contacto / Corresponding author Castañeda Quintero, Linda. Universidad de Murcia (España). [email protected] │1 Revista ELectrónica de Investigación y EValuación Educativa ISSN: 1134-4032 e-Journal of Educational Research, Assessment and Evaluation Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: Explorar los Entornos personales de Aprendizaje Validation of a Questionnaire on Work and Learning Habits for Future Professionals: Exploring Personal Learning Environments Prendes-Espinosa, María Paz(1); Castañeda-Quintero, Linda(1); Solano-Fernández, Isabel María(1); Roig-Vila, Rosabel(2); Aguiar-Perera, Mª Victoria(3); Serrano-Sánchez, José Luis(1) (1) Universidad de Murcia (2) Universidad de Alicante (3) Universidad de las Palmas de Gran Canaria Resumen Este artículo describe el proceso completo de validación del instrumento de recogida de información del proyecto CAPPLE. La validación del instrumento –un cuestionario onlinepretende garantizar la fiabilidad, validez, pertinencia y la funcionalidad del proceso de recogida. Se ha optado por un método de validación basado en tres procedimientos sucesivos y complementarios: 1) un juicio de expertos realizado por 8 profesionales en tres rondas consecutivas; 2) una ronda de entrevistas cognitivas a 24 sujetos con 10 ítems cruciales; y 3) una prueba piloto con una muestra invitada de 400 sujetos, de los que 224 se consideran muestra productora de datos. Tras la realización de los tres procedimientos se ha conseguido un instrumento conformado por cuatro dimensiones básicas (autopercepción, gestión de la información, gestión del proceso de aprendizaje y comunicación) y que resulta de gran utilidad en el estudio de los Entornos Personales de Aprendizaje de los estudiantes de Educación Superior. Palabras clave: Entornos Personales de Aprendizaje, validación de cuestionario, PLE, autopercepción, gestión de la información, gestión del proceso de aprendizaje y comunicación. Fecha de recepción 2015 Noviembre 03 Fecha de aprobación 2016 Septiembre 01 Fecha de publicación 2016 Septiembre 03 Abstract This article describes the entire process of validating the data collection instrument of the CAPPLE project. The validation of the instrument (an online survey) aims to ensure the reliability, validity, relevance and functionality of the collection process. Hence, a validation method based on three complementary procedures has been chosen: expert judgement by eight experts in three consecutive rounds; a round of cognitive interviews with 24 subjects on 10 critical items, and a pilot study with 400 invited subjects, of which 224 are considered the final sample. Following the completion of the three methods described, we get an instrument that meets the validation criteria, configured by four basic dimensions (self-perception, information management, management of the learning process and communication) and that could be considered as a very useful tool in the study of Personal Learning Environments of university students. Keywords: Personal Learning Environments, questionnaire validity, PLE, self-perception, information management, management of the learning process, communication. Reception Date 2015 November 03 Approval Date 2016 September 01 Publication Date: 2016 September 03 Este artículo describe el proceso completo de validación del instrumento de recogida de información del proyecto CAPPLE –un cuestionario para ser administrado online-, que pretende garantizar la fiabilidad, validez, pertinencia y la funcionalidad del proceso de Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │2 recogida. La validación del instrumento que describimos en este artículo es en sí misma un proceso de interés (García, Ferrández, Sales & Moliner, 2006; Jaramillo & Oses, 2012), pero a ello se añade el valor de presentar una herramienta útil para el estudio de los Entornos Personales de Aprendizaje de los estudiantes de Educación Superior que entendemos podría ser utilizado en el futuro en otros ámbitos de acción o servir como base de estudios más profundos. La exploración de los entornos personales de aprendizaje (PLE) Los Entornos Personales de Aprendizaje – en adelante PLE (Personal Learning Environment) - son uno de los temas que ha despertado mayor interés en los últimos tiempos en el ámbito de la tecnología educativa, la didáctica y la educación en general. Se entiende por PLE el "conjunto de herramientas, fuentes de información, conexiones y actividades que una persona usa de forma asidua para aprender" (Adell & Castañeda, 2010 p. 20), en el que se incluyen también los procesos cognitivos, las estrategias y actitudes personales que promueven ese aprendizaje (Castañeda & Adell, 2013), entendidos de forma holística, dinámica e interrelacionada. Su formulación, como un enfoque para entender cómo aprende la gente –más allá de con qué aprende (tecnología) –, ha estimulado una línea de trabajo que incide en casi todos los aspectos de la pedagogía y que plantea numerosos desafíos, tanto en términos de investigación teórica como de implementación práctica. La investigación centrada en el estudio de PLE en los últimos años ha experimentado una tendencia alcista (Buchem, Attwell & TorresKompen, 2011; Gallego-Arrufat & ChavesBarboza, 2014; Llorente, 2013) en la que los estudios han estado especialmente dirigidos a conceptualizarlos, a difundir el término, a ubicarlos y a ayudar a construirlos en situaciones concretas –especialmente en situaciones de educación informal— (Attwell, Castañeda & Buchem, 2013). La investigación empírica sobre el uso del concepto de PLE como fundamento para planteamientos más formales ha tenido que esperar más. Como subrayan Castañeda y Adell (2014: 756) la mayoría de las investigaciones sobre PLE hasta el momento centran su interés en el análisis de tres cuestiones clave: a) “cómo las personas integran las distintas tecnologías en sus PLE y cómo las usan”, b) “los mecanismos psicológicos ligados a ciertos elementos de los PLE, como el sentido de propiedad de los artefactos construidos por los aprendices”, y c) “la relación entre algún rasgo de autorregulación del aprendizaje y el uso de herramientas que forman parte del PLE”, aunque estas perspectivas siguen ofreciendo sobre todo una representación tecnológica de los PLE. Coincidiendo con Attwell et al. (2013), Gallego-Arrufat y Chaves-Barboza (2014:14) destacan que “sería importante favorecer la realización de un mayor número de investigaciones empíricas en las que se asocie el análisis del PLE con la mejora del aprendizaje; se investigue la capacitación tecnológica que tienen los docentes y los estudiantes (en los centros, en las universidades y otras) en herramientas que pueden conformar sus PLE y se analice el reto docente que supone poner en acción la idea de PLE en su práctica didáctica”. El proyecto CAPPLE (www.um.es/ple) tiene como objetivo precisamente estudiar cómo son los PLE de los futuros profesionales universitarios en España (estudiantes de último curso de las universidades españolas). Se trata de una apuesta por ir más allá de la definición o discusión teórica y la exploración prospectiva en entornos pequeños, para hacer un análisis de la realidad educativa de la educación en general, y de la educación universitaria en particular desde una perspectiva que entiende que uno de los principales retos de la educación actual es formar personas –profesionales en este casoque sepan aprender eficientemente, y conocer su PLE nos puede dar una idea de hasta qué Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │3 punto es así. No en vano se parte de que el PLE es una idea que nos ayuda a entender “cómo aprendemos las personas usando eficientemente las tecnologías que tenemos a disposición” (Castañeda y Adell, 2013:15). Conseguir la información pertinente para realizar ese análisis en profundidad en una muestra suficientemente representativa que nos permita hacer inferencias sobre la población y plantear propuestas y discusiones relevantes a nuestros contextos educativos es el objetivo último del diseño del instrumento CAPPLE y su validación es el reto que proponemos en este documento. Un instrumento para describir PLE en el proyecto CAPPLE El proyecto “Competencias para el aprendizaje permanente basado en el uso de PLE (entornos personales de aprendizaje): análisis de los futuros profesionales y propuestas de mejora” –CAPPLE- (referencia EDU2012-33256), es una investigación financiada por el Ministerio español de Economía y Competitividad que pretende la descripción y el análisis prospectivo, tanto en términos técnicos como en términos funcionales, de los entornos personales de aprendizaje (PLE) de los futuros profesionales españoles de todas las áreas de conocimiento (estudiantes de último año de carrera universitaria) de España (http://www.um.es/ple). En otras palabras, el proyecto CAPPLE pretende describir cómo perciben los estudiantes de último curso la forma en la que aprenden y cómo podría traducirse en características de su PLE. A partir de tales descripciones podremos realizar inferencias sobre su formación y sus competencias, especialmente algunas referidas de modo específico a su formación como profesionales universitarios que esperamos puedan ser realmente interesantes para nuestras instituciones y sus planteamientos transversales. Para conseguirlo, como ya hemos descrito en algunas publicaciones anteriores (Prendes y Castañeda, 2013; Prendes, Castañeda, Ovelar y Carreras, 2014), se diseñó un proyecto basado en 4 fases claramente definidas y coincidentes con los objetivos del proyecto: (1) Diseño y validación de los instrumentos de recogida de información sobre PLE, estrategia de recolección de datos. (2) Recogida de información sobre PLE y análisis de datos. (3) Análisis descriptivo y comparativo de los modelos de PLE subyacentes. (4) Análisis y prospección de las implicaciones educativas e institucionales de los resultados obtenidos. Propuestas prácticas pedagógicas y organizativas. Sin embargo, si algo es evidente en todas ellas, es que la recogida de datos y el instrumento con el que se pretenden recoger dichos datos resulta de una importancia central. Por ello, la creación y validación del cuestionario de CAPPLE tenía como reto responder inequívocamente al primero de los objetivos del proyecto: Describir las estrategias y herramientas concretas utilizadas de forma habitual por estudiantes universitarios de último curso de todas las áreas de conocimiento para enriquecer y gestionar su proceso de aprendizaje, dentro y fuera de las aulas, especialmente aquellas que tienen lugar en contextos electrónicos. Ese objetivo y la naturaleza del proyecto determinan aspectos que actúan como condicionantes del proceso de recogida de datos que han de tenerse en cuenta a la hora de crear y validar un instrumento idóneo. Por un lado, pretende hacerse una recogida muy amplia ya que se trata de un proyecto nacional que pretende tener una muestra representativa –en torno a 1000— de los estudiantes de último curso de la universidad española y eso justifica más si cabe el uso de un cuestionario validado (Best y Kahn, 2006); pero, por otro lado, se trata de una recogida de datos que pretende ser exhaustiva con el fin de que el objeto observado pueda ser descrito y detallado en toda su extensión, aunque resulte Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │4 extenso. Además el cuestionario ha de ser una herramienta que recoja la auto-percepción de los estudiantes sobre su entorno personal de aprendizaje, pero sin explicitar el concepto de PLE ni las dimensiones que lo configuran. Tomamos como núcleo de partida la definición de Adell y Castañeda (2010: 23) que define los PLE como “el conjunto de herramientas, fuentes de información, conexiones y actividades que cada persona utiliza de forma asidua para aprender”. Se entiende que incluyen “procesos, experiencias y estrategias que el aprendiz puede –y debe– poner en marcha para aprender, en las actuales condiciones sociales y culturales” (Castañeda & Adell, 2013:15). Para la construcción de este instrumento se partió de la revisión bibliográfica y documental de otros proyectos y de la literatura científica relacionada con los PLE, con los procesos de autorregulación (estrategias cognitivas y de motivación) y con el uso de herramientas telemáticas para el aprendizaje (autodirigido o dirigido por otros). Utilizamos como base los principales instrumentos sobre estrategias de aprendizaje y aprendizaje autorregulado (Pintrich et al., 1991; Midgley et al., 2000; Martín et al., 2007), así como el instrumento sobre el conocimiento y uso de las herramientas telemáticas de Prendes (2010). A partir del procedimiento seguido se concretaron cuatro dimensiones –con subdimensiones que las definen y describenque configurarían el centro de nuestra recogida de datos, así: Figura 1. Dimensionas básicas proyecto proyecto CAPPLE (Prendes et al. 2014:8) Se hizo un esfuerzo importante por no incluir sólo conceptos, sino asociar conceptos a indicadores y escalas ya validadas en otras investigaciones anteriores y, tras un proceso de recogida y depuración de dos vueltas consecutivas, se obtuvo la primera versión del cuestionario (el proceso de construcción del instrumento se describe más detalladamente en Prendes et al., 2014). Método: el proceso de validación del instrumento CAPPLE El proceso de validación de este instrumento responde en general a la necesidad de garantizar la fiabilidad, validez, pertinencia y la funcionalidad del proceso de recogida, garantizando que el instrumento realmente mide lo que debe medir (Knapp y Mueller, 2010). No se trata sólo de la validación de una escala que evalúe un aspecto acotado del proceso de aprendizaje de los individuos, sino de la validación de un instrumento que pueda describir con detalle cómo nuestros estudiantes de último curso aprenden usando –o no— tecnología. Por la complejidad del instrumento y los condicionantes a los que se aludía en el apartado anterior se ha estructurado en tres procedimientos consecutivos y complementarios en los que, a su vez, se han combinado procedimientos cualitativos y cuantitativos –con sus debilidades— (Utkin, 2006) que han aportado una mayor robustez al cuestionario que se refleja en la validez denotada en la investigación. Al tratarse de etapas sucesivas, cada vez que se terminaba uno de los procedimientos se generaba una nueva versión del cuestionario que era la que se sometía al siguiente proceso de validación. En primer lugar, partiendo del primer borrador del cuestionario (Anexo 1) se hizo una validación de constructo a través de juicio de expertos; posteriormente se llevaron a cabo entrevistas cognitivas para la validación de procedimiento y contenido del instrumento (los cambios incluidos tras los procedimientos Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │5 de juicio de expertos y entrevistas cognitivas pueden apreciarse en el borrador de cuestionario incluido en el anexo 4); y, finalmente, se realizó una prueba piloto para hacer las pruebas de fiabilidad interna y cerrar algunos aspectos metodológicos. El juicio de expertos es uno de los procedimientos recogidos por Crocker y Algina (1986) para la construcción y validación de un instrumento de investigación, entendiendo que puede ayudar a calificar el instrumento en términos de la eficacia con que muestra aspectos significativos de su propósito y proporcionar estimaciones de la validez de contenido (Best & Kahn, 2006). Teniendo en cuenta las dificultades de realizar este procedimiento presencialmente y con el objetivo además de evitar la influencia entre expertos, se decidió realizar un juicio de expertos por el método de agregados individuales. En el caso de las entrevistas cognitivas, se trata de un procedimiento basado en métodos cognitivos que permiten obtener evidencias sobre la validez de los ítems formulados en el cuestionarios a través de la información aportada por algunos sujetos durante el proceso de respuesta del cuestionario (Snijkers, 2002; Willis, 2005; Wolley, Bowen & Bowen, 2006; Dilman, 2007). El tipo de entrevista empleada ha sido la entrevista cognitiva de sondeo concurrente (Smith y Molina, 2011) que consistió en solicitarle a los alumnos que fueran respondiendo en voz alta a las preguntas que les planteaban, manifestando en ese momento sus dudas, problemas o inquietudes. Para el desarrollo de la entrevista, se siguieron las recomendaciones de Snijkers, (2002), referidas a elegir de entre el total de ítems del cuestionario aquellos que se consideraran diferentes o especialmente problemáticos por su contenido (target test questions), de manera que se garantizase la inclusión de al menos un elemento con cada tipo de escala utilizada y con núcleos temáticos que abarcaran el espectro completo del cuestionario. A esas preguntas utilizadas en el procedimiento se consideró preguntas diana. Así, los investigadores del proyecto fueron preguntados por cuáles consideraban que eran las 10 preguntas del cuestionario susceptibles de ser incluidas en el proceso, y aquellas que seleccionadas por un mayor número de investigadores, fueron elegidas preguntas diana¸y en torno a ellas se fueron planteando una serie de cuestiones (pruebas generales y específicas) que aportarían información sobre la forma en la que el sujeto afrontaba la respuesta a la pregunta del cuestionario. El protocolo de entrevista cognitiva (incluido en el Anexo 2) fue elaborado en el mes de mayo de 2013 y repartido entre todos los investigadores que habrían de estar involucrados en la recogida, de manera que pudieran solventarse las dudas que surgieran antes de su administración. El proceso de recogida de información se inició en junio de 2013. Los entrevistadores fueron seleccionados de entre los miembros del equipo de investigación de las Universidades del País Vasco, Oviedo, Las Palmas de Gran Canaria y Murcia. La selección de los participantes fue realizada directamente por los entrevistadores, siguiendo los criterios que previamente fueron establecidos: se seleccionó un alumno de último curso de titulación (Grado, Licenciatura o Diplomatura) por área de especialización en cada una de las universidades mencionadas (o de universidades ubicadas en la misma zona geográfica), a excepción de la de Murcia, que seleccionó dos alumnos por área de especialización. Las entrevistas fueron grabadas y posteriormente transcritas. El procedimiento de tratamiento y análisis de la información se realizó por áreas de especialización, de modo que finalmente dispusimos de recomendaciones y propuestas de mejora de cada una de las preguntas en función de cada rama de especialización. La matriz de datos cualitativos realizada a partir de los datos seleccionados tenía tres categorías básicas: Resultados generales; Comentarios de los Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │6 participantes; Recomendaciones y propuestas de mejora. La categoría de resultados generales aporta información sobre la inteligibilidad del enunciado y las opciones de respuesta. Por otro lado, en los comentarios se han recogido información específica sobre algunas de las propuestas, dudas o comentarios recogidos por los participantes. A partir de estos comentarios, se elaboró la última categoría referida a recomendaciones, en la que se sintetizaron, en función de la frecuencia de aparición de los comentarios, dudas o propuestas, los principales cambios que había que realizar en el instrumento. A partir de los resultados, se rediseñó el cuestionario y con él se realizó el último procedimiento más usado en Ciencias Sociales para la medida de la fiabilidad de un instrumento, es decir, la combinación de análisis descriptivo (estadísticos descriptivos básicos), confirmatorio (análisis de tallos y hojas) y finalmente correlacional basado en el Alpha de Cronbach de cada uno de los ítems (Knapp & Mueller, 2010). Para la selección de la muestra de esta prueba piloto se siguieron las recomendaciones de autores como Nunnally (1978), Cohen (1988), Kline (1994), Osborne y Costello (2004), Morales (2012 y 2013) y se realizó con una muestra invitada de 400 alumnos de diferentes universidades participantes en el proyecto y se utilizó un cuestionario en línea que se aplicó entre diciembre de 2013 y enero de 2014. Es importante destacar que los resultados de este último procedimiento solo se aplican a las preguntas del cuestionario que corresponden con variables de tipo escalar, y que los resultados fueron discutidos en función de las necesidades de información del proyecto para tomar decisiones sobre si incluirlas o no en cuestionario final. Así, las preguntas nominales o abiertas, o aquellas que no han podido ser incluidas en el informe del tercer mecanismo de validación por ser único ítem de categoría o similar, se incluyeron o no en el cuestionario final en función de su utilidad para la recogida de información del proyecto, siempre que hubiesen superado los dos mecanismos de validación anteriores. Procedimiento de validación 1: Juicio de Expertos Una vez construida la primera versión del instrumento a partir del trabajo del equipo de investigación, para una primera evaluación se envió a un grupo diferente de expertos que estuvieron implicados en el procedimiento de construcción del mismo. Se seleccionó a un grupo de 8 expertos, uno por cada universidad implicada en el proyecto –dos por aquellas donde había más de 3 investigadores implicados—, que no estuvieron implicados directamente en la realización de la primera versión del cuestionario y que por su categoría de expertos en educación, en educación superior y en tecnología educativa, se consideraban idóneos para la validación del instrumento. Los expertos debían juzgar de manera independiente la relevancia y congruencia de los ítems con el contenido teórico y también la claridad en la redacción y el sesgo o tendenciosidad en la formulación de los ítems. Como se ha dicho antes, se usó el método de agregados individuales y se pidió individualmente a cada experto que diese una estimación directa de los ítems del instrumento. Cada experto recibió el instrumento de validación en una tabla que identificaba cada pregunta e ítem con la dimensión a la que pertenecía y con otra en la que debía indicar su acuerdo o desacuerdo en relación a la pregunta y el contenido, la claridad de la misma y su formulación (incluyendo enunciado y escala), si se observa tendenciosidad o sesgo y un espacio abierto para las observaciones. Teniendo en cuenta que en la primera versión del cuestionario enviada a los jueces incluía 66 preguntas con un total de más de 360 ítems, es evidente que el cuestionario necesitaba reducirse, así que se decidió asumir en la primera ronda un criterio restrictivo respecto al acuerdo de los jueces: sólo habrían de conservarse aquellas preguntas en las que Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │7 coincidiesen plenamente los jueces (preguntas congruentes, claras en su redacción y no tendenciosas). En una segunda ronda se preguntó a los jueces si consideraban que alguna de las preguntas podían combinarse en una y que hicieran su propuesta de enunciación. Las propuestas de enunciación se reorganizaron y se volvieron a enviar a todos los expertos para hacer un juicio como el de la primera ronda y que seguiría el mismo criterio de selección. El resultado de este procedimiento de validación, aunque incluyendo los matices incluidos por el procedimiento siguiente (las entrevistas cognitivas), se pueden apreciar en el Anexo 4 de este documento. Procedimiento de validación 2: entrevistas cognitivas La técnica de selección de los participantes en las entrevistas cognitivas fue no probabilística por cuotas, es decir, se ha realizado atendiendo a la organización de las diferentes titulaciones por áreas de especialización, encontrando 7 alumnos de Ciencias Sociales y Jurídicas, 4 alumnos de Ciencias, 4 alumnos de Ciencias de la Salud, 5 alumnos de Ingeniería y Arquitectura y 4 alumnos de Letras y Humanidades (Tabla 1). El 90% de los alumnos que han participado en esta fase de la investigación tienen una edad comprendida entre 20 a 26 años. Tabla1. Participantes en las entrevistas cognitivas. TITULACIÓN UNIVERSIDAD EDAD CIENCIAS SOCIALES Y JURÍDICAS Grado en Publicidad y Relaciones Públicas Universidad del País Vasco (EHU) 23 Licenciatura en Psicopedagogía U. de Las Palmas de Gran Canaria (ULPGC) 21 Grado en Educación Primaria Universidad de Oviedo (UNIOVI) - Diplomatura en Educación Primaria - Diplomatura en Educación Infantil - Grado en Educación Social Universidad de Murcia (UM) 35 Grado en Relaciones Laborales y Recursos Humanos 24 CIENCIAS Grado en Biología EHU 23 Grado en Ciencias del Mar ULPGC 23 Grado en Biología UM 20 Grado en Matemáticas 21 CIENCIAS DE LA SALUD Grado en Medicina EHU 24 Grado en Enfermería ULPGC 23 Grado en Psicología UM 22 Grado en Actividad Física y del Deporte Universidad Católica de San Antonio (UCAM) 31 INGENIERÍA Y ARQUITECTURA Grado en Ingeniería Industrial EHU 23 Grado en Ingeniería Informática ULPGC 23 Grado en Ingeniería Industrial UNIOVI - Grado en Ingeniería Industrial Universidad Politécnica de Cartagena (UPCT) 24 Grado en Ingeniería Informática UM 22 LETRAS Y HUMANIDADES Grado en Bellas Artes EHU 23 Grado en Geografía ULPGC 26 Grado en Lengua y Literatura UM 21 Grado en Historia 26 TOTAL: 24 participantes Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │8 Una vez codificados y analizados los datos obtenidos de la entrevista cognitiva, presentamos en este apartado las recomendaciones y propuestas de mejora que los participantes realizaron para cada una de las preguntas target del cuestionario. A nivel metodológico, las recomendaciones realizadas por los participantes hacen referencia tanto a la presentación de la escala de medida utilizada en el instrumento, como a la formulación de los ítems. Las preguntas 7, 11 y 12 no presentan la escala de medida utilizada en el resto de ítems. Los participantes manifestaron que esto les provocaba inseguridad a la hora de responder. En este sentido, se recomienda el uso de esta escala en todos los ítems que sean claves para definir las dimensiones y subdimensiones que subyacen al modelo teórico planteado en el cuestionario. Es preciso revisar la formulación de los ítems que están en negativo. Los participantes detectaron que en las preguntas 6 y 10 existen dos opciones de respuestas formuladas en negativo. En este sentido, se recomienda reformular estas opciones ya que existen dos opciones en la escala de medida que nos pueden aportar la información que necesitamos: “No se aplica o no lo uso” y “Nunca o casi nunca”. Asimismo, se sugiere que sean revisados el resto de ítems del instrumento general para detectar la posible reformulación de preguntas u opciones de respuesta que están en negativo. A nivel de contenido, las recomendaciones y propuestas de mejora han sido recogidas en la tabla 3. En líneas generales, es preciso indicar que la única pregunta en la que no se proponen mejoras ni cambios es la 7, referida al procedimiento de búsqueda en Internet. Las preguntas que han resultado más ininteligibles para los participantes, o que les ha suscitado más dudas, han sido la 6, 8 y 12, esta última destacada por la práctica totalidad de los estudiantes. A nivel ortográfico y de estilo, los participantes también han destacado términos que no se encuentran bien escritos, por aparición inadecuada u omisión de tildes, por uso inadecuado de tiempos verbales, por un uso inadecuado del plural, etc. Estos cambios han sido incorporados directamente en la nueva formulación de los ítems. Tabla 2. Recomendaciones de mejora arrojadas por la entrevista cognitiva a nivel de contenido PREGUNTAS RECOMENDACIONES PREGUNTA 4: La mención de herramientas o servicios específicos dentro de algunas categorías puede dificultar que la información se entienda correctamente. Se aprecia que, al poner Youtube como ejemplo de información multimedia en red en el cuestionario, los participantes consideran que son vídeos. Se sugiere que la cuestión de medios de comunicación en red y medios convencionales se formulen una a continuación de la otra. Se recomienda revisar el número de opciones, pues parece que hay muchas opciones de respuesta en el ítem, y puede llevar a confusión. PREGUNTA 5 Cuando aprendes en Internet, ¿cómo fijas lo que debes aprender? Se recomienda hacer el enunciado más entendible en relación a la expresión “cuando aprendes en Internet” y el verbo “fijar”. En cuanto a las opciones, se recomienda eliminar o reformular las opciones “me ajusto a las necesidades laborales”, o reformularla, por ejemplo, poniendo “me ajusto a lo que me exigirán en mi futuro laboral”, y “me ajusto a lo que me exigirán mis colegas”; se considera pertinente sustituir “colegas” por compañeros. Se recomienda reformular o eliminar las opciones de “me ajusto a mis capacidades académicas”. PREGUNTA 6 A la hora de organizar mi tiempo en cuanto a trabajo y tareas Se recomienda eliminar o completar el término “herramienta agregador” porque no se entiende. Se podría decir “usar herramientas que permitan recibir información actualizada (RSS, feeds...), es decir, un agregador de información, noticias o contenidos”. Las herramientas mencionadas generan confusión, por tanto habrá que redactarlo de modo que sea más entendible y claro. El hecho de que aparezcan herramientas que no se conocen ni Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │9 PREGUNTAS RECOMENDACIONES utilizan provoca inseguridad a la hora de responder. Valorar si es pertinente incluir una categoría que haga referencia a “otra forma de organizarte”. PREGUNTA 7 Para acceder a la información realizo… No se proponen modificaciones. PREGUNTA 8 Cuando quiero aprender algo nuevo acudo a: Revisar la correspondencia del enunciado con las opciones. Se recomienda reformular el enunciado porque la expresión “acudo a” no se corresponde con todas las opciones. Valorar la posibilidad de reformular el enunciado y modificar u omitir algunas de las opciones. Se recomienda suprimir la categoría “me vienen a la mente espontáneamente”. Otra opción es reformularla: “Las ideas vienen espontáneamente, sin un referente previo”, “hablo en voz baja” y “hablo mentalmente”. PREGUNTA 9 Cuando quiero hacer algo creativo y nuevo: Se recomienda reformular las opciones “Creo algo nuevo” y “Creo algo un poco diferente”. Valorar la posibilidad de no poner que se crea nada nuevo sin partir de algún referente. PREGUNTA 10 Para elaborar informaciones que deseo alojar en la red, me ayudo de: Se recomienda sustituir el término alojar por publicar, subir o colgar en Internet. Valora la posibilidad de incluir una opción referida a recurrir a un experto. Valorar si es recomendable eliminar la opción de borradores elaborados en papel. Se recomienda unificar las opciones tercera (compañeros con quienes hablo) y cuarta opción (compañeros quienes revisan) Se recomienda reformular el enunciado sustituyendo el término “alojar” por subir, guardar o colgar. PREGUNTA 11 Para favorecer la colaboración e interacción con otros prefiero: Se recomienda unificar la opción de “Otros medios” con “otras estrategias” pues los participantes no entienden la diferenciación entre estos términos. Se debe hacer referencia en el enunciado a que se sitúen en un contexto académico o piensen en actividades educativas. Se recomienda hacer referencia en el enunciado a que se refiere a un uso académico o en un contexto escolar. No se considera pertinente añadir la opción de la presencialidad, porque ya se pregunta en otras dimensiones y categorías del instrumento. PREGUNTA 12 Para realizar proyectos colaborativos prefiero utilizar: Se recomienda reformular el enunciado en lo referente a “prefiero utilizar”. Se recomienda reformular el enunciado y hacer más claras las opciones de respuesta. “proyectos colaborativos y/o en grupo”. Se recomienda reformular las opciones de respuesta, e incluso reordenarlas, poniendo quizás primero la del grado de cohesión e indicando quién exige la implicación y la libertad. PREGUNTA 13 Ajusto la cantidad y variedad de herramientas en red que utilizo para aprender en función de: Se recomienda añadir en la tercera opción quién valorará ese aprendizaje “Valoración académica que va a tener ese aprendizaje”, o “valoración que los docentes van a hacer de ese aprendizaje”, o “La valoración que otras personas van a hacer de ese aprendizaje”. Se recomienda reformular el enunciado, eliminado el verbo ajustar. Se recomienda matizar el concepto de aprendizaje, delimitando a qué tipo se refiere (Proyecto, trabajo, tarea, etc.) Se recomienda reformular el enunciado y reformular el término del prestigio en red, ya que no es una opción clara para los participantes. Tras la obtención de las recomendaciones de diseño del cuestionario a partir de los resultados que arrojaron las entrevistas cognitivas, se procedió al nuevo diseño del cuestionario, quedando finalmente conformado por 256 ítems reunidos en 51 preguntas. Procedimiento de validación 3: Prueba Piloto Para realizar la prueba piloto en esta investigación se trabajó con una muestra invitada no probabilística de 406 alumnos universitarios de último curso de licenciatura o grado de diferentes áreas de especialización de ocho universidades españolas: Valencia, Las Palmas de Gran Canaria, Alicante, Lleida, Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │16 Utilizo algún contador de tiempo de aprendizaje para organizar mis tiempos en red (Tipo "pomodoro"). 12. El número y la variedad de herramientas en red que utilizo para aprender dependen de… S/CS AM AV PV CN / N N U / N A La importancia que doy a un aprendizaje El tiempo que tengo para ese aprendizaje La valoración académica o profesional que va a tener ese aprendizaje En el impacto que tendrá en mi prestigio en red 13. Cuando quiero aprender algo nuevo acudo a:… S/CS AM AV PV CN / N N U / N A Colegas y amigos presenciales Medios de comunicación en red Blogs o páginas webs Wikipedia o enciclopedias en red Redes sociales Foros Tutoriales en vídeo en red o diapositivas Aplicaciones móviles específicas del tema Colegas y amigos contactando por mail o mensajes privados en otras plataformas (FB, DM en Twitter, Whatsapp) 14. Cuando busco información lo hago en (marca una única respuesta) Un único motor de búsqueda generalista (google, yahoo…) Bibliotecas y bases de datos en red Varios buscadores generalistas Redes sociales Buscadores temáticos, especializados Foros de debate Motores de búsqueda específicos, temáticos 15. Para acceder a la información realizo…(marca una única respuesta) Búsquedas “de tanteo” en manuales, libros de texto, Enciclopedias Búsquedas en base de datos concretas Búsquedas “de tanteo” en buscadores web. Búsquedas en sitios y portales Web especializados Búsquedas sistematizadas en revistas especializadas Búsqueda por autores de referencia 16. Cuando quiero aprender algo nuevo, utilizo las siguientes estrategias de acceso al conocimiento: S/CS AM AV PV CN / N N U / N A Las ideas me vienen a la mente espontáneamente Llego a los nuevos conocimientos a través de otras ideas, conocimientos previos Repito mentalmente o en voz baja las ideas Utilizo un papel para escribir o representar las ideas o los conocimientos Recurro a materiales que he elaborado y que tienen relación directa con dichos conocimientos Acudo a información que tengo organizada y categorizada para su recuperación 17. Cuando trabajo con información, para comprenderla mejor, prefiero que sea: S/CS AM AV PV CN / N N U / N A Icónica (fotografía o imágenes) Vídeo Audio Multimedia Hipermedia 18. Me planteo realizar actividades que, a través de la red, supongan:: S/CS AM AV PV CN / N N U / N A Resolver problemas. Investigar e indagar Analizar contenidos e informaciones. Desarrollar proyectos. Elaborar creaciones. Ejercitar tareas repetitivas Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │17 19. Cuestiono la información que recibo de… S/C AM AV PV CN / N N U / N A De mis profesores De mis amigos y familiares Medios de comunicación tradicionales Medios de comunicación en red Blogs y páginas web Twitter Redes sociales Foros Tutoriales Aplicaciones móviles específicas Noticias que me llegan al correo De expertos u otros profesionales del área 20. ¿Qué añade credibilidad a la información que recibo?: S/CS AM AV PV CN/N N U/N A Que me lo recomienden mis colegas, amigos y familiares Que sea recomendado en las redes sociales Que aparezca en un sistema de recomendación en red (“meneame”, “tripavisor”) Que sea una de las primeras posiciones de la búsqueda en google Que sea trending topic en twitter Que aparezca en varios recursos (artículos, libros, vídeos) en red Que lo recomiende un experto 21. Ante la información que recibo S/CS AM AV PV CN/N N U/N A Soy consciente de que la interpreto según mis propios puntos de vista La interpreto de manera reflexiva en base a argumentos que me ayuden a comprenderla Valoro la opinión dada por el grupo de usuarios Pienso que no siempre es veraz o se corresponde con la realidad Considero que no debo cuestionarla, sea cual sea su origen La contrasto 22. De la información que localizo, selecciono: S/CS AM AV PV CN/N N U/N A La que es estéticamente más atractiva La que es más actual La que utilice un lenguaje más sencillo La que utiliza formato audiovisual La que parte de un esquema claro La que más me han recomendado La que es obligatorio que revise S/CS AM AV PV CN/N N U/N A 23. Cuándo abordo un nueva información, considero necesario establecer una conexión y/asociación entre los diferentes conceptos 24. Suelo guardar la información S/CS AM AV PV CN / N N U / N A En mi ordenador y en Internet ( la nube) Sólo en Internet ( la nube) 25. Para organizar y gestionar la información prefiero S/CS AM AV PV CN/N N U/N A Organizar mi información en carpetas (jerárquicas) Organizar mi información en una línea de tiempo Usar Marcadores sociales (Diigo, delicious...) Usar Wikis / Usar Blogs Usar herramientas con red social (Twitter, facebook...) Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │18 26. ¿Qué hago con mis notas/información relevante que he encontrado?: S/CS AM AV PV CN / N N U / N A La guardo cuidadosamente Hago un esquema/mapa conceptual para relacionarla: en papel/en un documento de texto/en una herramienta específica en red Me hago un resumen: en papel/en un documento de texto/en una entrada en mi página personal/en una entrada que comparto en mi red social 27. Cuando encuentro un documento interesante...: S/CS AM AV PV CN / N N U / N A Lo leo en red y tomo notas en una herramienta online específica (tipo diigo) Lo incluyo en una herramienta específica de gestión de bibliografía (tipo mendeley, RefWorks) y tomo notas del mismo en esa misma herramienta Me bajo el documento a mi ordenador y tomo notas en una herramienta específica mientras lo leo en pantalla. Uso metadatos para incorporarlo en mis propios recursos Lo leo impreso en papel, lo subrayo y tomo notas en el mismo papel, las notas las paso a un documento de texto para guardarlas 28. Cuando encuentro un vídeo o un audio interesante... S/CS AM AV PV CN/N N U / N A Lo escucho/veo en red y tomo notas en papel Lo escucho/veo en red y tomo notas en un documento de texto Lo escucho/veo en red y tomo notas en un programa específico para ello 29. Cuando recibo información nueva que me interesa… S/CS AM AV PV CN / N N U / N A La analizo La interpreto La contrasto con lo que sé La relaciono con lo que sé Me surgen preguntas / dudas Busco contrastarla con otras fuentes 30. Cuando utilizo información de terceros lo hago: S/C S AM AV PV CN / N N U / N A Responsablemente, respetando los derechos de autor Respetando el tipo de licencia con que está protegida Sin mencionar las fuentes y/o autores Citando los fuentes y/o autores 31. Cuando quiero generar nueva información para publicarla en la Red:: S/CS AM AV PV CN / N N U / N A No sé hacerlo. Publico la información en una red social que utilizo habitualmente. Utilizo una herramienta específica (tipo blog). Según el tipo de información utilizo una herramienta u otra (blog, red social, Googlesites, etc.) 32. Los contenidos digitales que produzco para compartir en red son: S/CS AM AV PV CN / N N U / N A Texto (wikis, blog) Icónica (fotografía o imágenes en flickr, instagram, etc.) Vídeo (youtube, vimeo...) Audio (podcast) Multimedia (slideshare, animoto, etc.) Hipermedia (Exelearning, páginas web en Wix u otras) 33. Cuando quiero hacer algo creativo y nuevo... S/C S AM AV PV CN / N N U / N A Selecciono información que considero relevante y a partir de ahí creo algo nuevo. Creo algo nuevo sin buscar referentes Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │19 34. Para elaborar informaciones que deseo subir a Internet me ayudo de: S/C S AM AV PV CN / N N U / N A Borradores elaborados en papel Borradores elaborados en soporte digital Compañeros, con quienes hablo sobre lo que estoy elaborando Compañeros, quienes revisan lo que estoy elaborando antes de publicarlo Profesores o expertos que revisan lo que he elaborado No utilizo ayudas, edito y publico directamente la información) 35. Suelo reflejar la reflexión sobre lo que voy aprendiendo: S/CS AM AV PV CN / N N U / N A En un blog personal En un documento Word En mi calendario electrónico En una hoja de papel o mi diario 36. Cuando necesito comunicarme a través de la Red: S/CS AM AV PV CN / N N U / N A Apenas me comunico. Utilizo herramientas básicas (correo electrónico) Utilizo herramientas con red social (Facebook, Twitter) S/CS AM AV PV CN / N N U / N A 37. ¿Valoras las aportaciones y críticas de los usuarios? 38. Para favorecer la colaboración e interacción con otros prefiero: (marca una única respuesta) Redes sociales (Twitter, Facebook...) Bibliotecas y bases de datos en red Correo electrónico Redes sociales Chats 39. Para realizar proyectos en grupo prefiero utilizar (marca una única respuesta) Google Docs/Google Drive Redes sociales (Twitter, Facebook...) Wikis Entornos virtuales como Moodle, Sakai, etc. Blogs 40. Para la resolución de problemas prefiero S/CS AM AV PV CN / N N U / N A Estudiar individualmente las posibles soluciones. Consensuar con otros distintas alternativas. Confrontar las diferentes propuestas 41. Marca el grado de acuerdo con las siguientes afirmaciones: TA A N AN D D TD N U/N A La lectura de los blogs de otros estudiantes es muy enriquecedora para la realización de mis actividades Estoy en contacto en contacto con mis compañeros a través de redes sociales Las interacciones en los blogs con mis compañeros son enriquecedoras para la realización de mis actividades Uso con otros compañeros gestores de enlaces para organizar de forma colaborativa los contenidos de las actividades de aprendizaje Las redes sociales me permiten conectar con grupos de personas relacionadas con mis metas de aprendizaje 42. En el trabajo en equipo priorizo S/CS AM AV PV CN / N N U / N A Compartir recursos. Interaccionar con otros. Construir de forma conjunta Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │20 TA A N A N D D TD N U / N A 43. He descrito mis conocimientos y mis metas de aprendizaje en una red social profesional como Linkedin, Xing, o en una red social generalista como Facebook o Tuenti 44. Complemento mi formación académica con (Marcar las casillas que correspondan) Cursos en red ofertados por empresas/instituciones. Prácticas no retribuidas. Cursos masivos en red (MOOC). Voluntariado social. Cursos semipresenciales. No complemento mi formación académica Cursos presenciales 45. Cuando envío un trabajo o proyecto para su evaluación, espero...(marca una única respuesta) Una respuesta donde se subraye especialmente los aspectos positivos de mi trabajo. Una respuesta en la que subraye especialmente orientaciones sobre los aspectos a corregir. Una respuesta con la calificación sin ningún comentario al respecto. 46. Cuando tengo un problema técnico acudo a S/C S AM AV PV CN / N N U / N A Medios de comunicación en red Blogs o páginas webs Wikipedia o enciclopedias en red Twitter Redes sociales Foros Tutoriales en vídeo en red o diapositivas Aplicaciones móviles específicas del tema Colegas y amigos contactando por mail o mensajes privados en otras plataformas (FB, DM en Twitter, Whatsapp 47. Cuando tengo una duda de contenido durante el proceso de trabajo acudo a S/CS AM AV PV CN / N N U / N A Colegas y amigos presenciales Medios de comunicación en red Blogs o páginas webs Wikipedia o enciclopedias en red Twitter Redes sociales Foros Tutoriales en vídeo en red o diapositivas Aplicaciones móviles específicas del tema Colegas y amigos contactando por mail o mensajes privados en otras plataformas (FB, DM en Twitter, Whatsapp) La distribución de las preguntas en las dimensiones definidas inicialmente en el proyecto es la que sigue: Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │21 Tabla 6. Composición final del cuestionario CAPPLE respecto de las dimensiones iniciales Lo recogido en este documento tiene la intención principal de ilustrar un proceso de validación de instrumento variada, con procedimientos cualitativos y cuantitativos y de exponerla en su complejidad. No obstante, el cuestionario resultante queda a la espera de probar su funcionamiento en el proceso de recogida de datos del proyecto. En ese paso entendemos que la amplitud del mismo y su complejidad pueden suponer una limitación del cuestionario y obrar en contra de la posibilidad de recoger una mayor cantidad de datos (Krosnick, 1999); sin embargo, se trata del análisis de una realidad compleja y multidimensional, así que el equipo de investigación ha decidido optar por un cuestionario extenso que ofrezca mayor cantidad de información relevante (Stake, 2010). Referencias Adell, J. & Castañeda, L. (2010). Los Entornos Personales de Aprendizaje (PLEs): una nueva manera de entender el aprendizaje. En R. Roig & F. Fiorucci (Eds.), Claves para la investigación en innovación y calidad educativas. La integración de las Tecnologías de la Información y la Comunicación y la Interculturalidad en las aulas. Alcoy: Marfil – Roma TRE Universita degli studi. Recuperado de http://digitum.um.es/xmlui/bitstream/10201/1 7247/1/Adell%26Castañeda_2010.pdf Attwell, G. (2007). The Personal Learning Environments - the future of eLearning? eLearning Papers, 2(1). Recuperado de http://www.elearningeuropa.info/files/media/ media11561.pdf Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │22 Attwell, G., Castañeda, L. & Buchem, I. (2013). Guest Editorial Preface: Special Issue from the Personal Learning Environments 2011 Conference. International Journal of Virtual and Personal Learning Environments (IJVPLE), 13(4), 4. Recuperado de: http://www.igiglobal.com/pdf.aspx?tid%3D102952%26ptid %3D71770%26ctid%3D15%26t%3DSpecial %20Issue%20from%20the%20Personal%20 Learning%20Environments%202011%20Co nference Best, J. & Kahn, J. (2006). Research in Education. Boston: Pearson Buchem, I., Attwell, G. y Torres-Kompen, R. (2011). Understanding Personal Learning Environments: Literature review and synthesis through the Activity Theory lens. pp. 1-33. En Proceedings of the PLE Conference 2011, 10 al 12 de julio de 2011, Southampton, Reino Unido. Recuperado de http://journal.webscience.org/658/ Casquero, O., Portillo, J., Ovelar, R., Romo, J. & Benito, M. (2008). iGoogle and gadgets as a platform for integrating institutional and external services. En F. Wild, M. Kalz, M. Palmér, Proceedings of the First International Workshop on Mashup Personal Learning Environments (MUPPLE08). Maastricht, The Netherlands. Recuperado de: http://ftp.informatik.rwthaachen.de/Publicati ons/CEUR-WS/Vol-388/casquero.pdf Castañeda, L. & Adell, J. (2011). El desarrollo profesional de los docentes en entornos personales de aprendizaje (PLEs). En R. Roig y C. Laneve (Eds.), La práctica educativa en la Sociedad de la Información: Innovación a través de la investigación / La pratica educativa nella Società dell’informazione: L’innovazione attraverso la ricerca. Alcoy: Marfil. (pp. 83-95). Recuperado de: http://digitum.um.es/xmlui/bitstream/10201/2 4647/1/CastanedaAdell2011preprint.pdf Castañeda, L., & Adell, J. (2013). La anatomía de los PLEs. En L. Castañeda & J. Adell (Eds.), Entornos Personales de Aprendizaje: Claves para el ecosistema educativo en red (pp. 11-27). Alcoy: Marfil. Recuperado de: http://digitum.um.es/xmlui/bitstream/10201/3 0408/1/capitulo1.pdf Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hillsdale, N.J.: Lawrence Erlbaum. doi: https://doi.org/10.1002/bs.3830330104 Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista ciencias de la educación, 19(33), 228-247. Recuperado de: http://servicio.bc.uc.edu.ve/educacion/revista /n33/art12.pdf Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. Nueva York: Holt, Rinehart and Winston. Dilman, D. A. (2007). Mail and Internet Surveys. The Tailored Design Method. New Jersey: John Wiley & Son, Inc. Escobar-Pérez, J. & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27–36. Recuperado de: http://www.humanas.unal.edu.co/psicometria /files/7113/8574/5708/Articulo3_Juicio_de_e xpertos_27-36.pdf Gallego-Arrufat, M.J. & Chaves-Barboza, E. (2014). Tendencias en estudios sobre entornos personales de aprendizaje (Personal Learning Environments -PLE-). EDUTEC, Revista Electrónica de Tecnología Educativa, 49. Recuperado de http://edutec.rediris.es/Revelec2/Revelec49/n 49_Gallego_Chaves.html García, R., Ferrández, R, Sales, Mª. A. & Moliner, Mª. O. (2006). Elaboración de instrumentos de medida de las actitudes y opiniones del profesorado universitario hacia la ética profesional docente y su papel como transmisor de valores. RELIEVE, 12(1), pp. 129-149. doi: http://doi.org/10.7203/relieve.12.1.4247 Jaramillo, S. & Osses, S. (2012). Validación de un Instrumento sobre Metacognición para Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │23 Estudiantes de Segundo Ciclo de Educación General Básica. Estudios pedagógicos, Vol. 38(2), 117-131. doi: http://doi.org/10.4067/S071807052012000200008 Kline, P. (1994). An Easy Guide to DIMENSIÓN Analysis. Newbury Park: Sage Publications. Knapp, T. R., & Mueller, R. O. (2010). Realibility and validity of instruments. In G. R. Hancock & R. O. Mueller (Eds.), The reviewer guide to quantitative methods in the social sciences (pp. 337-341). New York, NY: Routledge. Krosnick, J. A. (1999). Survey research. Annual Review of Psychology, 50, 537-567. doi: http://doi.org/10.1146/annurev.psych.50.1.53 7 Llorente, M. (2013). Assessing Personal Learning Environments (PLEs). An expert evaluation. Journal of New Approaches in Educational Research, 2(1), 39-44. doi: http://doi.org/10.7821/naer.2.1.39-44 Martín, E., García, L.A. Torbay, A. & Rodríguez, T. (2007). Estructura DIMENSIÓNial y fiabilidad de un cuestionario de estrategias de aprendizaje en universitarios: CEA-U. Anales de psicología, 23, 1-6. Recuperado de: http://www.um.es/analesps/v23/v23_1/0123_1.pdf Midgley, C., Maehr, M. Hruda, L., Anderman, E., Anderman, L., Freeman, K., Gheen, M., Kaplan, A., Kuman, R., Middleton, M., Nelson, J. Roese, R. & Urdan, T. (2000). Manual for the Paterrns off Adaptive Learrning Scales. Recuperado de: http://www.umich.edu/~pals/PALS%202000 _V13Word97.pdf Morales, P. (2012). El tamaño del efecto (effect size): análisis complementarios al contraste de medias. Recuperado de: http://www.upcomillas.es/personal/peter/inve stigacion/Tama%F1oDelEfecto.pdf Morales, P. (2013). El Análisis DIMENSIÓNial en la construcción e interpretación de tests, escalas y cuestionarios. Recuperado de: http://www.upcomillas.es/personal/peter/inve stigacion/AnalisisDIMENSIÓNial.pdf Nunnally, J.C. (1978). Psychometric Theory. Nueva York: McGraw-Hill. Osborne, J.W. & Costello, A. (2004). Sample size and subject to item ratio in principal components analysis. Practical Assessment, Research y Evaluation, 9(11). Recuperado de: http://PAREonline.net/getvn.asp?v=9yn=11 Pintrich, P., Smith, D., Garcia, T. & McKeachie, W. (1991). A Manual for the use of the Motivated strategies for learning questionnaire (MSLQ). Washington, DC: National Center for Research to Improve Postsecondary Teaching and Learning, Ann Arbor, MI. Office of Educational Research and Improvement. Recuperado de: http://files.eric.ed.gov/fulltext/ED338122.pdf Prendes, M.P. & Castañeda, L. (2013). PLECentered Education: The Next Boundary. Perceptions and Realities Behind Students Personal Learning Environments. ELA Journal of Educational Leadership in Action, 2(1). Recuperado de: http://www.lindenwood.edu/ela/issue03/casta neda.html Prendes, M.P., Castañeda, L., Ovelar, R. & Carrera, X. (2014). Componentes básicos para el análisis de los PLE de los futuros profesionales españoles: en los albores del Proyecto CAPPLE. EDUTEC, Revista Electrónica de Tecnología Educativa, 47. Recuperado de: http://edutec.rediris.es/Revelec2/Revelec47/n 47_Prendes-Castaneda-Ovelar-Carrera.html Smith, V. & Molina, M. (2011). Cuaderno Metodológico 5. La entrevista cognitiva: guía para su aplicación en la evaluación y mejoramiento de instrumentos de papel y lápiz. San José, Costa Rica.: Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. Recuperado de: Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │24 http://iip.ucr.ac.cr/sites/default/files/cuaderno smetodologicos/cuamet5.pdf Snijkers, G. (2002). Cognitive Laboratory Experience: On Pre-testing Compiterised Questionnaires and Data Quality. Tesis Doctoral. Universidad de Utrech. Recuperado de http://dspace.library.uu.nl/bitstream/handle/1 874/13401/full.pdf?sequence=13 Stake, R. (2010). Qualitative Research: studying how things work. New York: The Guilford Press. Utkin, L. V. (2006). A method for processing the unreliable expert judgments about parameters of probability distributions. European Journal of Operational Research, 175(1), 385-398. Doi: https://doi.org/10.1016/j.ejor.2005.04.041 Willis, G.B. (2005). Cognitive interviewing. Thousand Oaks: Sage Publications. doi: https://doi.org/10.4135/9781412983655 Wolley, M.E., Bowen, G.L. & Bowen, N.K. (2006). The development and evaluation of procedures to assess child self-report item validity. Educational and psychological measurement, 66(4), 687-700. doi: https://doi.org/10.1177/0013164405282467 Nota [1] Esta validación forma parte del proyecto “Competencias para el aprendizaje permanente basado en el uso de PLE (entornos personales de aprendizaje): análisis de los futuros profesionales y propuestas de mejora” – CAPPLE- (EDU2012-33256), financiado por el Ministerio español de Economía y Competitividad y dirigido por la Dra. Mª Paz Prendes Espinosa de la Universidad de Murcia. Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │25 ANEXO 1 Borrador de Cuestionario 1 Indica tu grado de acuerdo con las siguientes afirmaciones: Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de acuerdo 2. Establecer objetivos me ayuda a aprovecha r el tiempo que dedico a Internet 4. Valoro la importancia de la tarea que realizo p ara la consecución de mis ob j etivos p ersonales de formación 7: Analizo mis p untos fuertes y débiles con objeto de valora r el esfuerzo q ue necesito p ara lleva r a cabo una tarea 10: Cuando aprendo en Internet soy una p ersona que requiere de una dirección y cierto control externo p ara tene r éxito 13: He descrito mis conocimientos y mis metas de aprendizaje en una red social profesional como Linkedin, Xing, o en una red social g eneralista como Faceboo k o Tuenti 60: Uso un wiki p ara organiza r los contenidos relacionados con una actividad de a p rendiza j e 61: Uso con otros compañeros un wiki p ara organiza r de forma colaborativa los contenidos de las actividades de a p rendiza j e 62: Uso con otros compañeros un servicios de p ublicación de contenidos para organizar de forma colaborativa los contenidos de las actividades de a p rendiza j e 80: La lectura de los b logs de otros estudiantes es muy enri q uecedora p ara la realización de mis actividades 81: Estoy en contacto con mis compañeros a través de redes sociales 82: Las interacciones en los b logs con mis compañeros son enri q uecedoras p ara la realización de mis actividades 83: Uso con otros compañeros gestores de enlaces p ara organizar de forma colaborativa los contenidos de las actividades de a p rendiza j e 84: Las redes sociales me p ermiten conecta r con comunidades relacionadas con mis metas de a p rendiza j e 112: El reflejo de mi actividad a lo largo del tiempo en las herramientas Web 2.0 me permite reflexionar sobre mis métodos de a p rendiza j e Indica con qué frecuencia usas o realizas las siguientes acciones Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso 37: Sé recuperar los contenidos que yo he almacenado en mi e q ui p o/en la red 37: Sé recupera r los contenidos que otros han almacenado en su e q ui p o/en la red 37: He desarrollado estrategias para recupera r cualquie r ti p o de contenido 42: Creo que no toda la información que hay en interne t tiene el mismo g rado de credibilidad 42: Cuando esto y solo no sé q ué hacer. 42: Soy crítico con la información que encuentro/recibo y puedo valorar su credibilidad. Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │32 red social 65: Cuando quiero generar nueva información para publicarla en la Red: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso No sé hacerlo. Publico la información en una red social que utilizo habitualmente. Utilizo una herramienta es p ecífica ( ti p o b lo g) . Según el tipo de información utilizo una herramienta u otra (blog, red social, Goo g lesites, etc. ) 66: Los contenidos digitales que produzco para compartir en red son Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Texto Icónica ( foto g rafía o imá g enes ) Vídeo Audio Multimedia Hi p ermedia De otro ti p o ( dí cuáles ) 69: Para crear recursos u objetos de aprendizaje prefiero soportes: □ Textuales (wikis, blog) □ Visuales (Flick, Picasa...) □ Audiovisuales (podcats, Youtube...) □ Sonoros (podcast) □ Gráficos de representación mental (mapas conceptuales, líneas de tiempo) □ Cualquier soporte □ Otros soportes (dí cuáles) 70: Cuando quiero hacer algo creativo y nuevo: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Busco información en sitios web y a parti r de esa información genero algo un poco diferente. Selecciono información que considero relevante y a p arti r de ahí creo al g o nuevo. Creo al g o nuevo sin b usca r referentes. Actúo de otra forma ( di cómo ) 72: Para elaborar informaciones que deseo alojar en la red me ayudo de: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Borradores elaborados en p a p el Borradores elaborados en so p orte di g ital Compañeros, con quienes hablo sobre lo que esto y elaborando Compañeros, quienes revisan lo que esto y elaborando antes de p ublicarlo No utilizo ayudas, edito y publico directamente la información Otro ti p o de a y udas ( di cuáles ) 73: Considero que las líneas del tiempo, los mapas conceptuales y/o mapas mentales: Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de acuerdo Permiten conoce r de modo intuitivo la información. Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │33 Permite determina r a priori las relaciones y jerarquias que se establecen entre los diferentes conce p tos. Sim p lifican demasiado la información. Dificultan la com p rensión de la información Permiten conoce r de modo intuitivo la información. 74: A la hora de comunicarme... □ Me comunico usando una única herramienta □ Me comunico usando una única herramienta usando distintos tipo de herramienta en función de la situación □ Conozco un amplio rango de herramientas y servicios que utilizo en función de cada situación 76: Cuando necesito comunicarme a través de la Red: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso A p enas me comunico. Utilizo herramientas b ásicas ( correo electrónico ) Utilizo redes sociales ( Facebbok, Twitter ) 78: ¿Valoras las aportaciones y críticas de los usuarios? □ Siempre o casi siempre □ A menudo □ A veces □ Casi nunca o nunca □ No aplicable o no lo uso 79: Para favorecer la colaboración e interacción con otros prefiero: □ Redes sociales (Twitter, Facebook...) □ Correo electrónico Chats Videoconferencias. □ Mensajería (Whattsapp, Line, Skype, etc.) □ Otros (dí cuáles) □ Utilizo otras estrategias (dí cuáles). 86: Para realizar proyectos colaborativos prefiero utilizar: □ Google doc □ Wikis Blogs □ Redes sociales (Twitter, Facebook...) □ Entornos virtuales como Moodle, Sakai, etc. □ Otros (dí cuáles) 89: En el trabajo en equipo priorizo: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Com p arti r recursos. Interacciona r con otros. Construi r de forma con j unta Actúo con otras p rioridades ( dí cuáles ) 92: Para realizar proyectos colaborativos prefiero utilizar: □ Grado de implicación exigido. □ Grado de libertad ofrecido. □ Grado de cohesión con los demás. □ Todos. □ Otro (dí cuáles) 100: Cuando tengo un problema técnico acudo a: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Cole g as y ami g os p resenciales Libros Profesores y otras fi g uras Medios de comunicación en red Blo g s o p á g inas webs Wiki p edia o enciclo p edias en red Twitte r Redes sociales Foros Tutoriales en vídeo en red o dia p ositivas A p licaciones móviles es p ecíficas del tema Colegas y amigos contactando po r mail o mensajes privados en otras plataformas (FB, DM en Twitter, whatsa pp) Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │34 101: Cuando tengo una duda de contenido durante el proceso de trabajo acudo a: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Cole g as y ami g os pr esenciales Libros Profesores y otras fi g uras Medios de comunicación en red Blo g s o p á g inas webs Wiki p edia o enciclo p edias en red Twitte r Redes sociales Foros Tutoriales en vídeo en red o dia p ositivas A p licaciones móviles es p ecíficas del tema Colegas y amigos contactando po r mail o mensajes privados en otras plataformas (FB, DM en Twitter, whatsa pp) 105: Para la resolución de problemas prefiero: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso Estudia r individualmente las posibles soluciones. Consensua r con otros distintas alternativas. Confronta r las diferentes p ro p uestas 108: Ajusto la cantidad y variedad de herramientas en red que utilizo para aprender en función de: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso La im p ortancia q ue do y aun a p rendiza j e El tiem p o q ue ten g o p ara ese a p rendiza j e La valoración q ue va a tene r ese a p rendiza j e En el im p acto q ue tendrá en mi p resti g io en red 110: Suelo reflejar la reflexión sobre lo que voy aprendiendo Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable ono lo uso En un b lo g p ersonal En un documen t o Word En mi calendario electrónico En una ho j a de p a p el o mi diario Otras ( di cuáles ) ANEXO 2 PROTOCOLO DE ENTREVISTA COGNITIVA La entrevista cognitiva es una técnica de validación de instrumentos de evaluación comúnmente utilizada en el ámbito científico, sobre todo en disciplinas de Ciencias de la salud, y específicamente en la construcción cuestionarios psicométricos. Consiste en la administración de un borrador de instrumento, que no tiene por qué contener todas las preguntas incluidas en el mismo, y en la recopilación simultáneamente de información verbal sobre cómo han llegado a responder las preguntas planteadas. La información verbal se debe recoger en formato audio y/o vídeo mediante una grabación. En análisis de la información recogida permitirá evaluar la Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │35 calidad del ítem formulado, su adecuación en la encuesta y sobre todo, permitirá saber si se obtiene la información que el investigador esperaba. El objetivo de la entrevista cognitiva que hemos diseñado para el proyecto CAPPLE es conocer cómo responden e interpretan los alumnos de último curso de titulación a preguntas sobre su proceso de aprendizaje, así como el uso de herramientas y estrategias de lectura, reflexión y relación que utilizan para llevar a cabo este proceso de aprendizaje. Para ello, hemos seleccionado 10 preguntas target, que serán las que, junto con un reducido número de preguntas sociodemográficas, conformen el cuestionario que le vamos a pasar a los alumnos. El tipo de entrevista cognitiva que vamos a emplear en este estudio es la entrevista cognitiva concurrente, que consiste en solicitarle a los alumnos que vayan respondiendo en voz alta a las preguntas que les planteemos, manifestando en ese momento sus dudas, problemas o inquietudes. Simultáneamente les iremos planteando una serie de preguntas, que llamaremos en este protocolo “pruebas”, para obtener más información sobre la forma en la que se está respondiendo a las preguntas. Con el objetivo de ser lo más precisos posible, elaboraremos pruebas generales y pruebas específicas. En el desarrollo de esta técnica, resulta fundamental que el entrevistador sea muy riguroso tanto en el desarrollo de la entrevista como en el proceso de recogida de información, ya que de lo contrario, la prueba puede quedar invalidada. Instrucciones para el grupo entrevistador - Tendréis que recoger 5 entrevistas de alumnos de último curso (grado o licenciatura) de titulación. El total de entrevistas quedará conformado por 1 alumno de cada rama de especialización: Ciencias sociales y jurídicas; Ciencias de la Salud; Ciencias; Arquitectura e Ingeniería; Artes y Humanidades. - Todas las entrevistas tienen que ser grabadas en formato audio. Si alguna entrevista no fuera grabada, no se podrá utilizar, de ahí la importancia de que prestéis mucha atención a este paso. - Una vez grabadas las entrevistas, tendrán que ser transcritas. La transcripción y el audio deberá ser enviado antes del XXXX a la dirección XXXXXXXX - Ten en cuenta a la hora de realizar la entrevista que no nos interesan las respuestas que cada alumno da a los items del cuestionario, lo importante es obtener la mayor cantidad de información sobre cómo han llegado a esa respuesta, si resulta confusa, si es fácilmente entendible por el alumno, y faltan opciones de respuesta, etc. Se trata de una discusión informal en la que debes insistir en que necesitamos respuestas sinceras y que nos muestren el significado que dan a las preguntas y en qué se fundamentan para responderlas. - Es importante que no condiciones a los alumnos en sus respuestas. No respondas a sus dudas, y pídeles que verbalicen sus inquietudes con la pregunta. Si no entienden la formulación o alguna pregunta, pídeles que te expliquen de la manera más detallada posible el motivo. Finalmente el alumno tendrá que responder a la pregunta, o en su defecto dejarla en blanco, pero verbalizando sus inquietudes y problemas para entender la pregunta o responder en función de las opciones que se indican. - Para asegurarnos de que han entendido bien el proceso a seguir, les pedirás que respondan en Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │36 voz alta a las preguntas sociodemográficas que hay en el cuestionario. Indícales que este es el momento preciso para plantear las dudas que tengan. - Para todas las preguntas del cuestionario, les pediremos a los alumnos que respondan a estas tres preguntas básicas (o pruebas generales): • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? - Asegúrate de que han entendido bien el proceso, y comienza la entrevista leyendo las instruccions al entrevistado que tienes a continuación: Instrucciones para el entrevistado Antes de comenzar la entrevista, tendrás que leer estas instrucciones a los alumnos entrevistados. Es importante que no olvides ninguno de los enunciados que aquí te indicamos. - En primer lugar, gracias por participar en este estudio. - Este estudio está enmarcado dentro de un proyecto Nacional del Ministerio de Economía y Competividad de España. - En el proyecto, vamos a pasar un cuestionario a alumnos que, como tu, están en su último año de titulación. - Antes de pasar este cuestionario, necesitamos realizar una serie de pruebas para ver cómo funciona. - Te voy a dar el cuestionario para que lo cumplimentes; pero como lo que nos interesa es saber cómo funciona este cuestionario, te voy a pedir que, conforme vayas respondiendo a las preguntas, las vayas diciendo en voz alta, así como todo lo que te viene a la cabeza para responderlas. - Ten en cuenta que no estamos tan interesados en tus respuestas como en cómo has llegado a esas respuestas. Por ello, en relación con cada item del cuestionario, te iré haciendo algunas preguntas para completar la información sobre las mismas. Esto puede resultar en ocasiones un poco repetitivo, pero es fundamental para que nos cuentes en qué has pensado para responder las preguntas del cuestionario. - Ten en cuenta que nuestro objetivo con esta entrevista es elaborar un cuestionario claro y que funcione, de ahí que te pidamos encarecidamente que nos indiques todo lo que te parezca confuso, o que pueda ser mejorado. - Esta entrevista va a durar alrededor de 30 minutos. - Antes de comenzar, ¿tienes alguna pregunta? Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │37 CUESTIONARIO ENTREVISTAS COGNITIVAS I. Datos del Entrevistado Antes empezar te voy a pedir que realizamos una prueba respondiendo a las preguntas iniciales referidas a tus datos que aparecen en el cuestionario. P.1. ¿Qué edad tienes? P.2. ¿En qué ciudad estudias? P. 3. ¿Qué titulación has estudiado? II. Núcleo de la entrevista Comenzamos con la entrevista. Lee todas las preguntas en voz y responde reflexionando sobre las respuestas que das. PREGUNTA 4 4: ¿Que situaciones aumentan mi interés para aprender sobre algo? Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso Mi asistencia a una clase La lectura o escucha de programas en medios de comunicación tradicionales ( televisión, radio, p eriódico, revistas ) Mi participació n como oyente en charlas, conferencias, j ornadas… La lectura de Noticias que m e llegan al correo Mi participació n o lectura de temas y conversaciones en foros en Internet La lectura o escucha de programas en Medios de comunicación en red (podcast, televisión di g ital, revistas di g itales ) La lectura de Blo g s o p á g in a s web La lectura de mi Timeline de Twitte r Mis conversaciones e intercambios en las redes sociales (Facebook, Tuenti y Linkedin ) Visitas a sitios de información multimedia en red (Youtube, Slidesahe, Flickr, Isuu, p rezi, insta g ram ) Charlas en Whatsa pp o Line ( o similares ) Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Qué entiendes por “información multimedia en red”? • ¿Desde qué curso -año de tu carrera has tenido que remontarte para responder a la pregunta para responder? Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │38 PREGUNTA 5 5: Cuando aprendes en internet ¿Cómo fijas lo que debes aprender? Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso Me ajusto a los objetivos definidos en la asi g natura/el p ro y ecto en el q ue traba j e Me a j usto a los temas q ue va y a n sur g iendo Me a j usto a las ca p acidades q ue ten g o Me a j usto a las necesidades laborales Me ajusto a lo que creo que mis colegas me exi g irá n Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Consideras que todas las posibles opciones de respuestas están contempladas en la pregunta? En caso negativo, ¿cuál faltaría? • ¿Consideras que sobraría alguna opción de respuesta? En caso afirmativo indica cuál. PREGUNTA 6 6: A la hora de organizar mí tiempo y recursos en cuanto a trabajos y tareas Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso Utilizo una a g enda en p a p el. Utilizo un calendario en red. Utilizo algún tipo de herramienta agregado r para organizar mis recursos y herramientas en red ti p o S y mbaloo, netvibes Utilizo algún contador de tiempo de aprendizaje para organizar mis tiempos en red ( Ti p o " p omodoro" ) N o suelo or g anizar mi tiem p o y recursos Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Qué entiendes por “herramienta agregador”? • ¿Consideras que falta alguna opción de respuesta? En caso afirmativo, indica cuál. PREGUNTA 7 7: Para acceder a la información realizo… □ Búsquedas “de tanteo” en manuales, libros de texto, enciclopedias Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │39 □ Búsquedas “de tanteo” en buscadores web. □ Busquedas sistematizadas en revistas especializadas. □ Busquedas en base de datos concretas. □ Búsquedas en sitios y portales Web especializados. □ Busqueda por autores de referencia. □ Otro tipo de búsquedas. ¿Cuáles? Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Qué entiendes por “”búsquedas de tanteo”? • Cuando buscas información en la red, ¿sueles encontrar lo que buscas? PREGUNTA 8 8: Cuando quiero aprender algo nuevo acudo a: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso Me vienen a la mente es p ontáneamente Llego a ellos a través de otras ideas, conocimientos Hablo mentalmente Hablo en voz b a j a conmi g o mismo Utilizo un papel par a escribi r o representar las ideas o los conocimientos Recurro a materiales que he elaborado y que tienen relación directa con dichos conocimientos Tengo la informació n categorizada para su recu p eració n Utilizo otras estrategias de acceso al conocimiento ( di cuáles ) Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? ¿Has tenido que pensar en situaciones concretas para responder a la pregunta? Comenta brevemente alguna de ellas. • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Entiendes todas las opciones que se plantean en la pregunta? En caso negativo, indica cuál y por qué. PREGUNTA 9 Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │40 9: Cuando quiero hacer algo creativo y nuevo: Siempre o casi siempre A menudo A veces Casi nunca o nunca No aplicable o no lo uso Busco información en sitios web y a parti r de esa información genero algo un poco diferente. Selecciono información que considero relevante y a p arti r de ahí creo al g o nuevo. Creo al g o nuevo sin busca r referentes. Actúo de otra forma ( di cómo ) Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? ¿Has tenido que pensar en situaciones concretas para responder a la pregunta? Comenta brevemente alguna de ellas. • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Consideras que falta alguna opción de respuesta? En caso afirmativo, indica cuál. PREGUNTA 10 10: Para elaborar informaciones que deseo alojar en la red me ayudo de: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso Borradores elaborados en p a p el Borradores elaborados e n so p orte di g ital Compañeros, co n quienes hablo sobre lo q ue esto y elaborando Compañeros, quienes revisa n lo que estoy elaborando antes de p ublicarlo N o utilizo ayudas, edito y publico directamente la informació n Otro ti p o de a y udas ( di cuáles ) Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Consideras que sobra alguna opción de respuesta? En caso afirmativo, indica cuál. PREGUNTA 11 11: Para favorecer la colaboración e interacción con otros prefiero: □ Redes sociales (Twitter, Facebook...) Correo electrónico □ Chats Videoconferencias. □ Mensajería (Whattsapp, Line, Skype, etc.) Otros (dí cuáles) Prendes-Espinosa, Maria Paz; Castañeda-Quintero, Linda; Solano-Fernández, Isabel María; Roig-Vila, Rosabel; Aguiar-Perera, Mª Victoria & Serrano-Sánchez, José Luis (2016). Validación de un cuestionario sobre hábitos de trabajo y aprendizaje para futuros profesionales: explorar los Entornos Personales de Aprendizaje. RELIEVE, 22(2), art. 6. doi: http://dx.doi.org/10.7203/relieve.22.2.7228 RELIEVE │41 □ Utilizo otras estrategias (dí cuáles). Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Qué entiendes por “estrategias”? • Al responder a esta pregunta ¿has pensado en el contexto educativo de la titulación que has cursado o en un contexto personal y de ocio? PREGUNTA 12 12: Para realizar proyectos colaborativos prefiero utilizar: □ Grado de implicación exigido. □ Grado de libertad ofrecido. □ Grado de cohesión con los demás. □ Todos. □ Otro (dí cuáles) Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Qué entiendes por “proyectos colaborativos”? • ¿Con qué seguridad afirmas (la opción/es que elijan)...? PREGUNTA 13 13: Ajusto la cantidad y variedad de herramientas en red que utilizo para aprender en función de: Siempre o casi siem p re A menudo A veces Casi nunca o nunca No aplicable o no lo uso La im p ortancia q ue do y a un a p rendiza j e El tiem p o q ue ten g o p ara ese a p rendiza j e La valoración que v a a tene r ese a p rendiza j e En el impacto que tendr á en mi prestigio en re d Prueba general: • ¿Podrías repetir la pregunta con tus propias palabras? • ¿En qué piensas a la hora de contestarla? • ¿Qué dudas te surgen a la hora de contestar, si es que te surge alguna? Prueba específica: • ¿Entiendes todas las opciones que se plantean en la pregunta? En caso negativo, indica cuál y por qué. • ¿Consideras que falta alguna opción de respuesta? En caso afirmativo, indica cuál. Hemos terminado con la entrevista. Muchas gracias por tu colaboración.