Construcción de un modelo para determinar el rendimiento académico de los estudiantes basado en learning analytics (análisis del aprendizaje), mediante el uso de técnicas multivariantes

Universidad de Sevilla Departamento de Estadística e Investigación Operativa TESIS DOCTORAL Autora: Daysi Karina García Tinisaray Directores: José Luis Pino Mejías y Juan Manuel Muñoz Pichardo CONSTRUCCIÓN DE UN MODELO PARA DETERMINAR EL RENDIMIENTO ACADÉMICO DE LOS ESTUDIANTES BASADO EN LEARNING ANALYTICS (ANÁLISIS DEL APRENDIZAJE), MEDIANTE EL USO DE TÉCNICAS MULTIVARIANTES José Luis Pino Mejías, Profesor Titular del Departamento de Estadística e Investigación Operativa, de la Universidad de Sevilla Juan Manuel Muñoz Pichardo, Titular del Departamento de Estadística e Investigación Operativa, de la Universidad de Sevilla Certificamos que la presente memoria titulada: CONSTRUCCIÓN DE UN MODELO PARA DETERMINAR EL RENDIMIENTO ACADÉMICO DE LOS ESTUDIANTES BASADO EN LEARNING ANALYTICS (ANÁLISIS DEL APRENDIZAJE), MEDIANTE EL USO DE TÉCNICAS MULTIVARIANTES Ha sido realizada bajo nuestra dirección por Daysi Karina García Tinisaray Y constituye su tesis para optar al grado de Doctora Y para que conste, en cumplimiento de la legalidad vigente y a los efectos que haya lugar, firmamos el presente documento En Sevilla, 28 de septiembre de 2015 Fdo. Dr. D. José Luis Pino Mejías Fdo. Dr. D. Juan Manuel Muñoz Pichardo DEDICATORIA A mi vida el Señor, a mi amor mi esposo, a mi alegría mi hija y a mi fuerza mi familia. AGRADECIMIENTO Mis más sinceros agradecimientos a los directores de esta tesis, José Luis Pino Mejías y Juan Manuel Muñoz Pichardo, del Departamento de Estadística e Investigación Operativa de la Universidad de Sevilla, quienes con sus conocimientos y paciencia me guiaron en el desarrollo de la tesis. A la Universidad Técnica Particular de Loja y muy especialmente al Padre Luis Miguel Romero quien cuando fue Rector puso en mí su confianza, para alcanzar aquel sueño de la universidad del futuro donde los docentes somos uno de los principales motores. A la SENECYT (Secretaría de Educación Superior, Ciencia y Tecnología) por concederme una beca de apoyo económico, permitiéndome de esta forma ser partícipe de esta nueva revolución educativa en mi país Ecuador. Finalmente a toda aquella lista interminable de familiares, amigos, colegas que directa o indirectamente me han apoyado para cumplir con este reto, personas que aportaron con datos, ideas, un aliento, infinitas gracias de corazón a todos ellos. ÍNDICE ÍNDICE ........................................................................................................................ IX ÍNDICE DE TABLAS ....................................................................................................... XIII ÍNDICE DE ILUSTRACIONES .......................................................................................... XV INTRODUCCIÓN ............................................................................................................... 1 CAPÍTULO 1 ANÁLISIS DE DATOS EN EL CAMPO EDUCATIVO ....................................................... 7 1.1 Enfoques de análisis de datos ..................................................................................... 8 1.2 Minería de datos para la educación ............................................................................. 9 1.2.1 Definición y usos de la EDM ................................................................................... 10 1.2.2 La estadística aplicada en el DM ............................................................................ 12 1.3 Análisis académico ................................................................................................... 13 1.3.1 Definición y logros del AA ....................................................................................... 14 1.3.2 Proceso del análisis académico .............................................................................. 15 1.4 Análisis del aprendizaje .......................................................................................... 16 1.4.1 Definición de learning analytics ............................................................................... 17 1.4.2 Proceso del learning analytics ................................................................................. 18 1.4.3 Usos potenciales y aplicaciones del LA .................................................................. 19 CAPÍTULO 2 RENDIMIENTO ACADÉMICO ......................................................................................... 35 2.1 Conceptualización ...................................................................................................... 35 2.2 Indicadores de medida del rendimiento académico .................................................... 37 2.3 Variables que predicen el rendimiento académico universitario ................................ 39 1 INTRODUCCIÓN Las técnicas multivariantes se aplican en todos los campos científicos, sobre todo en la investigación educativa se han constituído como técnicas de análisis importantes. En este trabajo se hace una revisión de dos metodologías que se adaptan a las características de los datos en la educación superior y se consideran como las más adecuadas. Un análisis multinivel para hacer mediciones desde un ámbito cuantitativo y un análisis logístico bivariante que permite hacer mediciones desde un ámbito cualitativo, siendo esta última metodología la que amplia la escaza información que existe sobre estudios en el campo educativo que asocian dos variables de respuesta correlacionadas. Los datos utilizados provienen de una de las universidades ecuatorianas con más número de estudiantes a nivel de educación superior a distancia en Latinoamérica, a partir de esta información se desarrollan los dos análisis antes mencionados cuya variable objetivo es el rendimiento académico. El primer análisis se basa en una regresión Multinivel de 2 niveles (estudiantes y aulas) y de tres niveles (estudiantes, aulas y escuelas), el objetivo de este primer análisis es explicar la influencia de 27 covariables que comprenden la dimensión sociodemográfica, antecedentes académicos, enfoque learning analytics, todas estas a “nivel individual”; y las características de la asignatura, del docente y de la escuela, a “nivel contextual”, sobre la variable objetivo el rendimiento académico (cuyo indicador es la nota promedio final de una asignatura troncal). La población objeto de estudio está constituída por 23583 estudiantes, 468 aulas y 19 escuelas correspondientes al año 2014, el análisis del rendimiento académico se realiza en el transcurso de un periodo de estudio. El segundo análisis se basa en una regresión logística bivariante binaria y ordinal, el objetivo es analizar el rendimiento académico universitario a través de dos variables de respuesta asociadas, el grado o calificación académica y los créditos universitarios acumulados con cuatro covariables (edad de ingreso, género, región de procendencia y participación en actividades en línea). La población objeto de estudio está constituída por 410 estudiantes matriculados en una carrera de 5 años equivalente a 282 créditos, cuyo 2 tiempo de estudio comprende el periodo abril 2009- abril 2014, es decir, se realiza un análisis del rendimiento académico al finalizar el periodo de estudio de una carrera universitaria. Alcance de la investigación En materia de rendimiento académico en la educación superior, la mayoría de las investigaciones relevantes presentan un marcado interés en la inclusión de factores personales como se demostrará mas adelante en el análisis de la evidencia empírica existente, y son pocos los estudios que hacen un abordaje multivariante que incluya variables del enfoque “learning analytics”. Las plataformas de enseñanza virtual tales como WEbCT, Moodle, Blackboard, Claroline, Dokeos y recientemente las plataformas MOOC (Massive Open Online Courses) han permitido disponer en las universidades que las utilizan, la opción de monitorizar en tiempo real la actividad de los estudiantes. La integración de esta información con otras variables, se constituye en el origen del concepto del learning analytics. Al ser el “learning anlytics” un campo emergente, en el caso de la educación ecuatoriana aún no se ha desarrollado la cultura de utilizar y analizar los datos generados por el estudiante en los procesos de formación y aprendizaje en una plataforma virtual para determinar su influencia en el rendimiento académico, la deserción y/o la graduación. Bajo estas premisas la presente investigación se centra en determinar la incidencia del uso de las plataformas virtuales sobre el rendimiento académico a través de un grupo de variables de interacción (participación en foro, chat, videcolaboración, número de mensajes enviados al profesor, número de comentarios en en el curso de la asignatura, N° de accesos al LMS ), haciendo uso de las ventajas que presentan los dos análisis multivariantes seleccionados. Ya que a diferencia de la regresión clásica, los modelos multinivel permiten incluir en una misma ecuación variables independientes de diferentes niveles de agregación y en el caso de los modelos bivariantes dos variables dependientes cualitativas asociadas. 3 Además se pretende realizar un trabajo que responda a las necesidades de mejorar el rendimiento académico de la educación superior, de tal forma que se convierta en un aporte que sirva de referente para las universidades. Objetivos El objetivo central de esta tesis es construir un modelo para determinar el rendimiento académico de los estudiantes basado en learning analytics, mediante el uso de técnicas multivariantes. Para guiar el desarrollo teórico, empírico y aplicado en la presente investigación se plantean los siguientes objetivos específicos:  Analizar el rendimiento académico universitario a través de un modelo con dos variables de respuesta asociadas.  Analizar el rendimiento académico universitario a nivel individual y contextual  Determinar el aporte de las variables individuales, grupales o contextuales sobre la conducta del rendimiento académico universitario.  Identificar la naturaleza de la relación entre las variables del enfoque learning analytics y el rendimiento académico de los estudiantes. Preguntas de investigación 1. ¿Qué proporción de la variación en el rendimiento académico puede atribuirse a las variables que engloba el learning analytics? 4 2. ¿Cuál es la influencia que existe entre variables sociodemográficas y académicas sobre el rendimiento académico del colectivo de estudiantes universitarios ecuatorianos de modalidad a distancia? 3. ¿Existe una relación entre el rendimiento académico y el contexto de los estudiantes y aulas así como entre éstas dos a través del contexto de las escuelas? Hipótesis Hipótesis relacionadas con la pregunta de investigación 1: Las variables que engloba el learning analytics influyen positivamente en el rendimiento académico. Hipótesis relacionadas con la pregunta de investigación 2: La influencia de las variables sociodemográficas y académicas, sobre el rendimiento académico es significativa. Hipótesis relacionadas con la pregunta de investigación 3: Existe una relación significativa entre el rendimiento académico y el contexto (estudiantes, aulas y escuelas). Estructura del documento La presente investigación se desarrolla en siete capítulos. En el capítulo 1 se revisan los tipos de análisis de datos que se están aplicando actualmente en el ámbito educativo, como son: Minería de datos ( Data Mining ), análisis académico (academic analytics) y análisis del aprendizaje (learning analytics), ampliando la revisión de este último ya que es parte del centro de la investigación. 5 En el capítulo 2 se hace una revisión teórica sobre el rendimiento académico un aspecto importante a la hora de analizar los resultados sobre el proceso de enseñanza aprendizaje y también se incluye un apartado empírico con la finalidad de conocer que modelos estadísticos se han venido aplicando a la hora de medir el rendimiento académico. El capítulo 3 recoge una revisión teórica, matemática y empírica de las dos técnicas multivariantes aplicadas en la investigación educativa. En el capítulo 4 se hace referencia a la metodología de estudio, selección de datos, establecimiento de variables que permiten justificar porque se trabaja con un modelo multinivel y logístico bivariante. En el capítulo 5 se obtienen los resultados del modelo empírico multinivel al estimar el modelo jerárquico con 2 y 3 niveles: estudiante (nivel inferior), aula (nivel intermedio) escuela (nivel superior). Los modelos se ejecutan usando el software Stata/SE 12.0. En el capítulo 6 se presentan los resultados del modelo logístico bivariante binario y ordinal. Los modelos se ejecutan usando la herramienta Rstudio. Finalmente, en el capítulo 7 se discuten los resultados y se plantean futuras investigaciones. 6 7 CAPÍTULO 1 ANÁLISIS DE DATOS EN EL CAMPO EDUCATIVO El análisis de datos está en auge en el área de la educación sobre todo porque existen herramientas para procesar un volumen creciente de datos, facilitando de esta forma el uso de la información relacionada con el estudiante, el docente, la entidad educativa, etc. con fines de mejorar el aprendizaje. La tendencia en las universidades es trabajar con tecnologías que faciliten y mejoren el desarrollo de las actividades académicas, creándose de esta forma un aprendizaje electrónico añadido al tradicional. El uso de estos nuevos medios tiene grandes ventajas. Una de ellas es que permite generar una gran cantidad de datos producidas por el estudiante durante el proceso de aprendizaje. Esta información procesada con las herramientas adecuadas permite predecir, prevenir y/o actuar para mejorar el rendimiento académico de los estudiantes. Los principales beneficiarios de este análisis de datos son los estudiantes seguidos de los docentes, administradores, autoridades de la institución académica y gobierno nacional. 8 1.1 Enfoques de análisis de datos En la actualidad, los enfoques de análisis de datos más usados en el ámbito de la educación superior son la minería de datos educativos (del inglés, Educational Data Mining, EDM), el análisis académico (del inglés, Academic Analytics, AA) y el análisis del aprendizaje (del inglés, Learning Analytics, LA). El análisis del aprendizaje, análisis académico y minería de datos se centran específicamente en herramientas y métodos para la exploración de datos que provienen de contextos educativos (Dyckhoff y otros 2012). Hoy en día se considera que estas técnicas ayudan a moldear el futuro de la educación superior y a generar nuevos enfoques y estrategias en mejora de la enseñanza y del aprendizaje. En general, como se observa en la Ilustración 1 tanto el análisis del aprendizaje como el análisis académico utilizan la información que la minería de datos obtiene a través de la búsqueda de patrones o aplicación de algoritmos de procesamiento de datos. Ilustración 1. Beneficiarios del análisis de datos académicos Fuente: Elaboración propia 9 Para establecer una diferencia entre éstos tres enfoques se puede mencionar los planteamientos que establece Ferguson (2012):  La minería de datos es un desafío técnico ¿Cómo se puede extraer valor de los grandes conjuntos de datos relacionados con el aprendizaje?  El análisis del aprendizaje es un desafío educativo ¿Cómo se puede optimizar las oportunidades para el aprendizaje en línea?  El análisis académico es un desafío económico / político ¿Cómo se puede mejorar sustancialmente las oportunidades de aprendizaje y los resultados educativos a nivel nacional o internacional? Estos enfoques no solo recogen y exploran grandes cantidades de información, sino que permiten construir y poner a prueba modelos que se centran en el estudiante, ya sea de forma individual o en el contexto de la institución, con la finalidad de predecir o mejorar el rendimiento académico. 1.2 Minería de datos para la educación La DM surge en los años 90 con una finalidad empresarial que consistía en utilizar toda la información que se podía obtener para conocer el comportamiento de los consumidores o clientes. La minería está basada en técnicas estadísticas que generan algunos aspectos positivos:  Deduce patrones y tendencias que existen en los datos.  Encuentra relaciones entre variables.  Pronostica conductas individuales.  Genera modelos descriptivos (regresión simple, múltiple, logística, análisis de series de tiempo, etc.) y modelos de predicción (clúster, reducción de dimensiones, reglas de asociación, etc.). 16 mejora, finalmente la institución tomando en cuenta los resultados que ha obtenido del análisis académico debe perfeccionar las actividades que permitan a la institución ser más eficiente. 1.4 ANÁLISIS DEL APRENDIZAJE El “learning analytics” surge a partir de dos tendencias convergentes: el uso cada vez mayor de los Entornos Virtuales de Aprendizaje en las instituciones educativas y la aplicación de técnicas de minería de datos para los procesos de inteligencia de negocios en sistemas de información de la organización (Agudo y otros 2012). El informe Horizont (Johnson y otros 2013) menciona que el learning analytics tiene su origen en la minería de datos aplicada al sector comercial en donde se realizaban análisis de las actividades de los consumidores con la finalidad de personalizar la publicidad. En el trabajo de Ferguson (2012) se delinean tres grandes factores que han impulsado el desarrollo del análisis del aprendizaje y que benefician a los gobiernos, instituciones educativas, docentes y estudiantes: 1) La existencia de grandes conjuntos de datos que se obtienen de los entornos virtuales de aprendizaje (VLE) también conocidos como sistemas de gestión de aprendizaje (LMS). 2) Búsqueda de la optimización del aprendizaje “on line”. 3) La preocupación de los gobiernos e instituciones internacionales que buscan medir y mejorar el rendimiento estudiantil. 17 1.4.1 Definición de learning analytics El análisis del aprendizaje aprovecha la gran cantidad de información que generan los estudiantes durante el proceso educativo con la finalidad de mejorar la calidad del aprendizaje y el rendimiento académico. Según Brown (2011) este tipo de análisis permite usar los datos asociados con el aprendizaje de los estudiantes y generar informes que sean útiles para los docentes (actividades y progreso de los estudiantes), para los estudiantes (retroalimentación) y para los administradores (incremento de aulas de clase, tasa de graduación, etc.). Learning analytics es la medición, recopilación, análisis y presentación de datos sobre los alumnos y sus contextos, a efectos de entender y optimizar el aprendizaje y los entornos en los que ocurren los sucesos de aprendizaje (Siemens, 2011). Por otra parte Johnson y otros (2011) indican que el learning analytics busca aprovechar los avances en la minería de datos, la interpretación y modelación, para mejorar la comprensión de la enseñanza y el aprendizaje para adaptar eficazmente la educación a los estudiantes. Estas definiciones nos permiten corroborar dos afirmaciones planteadas por Ferguson (2011).  El learning analytics utiliza datos pre-existentes.  El learning analytics puede ser usado para manejar grandes conjuntos de datos, que no son posibles de manejar de forma manual. 18 1.4.2 Proceso del learning analytics La inclusión de tecnología en los procesos de enseñanza aprendizaje tiene como ventaja el contar con el registro de actividades que tanto el docente como el estudiante efectúan en un entorno virtual de aprendizaje mientras realizan su actividad académica. El hecho de contar con una gran cantidad de datos generados en estas plataformas permite utilizar esta información para mejorar y personalizar el aprendizaje. Estos datos pasan por una serie de procesos, que le permiten al docente y al estudiante determinar si se han alcanzado sus objetivos, parte de este procesamiento de datos se lo realiza con “data mining”. Ilustración 4. Proceso del learning analytics Fuente: Elaboración propia El proceso que se observa en la Ilustración 5 inicia con la recolección de datos proporcionados por la actividad académica del estudiante en un entorno virtual de aprendizaje. Posteriormente se continua con el tratamiento de los mismos para obtener las variables deseadas y plantear un modelo utilizando algunas técnicas de minería que permitan determinar la relación entre los instrumentos de enseñanza y el aprendizaje. 19 Luego la institución debe realizar la interpretación de los resultados y reflexionar sobre el impacto del método de enseñanza en el comportamiento de aprendizaje y el rendimiento de los estudiantes, permitiendo de esta forma hacer una predicción de las tendencias y del comportamiento de los estudiantes, las mismas que al ser negativas provocan una intervención pedagógica que consiste en trabajar adecuadamente sobre las actividades específicas que no están funcionando, a través de la adaptación del estudiante a la metodología o viceversa. La personalización de los entornos de enseñanza-aprendizaje en función de las necesidades de cada estudiante es otro tipo de intervención pedagógica que puede ayudar a mejorar el proceso de enseñanza aprendizaje. 1.4.3 Usos potenciales y aplicaciones del LA Varias instituciones educativas están utilizando sus bases de datos generadas en las herramientas de educación virtual para realizar el learning analytics enfocado en los siguientes aspectos:  Evaluación diagnóstica y formativa  Evaluación del currículo  Evaluación de programas académicos  Mejora del rendimiento estudiantil  Adaptabilidad de recursos de aprendizaje  Planificación personalizada  Evaluación de las tutorías  Desarrollo de nuevos procesos y herramientas destinadas a mejorar el aprendizaje y la enseñanza  Identificación de docentes con buen desempeño y docentes que requieren capacitación para mejorar los métodos de enseñanza  Establecimiento de modelos asociados al aprendizaje por competencias  Identificación de puntos conflictivos de un proceso de enseñanza-aprendizaje 20 Para cumplir con estos usos potenciales, actualmente se han desarrollado varias aplicaciones como las expuestas en la Tabla 3, cuya finalidad primordial es mejorar el rendimiento académico. 31 Tabla 3. Aplicaciones para learning analytics Aplicaciones ¿Qué hace? Objetivo Enlace Signals Proporciona un indicador de riesgo a través de un semáforo para cada estudiante mediante el uso de datos en tiempo real (verde da la señal de que todo está bien, amarillo sugiere algunas áreas de preocupación y rojo indica problemas significativos). Mejorar el rendimiento académico del estudiante en el aula detectando tempranamente características de advertencia que eviten que el estudiante se ubique en un estado crítico. http://www.itap.purdue.edu/studio/signals/ Purdue University- Estados Unidos. SNAPP (Social Networks Adapting Pedagogical Practice) Realiza representaciones visuales de la interacción que se genera en los mensajes y respuestas en los foros de discusión, los datos los obtiene de los sistemas de aprendizaje, como Blackboard, Moodle y Sakai. Ser un instrumento de diagnóstico evaluando los patrones de comportamiento e identificando los estudiantes en riesgo de acuerdo a los niveles de participación. http://www.snappvis.org/ University of Wollongong – Australia. Socrato Facilita pruebas de admisión estandarizadas para que el docente estudiante o escuela interesada las desarrolle y posteriormente genera informes de diagnóstico y rendimiento. Identificar fortalezas y debilidades y crear planes de aprendizaje personalizados para mejorar las puntuaciones. http://www.socrato.com/ SOCRATO- Boston, Massachusetts. 32 Aplicaciones ¿Qué hace? Objetivo Enlace LOCO-Analyst (Learning Object Context Ontologies) Realiza el seguimiento del estudiante analizando los datos que genera su interacción en línea con los contenidos de aprendizaje (cuestionarios, lecturas, foros, etc.). Proporcionar a los docentes una retroalimentación de la participación de los alumnos en el proceso de aprendizaje que se ha generado en la web. http://jelenajovanovic.net/LOCO-Analyst/ Apoyado por: Canadian Internacional Development Agency (CIDA). Canada`s NSERC-funded LORNET research network. WINTEL project funded by the Serbian Ministry of Science. GISMO(Graphical Interactive Student Monitoring Tool for Moodle) Genera representaciones gráficas que pueden ser exploradas y manipuladas por los docentes del curso para examinar los aspectos sociales, cognitivos y de comportamiento de los estudiantes. Proporcionar una visualización útil de las actividades de los estudiantes en los cursos en línea para docentes. http://gismo.sourceforge.net/ eLearning laboratory (eLab) of the University of Lugano in Switzerland. CMA (Check My Activity) Los estudiantes pueden revisar su actividad y la frecuencia de su uso en relación a un resumen anónimo de los compañeros de curso. Lograr que en base a las comparaciones por pares se pueda influir en los estudiantes en la metacognición. http://www.umbc.edu/oit/newmedia/blackboard/stats/ University of Maryland, Baltimore County (UMBC). Junyo Desarrolla plataformas educativas para analizar los datos que generan los estudiantes de primaria en tiempo real. Realizar una retroalimentación en tiempo real y mejorar el proceso de aprendizaje. http://junyo.com/ Silicon Valley’s Menlo Park,California. 33 Aplicaciones ¿Qué hace? Objetivo Enlace Persistence Plus A través de una plataforma móvil, realiza intervenciones conductuales permitiendo a los estudiantes organizar su tiempo y responsabilidades. Incrementar tasas de retención y graduación. http://www.persistenceplusnetwork.com/ Persistence Plus™ - Boston, Massachusetts. eLAT (exploratory Learning Analytics Toolkit) Permite explorar y correlacionar el uso del contenido, las propiedades y el comportamiento del usuario, así como los resultados de evaluación basada en indicadores gráficos. Apoyar la reflexión y el mejoramiento de los métodos de enseñanza en línea sobre la base de los intereses personales y observaciones. http://www.elearn.rwth-aachen.de/Dyckhoff RWTH Aachen University, Germany Moodog (Watchdog Moodle) Muestra como los estudiantes interactúan con los materiales de un curso en línea, proporciona recordatorios automáticos, alentándolos a ver los materiales disponibles aún no revisados. Permitir que los estudiantes comparen su progreso propio con los demás en la clase. http://www.nmsl.cs.ucsb.edu/papers/152.pdf University of California in Santa Barbara. D2L (Student Success System) Utiliza conocimientos analíticos para hacer predicciones sobre el rendimiento del estudiante y los niveles de riesgo en sus cursos. Monitorear el compromiso del estudiante y las expectativas de logro para sus cursos, controlar y diseñar intervenciones específicas para los estudiantes en riesgo mejorar el rendimiento académico https://documentation.desire2learn.com/en/studentsuccess-system D2L Corporation - Kitchener Ontario, Canadá. 34 Aplicaciones ¿Qué hace? Objetivo Enlace jPoll Realizar un sondeo móvil que involucra a los estudiantes a través de iPhone, Android, Blackberry, tabletas, netbooks y ordenadores portátiles. Los docentes crean listas de preguntas para sondear a los estudiantes. Proporcionar retroalimentación directa e inmediata a los instructores y proporcionar a los estudiantes información instantánea sobre la comprensión de los contenidos para ayudarles a controlar su propio entendimiento. http://app.griffith.edu.au/poll/landing.html Griffith University - Australia Sherpa (Predictive analytics module) Proporciona una alerta temprana de la conducta del estudiante que tiene una mayor probabilidad de fracaso y fomenta un comportamiento productivo. Mejorar el rendimiento académico a través de un motor de recomendación. http://www.socccd.edu/sherpa/ South Orange County Community College District- Estados Univdos Fuente: Elaboración propia 35 CAPÍTULO 2 RENDIMIENTO ACADÉMICO El rendimiento académico es el principal indicador de éxito o fracaso del estudiante, por tal motivo ha sido considerado como uno de los aspectos importantes a la hora de analizar resultados sobre el proceso de enseñanza aprendizaje. En el ámbito de la educación superior el rendimiento académico es uno de los indicadores principales de la eficiencia y calidad educativa que representa a la institución. Causa controversia ya que no existe una teoría definitiva acerca de una metodología para su medición o un indicador para su valoración. Al ser multidimensional, el rendimiento académico depende de múltiples aspectos tales como los objetivos del docente, de la intitución , del estudiante, etc. En este capítulo se hace una revisión de los indicadores, las variables más usadas para la medición del rendimiento académico y las técnicas estadísticas aplicadas en la evidencia empírica revelante. 2.1 Conceptualización El rendimiento académico se determina tomando en cuenta variables cualitativas y/o cuantitativas que permiten determinar si el estudiante, la institución y el docente han tenido éxito o han sido eficientes durante el desarrollo del proceso de enseñanza aprendizaje. Suele tomar algunas denominaciones como logro académico, rendimiento universitario, desempeño académico, éxito escolar, etc. 42 Finalmente es importante señalar que cada una de las variables consideradas en todos los contextos anteriores pueden presentar diferente nivel de influencia o significatividad ya sea positiva o negativa en el rendimiento académico. A la hora de intervenir, para una institución educativa es mucho más fácil que lo haga con las variables controlables como las que se ubican en el contexto institucional, pedagógico y académico. 2.4 Técnicas estadísticas aplicadas en la medición del rendimiento académico: Evidencia empírica Desde hace varias décadas se ha venido investigando como mejorar el rendimiento académico de los estudiantes, que variables influyen sobre él, cuál es la mejor metodología para determinarlo. El análisis de esta variable multidimensional es y será relevante para la mejora de la calidad educativa, razón por la cual se han dedicado numerosos estudios, tanto desde el punto de vista teórico como empírico. Basados en esta premisa, en la Tabla 4 se presenta un listado de investigaciones relevantes publicadas en revistas de ámbito estadístico y educativo de alto impacto. 44 Tabla 4.Métodología estadística aplicada para la medición del rendimiento académico AUTOR TEMA METODOLOGÍA MUESTRA VARIABLES CONCLUSIÓN JOURNAL Marjoribanks (1976) Academic achievement, intelligence, and creativity: A regression surface analysis Estimaciones OLS 400 niños de 12 años de la escuela inglesa Rendimiento académico, medidas de inteligencia y creatividad. Para algunas áreas la creatividad deja de estar relacionada con el rendimiento después de haber alcanzado un nivel de umbral de la inteligencia. También se encontró que en los altos niveles de habilidad verbal, la capacidad no verbal y la creatividad parecía tener relaciones diferenciales con el rendimiento académico. Multivariate Behavioral Research Schram (1996) A meta-analysis of gender differences in applied statistics achievement Modelo lineal general, test de homogeneidad, análisis categórico Estudiantes de pregrado y postgrado matriculados en los cursos de estadística del departamento de psicología, educación y empresas Puntos en el trayecto en total, grado supuesto, examen final y combinación de exámenes. Las mujeres superan a los hombres cuando el resultado es en grados, y los hombres se ven favorecidos cuando se utilizan pruebas. Educational and Behavioral Statistics Campbell & Campbell (1997) Faculty/student mentor program: Effects on academic performance and retention Estimaciones OLS 339 estudiantes universitarios Género, etnia, rendimiento académico y estado de inscripción. El logro académico y la retención no estan relacionados con el género y la etnia del mentor, el protegido, o el género y étnia partido entre los dos. Research in Higher Education 45 AUTOR TEMA METODOLOGÍA MUESTRA VARIABLES CONCLUSIÓN JOURNAL Zax & Rees (2002) IQ, academic performance, environment, and earnings Estimaciones OLS Estudiantes de las escuelas públicas de Carolina del Norte en los grados 3 a 8 Características de la comunidad, de la escuela, del hogar, de los amigos y de los compañeros. Aumentos factibles en el rendimiento académico y la educación pueden compensar los efectos de muchos déficits cognitivos y contextuales. Economics and Statistics Shin & Raudenbush (2011) The Causal Effect of Class Size on Academic Achievement: Multivariate Instrumental Variable Estimators With Data Missing at Random Modelo multivariante de ecuaciones simultáneas de tres niveles con una variable instrumental 79 escuelas de Tennessee con tres tipos de clases: pequeñas (13-17 alumnos), regulares (22 a 25 estudiantes) y regulares con ayudante (22-25 estudiantes) Del estudiante: puntaje de lectura, puntaje en matemáticas, puntaje en listening y puntaje en habilidades de estudio de palabras De la clase: tamaño y tipo La reducción del tamaño de la clase mejora la lectura, las matemáticas y los resultados de las pruebas .No encuentran evidencia de que los efectos causales varían a través de las escuelas. Educational and Behavioral Statistics McArdle, Paskus & Boker (2013) A Multilevel Multivariate Analysis of Academic Performances in College Based on NCAA Student- Athletes Modelos de regresión multinivel estándar con predicción no lineal 16000 estudiantes de primer año de universidad que provienen de 260 colegios en el periodo 1994-1995 Variables demográficas del estudiante, características del colegio, variables académicas de la secundaria y variables de los estudiantes de primer año. Los modelos multinivel estándar son útiles para los estudios de validación estándar y los grados de secundaria son los mejores predictores disponibles de los grados de primer año de la universidad. Multivariate Behavioral Research 46 AUTOR TEMA METODOLOGÍA MUESTRA VARIABLES CONCLUSIÓN JOURNAL Otham & Musa (2014) The Improvement of Students’ Academic Performance by Using Social Media through Collaborative Learning in Malaysian Higher Education Correlación de Pearson 120 estudiantes de pregrado y posgrado en el rango de edad de 18 a 36 años de la Universiti Teknologi Malasia Interactividad con sus compañeros, interactividad con los maestros, compromiso, percepción de la facilidad de uso, percepción de la utilidad, aprendizaje colaborativo, satisfacción de los estudiantes y rendimiento académico. Los medios de comunicación social afectan positiva y significativamente el aprendizaje colaborativo . La mayor correlación se presentó entre el rendimiento académico y la satisfacción estudiantil y compromiso. Asian Social Science McArdle, Hamagami, Chang & Hishinuma (2014) Longitudinal dynamic analyses of depression and academic achievement in the Hawaiian High Schools Health Survey using contemporary latent variable change models Estudio de cohorte secuencial longitudinal con métodos multivariantes Más de 5000 estudiantes de secundaria en Hawai La percepción subjetiva de los logros académicos, la percepción subjetiva de la depresión. La depresión afecta el rendimiento académico y no al contrario. Structural equation modeling: a multidisciplinary Fuente: Elaboración propia. 47 En lo que respecta a evidencia empírica basada en la teoría learning analytics y su relación con el rendimiento académico se han encontrado pocas investigaciones realizadas recientemente, a continuación se detallan las que se han considerado más importantes. La investigación de Agudo y otros (2012) se centra en establecer tres tipos de interacción de aprendizaje en línea (agentes involucrados, frecuencia de uso y modo de participación) y analizar la relación de sus componentes con el rendimiento académico de los estudiantes. Lo hacen a través de un análisis de regresión múltiple cuyos resultados permitieron concluir : a) Que la clasificación basada en los agentes involucrados en el aprendizaje en línea ofrece una mejor explicación del rendimiento académico, b) Que al menos un componente en cada tipología predice el rendimiento académico; y c) Que la interacción estudiante-profesor, estudiante-estudiante, evaluaciones desarrolladas por el estudiante y una interacción activa, tienen una impacto significativo sobre el rendimiento académico Agudo y otros (2014) realizan una relación entre el rendimiento académico y dos modalidades de aprendizaje (aprendizaje virtual apoyado con clases presenciales y el aprendizaje netamente en línea). El principal hallazgo indica que hay una relación entre un cierto tipo de interacciones y el rendimiento académico en los cursos en línea, mientras que esta relación no es significativa en el caso de los cursos F2F apoyados por un entorno virtual de aprendizaje. Se realiza un análisis de regresión lineal múltiple, en la investigación de Yu & Jo (2014) se determinaron como factores controlables importantes para el rendimiento académico de los estudiantes el tiempo total dedicado a estudiar en un LMS(Learning Management System- Sistema de gestión del aprendizaje), la interacción con los compañeros, la regularidad de intervalo aprendizaje en un LMS, y el número de descargas. Se concluye que las variables del modelo explicaron el 33,5% de la varianza en la calificación final. Tempelaar y otros (2014) estudiaron el poder predictivo de la disposición para el aprendizaje, los resultados de las evaluaciones formativas continuas y otros datos 48 generados por el rendimiento de los estudiantes para generar retroalimentación informativa. Utilizan una perspectiva dinámica, longitudinal. Las evaluaciones formativas asistidas por la computadora parecen ser el mejor predictor para la detección de los estudiantes de bajo rendimiento académico, mientras que los datos de LMS básicos no predijeron sustancialmente el aprendizaje. 49 CAPÍTULO 3 MODELOS MULTIVARIANTES COMO METODOLOGÍA PARA LA INVESTIGACIÓN EDUCATIVA En la educación universitaria intervienen muchas variables que pueden ser analizadas a través de un enfoque multivariante. En este capítulo se hace una revisión de dos técnicas de Estadística Multivariante aplicables a la investigación educativa, el análisis multinivel y el análisis bivariante logístico. La ventaja fundamental que presentan estas dos metodologías, a diferencia de la regresión clásica, es que los modelos multinivel permiten incluir en una misma ecuación variables independientes de diferentes niveles de agregación y en el caso de los modelos bivariantes dos variables dependientes cualitativas asociadas. 3.1 Análisis a través de una regresión multinivel Los modelos multinivel han estado aplicándose con mayor fuerza en el campo de la salud y educación desde hace más de dos décadas (Goldstein y otros 1993; Draper, 1995; Goldstein & Spiegelhalter, 1996). Actualmente se usa en la investigación educativa, dado que los datos educativos se caracterizan por presentar una estructura anidada. Este método de investigación cuantitativa permite analizar de mejor forma las variables que influyen en el ámbito 50 educativo, estimar separadamente la varianza entre estudiantes de una misma escuela y la varianza entre escuelas, etc. Algunos ejemplos de anidamiento pueden ser:  Estudiantes dentro de escuelas.  Estudiantes dentro de aulas dentro de escuelas y escuelas dentro de universidades.  Aulas dentro de universidades dentro de regiones.  Universidades dentro de regiones dentro de países. Cuando se presenta una estructura jerárquica las observaciones individuales no son completamente independientes, por lo que, por ejemplo, la correlación intra-clase entre las variables de los estudiantes de una misma universidad será mayor que la correlación de las mismas variables medidas entre los estudiantes de otras universidades. Un análisis multinivel permite analizar no solamente la relación entre los estudiantes sino también analiza los diversos contextos en los que se deselvuelven ya que los individuos pertenecientes a un mismo contexto tenderán a tener intereses, características y un comportamiento común, con respecto a su pertenencia a distintos contextos. En base a estas consideraciones Abela (2011) plantea que el objetivo de una regresión multinivel es modelizar estadísticamente la influencia de variables contextuales sobre las actitudes o los comportamientos medidos a nivel individual. 3.1.1 Definición formal de los modelos multinivel Los modelos de regresión multinivel son conocidos como modelos jerárquicos lineales, modelos de coeficientes aleatorios, modelos de componentes de varianza y modelos lineales mixtos (Hox, 1995). Un modelo multinivel considera la jerarquía de los datos, es decir, cómo una unidad está anidada dentro de otra superior, por eso todos los datos ya no son estimados en un único 51 modelo de regresión, sino que se realiza una estimación por grupos o niveles de forma simultánea. Murillo (2008) señala que los modelos multinivel son, en esencia, ampliaciones de los modelos de regresión lineal clásicos, de tal forma que en realidad son varios modelos lineales para cada nivel. 3.1.2 Características de los modelos multinivel Los aspectos por los que se caracteriza una regresión multinivel son:  Incluye dos, tres o más unidades de análisis simultáneamente.  Permite explorar qué otras variables individuales, grupales o contextuales están controlando la conducta de la variable dependiente.  Contiene efectos fijos y aleatorios.  Resuelve el problema de la falacia atomista y ecológica. 1  Reconoce la estructura anidada de los datos y permite obtener estimaciones insesgadas de las variaciones acaecida en los distintos niveles de la jerarquía (Vallejo y otros 2008).  Permite incluir información a nivel del individuo y del contexto.  Presenta estimaciones correctas de los errores estándar y la significancia estadística de los coeficientes. 1 La falacia atomista acontece cuando se realiza una interpretación agregada a partir de datos individuales y la falacia ecológica se provoca cuando se inferencia a nivel individual a partir de información a nivel grupal. 52  Provoca que se analice simultáneamente y de manera correcta, los efectos de las variables en los diferentes niveles de agregación.  Resuelve el problema estadístico de correlación individual en la estimación OLS, analizando una correlación intragrupal a través de una estructura jerárquica.  Incluye las variables de nivel micro dentro de las de nivel macro.  Resuelve la limitación del uso de modelos de regresión múltiple que invalidan la hipótesis de independencia cuando se presenta mayor homogeneidad entre individuos de un mismo grupo respecto a individuos de distintos grupos. 3.1.3 Métodos de estimación de los modelos multinivel Existen algunos procedimientos de estimación en el contexto de los modelos multinivel englobados en métodos de máxima verosimilitud y de estadística Bayesiana. 3.1.3.1 Máxima verosimilitud a) Mínimos Cuadrados Generalizados Iterativos (IGLS): producen estimadores sesgados de los parámetros aleatorios debido a que no tiene en cuenta la varianza muestral de la parte fija del modelo. b) Mínimos Cuadrados Generalizados Iterativos Restringidos (RIGLS): producen estimadores insesgados y en casos en donde la muestra es pequeña, este método sería el más adecuado. c) Cuasi verosimilitud Marginal (MQL): Se aplican a modelos no lineales con variables dicotómicas. Permiten linealizar la parte fija del modelo multinivel a través de expansiones en series de Taylor. 59 a) Variables predictoras del Nivel 1 como coeficientes aleatorios Nivel 1 01 ijij ij jj XYe     (3-7) Nivel 2 0 00 0jj u   (3-8) 1 10 1jj u   (3-9) Con estas ecuaciones se puede determinar si los coeficientes de las variables independientes muestran variación significativa entre grupos, por lo que se supone que los interceptos del Nivel 1 varían aleatoriamente en la población de las unidades del nivel 2. En la ecuación (3-8) 00  es la ordenada promedio de las unidades del Nivel 2 y j u0 es el incremento aleatorio específico de la ordenada asociado a la unidad j del nivel 2. En la ecuación (3-9) 10  es la pendiente promedio de la regresión de las unidades del Nivel 2 y j u1 es el incremento aleatorio específico de la ordenada asociado a la unidad j del mismo nivel. b) Interacciones multinivel entre variables del Nivel 1 y del Nivel 2 Nivel 1 01ij j j ij ij Y X e     Nivel 2 0 00 01 0j j j Wu       (3-10) 1 10 11jj W     (3-11) El modelo permite determinar si las variables grupales j W explican la variación de la variable dependiente entre grupos. 60 La ecuación del Nivel 1 es la (3-7) y en las ecuaciones del Nivel 2 (3-10) y la (3-11) incluyen variables independientes, pero j1  no considera una perturbación aleatoria. Además se genera una interacción multinivel entre las variables contextuales (aula) e individuales (estudiante). c) Interacciones multinivel y coeficientes aleatorios del Nivel 1 Nivel 1 01ij j j ij ij Y X e     Nivel 2 0 00 01 0j j j Wu       1 10 11 1j j j Wu       (3-12) Al igual que el modelo anterior se busca determinar si las variables grupales j W explican la variación de la variable dependiente entre grupos, la diferencia es que tanto la ordenada como la pendiente se modelan con efectos aleatorios. 3.1.5.2 MODELO MULTINIVEL DE 3 NIVELES a) Modelo nulo-ANOVA con efectos aleatorios En la parte fija del modelo se incluye la constante y en la parte aleatoria se determina la varianza de los residuos en los tres niveles. Nivel 1 ijkjkijk eY  0  (3-13) Nivel 2 jkjk u0000  (3-14) Nivel 3 kk r0000000   (3-15) 61 La ecuación (3-13) del Nivel 1 establece la variable dependiente ijk Y para el estudiante i en el aula j de la escuela k que está en función de la media jk0  del aula j en la escuela k y el efecto aleatorio del estudiante como ijk e que representa la desviación del rendimiento del estudiante ijk de la media del aula. En el Nivel 2, en la ecuación (3-14) se encuentra la variable dependiente como jk0  (media de cada aula) que varía aleatoriamente alrededor de la media de alguna escuela, 00  representa la media de la escuela k y el efecto aleatorio del aula jk u0 que indica la desviación del rendimiento del aula jk de la media de la escuela. En el nivel 3 se representa la variabilidad entre escuelas y la ecuación (3-15) incluye como variable dependiente las medias de las escuelas k00  en función de la media global de las escuelas 000  y donde el efecto aleatorio de la escuela k r00 representa la desviación de la media de la escuela k de la media global. Los efectos aleatorios en los niveles 1, 2 y 3 se suponen distribuidos en forma normal con una media cero y una estimación de la varianza (para ijk e ), (para jk u0 ) y 3  (para k r00 ). b) Incluyendo variables predictoras del Nivel 2 y del Nivel 3 Se busca predecir ijk Y media de las aulas y de las escuelas a través de las características grupales de cada nivel. Se incluyen variables explicativas en los niveles 2 y 3. 62 Nivel 1 ijkjkijk eY  0  Nivel 2 jkjkkkjk uW 0101000  (3-16) Nivel 3 kkk rZ 00100100000   (3-17) La ecuación del nivel 1 es la (3-13). Para el nivel 2 la ecuación (3-16) incluye variables explicativas jk W1 que son características de la aulas , k00  es la ordenada de la escuela k cuando se modela el efecto del rendimiento académico medio jk0  del aula, y k01  es el intercepto que indica la dirección y el grado de asociación entre las características de las escuelas y jk0  , finalmente jk u0 es el efecto aleatorio del Nivel 2. En el nivel 3 (3-17) la variable explicativa k Z1 es una característica de la escuela, 000  es la media global para k00  , 001  es el intercepto que indica la dirección y el grado de asociación entre las características de las escuelas y k00  . El efecto aleatorio de este nivel está representado por k r00 . c) Incluyendo variables predictoras del Nivel 1 y Nivel 2 Dentro de este paso se pueden presentar dos casos: Modelo con variables explicativas ijk X en el Nivel 1 que toma los mismos valores a lo largo de las unidades del Nivel 2 y 3. Nivel 1 01ijk jk jk ijk ijk Y X e     (3-18) Nivel 2 jkkjk u0000  (3-19) kjk 101   (3-20) Nivel 3 kk r0000000   (3-21) 10010   k (3-22) 63 Modelo con variables explicativas en del Nivel 1 ijk X y del Nivel 2 y constante a lo largo de las escuelas. Nivel 1 01ijk jk jk ijk ijk Y X e     Nivel 2 jkkjk u0000  1 10 11 1 1jk k k jk jk Wu       (3-23) Nivel 3 kk r0000000   10010   k 11011   k (3-24) d) Variables predictoras del Nivel 1 y del Nivel 2 con coeficientes aleatorios El modelo permite determinar si los coeficientes de las variables independientes muestran variación significativa entre aulas y escuelas. Las ecuaciones son las mismas que las del paso anterior salvo que todos los interceptos en cada uno de los niveles son aleatorios. Por lo tanto se pueden dar dos casos:  Las variables del Nivel 1 ( ijk X ) se centran respecto a la media del grupo jk , suponiendo que por lo menos uno de los interceptos del Nivel 1 varía aleatoriamente en la población de las unidades del Nivel 2 y 3. No se definen variables en el nivel 2 y 3.  Las variables del Nivel 2 ( 1jk W ) se centran respecto a la media del grupo del Nivel 3, suponiendo que por lo menos uno de los interceptos del Nivel 2 muestra un comportamiento aleatorio entre unidades del Nivel 3. 64 e) Interacciones multinivel Nivel 1 01 ijk ijk jk jk ijk XYe     (3-25) Nivel 2 01 0 00 01 0 k jk k k jk Wu       1 1 10 11 1 jk jk k k jk Wu       (3-26) Nivel 3 kkk rZ 0000100000   kk Z 02001001   kk Z 10110010   (3-27) kk Z 11111011   El modelo permite determinar si las variables grupales del Nivel 3 ( k Z ) explican la variación de la variable ijk Y . Se adicionan variables explicativas de los 3 niveles ( ijk X , jk W , k Z ), cuyos coeficientes como variables independientes en el nivel 3 no consideran una perturbación aleatoria. f) Interacciones multinivel con perturbación aleatoria Comprende las mismas ecuaciones del ítem anterior (3-25) y (3-26), con la diferencia que en los coeficientes del nivel 3 se considera una perturbación aleatoria. kkk rZ 0000100000   kkk rZ 0102001001   Nivel 3 kkk rZ 1010110010   (3-28) kkk rZ 1111111011   65 3.1.6 Interpretación de resultados Hox (2002) establece que básicamente la interpretación de los modelos multinivel depende de la significación de los coeficientes de regresión y de lo bien que el modelo se ajusta a los datos. A continuación se recogen diversos parámetros y conceptos a través de los cuales se puede alcanzar una adecuada interpretación del modelo que finalmente se ajuste al conjunto de datos considerado en el estudio. a) Correlación intraclase Indica si existe una elevada correlación que se presenta cuando la muestra está conformada por datos homogéneos y se mide a través de la proporción de la varianza explicada por la diferencia entre niveles, esto significa que cuanto mayor sea la varianza dentro de los grupos, mayor será la correlación intraclase. b) Coeficiente fijo y aleatorio Los coeficientes fijos son los efectos medios en la población y los coeficientes aleatorios son las varianzas y covarianzas de los niveles. En los modelos multinivel los coeficientes del primer nivel son tratados como aleatorios en el segundo nivel. Es decir la parte fija es general y común a todos los contextos mientras que la parte aleatoria es representada por lo específico de cada contexto, que varía y se estima por medio de la varianza de los distintos niveles. 66 c) Interacción multinivel Se estima la interacción entre variables que están medidas en dos o más niveles de una estructura anidada de datos. Si el término de interacción es significativo cuantifica la diferencia en la influencia de la variable contextual sobre la variable individual, según pertenezca a un grupo u otro. d) Análisis de la varianza Se puede realizar el análisis a partir de dos medidas básicas de agrupación como son el Coeficiente de Correlación Intraclase (ICC) y el Coeficiente de Participación de la Varianza (VPC) que dan información acerca de la proporción de la varianza en la variable dependiente que se debe a las diferencias entre los niveles. Es decir que si se obtiene un ICC o VPC cercano a cero significa que ese nivel no condiciona a la variable individual. 3.1.7 Modelos multinivel en el campo educativo El inicio de la aplicación de estos modelos en el campo educativo se debe principalmente al aporte que realizaron Aitkin & Longford (1986) en su investigación “Statistical modelling issues in school effectiveness studies” introdujeron por primera vez el análisis multinivel para determinar la efectividad escolar, demostrando la existencia de errores metodológicos al usar las regresiones tradicionales en investigaciones anteriores y reconociendo la presencia de una estructura jerárquica en la presentación y análisis de datos entre estudiantes y escuelas. Los modelos multinivel son más aplicables en el campo educativo porque en estas poblaciones las observaciones individuales no son completamente independientes, es decir se presenta una estructura jerárquica, por lo que según Snijders & Bosker (1999) esto implica una dependencia de las observaciones de nivel micro (alumnos) dentro del nivel macro (aulas o centros). Esta dependencia se refiere a que los estudiantes del 67 mismo grupo comparten el mismo ambiente, mismos profesores, normas, comunicación, etc. A continuación se mencionan algunos estudios relevantes: Nuttall y otros (1989) exploran si hay alguna diferencia en la eficacia de 140 escuelas londinenses marcadas por una diferencia social y composición ética llegando a concluir que la eficacia escolar varía en función del rendimiento relativo de los diferentes subgrupos. El estudio realizado por Kreft (1995) compara el rendimiento académico de una asignatura entre escuelas privadas y públicas obteniendo como resultado que los modelos multinivel no pueden determinar cuál de los dos sectores son mejores ya que todo depende de cómo son tratados los datos. Caldas & Bankston (1999) usan una regresión multinivel para analizar la relación entre el rendimiento académico, el status socioeconómico y la estructura familiar individual y de la escuela. Los resultados de esta investigación sugirieron que la estructura familiar de la escuela presentó una relación más fuerte con el rendimiento académico que con el status socioeconómico de la escuela o la composición racial. Sellström & Bremberg (2006) determinan la influencia del ambiente de la escuela sobre los resultados académicos, consideran aspectos como: hábitos de fumar, bienestar, problemas de comportamiento y rendimiento académico. Después de procesar la información a través de un estudio multinivel longitudinal, concluyen que el hecho de que una institución cuente con una política antitabaco, un buen clima escolar, estudiantes con un nivel socioeconómico promedio alto influye positivamente sobre el rendimiento de los estudiantes. 68 3.2 Análisis con un modelo logístico bivariante Este análisis permite diferenciar el doble impacto de las covariables sobre las variables de resultado. La regresión logística bivariante (del inglés, Bivariate Logistic Regression, BLR), es un modelo de regresión no lineal que se aplica cuando existen dos variables discretas dependientes Y1 y Y 2. Dale (1986) fue uno de los primeros en considerar este tipo de modelización. La regresión logística bivariante tiene dos ventajas: (a) el modelado individual de la distribución de probabilidad marginal de dos respuestas, y (b) el modelado de los odds ratio que describe la asociación entre las dos respuestas en relación a varias covariables (Darda, 2009). 3.2.1 Tabla de asociación La Tabla 7 es el resultado de una clasificación cruzada entre n observaciones y dos variables cualitativas binarias Y1 y Y2. Tabla 7. Asociación de 2 variables de respuesta Y 2 Probabilidad 0 1 Y 1 0  00  01 1- 1  1  10  11 1  Probabilidad 1- 2  2  1 Fuente: Elaboración propia 75 CAPÍTULO 4 METODOLOGÍA DEL MODELO DE ESTUDIO En el presente apartado se explica la metodología aplicada a un conjunto de datos reales en cuyo caso de estudio el objetivo general es medir desde una perspectiva cualitativa y cuantitativa el rendimiento académico de estudiantes universitarios que desarrollan sus estudios en modalidad abierta y a distancia. Para este trabajo se usa información del año 2014 de una Universidad Ecuatoriana que cuenta con el mayor número de estudiantes matriculados en modalidad a distancia (más de 30.000 estudiantes) a nivel de todo el Ecuador y es referente para las Universidades Latinoamericanas. En el proceso de inclusión de variables usadas para la modelización del rendimiento académico se tuvo en cuenta el enfoque de enseñanza centrada en la teoría del “learning analytics”, por lo que se trabaja con datos suministrados por el Entorno Virtual de Aprendizaje, una de las herramientas de apoyo principales en esta modalidad de estudio. En este capítulo se justifica y se hace una descripción estadística de las variables de respuesta y covariables que se incluyen en ambos modelos, posteriormente se da a 76 conocer como está constituída la población objeto de estudio, se detalla las fuentes de datos empleadas y, finalmente, en base a las características de las variables y las muestras, se plantea y justifica el porqué de la aplicación de las técnicas multivariantes. 4.1 Variables objetivo consideradas Las variables se han seleccionado en pro del cumplimiento de los objetivos específicos planteados en este capítulo. Estas variables son de carácter académico, demográfico y tecnológico (en el ámbito tecnológico se trabaja con variables que involucra el enfoque “learning analytics”). Se toman en cuenta variables individuales del estudiante (nivel inferior), variables del docente y asignatura (nivel intermedio) y variables de la escuela (nivel superior). Todas las variables se obtienen dentro de la misma universidad, de esta forma, se supone que la correlación promedio (conocida como la correlación intraclase) entre las variables de los alumnos de la misma universidad y del mismo tipo de asignatura (troncal) es mayor que la correlación de las mismas variables medidas entre los alumnos de universidades distintas. 4.1.1 Justificación de las variables Existe una infinidad de variables inherentes a la medición del rendimiento académico, pero para el presente estudio se incluyeron aquellas variables fáciles de identificar, con un aceptable índice de precisión, de carácter controlable y que se hallan respaldadas por la teoría. La evidencia empírica contradice la significatividad estadística de algunas variables con respecto al rendimiento académico, sin embargo, con la finalidad de corroborar estas conclusiones, se incluyen en las estimaciones de los modelos. 77 A) VARIABLES DE RESPUESTA Tabla 8.Variables como indicadores del rendimiento académico Variables Tipo Representación Nota final Cuantitativa 0 a 40 puntos Grado Cualitativa A a E Créditos acumulados Cualitativa 1 a 5 Fuente: Elaboración propia Rendimiento académico: El objetivo general es medir el rendimiento académico desde un enfoque cualitativo y cuantitativo. En la Tabla 8 se presentan los tres indicadores considerados. La variable que se toman en cuenta como indicador cuantitativo es la calificación final del estudiante que se mide en un rango de 0 a 40 puntos (incluye la sumatoria de los exámenes, trabajos a distancia y otras actividades). Las calificaciones son consideradas como un indicador preciso y accesible que refleja los logros académicos (Tournon, 1984; Tirados, 1990; Rodríguez, Fita, & Torrado, 2004). En términos cualitativos el rendimiento académico puede ser medido a través de dos variables de respuesta: Grado (la calificación promedio expresada como A, B, C, D, E) y la acumulación de Créditos universitarios expresada como (1, 2, 3, 4, 5). El grado o calificación académica corresponde a la calificación media obtenida de todas las asignaturas superadas, la escala expresa una calificación entre 28 a 40 puntos, siendo 28 el mínimo para aprobar. Realizando las equivalencias de calificaciones con el Sistema Europeo de Transferencia de Créditos (ECTS, en sus siglas en inglés) basada en percentiles, la escala de grados que se establece para el presente estudio queda como se recoge en la Tabla 9. 78 Tabla 9. Calificación promedio expresada es escala GRADO ECTS DEFINICIÓN PUNTAJE A Sobresaliente Excelente resultado con escasas insuficiencias 40-39 B Muy buena Superior a la media pero con algunos errores. 38-36 C Buena Buen trabajo en general con algunos errores notables. 35-33 D Satisfactorio Bien pero con carencias significativas. 32-30 E Suficiente Se alcanza el criterio mínimo requerido. 29-28 Fuente: Elaboración propia basada en el Sistema Europeo de Transferencia de Créditos (ECTS) La última variable de respuesta es créditos acumulados. En recientes estudios se menciona que los créditos universitarios acumulados son un buen indicador para medir el rendimiento académico puesto que estos indican el avance que el estudiante ha tenido en la carrera durante determinado periodo de tiempo (Díaz y otros 2002; Martín y otros 2008). La acumulación de créditos corresponde a la suma de créditos de las asignaturas superadas por el estudiante y se miden al final del último año de permanencia en una carrera de cinco años. La agrupación por créditos acumulados fue realizada por la universidad para detectar a que grupo pertenecen aquellos estudiantes que deberían estar en último año de la carrera. La escala para las carreras de 5 años (282 créditos) es la recogida en la Tabla 10. 79 Tabla 10. Agrupación por créditos universitarios acumulados CRÉDITOS DEFINICIÓN GRUPO menos de 50 Tiene menos del 20% de créditos aprobados. 1 de 50 a 109 Tiene entre el 39% y 20% de créditos aprobados 2 de 110 a 159 Tiene entre el 59% y 40% de créditos aprobados 3 de 160 a 219 Tiene entre el 79% y 60% de créditos aprobados 4 de 220 a 282 Tiene el 80% o más de créditos aprobados 5 Fuente: Elaboración propia en base al reglamento de la universidad tomada como caso de estudio B) COVARIABLES Las variables explicativas o convariables se recogen en la Tabla 11. Pueden ser clasificadas como sigue: características de los estudiantes, que incluyen un grupo de variables sociodemográficas, antecedentes académicos y variables del enfoque “learning analytics”; características del aula, que incluyen variables de la asignatura y del docente; y características de la escuela, tales como área académica, tamaño, tasa de reprobación y ratio alumno-profesor. Se realiza una revisión de las más importantes y se justifica su inclusión en esta investigación. Covariables asociadas al estudiante: Edad, para el caso de estudiantes universitarios en modalidad a distancia generalmente el rango de edad es amplio. Page (1990) señala que la edad puede incidir en un rendimiento académico diferencial. Esta variabilidad en cuanto a edad conlleva, o bien diferencias madurativas de desarrollo, o bien diversidad de valores, actitudes, expectativas y motivación. 80 Tabla 11. Variables explicativas VARIABLES TIPO REPRESENTACIÓN DIMENSIÓN Edad Cuantitativa - Sociodemográfica Género Cualitativa M – F Tamaño de Región de procedencia Cualitativa Pequeña – Grande Repite asignatura Cualitativa Si – No Antecedentes académicos Rinde supletorio Cualitativa Si – No Tiene beca Cualitativa Si – No N° de consultas al profesor Cuantitativa - Learning analytics N° de comentarios Cuantitativa - N° de accesos al LMS Cuantitativa - N° accesos al curso de asignatura Cuantitativa - Tiempo de uso LMS Cuantitativa - Participación en foros Cualitativa Si – No Participación en chat Cualitativa Si – No Participación en videocolaboración Cualitativa Si – No N° de matriculados Cuantitativa - Asignatura N° de repetidores Cuantitativa - N° Créditos Cuantitativa 4 – 6 Ciclo Cuantitativa 1 -10 Años de experiencia Cuantitativa - Docente Formación académica Cualitativa Grado-Maestría-Doctorado Evaluación docente Cuantitativa 0 – 60 Tipo de docente Cualitativa Tiempo completo -Invitado- Administrativo Área académica Cualitativa Administrativa-Biológica- Humanística-Técnica Escuela Tamaño Cuantitativa - Tasa de reprobación Cuantitativa - Ratio alumno profesor Cuantitativa - Fuente: Elaboración propia 81 Por ejemplo en el campo de la tecnología, la edad podría estar interviniendo en un mayor o menor uso de estas herramientas ya que los estudiantes de edad avanzada no son “nativos digitales” 2 , es así que el hecho de que un estudiante tenga más edad respecto a la media del grupo puede llegar a afectar negativamente al rendimiento. Duff y otros (2004) consideran que la edad se ha convertido en una variable importante, puesto que en los últimos años la población estudiantil es más heterogénea. Los resultados de algunos estudios son contradictorios, por tal motivo para establecer adecuadamente relaciones entre el rendimiento y la edad se recomienda incluir otras características (Schram, 1996; Richardson y otros 1999; Sadler‐Smith, 1996; Tejedor, 2003; Nasir, 2012; Alhajraf & Alasfour, 2014 ). Género, respecto a esta variable demográfica los resultados de algunos estudios son contradictorios, en algunas investigaciones se indica que no se presenta significancia en la relación entre el rendimiento académico y el género de los alumnos (Borde, 1998; Moral, 2006; Acevedo & Rocha , 2011; Pantoja & Alcaide, 2013) y en otras se concluye que el hombre o la mujer generan un rendimiento diferente significativo (Haist y otros 2000; Gammie & Gammie, 2003; Dayioğlu & Türüt-Aşik, 2007; Sepúlveda y otros 2011). Sin embargo, con el objeto de corroborar tales afirmaciones en el ámbito de nuestro estudio, la variable se incluye en el análisis. Región de procedencia, los estudios de modalidad a distancia se ofertan no solamente para estudiantes de distintas edades sino también pertenecientes a las 24 provincias de Ecuador, por lo que cada región de residencia de los estudiantes es diferente, lo cual podría ocasionar alguna influencia sobre el rendimiento académico. 2 Esta palabra fue acuñada por Prensky (2001) quien ha denominado como nativos digitales a aquella generación que ha nacido durante las décadas de los años 1980 y 1990 y se ha formado utilizando “lengua digital” de juegos por ordenador, vídeo e Internet. 82 Los estudiantes en diversas ubicaciones geográficas tienen conocimientos específicos, experiencias previas y modos de vida. Cada uno de ellos juega un papel crítico en cómo aprenden los estudiantes y, por tanto, cómo los profesores guían su instrucción para satisfacer las necesidades educativas de sus alumnos (Ortlieb & Cheek, 2008). Algunos estudios indican que no hay un efecto significativo (Porto & Di Gresia, 2004; Garzón y otros 2010), mientras que en otros resultados señalan que si existe una influencia sobre el rendimiento académico (Cresswell & Underwood, 2004). Becas, el hecho de que un estudiante sea beneficiario de una beca estudiantil puede convertirse en un motivo para incentivar o presionar al estudiante a mantener un rendimiento académico alto que le permita seguir siendo beneficiario de la beca. Corroborando este criterio se encuentran algunos estudios que determinan que existe una relación positiva y estadísticamente significativa entre las becas y el rendimiento académico (Garzón & otros, 2010; Celis y otros 2005). Variables del enfoque de “learning analytics” Existen algunas variables que se pueden considerar en el enfoque del “learning analitycs”, las que involucran las variables explícitas (relacionadas con tareas y exámenes) y las que involucran las variables tácitas (relacionadas con las actividades extracurriculares e interacciones en línea) y es en las interacciones en línea en las que nos hemos concentrado en la presente investigación. Las interacciones en línea comprenden datos producidos por el estudiante en un entorno digital para determinar si afectan al rendimiento académico y, más adelante, a través de ellas, predecir y/o asesorar en estrategias de mejora del aprendizaje cooperativo y del rendimiento. En modalidad de estudios a distancia la interacción en línea entre estudiante y profesor es de gran apoyo para el aprendizaje. 83 Algunas investigaciones que han realizado la predicción del rendimiento académico a través del “learning analytics” en entornos virtuales de aprendizaje, concluyen que se ha presentado una relación significativa entre las actividades realizadas en un entorno virtual y el rendimiento académico (Agudo y otros 2012; Yu & Jo, 2014). Covariables asociadas al docente: Años de experiencia y formación académica. Se supone que si un docente tiene experiencia dando clases de una asignatura, ha adquirido habilidades y destrezas que influirán favorablemente en el rendimiento del alumno. Si además su formación es continua amplía sus conocimientos, lo que debería reflejarse en la acción de un docente que aplica y enseña con estrategias que permiten al estudiante no solamente aprender sino también a obtener un mejor rendimiento académico. Sin embargo, algunos estudios muestran que estas variables provocan un efecto leve o a veces, ningún efecto sobre el rendimiento académico (Coleman, 1968; Penny & White, 1998) mientras que otros indican que el predictor “años de experiencia” presenta una relación positiva y directa con el rendimiento académico de los estudiantes (Biniaminov & Glasman, 1983). Covariables asociadas a una asignatura: Número de estudiantes matriculados. El tamaño del aula podría influir en el rendimiento académico, dado que la acción docente del profesor se verá afectada por la dispersión de su atención y la disminución de las estrategias docentes personalizadas. Algunos estudios indican que cuando el tamaño del aula es pequeño los estudiantes obtienen un mejor rendimiento (Turner y otros 1986; Molnar y otros 1999; Pong & Pallas, 2001) y otros, como el estudio realizado por Hoxby (2000) muestran la falta de evidencia de una correlación con el rendimiento académico. 84 Covariables asociadas a una escuela: Ratio alumno-profesor, permite conocer cuál es el número de alumnos dependientes de un profesor. Con respecto a la influencia que ejerce sobre el rendimiento académico, existen algunos estudios que concluyen que a medida que aumenta el número de estudiantes por profesor, el rendimiento disminuye Glass & Smith (1978), mientras que otros determinan que no existen efectos estadísticamente significativos (Roig, 1983). 4.2 Población objeto de estudio Se usan dos muestras para determinar el rendimiento académico desde un enfoque cualitativo y cuantitativo. La primera muestra sirve para hacer el análisis cuantitativo, comprende un ámbito individual, grupal y contextual. Los participantes que la conforman son:  23583 estudiantes matriculados en alguna asignatura troncal. Se excluyen de la muestra las asignaturas de carácter genérico, libre configuración, complementarias y formación básica, con la finalidad de mantener una mayor homogeneidad puesto que las materias troncales se caracterizan por proporcionar los contenidos específicos y propios de la carrera y además incluyen en el proceso de enseñanza aprendizaje el uso de aspectos tecnológicos que permitirán obtener las variables involucradas en el learning analytics.  468 aulas que engloban a 385 docentes (tiempo completo, invitados y administrativos-docentes) que imparten clases, aproximadamente, de 328 asignaturas de ámbito troncal. 91 El análisis cluster aplicado es de tipo no jerárquico, este tipo de métodos requieren que se defina previamente el número de grupos que se desea obtener y parten de un grupo de semillas aleatorias que en cada iteración son actualizados por el centroide del cluster. El método utilizado es el conocido como método de las k-medias, recomendado para muestras grandes y que se realiza siguiendo las siguientes etapas (Xu & Wunsch, 2009): 1. Partición en K grupos de forma aleatoria o en base a centroides preexistentes. 2. Cálculo de la matriz prototipo del clúster M = [ m1 , … , mK ] 3. Asignación de cada elemento al clúster más próximo. 4. Recálculo de la matriz del cluster en base a la nueva partición. 5. Se repite los pasos 2 y 3 hasta que el centroide del clúster no cambie En el caso del análisis discriminante, es utilizado en este apartado para describir la estructura obtenida previamente con el análisis cluster y por lo tanto verificar su nivel de precisión. La pertinencia del análisis discriminante como criterio para validar los resultados del análisis cluster es argumentada por Díaz de Rada (2002). El nivel de discriminación de las variables independientes implica una combinación lineal de estas a través de la siguiente función: 1 10 11 1 12 2 1 0 1 1 2 2 nn j j j j jn n Y A A X A X A X Y A A X A X A X           Donde cada Y equivale a la puntuación discriminante de la observación j ; y n X es la ponderación de la variable n-ésima. 92 El resultado del análisis discriminante, en cada caso es el nivel de precisión alcanzado, cuyos resultados se presentan en la Tabla 14. Tabla 14. Resultados del análisis discriminante Clasificaciones Nivel de precisión Clasificación en dos grupos 96.60% Clasificación en tres grupos 99.50% Clasificación en cuatro grupos 99.80% Clasificación en cinco grupos 99.30% Fuente: Elaboración propia Considerando que los niveles de las clasificaciones para tres, cuatro y cinco grupos son altas y cercanas entre sí, se opta por seleccionar la clasificación que prestaba mayor facilidad de interpretación (la que distribuye a los elementos en tres grupos). Con estos criterios, se selecciona la clasificación que divide a los estudiantes en tres grupos con una precisión del 99,5%, a los que se denomina participación alta, participación media y participación baja. Ilustración 5. Centroides de la variable de participación en actividades en línea Fuente: Elaboración propia 93 Los grupos obtenidos (participación alta, participación media, participación baja) presentan valores para los centros finales de los clúster con los que se pueden representar y analizar cada uno de ellos. Realizando el análisis de estos tres grupos se determina que:  Los estudiantes con una participación alta son aquellos que se consideran como activos en los chat, foros y sesiones de video-colaboración, este grupo representa el 16%.  Los estudiantes con una participación media, se caracterizan por tener una participación baja en chats y en sesiones de video-colaboración pero participan activamente en foros, este grupo representa el 28% del total de estudiantes.  Finalmente el último grupo denominado como los de participación baja, son estudiantes pasivos puesto que su participación en chats, foros y videocolaboración es sumamente leve, este es el grupo más grande de la muestra ya que representan el 56%. 4.4 Fuentes de datos Los datos utilizados en la estimación de los modelos se obtuvieron de las siguientes bases de datos y fuentes:  Para obtener algunas variables que implica el enfoque “learning analytics” se usó el informe proporcionado por el Entorno Virtual de Aprendizaje (Moodle).  Los datos que comprenden las características del estudiante se obtuvieron del sistema de información académica de la institución educativa (Syllabus Plus). 94  Las características de los docentes consideradas como relevantes en este estudio, se obtienen del expediente digital de Recursos Humanos y del sistema de evaluación integral de la institución.  Las variables correspondientes al nivel de asignatura, se obtuvieron de la planificación académica anual. Para el caso del modelo multinivel los datos se ordenaron jerárquicamente, de tal forma que las observaciones se agrupen correctamente en cada uno de los niveles de agregación. El tiempo que se tomó en cuenta para levantar los datos de las variables fue el periodo 2014. La muestra de estudio para la regresión logística bivariada comprende las carreras de 5 años, por lo tanto el periodo analizado estuvo en el rango abril 2009 - abril 2014. El software que se usó para las estimaciones multinivel fue Stata/SE 12.0 4 y para la regresión bivariada logística la herramienta RStudio de R Program con el paquete Zelig. 4.5 Técnicas multivariantes aplicadas Dados los objetivos específicos y las características de los datos se aplican los dos modelos multivariantes de los que hemos venido hablando. 4 Existen otros paquetes estadísticos que permiten ejecutar modelos multinivel: MLwiN, HLM, SPSS, R, SAS, S_Plus, Mplus LISREL, BMDP 5V, AML, EGRET, GENSTAT, GLLAMM, MIXREG, SYSTAT , ASREML, BAYESX, , LIMDEP, OSWALD y WinBUGS. 95 Ilustración 6. Técnicas multivariantes aplicadas para la predicción del rendimiento académico Fuente: Elaboración propia a) Modelo de regresión multinivel, los datos que se usan para medir el rendimiento académico presentan una estructura anidada o jerárquica de estudiante, aula y escuela. Como se muestra en la Ilustración 7 se trató de un modelo de tres niveles, además se ha tenido presente la premisa de Boado (2013) quien menciona que ignorar la jerarquía de los datos implica asumir graves riesgos teóricos y técnicos, ya que obviar el anidamiento de casos puede llevar a falacias interpretativas de diferente naturaleza. Se decidió aplicar está técnica para analizar correctamente el rendimiento académico desde diferentes niveles de agregación. La variable dependiente representada por la nota final se mide en el nivel más bajo y las variables explicativas en todos los niveles. Ilustración 7. Estructura jerárquica del modelo Fuente: Elaboración propia Predicción rendimiento académico Regresión multinivel Análisis cuantitativo Nota final Regresión bivariada logística Análisis cualitativo Calificación en escala Créditos acumulados 96 b) Modelo de regresión logístico bivariante, lo consideramos como el mejor modelo para medir el rendimiento académico a través de dos variables dependientes cualitativas, las variables de respuesta (Grados y créditos acumulados) que, al ser variables dicotómicas y al estar correlacionadas, no permiten aplicar el modelo de regresión clásico. Con la regresión logística bivariante se pretende relacionar las covariables con las variables de respuesta asociadas y, al mismo tiempo, la validez de las interacciones puede ser analizada en términos de logaritmos de Odds Ratio. La asociación se modela entre las dos variables de respuesta (Grado y Créditos) en relación a varias covariables (Edad, género, región y nivel de participación en actividades en línea). La correlación para la dinámica del rendimiento académico se puede identificar en términos de la relación de las variables de resultado Grado (Y 1) y de los Créditos (Y 2). Se realizan dos tipos de asociaciones desde el enfoque del rendimiento académico con una respuesta individual con cuatro probabilidades posibles: 1) Asociación conjunta de probabilidades entre la variable Grado y Créditos que se analizan desde dos grupos, los estudiantes que tienen un Grado y créditos sobre la media y los que están debajo de ella. Créditos (Y 2) Bajo la media (0) Sobre la media (1) Grado (Y 1) Bajo la media (0)  00  01 Sobre la media (1)  10  11 97  00: Probabilidad de un estudiante con una calificación y un número de créditos acumulados bajo la media.  01: Probabilidad de un estudiante con una calificación bajo la media que tiene un número de créditos acumulados igual o sobre la media.  10: Probabilidad de un estudiante con una calificación igual o sobre la media que tiene un número de créditos acumulados bajo la media.  11: Probabilidad de un estudiante con una calificación y un número de créditos acumulados igual o sobre la media. 2) Asociación conjunta de probabilidades entre la variable Grado y Créditos que representa una asociación entre los mejores estudiantes y los que no han tenido éxito.  00: Probabilidad de un estudiante que no ha tenido éxito en sus calificaciones (C -E) y en el número de créditos acumulados (< 220 créditos).  01: Probabilidad de un estudiante que no ha tenido éxito en la calificación (C-E) pero que si ha tenido éxito en cuanto a los créditos acumulados (>220 créditos).  10: Probabilidad de un estudiante que ha tenido éxito en la calificación (A o B) pero que no ha tenido éxito en la acumulación de créditos (< 220 créditos). Créditos (Y 2) No Éxito (0) Éxito (1) Grado (Y 1) No Éxito (0)  00  01 Éxito (1)  10  11 98  11: Probabilidad de un estudiante que ha tenido éxito en la calificación (A o B) y ha superado el número de créditos que lo ubican como estudiante de último año ( 220 créditos). Con la regresión logística bivariante se proporciona la estimación simultánea de la probabilidad marginal del Grado, la probabilidad marginal de los Créditos y el log-odds ratio que describe la asociación conjunta de las probabilidades en la dinámica del rendimiento académico a nivel de respuesta individual. 99 CAPÍTULO 5 ANÁLISIS DE RESULTADOS DEL MODELO MULTINIVEL El objetivo de este capítulo es explicar a través de una regresión multinivel la influencia de variables sociodemográficas, antecedentes académicos, enfoque learning analytics, a “nivel individual”, y las características de la asignatura y del docente, a “nivel contextual”, en el rendimiento académico. Para lograr este objetivo se realiza un procedimiento “stepwise” hacia adelante, es decir incrementando el número de variables explicativas del nivel 1 y del nivel 2 para ir ampliando la capacidad de explicación y ajuste del modelo, aunque para ello esta secuencia metodológica aumente simultáneamente la complejidad del mismo. Las estimaciones “stepwise” se desarrollan bajo una especificación lineal debido a las características de los datos y con el apoyo del software Stata/SE 12.0 a través de la funcionalidad Statistic – Multinivel mixed-effects models. El análisis se inicia con el paso 0 en el cual no se incluyen variables explicativas, es decir, se estima un modelo nulo para comprobar la significatividad y luego explicar la varianza, expandiendo el modelo a través de la incorporación de predictores de los dos niveles en la parte fija y aleatoria. En el paso 1 se consideran únicamente predictores del nivel 2, con la finalidad de explicar la variabilidad a través de variables del nivel 2. 100 Para el paso 2 se ingresan predictores del nivel 1 y estos son los que explican la varianza del rendimiento académico dentro de los grupos. Luego ya en el paso 3 se consideran los resultados anteriores para generar una estimación basada en las variables explicativas de los estudiantes y de las aulas que son estadísticamente significativas y se realizan las interacciones multinivel a nivel del alumno con variables explicativas de las aulas. Finalmente en el paso 4, a diferencia del paso 3, se incluye en la parte de efectos aleatorios las pendientes significativas del nivel 1. 5.1 Ajuste del modelo multinivel con 2 niveles En este apartado los resultados que se presentan incluyen las estimaciones basadas en dos niveles de análisis, el estudiante (nivel 1) que pertenece a un aula (nivel 2). En el nivel 1 se encuentran 23583 unidades de análisis (número de observacionesestudiantes) y 468 unidades en el nivel 2 (número de grupos-aulas). En el nivel 1 se consideran tres variables sociodemográficas, tres variables sobre los antecedentes académicos y ocho variables del enfoque learning analytics. Para el nivel 2 se incluyen nueve variables, de las cuales, cinco son características de las asignaturas y cuatro de los docentes. Conforme se han ido realizando las regresiones, algunas variables se han suprimido por no ser estadísticamente significativas. Paso 0: Modelo nulo (ANOVA con efectos aleatorios) Objetivo : Determinar la variabilidad explicada en cada uno de los dos niveles. 107 En este caso las ecuaciones independientes para cada nivel considerando los diez predictores del nivel 1 son Nivel 1 0 1 2 3 57 46 89 _ sup Re j ij ij ij ij j j j ij ij ij ij jj jj ij jj R A Edad Rinde letorio pite materia Beca Participa chat Participa foro Participa video N comentarios N accesos L                      10 ij ij ij j MS N mensajes e     Nivel 2 j 0 00 0j kj k0 1, ,10 β γ + u β γ k   Es decir, se considera un modelo de regresión sobre las variables del nivel 1 (estudiantes) con interceptos aleatorios provocados por el efecto aula. Con ello se pretende seleccionar las variables del nivel 1 significativas, es decir, con capacidad de explicación de la variable objetivo. Para convertir las dos ecuaciones en una sola se sustituye la segunda ecuación en la primera y se reordena los términos, quedando como sigue 00 10 20 30 40 50 60 70 80 90 100 _ sup Re ij ij ij ij ij ij ij ij ij ij ij R A Edad Rinde letorio pite materia Beca Participa chat Participa foro Participa video N comentarios N accesos LMS N mensajes                          0 ij jeu donde 1, ,10k , k0 γ representa los coeficientes de los predictores del nivel 1. 108 00 γ es el coeficiente intercepto fijo o efecto medio global Se mantiene la misma estructura de covarianza como en la referencia (A). Previamente a analizar el modelo compuesto por todas las variables consideradas para el nivel 1, se realizan cuatro modelos que contemplan las dimensiones de las variables de los estudiantes por separado; el modelo 1 (variables sociodemográficas), el modelo 2 (antecedentes académicos) el modelo 3 (variables learning analytics) y en el modelo 4 (estimación grupal). Los resultados y el análisis se encuentran en el Anexo 2. La estimación secuencial de estos modelos permite determinar las variables del nivel 1 que son significativas. Tras este procedimiento de selección, el modelo final ajustado se recoge en la Tabla 17. El “Random intercept model” final no incluye en su estimación las variables sociodemográficas (género y región) y las variables del enfoque learning analytics (N° accesos_curso y tiempo LMS) por no ser estadísticamente significativas. Los resultados muestran que la edad tiene una relación positiva con el rendimiento académico, aunque muy leve dado que el modelo estima que el aumento de 1 año de edad conduce a un aumento medio de 0.08 décimas en la variable objetivo. La estimación del coeficiente de la rendición de supletorio indica que los estudiantes que se quedan suspensos, en promedio, provocan una disminución de 1.46 puntos en el rendimiento académico. En cambio pasa lo contrario con los estudiantes que están repitiendo la materia, ya que el hecho de que tengan un antecedente de conocerla ocasiona un impacto positivo, es decir, que en promedio el rendimiento académico entre aulas sube en 2.04 puntos. 109 Tabla 17. Estimación multinivel con variables del nivel 1 Mixed-effects ML regression Number of obs = 23583 Group variable: AULA Number of groups = 468 Obs per group: min = 1 Avg = 50.4 Max = 470 Deviance = 162375.52 Wald chi2(10) = 6104.61 Log likelihood = -81187.759 Prob > chi2 = 0.0000 REND_ACADEMICO Coef. Std. Err. Z P>z [95% Conf. Interval] Edad .0866052 .0063238 13.70 0.000 .0742108 .0989996 Rinde_supletorio No 0 (base) Si -1.457412 .1009453 -14.44 0.000 -1.655261 -1.259563 Repite_materia No 0 (base) Si 2.037929 .1263166 16.13 0.000 1.790353 2.285505 Beca No 0 (base) Si 3.492708 1.495816 2.33 0.020 .5609622 6.424455 N_comentarios .0826495 .0225055 3.67 0.000 .0385395 .1267596 N_mensajes .3068819 .151725 2.02 0.043 .0095064 .6042574 N_accesos_LMS .043388 .0008472 51.21 0.000 .0417276 .0450484 Participa_chat 1.360599 .1623234 8.38 0.000 1.042451 1.678747 Participa_foro No 0 (base) Si 2.111647 .1209971 17.45 0.000 1.874497 2.348797 Participa_video No 0 (base) Si 1.370657 .1857309 7.38 0.000 1.006631 1.734683 _cons 19.40119 .274735 70.62 0.000 18.86272 19.93966 LR test vs. linear regression: chibar2(01) = 3544.17 Prob >= chibar2 = 0.0000 Fuente: Elaboración propia con apoyo de Stata/SE 12.0 Random-effects Parameters Estimate Std. Err. [95% Conf. Interval] AULA: Identity var(_cons) 13.09532 1.03324 11.21902 15.28541 var(Residual) 54.87425 .5103762 53.883 55.88374 110 La estimación de los coeficientes asociados a las variables de la dimensión learning analytics son positivos y significativos, es decir que aquellos estudiantes que han participado en los foros, chat y video colaboración, en promedio, incrementan entre 1 y 2 puntos el rendimiento académico. Respecto a la significación de la variabilidad provocada entre las aulas, es decir, por las unidades del nivel 2 ( 02 H : τ0 ), el test LR alcanza un valor de 3544.17 con un p-value menor que 0.001, por lo que se puede afirmar la significancia de dicha variabilidad, esto significa, que hay valores distintos del intercepto dependiendo de las unidades del Nivel 2. En cuanto a la varianza explicada 7 por los predictores del nivel 1, se compara la varianza de esta estimación con la del modelo nulo, de modo que, la varianza explicada por los diez predictores del nivel 1 representa el 21% de la variación en el rendimiento académico. Paso 3: Regresión con interacciones y variables de los niveles 1 y 2 Objetivo: Estimar las relaciones a nivel del alumno con variables explicativas del nivel 2 Una vez detectada la significación de las variables del nivel 1, es decir, la capacidad de explicación del rendimiento académico, y la significación de la variabilidad de las unidades del Nivel 2 en el comportamiento medio (Intercepto) de la variable objetivo, se plantea ahora el estudio de la relación entre las variables del nivel 1 y la variable objetivo, dependiendo de variables del Nivel 2. Se incluyen posibles interacciones de variables del Nivel 1 con variables del Nivel 2, pero solo se consideran en este caso como efectos fijos. 7 es la proporción de la varianza que en el modelo Random intercept model explica a través de las variables del nivel 1. 111 En el paso siguiente se ampliará el modelo con pendientes aleatorias. Así el modelo en este paso es: Nivel 1 0 1 2 3 4 5 6 78 _ sup Re j ij j ij j ij j ij j ij j ij j ij j ij j ij R A Edad Rinde letorio pite materia Participa chat Participa foro Participa video N comentarios N accesos LMS                     ij e Nivel 2 0 00 01 02 03 0 1 10 11 12 13 2 20 21 22 23 33 jj j j j j j j j j j j j j Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente Tasa repetidores Ciclo Tipo docente                              0 31 32 33 4 40 41 42 43 5 50 51 52 53 6 60 61 j j j j j j j j j j j j Tasa repetidores Ciclo Tipo docente Tasa repetidores Ciclo Tipo docente Tasa repetidores Ciclo Tipo docente Tasa rep                             62 63 7 70 71 72 73 8 80 81 82 83 j j j j j j j j j j j etidores Ciclo Tipo docente Tasa repetidores Ciclo Tipo docente Tasa repetidores Ciclo Tipo docente                     112 Al sustituir las 9 últimas ecuaciones en la primera, se obtiene la ecuación final reducida 00 01 02 03 10 11 12 13 20 21 _ * * * sup ij j j j ij j ij j ij j ij ij R A Tasa repetidores Ciclo Tipo docente Edad Tasa repetidores Edad Ciclo Edad Tipo docente Edad Rinde letorio Tasa repe 22 23 30 31 32 33 * sup * sup * sup Re *Re * Re j ij j ij j ij ij j ij j ij j tidores Rinde letorio Ciclo Rinde letorio Tipo docente Rinde letorio pite materia Tasa repetidores pite materia Ciclo pite materia Tipo docente 40 41 42 43 50 51 * Re * * * * ij ij j ij j ij j ij ij j pite materia Participa chat Tasa repetidores Participa chat Ciclo Participa chat Tipo docente Participa chat Participa foro Tasa repetidores Participa 52 53 60 61 62 63 * * * * * ij j ij j ij ij j ij j ij j foro Ciclo Participa foro Tipo docente Participa foro Participa video Tasa repetidores Participa video Ciclo Participa video Tipo docente Parti 70 71 72 73 80 81 * * * * ij ij j ij j ij j ij ij j ij cipa video N comentarios Tasa repetidores N comentarios Ciclo N comentarios Tipo docente N comentarios N accesos LMS Tasa repetidores N accesos LMS 82 83 0 * * j ij j ij ij j Ciclo N accesos LMS Tipo docente N accesos LMS u e La estructura de la covarianza en este paso coincide con la referencia (A). Al ajustar el modelo, los resultados que se obtienen se presentan en la Tabla 18, en las que se han eliminado todas aquellas interacciones no significativas. La adición de las covariables de ambos niveles ha reducido el tamaño de la componente de la varianza del nivel 2, que ahora es 6.69 en comparación al modelo del paso 2 que fue de 13.10. No obstante, la componente sigue siendo estadísticamente significativa. 113 Tabla 18. Estimación de la regresión con interacciones y variables de los niveles 1 y 2 Mixed-effects ML regression Number of obs = 23583 Deviance = 161791.11 Wald chi2(16) = 6952.46 Log likelihood = -80895.555 Prob > chi2 = 0.0000 REND_ACADEMICO Coef. Std. Err. Z P>z [95% Conf. Interval] Tasa_Repetidores -20.88847 1.505409 -13.88 0.000 -23.83902 -17.93792 Ciclo .7806166 .0666854 11.71 0.000 .6499157 .9113176 Tipo_docente Tiempo completo 0 (base) Administrativo 1.357542 .534204 2.54 0.011 .3105209 2.404562 Invitado .8822802 .2893487 3.05 0.002 .3151672 1.449393 Edad .0839426 .0062739 13.38 0.000 .0716461 .0962391 Rinde_supletorio -.4802798 .1629353 -2.95 0.003 -.7996271 -.1609325 Rinde_supletorio*Ciclo -.3591831 .0432867 -8.30 0.000 -.4440235 -.2743426 Repite_materia 2.968676 .2122925 13.98 0.000 2.55259 3.384761 Repite_materia*Ciclo -.2754914 .0579427 -4.75 0.000 -.389057 -.1619258 Participa_chat 1.289819 .1599049 8.07 0.000 .976411 1.603227 Participa_foro 2.089442 .1195308 17.48 0.000 1.855166 2.323718 Participa_video 1.274524 .1819438 7.01 0.000 .9179206 1.631127 N_comentarios .0864688 .0222376 3.89 0.000 .0428839 .1300538 N_accesos_LMS .044745 .0024998 17.90 0.000 .0398455 .0496444 N_accesos_LMS*Tasa_Repetidores .0685623 .0085887 7.98 0.000 .0517288 .0853957 N_accesos_LMS*Ciclo -.0043281 .0003332 -12.99 0.000 -.0049811 -.0036751 _cons 20.17987 .5269296 38.30 0.000 19.1471 21.21263 Random-effects Parameters Estimate Std. Err. [95% Conf. Interval] AULA: Identity var(_cons) 6.692232 .5897355 5.630683 7.953914 var(Residual) 54.07873 .5029103 53.10197 55.07345 LR test vs. linear regression: chibar2(01) = 1824.48 Prob >= chibar2 = 0.0000 Fuente: Elaboración propia con apoyo de Stata/SE 12.0 114 Las interacciones multinivel entre las variables del aula y del estudiante que resultan significativas, ejercen una influencia leve, dado el valor de las estimaciones de los parámetros correspondientes. En relación a las variables del Nivel 2, se puede señalar que la variable tasa de repetidores resulta negativa para el rendimiento académico, ligeramente matizada por su interacción con el N° de accesos al LMS. La variable ciclo ejerce un efecto positivo, aunque algo matizado por su interacción con la variables rinde supletorio, repite materia y número de accesos al LMS. Finalmente la variable tipo de docente resulta también significativa dado que existe una influencia positiva de los docentes que no tienen dedicación a tiempo completo respecto de estos. En relación a las variables del Nivel 1 cabe indicar que la edad, repetir materia y rendir supletorio tienen un efecto ligeramente positivo y ligeramente matizado por algunas interacciones con variables del Nivel 2, así como todas las variables incluidas en la dimensión de learning analytics. La varianza explicada 8 es del 60% si se compara con las varianzas de las estimaciones anteriores esta es sumamente alta, valor justificado por la inclusión de predictores de los 2 niveles. Paso 4: Variabilidad en los coeficientes de los predictores del nivel 1 Objetivo: Determinar si las pendientes de las variables explicativas del nivel 1 muestran componentes de variación significativos entre aulas. 8 22 2 τ ( 0) τ ( 3) p= τ ( 0) Paso Paso Paso  es la proporción de la varianza explicada por la estimación de la regresión con interacciones y variables de los Niveles 1 y 2. 115 Adicional a lo que se realizó en el paso anterior, se incluyen en el modelo las pendientes del nivel 1 en la parte de efectos aleatorios. Se realiza una estimación secuencial y a través del AIC 9 (Akaike information criterion) y la razón de verosimilitudes se determina cuales son estadísticamente significativas (Ver resultados en Anexo 3). La diferencia con las ecuaciones del paso 4 es que ahora se integran las pendientes en los efectos aleatorios, por lo que las ecuaciones independientes quedan como sigue Nivel 1 0 1 2 3 4 5 6 78 _ sup Re j ij j ij j ij j ij j ij j ij j ij j ij j ij i R A Edad Rinde letorio pite materia Participa chat Participa foro Participa video N comentarios N accesos LMS e                     j Nivel 2 0 00 01 02 03 0 1 10 11 12 13 1 2 20 21 22 23 2 jj j j j j j j j j j j j j j Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente u                               3 30 31 32 33 3 4 40 41 42 43 4 5 50 51 52 53 j j j j j j j j j j j j j j Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente u                               5 6 60 61 62 63 6 7 70 71 72 73 7 8 80 81 82 83 j j j j j j j j j j j j j j j Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente u Tasa repetidores Ciclo Tipo docente                               8j u 9 AIC = 2k-2ln(L) estima la calidad de cada modelo, en relación con cada uno de los otros modelos. Por lo tanto, AIC proporciona un medio para la selección del modelo. 116 En este modelo las estructura de varianzas y covarianzas es:       2 2 0, ( , ) 0,1,2, ,8: 0, , 0 ( , ) , 0,1,2, ,8: ij kj k kj ij e N i j incorreladas entre sí Para k u N j incorreladas entre sí Cov u e i j Para k h Cov          , kj hj kj u u j   Integrando las ecuaciones de los niveles 1 y 2 y realizando la regresión, los resultados que se obtienen se exponen en la Tabla 19. Los resultados muestran que después de incluir las interacciones, el componente de la varianza de las pendientes de las variables explicativas del nivel 1 muestra una variación leve pero significativa entre aulas. La varianza explicada 10 incluyendo las pendientes del nivel 1 en los efectos aleatorios es del 55%. 10 22 2 τ ( 0) τ ( 4) p= τ ( 0) Paso Paso Paso  es la proporción de la varianza explicada por la estimación de la regresión con interacciones, variables de los Niveles 1 y 2 y las pendientes del nivel 1 en los efectos aleatorios. 123 CAPÍTULO 6 ANÁLISIS DE RESULTADOS DEL MODELO LOGÍSTICO BIVARIANTE El objetivo general de este capítulo es analizar el rendimiento académico universitario a través de dos indicadores, el grado o calificación académica y los créditos universitarios acumulados. El análisis se desarrolla usando una muestra de 410 estudiantes matriculados en una carrera de 5 años equivalente a 282 créditos, cuyo tiempo de estudio comprende el periodo abril 2009- abril 2014. Se asume que al finalizar este periodo debieron terminar su fase de estudio. Las variables o indicadores de rendimiento académico universitario son:  Grado o calificación académica, que corresponde a la calificación media obtenida en las asignaturas superadas, clasificadas según la escala establecida por el Sistema Europeo de Transferencia de Créditos (ECTS, en sus siglas en inglés): A: Sobresaliente B: Muy buena C: Buena D: Satisfactorio E: Suficiente 124  Créditos acumulados que corresponden a la suma de créditos de las asignaturas superadas por el estudiante en el periodo de tiempo de duración de una carrera, clasificados según la escala establecida por la universidad: 1: menos de 50 créditos 2: de 50 a 109 créditos 3: de 110 a 159 créditos 4: de 160 a 219 créditos 5: de 220 a 282 créditos Las variables explicativas que se consideran relevantes en estudiantes cuya modalidad de estudios es a distancia son: edad de ingreso 12 (expresada de acuerdo al grupo de edad como jóvenes y adultos), género (mujer – hombre), tamaño de la región de procedencia (grande – pequeña) y nivel de participación en actividades en línea 13 (alta, media o baja). Considerando las dos variables de respuesta como estadísticamente asociadas, el modelo más adecuado para el análisis de los datos es la regresión logística bivariante, por lo que este estudio se desarrolla bajo dos enfoques. Ilustración 9. Enfoques de la regresión bivariante Fuente: Elaboración propia 12 La edad se segmentó en dos grupos en base a la clasificación realizada por Martín (2005). 13 La variable participación en actividades en línea se incluye en la regresión como representante del enfoque “learning analytics”. Esta variable es el resultado de realizar un análisis clúster entre las variables número de chats, número de foros y número de video-colaboraciones en las que ha participado el estudiante, en promedio, durante su periodo de estudio. Regresión logística bivariante Dos variables de respuesta Binarias Ordinales 125 Para realizar la estimación logística bivariante con dos variables de respuesta dicótomas se utiliza la herramienta Rstudio de R Program 14 con el paquete Zelig 15 (Ver Anexo 4). La regresión logística bivariante ordinal es estimada con la versión beta del pblm package: semiparametric regression for bivariate categorical responses in R (Enea y otros 2014). 6.1 Objetivos de la regresión logística bivariante Inicialmente se busca determinar cuál es la influencia de las variables explicativas sobre un rendimiento académico óptimo y sobre un rendimiento académico positivo. Para lograr este objetivo se debe estimar una regresión logística bivariante con dos variables de respuesta binarias, siendo necesario convertir las variables de respuesta en dicótomas. Asociación Créditos y Grados – Rendimiento académico óptimo 14 R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL: http://www.R-project.org/. 15 Zelig: Everyone's Statistical Software. M. Owen, K. Imai, G. King, O. Lauhttps://cran.rproject.org/web/packages/Zelig/index.html Grado Y1 Créditos Y2 0 → Con probabilidad de no éxito 1 → Con probabilidad de éxito 0 → Con probabilidad de no éxito 1 → Con probabilidad de éxito 126 Como rendimiento académico óptimo se consideran los casos en los que los estudiantes han tenido éxito, es decir, aquellos estudiantes que han alcanzado una acumulación de 220 a 282 créditos que los ubica en el último año de la carrera y además obtienen un grado entre A (Sobresaliente) y B (Muy buena), por lo tanto, aquellos estudiantes que no han tenido éxito son aquellos que obtienen un grado entre C y E y que se quedan mucho más tiempo que la duración legal de la carrera. Asociación Créditos y Grados – Rendimiento académico positivo 220-282 160-219 110 - 159 50 - 109 <50 Éxito 5 4 3 2 1 40-39 A No éxito 38-36 B 35-33 C Éxito parcial (Grados) 32-30 D 29-28 E Éxito parcial (Créditos) CRÉDITOS GRADOS 220-282 182-219 110 - 181 50 - 109 <50 Sobre la media 5 4 3 2 1 40-39 A Bajo la media 38-36 B 35-33 C Sobre la media parcial (Grados) 32-30 D 29-28 E Sobre la media parcial (Créditos) GRADOS CRÉDITOS Grado Y1 Créditos Y2 0 → Bajo la media 1 → Sobre la media 0 → Bajo la media 1 → Sobre la media 127 Como rendimiento académico positivo se consideran aquellos casos en que los estudiantes obtienen un grado y una acumulación de créditos superior a la media del grupo estudiado, por lo que, el grupo que se ubica sobre la media tiene un grado entre A y D y una acumulación de créditos 182. Finalmente se realiza un análisis logístico con las dos variables de respuesta ordinal, cuyo objetivo específico es determinar cuál es la probabilidad de ocurrencia más alta (Créditos y grados bajos, créditos bajos y grados altos, créditos altos y grados bajos, créditos y grados altos). 6.2 Estudio de la relación entre las variables de respuesta En las Tablas de asociación 22, 23 y 24 no se consideran covariables, se realiza una clasificación cruzada que muestra las respuestas de distribución conjunta entre Grados y Créditos y a través del test de chi2 se comprueba la existencia de asociación entre estas dos variables de respuesta. Se considera la siguiente notación para las probabilidades conjuntas de las variables dependientes binarias: Pr (Grados = 0, Créditos =0) 00   Pr (Grados = 0, Créditos =1) 01   Pr (Grados = 1, Créditos =0) 10   Pr (Grados = 1, Créditos =1) 11   128 Tabla 22. Asociación entre Grados y Créditos, rendimiento académico óptimo Pearson chi2 (1) = 21.1305 Pr = 0.000. Nota: entre paréntesis las proporciones Fuente: Elaboración propia Desde el enfoque de si un estudiante tiene éxito académico, los datos nos muestran un dato alarmante que debe ser analizado por la institución educativa, dado que, más de la mitad de los estudiantes (71%) no han tenido éxito puesto que no han alcanzado el número de créditos y el grado considerados como el mejor, lo cual se podría considerar como un rendimiento académico bajo. Las proporciones que indican los casos de éxito muestran que es mayor en cuanto a la acumulación de créditos (3%) pero igual en ambos casos sigue siendo bajo. Además, resulta significativa la asociación entre ambas variables, como lo indica el test chi-cuadrado (p value<0.0001). Tabla 23. Asociación entre Grados y Créditos, rendimiento académico positivo CRÉDITOS < 182 182 TOTAL Bajo la media (0) Sobre la media (1) GRADOS < 31 Bajo la media (0) 144 (0.35) 44 (0.11) 188 (0.46) 31 Sobre la media (1) 61 (0.15) 161 (0.39) 222 (0.54) TOTAL 205 (0.50) 205 (0.50) 410 (1.00) Pearson chi2(1) = 98.2365 Pr = 0.000. Nota: entre paréntesis las proporciones Fuente: Elaboración propia CRÉDITOS 1 a 4 5 TOTAL No éxito (0) Éxito (1) GRADOS C-E No éxito (0) 293 (0.71) 102 (0.25) 395 (0.96) B-A Éxito (1) 3 (0.01) 12 (0.03) 15 ( 0.04) TOTAL 296 (0.72) 114 (0.28) 410 (1.00) 129 La Tabla 23 indica que la mitad de la muestra tiene el número de créditos acumulados sobre la media ( ), mientras que la distancia entre el grupo que tiene el Grado y los Créditos bajo la media es de apenas 4% con respecto al grupo que tiene los Grados y Créditos sobre la media. Además, como cabía esperar, la asociación entre ambas variables es significativa según lo indicado por el test chi-cuadrado (p value<0.0001). Considerando las variables de respuesta como ordinales, se presenta una tabla 21 AA  de doble entrada, cruzada con la clasificación de dos variables de respuesta ordinales 1 A y 2 A , respectivamente con 1 D y 2 D categorías. Se definen las probabilidades marginales acumuladas (filas/columnas) como     1 2, Pr , Pr ri ir cj jc u A r u A c             Así, las probabilidades acumuladas del primer cuadrante superior izquierdo se obtienen a través de la expresión   12 Pr , rc ij i r j c u A r A c        130 Tabla 24. Asociación entre Grados y Créditos como variables de respuesta ordinales CRÉDITOS16 50 - 109 110 - 159 160-219 220 TOTAL 2 3 4 5 GRADOS 29-28 E 24 (0.06) 36 (0.09) 8 (0.02) 0 68 (0.17) 32-30 D 17 (0.04) 61 (0.15) 104 (0.25) 40 (0.10) 222 (0.54) 35-33 C 5 (0.01) 12 (0.03) 26 (0.06) 62 (0.15) 105 (0.26) 38-36 B 0 0 3 (0.01) 12 (0.03) 15 (0.03) TOTAL 46 (0.11) 109 (0.27) 141 (0.34) 114 (0.28) 410 (0.01) Pearson chi2(9) = 176.1037 Pr = 0.000. Nota: entre paréntesis las proporciones Fuente: Elaboración propia Dado que el valor del estadístico chi-cuadrado es significativo en las tres Tablas de asociación, se afirma que existe una relación entre las dos variables de respuesta y por lo tanto se procede a realizar el análisis logístico bivariante bajo los enfoques propuestos en la Ilustración 9. 6.3 Análisis logístico bivariante con dos variables de respuesta binarias El modelo logístico bivariante con dos variables binarias consiste en modelizar las probabilidades de ausencia/presencia (0-1) de ambas variables de respuesta a través de un conjunto de covariables. El modelo trata de explicar el comportamiento conjunto de las variables, es decir, sus probabilidades conjuntas   12 Pr , ( , 0,1) hk Y h Y k h k      a través de la colección de covariables. Dada la relación biunívoca entre los parámetros 16 No se incluye el Grado A (sobresaliente) y en Créditos la escala 1 por no existir en la población de estudio. 131   00 01 10 11 , , ,     y   12 ,,    donde Pr 1 1,2 jj Yj       y 11 00 10 01    , el modelo puede ser parametrizado según la terna   12 ,,    . Las covariables seleccionadas (edad, género, tamaño de región y participación en actividades en línea) se suponen relacionadas con las dos variables binarias de respuesta Grados y Créditos (en el Anexo 5 se representa gráficamente la relación entre covariables y variables de respuesta), por lo que, realizando la modelización conjunta las probabilidades marginales vienen dadas por el siguiente modelo de regresión: () log 1 ( ) jT j j xX x         3 log TX   En el caso que nos ocupa 1 2 3 4 () log Re 1 ( ) jj j j j j j xEdad Género gión Participación x                 3 31 32 33 34 log ReEdad Género gión Participación            donde j = 1, 2 es decir representa las probabilidades marginales de Grados y Créditos  es la Odds Ratio entre 12 ,YY j  son los coeficientes de las covariables     1,2 jj Y X x Be x j   132 Al realizar las estimaciones simultáneas, los resultados que se obtienen tanto para los casos de rendimiento académico óptimo como para los casos de rendimiento académico positivo son los que se recogen a continuación. a) Análisis de casos de rendimiento académico óptimo Se excluyen las variables género y tamaño de región por no resultar estadísticamente significativas (en el Anexo 6 se presenta la estimación incluyendo éstas covariables). En la Tabla 25 se observa que la variable edad de ingreso es significativa para ambas variables de respuesta y las Odds Ratio de ambos coeficientes (0.22 y 0.38 respectivamente) son menores a la unidad, las “Odds Ratios” entre j Y , Edad   1k y Participación   2k indican que los estudiantes jóvenes tienen menos ventaja (entendiendo “ventaja” como la razón entre las probabilidades de éxito y fracaso) de conseguir un rendimiento académico óptimo con respecto a los estudiantes en edad adulta, es decir, existe menos probabilidad de que obtengan un Grado entre A o B y una acumulación de créditos mayor a 220. La variable participación en actividades en línea se presenta significativa solo para el caso de la acumulación de créditos, la Odss Ratio resultante es 0.465, la cual es menor que la unidad, lo que significa que los estudiantes que participan poco en las actividades en línea (chat, foro y video-colaboración) tienen menos ventaja de conseguir un Grado entre A o B y una acumulación de créditos mayor a 220, en comparación con los estudiantes que participan medianamente o de forma activa, quienes se asume tienen más ventaja de obtener un rendimiento académico óptimo. 139 Tabla 29. Probabilidades conjuntas -rendimiento académico positivo Probabilities mean sd 50% 2.5% 97.5% Pr(Y1=0, Y2=0) 0.351 0.023 0.351 0.305 0.397 Pr(Y1=0, Y2=1) 0.108 0.016 0.107 0.079 0.141 Pr(Y1=1, Y2=0) 0.147 0.018 0.147 0.113 0.182 Pr(Y1=1, Y2=1) 0.395 0.024 0.394 0.351 0.443 Fuente: Elaboración propia con apoyo de Rstudio y el paquete Zelig En la Tabla 29 se observa que al incluir las variables “edad de ingreso y tamaño de la región” asociadas con las dos variables de respuesta, las estimaciones de las probabilidades conjuntas que se obtienen indican lo siguiente: 00  : La probabilidad de que un estudiante obtenga un grado y una acumulación de créditos bajo la media grupal, es del 35%. 01  : La probabilidad de que un estudiante obtenga un grado bajo la media grupal y una acumulación de créditos sobre las media, es del 11%. 10  : La probababilidad de que un estudiante obtenga un grado sobre la media grupal y una acumulación de créditos bajo la media, es del 15%. 11  : La probabilidad de que un estudiante obtenga un grado y una acumulación de créditos sobre la media grupal, es del 40%. En la ilustración 11 se presenta los valores ajustados de la Tabla 30, la cual muestra que no existe mucha diferencia porcentual entre el valor sobre y bajo la media, siendo la primera probabilidad la más alta (Y1=0, Y2=0). 140 Tabla 30. Valores ajustados -rendimiento Probabilities 0 1 (Y1=0, Y2=0) 0.783 0.217 (Y1=0, Y2=1) 0.774 0.226 (Y1=1, Y2=0) 0.711 0.289 (Y1=1, Y2=1) 0.732 0.268 Ilustración 11. Valores ajustados –Casos sobre la media Fuente: Elaboración propia con apoyo de Rstudiopaquete Zelig 6.4 Análisis logístico bivariante con dos variables de respuesta ordinales Se estima la asociación entre las dos variables de respuesta y las covariables edad e interacción por ser significativas y las que mejor ajustan el modelo. El modelo logístico bivariante que se estima en la Tabla 31 se basa en el modelo propuesto por Dale (1986):   log T ia ja ij          x 141 ;1,...,1;1,...,1 cjri a = asociación; con restricciones simples, tales como .1,...,1,0;1,...,1,0;0 ,11,,1,   cjri jrciacari  Entonces  =0 indica que la asociación no depende de las categorías de la variable Y o X. Relacionando la covariable edad con la variable dependiente grados, se observa que los estudiantes jóvenes tienen una probabilidad de obtener un mejor grado 1.8 veces más que los estudiantes en edad adulta. En lo que respecta a los créditos el comportamiento es similar, esto significa que los estudiantes jóvenes tienen la probabilidad de acumular créditos 2.4 veces más que los estudiantes de edad adulta. La participación baja en actividades en línea presenta una asociación significativa solo con la variable de respuesta Créditos, al observar la Odds Ratio menor a la unidad, se puede decir que, aquellos estudiantes que tienen una participación baja, tienen una ventaja menor, es decir 1.6 veces menos (1/0.636) de acumular créditos en comparación a los que si participan activamente. Al final de la Tabla 31 se observa el log-global odds ratios (Log-GORs) entre Grados y créditos, dada las covariables edad y participación, cuyo valor es mayor a la unidad, lo cual indica que dada las covariables significativas las variables de respuesta Grados y Créditos tienen la probabilidad de ser 2.23 veces mejores que aquellos estudiantes de edad adulta o estudiantes que hayan tenido una participación media o alta, este último resultado inesperado se puede justificar porque tal vez los estudiantes que participan en actividades en línea de forma pasiva están usando otras estrategias de estudio, como las tutorías telefónicas o desarrollo de autoevaluaciones. 142 Tabla 31. Estimación de la regresión logística bivariante ordinal Log-likelihood : -896.338 Deviance : 1792.677 AIC : 1818.677 Coefficients beta se z p.value Odds Ratio GRADOS Intercept [1] -2.31599 0.3475 -6.6655 0.00000 *** Intercept [2] 0.22399 0.3249 0.6894 0.49056 Intercept [3] 2.63155 0.3978 6.6155 0.00000 *** Edad Adultos 0 base Jóvenes 0.60254 0.2722 2.2136 0.02685 * 1.826752 Participación Alta 0 base Media -0.11884 0.2919 -0.4071 0.68392 0.887949 Baja 0.37975 0.2657 1.4291 0.15299 1.461919 CRÉDITOS Intercept [1] -3.24217 0.3572 -9.0756 0.00000 *** Intercept [2] -1.61425 0.3276 -4.9275 0.00000 *** Intercept [3] -0.05829 0.3175 -0.1836 0.85431 Edad Adultos 0 base Joven 0.86136 0.2679 3.2149 0.00130 ** 2.366377 Participación Alta 0 base Media -0.29345 0.2803 -1.0470 0.29509 0,745687 Baja 0.63612 0.2531 2.5133 0.01196 * 0.636125 Log-GORs entre Grados y Créditos Intercept 2.23325 0.1847 12.0907 0.00000 *** 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' 1 Fuente: Elaboración propia con apoyo de Rstudio y el paquete Zelig Luego realizando una clasificación cruzada se puede obtener las Odds Ratios globales entre la asociación de las dos variables de respuesta. 143 Tabla 32. Log-Odss Ratios globales Coefficients beta se z p.value Intercept [1] [1] 1.9622 0.3199 6.134 0.00000 *** Intercept [2] [1] 2.5975 0.2684 9.676 0.00000 *** Intercept [3] [1] 3.2328 0.4460 7.249 0.00000 *** Intercept [1] [2] 1.4622 0.4214 3.470 0.00052 *** Intercept [2] [2] 1.9511 0.2589 7.536 0.00000 *** Intercept [3] [2] 2.4400 0.2358 10.350 0.00000 *** Intercept [1] [3] 0.9623 0.7855 1.225 0.22057 Intercept [2] [3] 1.3048 0.4973 2.624 0.00869 ** Intercept [3] [3] 1.6474 0.4722 3.488 0.00049 *** 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Fuente: Elaboración propia con apoyo de Rstudio y el paquete Zelig Se observa que la asociación entre las dos variables de respuesta es positiva, es decir todos las Odds Ratios son mayores que la unidad, a excepción de la interacción [1] [3], pero esta no es significativa. Tabla 33. Asociación Grados y Créditos con log-GORs En la Tabla 33 se muestra que la clasificación cruzada del los estudiantes con las dos variables de respuesta y su correspondientes Odds Ratio globales dan valores positivos, indicando la existencia de una relación directa. Los valores más altos indican que, la CRÉDITOS 50 – 109 110 - 159 160-219 220 1 2 3 4 GRADOS 29-28 E 1.96 1.46 0.96 32-30 D 2.59 1.95 1.30 base 35-33 C 3.23 2.44 1.65 38-36 B base 144 probabilidad de que un estudiante obtenga un grado C y que acumule créditos entre 50 y 109 es 3.23 veces más posible que obtener un grado y acumulación de créditos considerados como los óptimos, algo similar sucede con las demás interacciones. 145 CAPÍTULO 7 DISCUSIÓN Y FUTURAS INVESTIGACIONES El objetivo central de esta tesis, recogido en el preámbulo de la misma, es construir un modelo para determinar el rendimiento académico de los estudiantes basado en learning analytics, mediante el uso de técnicas estadísticas multivariantes. Ello conlleva la adaptación de dichas técnicas al contexto de la investigación así como la estructuración de las mismas recogiendo sus últimos desarrollos teóricos y la descripción del software estadístico adecuado para su aplicación. Dicho objetivo central quedaba configurado a través de diversos objetivos específicos referidos a la modelización del rendimiento académico universitario (medido a través de diversos indicadores) respecto a un conjunto de variables predictoras o explicativas medidas en distintos niveles (individuales, grupales o contextuales), tratando de determinar el aporte de dichas variables sobre la conducta de los indicadores del rendimiento, y de identificar la naturaleza de la relación entre las variables del enfoque learning analytics y el citado rendimiento académico de los estudiantes. Las variables incluidas en la presente investigación permiten identificar cual es la influencia que ejercen sobre el rendimiento académico, estas estimaciones pueden permitir a una institución educativa mejorar la focalización de las intervenciones y los servicios de apoyo a estudiantes en riesgo de problemas académicos. 146 Los resultados obtenidos dan respuesta a las hipótesis y objetivos planteados, además este trabajo es un punto de partida para futuras investigaciones que consideren que el ámbito tecnológico se está convirtiendo en una de las mejores herramientas de enseñanza aprendizaje, sobre todo en educación a distancia 7.1 Del análisis multinivel La discusión de resultados se realiza sobre la estimación de la Tabla 19, es el modelo que mejor se ajusta de acuerdo al estadístico desviación (Deviance) y al criterio de información de Akaike (AIC), por lo tanto se puede decir que: En la parte de estimaciones de efectos fijos y aleatorios se observa que todos los predictores a nivel del estudiante y del aula son estadísticamente significativos, este resultado se obtiene al haber realizado un procedimiento “stepwise” hacia adelante que permitió eliminar secuencialmente las variables que no tenían significación estadística. Dentro de estas variables no significativas se encuentra la variable género, corroborando los resultados presentados en las investigaciones de Moral (2006); Acevedo & Rocha (2011) y Pantoja & Alcaide (2013) coinciden en concluir que no existen diferencias entre hombres y mujeres con respecto al rendimiento académico. Otra variable considerada como característica del estudiante es la región de procedencia, la cual no presenta significancia en su relación con el rendimiento académico, estos resultados están acorde con los obtenidos por Di Gresia & Porto (2004) y Garzón y otros (2010). En cuanto a las becas por nivel de ingresos o méritos académicos, a pesar de que Garzón y otros (2010) y Celis y otros (2005) determinan que existe una relación positiva y 147 estadísticamente significativa entre las becas y el rendimiento académico, en nuestros resultados finales no es significativa estadísticamente. Esto puede estar causado por el hecho de que el porcentaje de becas asignadas en nuestro caso de estudio es muy bajo (1%), lo cual implica que no se provoque la influencia esperada sobre el rendimiento académico. El modelo final involucra:  Tres covariables del Nivel 2: tasa de repetidores, ciclo y tipo de docente.  Ocho variables del Nivel 1: edad, rinde supletorio, repite materia, participa en chat, participa en foro, participa en videocolaboración, N° comentarios, N° accesos al LMS  Cuatro interacciones multinivel  Y la varianza de cinco pendientes del Nivel 1. El coeficiente de la variable tasa de repetidores medida en el intervalo [0,1], nos indica que un aumento en 10 puntos porcentuales de estudiantes matriculados por segunda o tercera vez en una asignatura troncal, ocasiona una disminución de 2.1 puntos en el rendimiento académico. Esto significa que a pesar de que se asume que los estudiantes tienen más experiencia que los estudiantes nuevos en la materia, no obtienen una mejor nota, lo cual podría estar ligado a la metodología de enseñanza o a los instrumentos de evaluación. Otra variable del nivel 2 es la variable ciclo. Los resultados indican que cuando la asignatura se encuentra en un ciclo superior el rendimiento académico incrementa en 0.8 décimas. Esto se puede esperar ya que se considera que conforme un estudiante avanza a ciclos superiores tiene más conocimientos y en cierta forma ha adquirido madurez académica. La pendiente de la variable tipo de docente influye positivamente sobre el rendimiento académico, ya que, este tiende a subir aproximadamente 1 punto si el docente es 148 administrativo o invitado. Estos resultados se pueden explicar posiblemente por dos razones: la primera sería que los docentes a tiempo completo son más estrictos y la segunda puede ser que estos docentes tienen más créditos o asignaturas a su cargo en comparación a los docentes invitados o administrativos. Estos en sí son dos supuestos, que se deberían de verificar en base a otros aspectos. En cuanto a la edad, los resultados indican que por un año más de edad que tenga el estudiante, el puntaje del rendimiento académico subirá en 0.08 décimas. El comportamiento de estos resultados coinciden con los planteados por Nasir (2012); Alhajraf & Alasfour (2014), quiénes encontraron que la edad tiene una relación positiva y significativa con el rendimiento académico de los estudiantes universitarios. Los coeficiente de las pendientes de la variable rinde supletorio y su interacción con el ciclo indican que si un estudiante se queda suspenso y está en un ciclo superior el rendimiento académico disminuirá en 0.86 décimas (resultante de la suma de los coeficientes -0.52677 y -0.33669 recogidos en la Tabla 19). Mientras que analizando los resultados de la variable repite materia y su interacción con el ciclo nos muestra que si un estudiante repite la materia y está en un ciclo superior, el rendimiento académico en promedio subirá en 2.6 décimas (resultante de la suma de los coeficientes 2.80826 y - 0.24867 recogidos en la Tabla 19). Todas las variables del enfoque “learning analytics” tienen una relación positiva con el rendimiento académico, siendo la participación en chat, foro y video-colaboración las que ocasionan el mayor impacto ya que provocan un incremento de entre 1 y 2 puntos en el rendimiento académico, afirmando de esta forma que si existe una relación significativa con el rendimiento académico tal como lo plantean Agudo y otros (2012), Yu & Jo (2014). La variable N° accesos al LMS interacciona con la tasa de repetidores y el ciclo de la asignatura, lo cual indica que ocasiona un incremento de cerca de 0.11 décimas en el rendimiento académico (resultado de la suma de los coeficientes 0.04385, 0.06964 y - 0.00422 recogidos en la Tabla 19).