Una Solución para la Administración del Ciclo de Vida de Learning Analytics en un LMS: AnalyTIC

Como citar este artículo: F. A. Simanca Herrera, R. G. Crespo, L. R. Baena and D. Burgos, "A Solution to Manage the Full Life Cycle of Learning Analytics in a Learning Management System: AnalyTIC," in IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, vol. 14, no. 4, pp. 127-134, Nov. 2019, doi: 10.1109/RITA.2019.2950148. Una Solución para la Administración del Ciclo de Vida de Learning Analytics en un LMS: AnalyTIC Fredys Simanca, Rubén Gonzalez, Luis Rodriguez, Daniel Burgos Title – A Solution to Manage the Full Life Cycle of Learning Analytics in a Learning Management System: AnalyTIC Abstract – Learning Analytics (LA) has a significant impact in learning and teaching processes. These processes can be improved using the available data retrieved from students’ activity inside the virtual classrooms of a learning management system (LMS). This process requires the development of a tool that allows one to handle the retrieved information properly. This paper presents a solution to this need, in the form of a development model and actual implementation of an LA tool. Four phases (Explanation, Diagnosis, Prediction and Prescription) are implemented in the tool, allowing a teacher to track students’ activity in a virtual classroom via the Sakai LMS. It also allows for the identification of users who face challenges in their academic process and the initiation of personalised mentoring by the teacher or tutor. The use of the tool was tested on groups of students in an algorithms course in the periods 2017-1, 2017-2, 2018-1 and 2018-2, with a total of 90 students – in parallel with the control groups in the same periods that totalled 95 students – obtaining superior averages in the test groups versus the control groups, which evidenced the functionality and utility of the software. Index Terms – Learning Analytics, Educational Technology, Online Education, Personalised Learning, Personalised Mentoring F.A. Simanca, Universidad Cooperativa de Colombia. Avenida Caracas 37-63, Bogotá – Colombia. E-mail: [email protected]. ORCID: 0000-0002-3548-0775 R. Gonzalez, Universidad Internacional de la Rioja, Rectorado – Avda. de la Paz, 137, Logroño, La Rioja. E-mail: [email protected]. ORCID: 0000-0001-5541-6319 L. Rodriguez, Universidad Internacional de la Rioja, Rectorado – Avda. de la Paz, 137, Logroño, La Rioja. E-mail: [email protected]. ORCID: 0000-0002-0536-4466 D. Burgos, Universidad Internacional de la Rioja, Rectorado – Avda. de la Paz, 137, Logroño, La Rioja. E-mail: [email protected]. ORCID: 0000-0003-0498-1101 I. INTRODUCCIÓN LAS tecnologías de la información y la comunicación se han convertido en un instrumento que facilita los procesos de enseñanza y aprendizaje. El creciente auge que éstas enfrentan permiten convocar diferentes espacios como los virtuales, que derrumban brechas para todo aquel que desee aprender; de esta forma, se buscan mecanismos que permiten tener un control sobre los avances del aprendizaje de cada estudiante, entre estos encontramos el Learning Analytics (LA), que permite a las instituciones educativas y a los docentes obtener conocimiento sobre los avances de sus estudiantes [1] para realizar intervenciones y mejorar los resultados del aprendizaje [2],[3],[4]. Este interés está motivado por la necesidad de comprender mejor la enseñanza/aprendizaje, el “contenido inteligente”, la personalización y adaptación [5], [6]. Por consiguiente, las instituciones enfrentan nuevos retos, no solo de cómo obtener y aprovechar esta información, sino cómo aplicarla en los procesos de enseñanza-aprendizaje, permitiendo tener mayor control y aprovechar al máximo cada uno de los recursos disponibles para que el estudiante pueda finalizar exitosamente los cursos y de ésta manera mejorar la tasa de retención; realizando intervenciones a tiempo y conducir al éxito estudiantil. El tener la información permite mejorar la toma de decisiones, modificar los recursos educativos e identificar casos de riesgo [7]; identificando las fortalezas y debilidades de los estudiantes se puede hacer planes de mejora [1],[3]. Con base a lo anterior, y aunque existan entornos de aprendizaje que arrojen datos de forma automática, la explotación de dicha información para el aprendizaje y la enseñanza es todavía muy limitada [8]. Por tanto, se creó el software AnalyTIC que desarrolla y aplica las 4 fases de LA [9]. Su principal función es crear ambientes de tutorización personalizada con cada estudiante, mediante la generación de informes de diagnóstico que permiten hacer una estimación de lo que puede llegar a pasar con el estudiante y poder realizar un seguimiento de éste para que finalice exitosamente el curso. Con éste software se tiene como objetivo, en su primera fase brindar al docente información que se encuentra en el aula virtual de cada uno de sus estudiantes; en la segunda poder identificar los estudiantes que están en peligro de pérdida del espacio académico; en la tercera una estimación del posible resultado del estudiante de acuerdo a las notas adquiridas hasta el momento, y la última fase le sirve al docente para brindar una tutoría personalizada que ayude a mejorar el rendimiento académico de los alumnos intervenidos [10]. Se espera entonces que la intervención que realice el docente al estudiante y la adaptación de los contenidos del curso mejore el rendimiento académico, y que sea una herramienta fundamental para la toma de decisiones por parte del docente. El artículo muestra cómo se desarrolló el software AnalyTIC, el cual se validó posteriormente con cuatro (4) cursos de la asignatura Algoritmia en los periodos 2017-1, 2017-2, 2018-1 y 2018-2, con un total de 90 estudiantes. En esta plataforma se evidenciaron los 4 fases mencionadas anteriormente por medio de fases que permitieron la evaluación de cada una de estas, de esta manera arrojar los datos y registros necesarios para la toma de decisiones, generando en este un ambiente más personalizado, permitiendo al docente tener un rol más activo en el proceso de tutorización y seguimiento de cada estudiante. El trabajo se organiza como sigue; en la sección II (Materiales y Métodos), explica cómo se ha estudiado el problema, y se describe el proceso de análisis, diseño, desarrollo e implementación de la solución, luego en la sección III (Resultados), se presentan los resultados encontrados en la prueba realizada con los grupos de prueba de la herramienta diseñada, la sección IV ( Evaluación de la herramienta), se describen los diferentes métodos usados para evaluar la pertinencia del modelo desarrollado; la sección V (Discusión), se resaltan la significancia de los hallazgos encontrados; y finalmente se establecen las conclusiones alcanzadas en el desarrollo y posterior prueba del software. A. Estado de la cuestión LA se aplica a los procesos de aprendizaje de los estudiantes mediante cuatro fases [9]: Fase 1 Explicar. Visualización de los datos en tiempo presente y pasado, responde a las preguntas: ¿qué ha pasado? y ¿qué está pasando? Fase 2 Diagnosticar. Análisis de las visualizaciones, en tiempo presente y pasado, responde a las preguntas: ¿cómo y por qué pasó? y ¿cómo y por qué está pasando? Fase 3 Predecir. Interpretación del análisis, en tiempo futuro, responde a la pregunta: ¿qué puede pasar? Fase 4 Prescribir. Interpretación de las predicciones o análisis, tiempo presente y futuro, responde a las preguntas ¿cómo podemos actuar? y ¿cómo prevenir lo negativo y potenciar lo positivo? Algunos LMS (Learning Managament System), como Moodle y Blackboard han abordado esta temática, y es así como el primero de ellos implementa el LA en el Nivel 1 mediante un plugin llamado SmartKlass, presentando indicadores y logros sobre los avances del aprendizaje de los estudiantes, permitiendo crear reportes por parte del profesor. Puede predecir, pero está limitada en su temporalidad, ya que esta se ejecuta sobre cursos previamente completados, los niveles faltantes no se han implementado o no se ejecutan en tiempo real. Por otra parte, Blackboard realiza un resumen por medio de la creación de informes que permiten visualizar los avances del aprendizaje de los estudiantes tomando los datos de las actividades realizadas, hace predicciones a partir de dicha información, permitiendo a los profesores centrarse en los estudiantes que tienen mayor dificultad. Estas plataformas realizan una recopilación de datos, que son de ayuda para el análisis de los procesos de aprendizaje de los estudiantes y sus dificultades para alcanzar los logros propuestos por el curso [11], aunque no trabajan en totalidad las fases planteadas por [9], por tanto, es una necesidad desarrollar herramientas que las apliquen y que permitan al docente tener datos en tiempo real sobre el estado educacional de los estudiantes, y poder tomar decisiones de cómo mejorar su rendimiento, y de esta forma crear ambientes de tutorización personalizada [12] de acuerdo a las dificultades de cada estudiante, y de su perfil y no en forma general. Por otra parte, como se puede encontrar en el informe Educause Horizon 2016 [13], el proyecto de aprendizaje A4 Learning [14], [15] dirigido por la Universidad Internacional de la Rioja (UNIR), combina técnicas de datos con visualización de información, proporcionando a cada alumno, información continua que le permite pensar críticamente sobre su aprendizaje y sus objetivos. Esta institución 100% en línea también desarrolla el proyecto iLIME [15], cuyo propósito es elaborar e implementar un sistema automatizado de recomendaciones de itinerarios con el objetivo de ayudar a los maestros a hacer recomendaciones personalizadas a los estudiantes. El Colegio Río Salado, la Universidad de Harvard y la Universidad Estatal Austin Peay son tres ejemplos entre otros que figuran en el Sitio web Educause [16], que sirven para ilustrar cómo el uso de LA permite apoyar el éxito estudiantil e institucional. Rio Salado [17] implementa herramientas de aprendizaje de Analytic para predecir el riesgo [18], el comportamiento de los factores de actividad, como los inicios de sesión o la participación en el sitio, y para proporcionarles respuestas intermedias. De acuerdo con la revista Educause [19], permite a los instructores abordar al estudiante que necesita más ayuda para promover la retención. La Universidad de Harvard [20], mina los datos del aula usando un sistema llamado Learning Catalytics, con la originalidad de que soporta instrucción entre iguales, un patrón básico de aprendizaje/enseñanza. Es evidente, que LA desempeña un papel importante en la mejora de la calidad global y la eficiencia del aprendizaje y la enseñanza, a través de una mejor comprensión del proceso educativo, una evaluación más completa de los estudiantes y la personalización de la educación, permitiendo disminuir la deserción de los estudiantes. Como se muestra en un estudio realizado por Hanover Research, y mencionado en [13]: “Los estudiantes tienen un deseo de retroalimentación inmediata y continua a medida que aprenden”. Extrapolado de algunos estudios de casos hechos internacionalmente, se puede afirmar que la aplicación AnalyTIC podría significar contribuciones en áreas como [21]: Para mejorar la calidad: Los educadores podrían mejorar su propia práctica en función de la información proporcionada por AnalyTIC. Para aumentar la tasa de retención: El análisis permite a las instituciones identificar a los estudiantes en riesgo en una etapa temprana e intervenir con consejos, materiales adicionales y actividades alternativas. Para permitir el desarrollo del aprendizaje adaptativo: Está surgiendo el aprendizaje adaptativo para ayudar a los estudiantes a desarrollar habilidades y conocimientos de una manera más personalizada y autodidacta [22]. II. MaTeRIales y MéTODOs Se describen a continuación los materiales y el método de estudio usado para desarrollar el software AnalyTIC y su posterior validación con los grupos de prueba; se describe inicialmente la población en la cual se aplicó la herramienta, la propuesta del modelo, el diseño y la descripción del modelo desarrollado. A. Población y muestra La investigación se llevó a cabo en la Universidad Cooperativa de Colombia, en la ciudad de Bogotá, D.C.- Colombia, facultad de Ingenierías, específicamente en el programa de Ingeniería Ambiental, con estudiantes de la asignatura Algoritmia. Este espacio académico hace parte de las asignaturas de primer semestre; desarrolla competencias transversales; es decir, se encuentra dentro del currículo de todos los programas de Ingeniería. La validación de la herramienta fue llevada a cabo en los periodos 2017-1, 20172, 2018-1 y 2018-2. En la tabla 1 se detalla la población total del programa y la muestra tomada para realizar la validación de la herramienta. La asignatura de Algoritmia se compone de tres (3) créditos, los cuales se trabajan así: 48 horas presenciales y 96 de trabajo independiente por parte del estudiante; es una asignatura teórica práctica. B. Propuesta del modelo El modelo propuesto se basa en las fases definidas por [9], para la implementación de las fases de LA, en la Fig. 1 se ilustran dichas fases. Esta estructura por fases fue la que se tuvo en cuenta para el diseño de la herramienta propuesta, buscándose que permitiera la aplicabilidad de las cuatro etapas mencionadas anteriormente. C. Diseño del modelo Según [23] todo proceso de desarrollo en el área de la ingeniería, debe contemplar las fases de: Análisis, Prototipado, Diseño y Construcción, siguiendo este proceso se determinó en cada una de las etapas, lo siguiente: Etapa de Análisis. En esta primera etapa se procedió a definir los objetivos que se deseaban alcanzar con la herramienta, el primer paso fue obtener los datos, buscando responder las preguntas: ¿cómo? ¿quién?, ¿qué?, ¿cuándo? y ¿dónde? El encontrar la respuesta a estas preguntas, era fundamental, toda vez que a través del análisis y síntesis esta información se convierte en conocimiento [24]. Como segundo paso se procedió a definir los datos que se iban a recolectar del aula virtual, se establecieron entonces: •Números de inicios de sesión •Tiempo total de conexión por estudiante •Rendimiento individual vs rendimiento del grupo •Rendimiento individual por cada una de las actividades •Notas de las actividades evaluativas •Promedio del curso en cada una de las actividades evaluativas •Uso de recursos (Lectura de recursos, Lectura de Syllabus, Envío de archivos, evaluaciones enviadas, entre otros) En el tercer paso, buscando resolver las preguntas de ¿cómo y que paso?, y ¿cómo y por qué está pasando?, se procedió con base a los datos recolectados diagnosticar el estado actual del rendimiento académico de cada uno de los estudiantes, para ello se hizo una división del grupo en cuartiles. El Primer cuartil representado por Q1 corresponde al valor obtenido del conjunto de datos conformado por las notas promedio de los 39 estudiantes del grupo de prueba del cual puede afirmarse que el 25% de datos es menor a Q1; también se puede afirmar que el 75% de los datos es mayor que Q1. El primer cuartil corresponde al veinticincoavo percentil de la muestra. Se clasificó entonces a todos los estudiantes que se encontraban en Q1, como Estudiantes en estado crítico [25], y serían estos los de mayor interés para el docente en la toma de decisiones y la consecuente formulación de mejoras. En el cuarto paso, se analizó la información necesaria buscando responder la pregunta ¿qué puede pasar?, y para poder despejar esta duda se procedió a la construcción de una matriz de valoración del riesgo. En esta matriz se conjugó el promedio acumulado de cada estudiante, y la probabilidad de mejorar este promedio teniendo en cuenta el comportamiento de sus notas acumuladas y la comparación y ubicación de sus notas con respecto a las notas obtenidas por los demás integrantes del grupo. Para la construcción de dicha matriz, se tuvo en cuenta la variabilidad de las notas del estudiante reflejado esto en la desviación estándar [26] de las notas acumuladas y el promedio respectivo. Estos datos estadísticos descriptivos dan al docente elementos de análisis para implementar acciones de mejora y así facilitar al estudiante alcanzar el promedio mínimo requerido. En la tabla 2 se detalla la matriz de aceptabilidad del riesgo propuesta [27]. Y, por último, se determinaron las acciones de mejora. Es este uno de los pasos más importantes de LA, buscando que Fig. 1. Fases definidas de Learning Analytics. Tabla I POblaCIÓN y MUesTRa TOMaDa PaRa ValIDaR la HeRRaMIeNTa Periodo Población Grupo prueba Grupo control 2017-1 67 39 28 2017-2 28 14 14 2018-1 52 23 29 2018-2 38 14 24 los docentes puedan apoyarse en la información generada por el comportamiento académico del estudiante. Esta información es útil para la evaluación del curso, proporciona una noción sobre materiales que se pueden seguir usando, identifica los factores claves de dificultad de los estudiantes cuándo estos inician su actividad académica [28]; para ello se determinaron las siguientes acciones: •Envío de correo con la opción de adjuntar material. •Envío de material o de una dirección URL, y, por último, •Envío de recordatorio de actividad próxima a vencer, con la posibilidad a adjuntar documentos o enviar direcciones web. Etapa de Prototipado: Esta etapa se inicia con la definición del objetivo general del software, para luego pasar a identificar requisitos más específicos, el modelo de prototipado es un modelo basado en prueba y error, a medida que se va avanzando en el desarrollo de la solución hasta que el usuario quede satisfecho con los resultados [29]. Etapa de Diseño: Se determinó aquí la metodología de desarrollo de software más apropiada, se decidió por una metodología ágil, dada su pertinencia y efectividad. Se seleccionó como referente y carta técnica de desarrollo de la herramienta, la metodología Feature Driven Developent(FDD), construida por Peter Cuad y Jeff de Luca, en la década de los años 90 [30]. FFD se estructura en 5 procesos: •Desarrollar el modelo global (Develop overall model) •Construir una lista de características (Build feature list) • Planificar (Plan by feature) •Diseñar (Design by feature), y •Construir (Build by feature) Etapa de Construcción: En esta etapa se procedió a estudiar y potencializar el impacto de las diversas tecnologías existentes en el escenario para el soporte tecnológico, identificando cual era la más indicada. De acuerdo a los requerimientos planteados y al propósito mismo de la herramienta; se optó por el desarrollo bajo ambientes libres de licenciamiento, fue así que se decidió el desarrollo de la herramienta usando en primera instancia el LMS Sakai, por ser un proyecto de código abierto, como lenguaje programación PHP, motor de base de datos MySQL, servidor web Apache, HTML5 y CSS, por cumplir todas estas herramientas con esta premisa. En la Fig. 2 se esquematiza el desarrollo de la solución planteada. D. Descripción de la arquitectura del sistema La plataforma desarrollada es una herramienta que pretende entonces auxiliar al docente en la identificación de estudiantes con dificultades en su proceso de aprendizaje, aplicando las 4 fases de LA, y que éste tenga información que le permita tutorizar al estudiante y hacer las respectivas modificaciones al proceso de enseñanza. De parte del estudiante, le permite conocer su nivel de desempeño vs el desempeño del grupo, un diagnóstico de su situación actual y una estimación de lo que puede suceder si continua con el mismo desempeño. En la Fig. 3 se muestra la estructura de la plataforma, donde se observa el conjunto de las opciones y su rol dentro de la misma. La plataforma podrá ser vista en cualquier dispositivo de escritorio, portátil o móvil, lo único que se requiere es un navegador de internet. Módulo docente. En el perfil docente se pueden observar la aplicación de las 4 fases de LA, establecidas por [9], el objetivo es brindarle a los docentes una herramienta que analice la información del proceso de aprendizaje de los estudiantes, luego brindar información necesaria para que el docente tome decisiones que conlleven a una mejora de las prácticas de la enseñanza, el módulo muestra el progreso de cada alumno, sus dificultades y permite realizar una retroalimentación con dichos estudiantes, como se puede observar en la Fig. 4. Tabla II MaTRIz De aCePTabIlIDaD Del RIesgO Desviación Estándar - Variabilidad Matriz de Aceptabilidad del riesgo >2.00 Muy alta 1.51 a 2.00 Alta 1.01 a 1.50 Media 0.51 a 1.00 Baja 0.00 a 0.50 Muy baja 5.0-4.8 4.74.0 3.9-3.0 2.92.0 1.9-0.0 Superior Alto Básico Bajo Muy bajo Convenciones: El estudiante muy seguramente va alcanzar el promedio mínimo requerido para aprobar el curso El estudiante puede o no alcanzar el promedio mínimo requerido, por tanto, debe realizar acciones de mejora. El estudiante debe realizar acciones de mejora para alcanzar el promedio mínimo requerido. Fig. 2. Esquematización tecnológica del desarrollo de la solución. Fig. 3. Diagrama que muestra la estructura de AnalyTIC Módulo estudiante. La herramienta también permite a los estudiantes conocer su rendimiento individual vs rendimiento del grupo, el avance de su proceso educativo que lo han llevado a obtener dichas notas, un diagnóstico de su situación actual y, por último, una estimación de lo que puede ocurrir si no se toman acciones de mejora. Con esta información el podrá hacer una retroalimentación de sus actividades para apoyar y mejorar su desempeño académico. Cuenta con cuatro opciones: Inicio, Explicar, Diagnóstico y Estimación, como se evidencia en la Fig. 5. El desarrollo del modelo se puede encontrar en la web en el siguiente link: http://5.189.175.156/analytics/, se puede realizar el proceso de registro como docente para poder usar la herramienta. III. ResUlTaDOs La validación de la plataforma se realizó aplicando la herramienta al grupo de estudiantes definidos en Población y muestra; en la tabla 3 se detallan los promedios alcanzados en cada uno de los semestres por el grupo de prueba vs grupo de control. Vale aclarar que, en la universidad Cooperativa de Colombia, donde se llevó a cabo la prueba, la escala evaluativa va de 0 a 5, siendo 0 la nota mínima y 5 la nota máxima, la nota requerida para aprobar la asignatura es de 3 y en el transcurso de la asignatura se toman tres cortes. Por otra parte, en la Fig. 6, se muestra un comparativo de los promedios finales alcanzados por los grupos de prueba vs los grupos de control en los periodos en los cuales se aplicó la herramienta. Se evidencia que los grupos en los que el docente trabajó la herramienta de LA, obtuvieron un mejor promedio en las notas finales de la asignatura, evidenciándose que el uso de herramientas que le permite al docente identificar estudiantes con dificultades, y que a partir de estas pueda tomar decisiones para cambiar, modificar o asesorar mejor sus estudiantes se ve reflejado en su rendimiento académico. En el periodo 2017-1 el grupo de prueba obtuvo una nota promedio de 4.2, mientras que el grupo control de 3.8, el grupo prueba estuvo cuatro (4) décimas por encima del grupo control, en el periodo 2017-2, la diferencia fue de cinco (5) décimas, en el 2018-1 de una (1) décima y por último en el periodo 2018-2, la diferencia del grupo de prueba con respecto al grupo de control fue de dos (2) décimas. En las Fig. 7, 8, 9 y 10 se evidencia gráficamente los resultados obtenidos gracias a los procesos de tutorización adelantados por el profesor con aquellos estudiantes que presentaron dificultades, en el primer o segundo corte y Fig. 4. Opciones de la plataforma AnalyTIC módulo docente Fig. 5. Opciones de la plataforma AnalyTIC módulo estudiante. Tabla III PROMeDIOs gRUPOs De PRUeba Vs gRUPOs De CONTROl Periodo Grupo prueba Grupo control 2017-1 4.2 3.8 2017-2 4.0 3.5 2018-1 4.0 3.9 2018-2 4.1 3.9 Fig. 6. Comparativo de notas Grupo de prueba Vs Grupo control Fig. 7. Notas obtenidas primer corte vs segundo corte, grupo de prueba periodo 2017-1 Fig. 8. Notas obtenidas segundo corte vs tercer corte, grupo de prueba periodo 2017-2 que, por sus notas en dichos cortes, tuvieron la atención del docente, correspondientes a los periodos 2017-1 y 2017-2. En esta prueba lo único que se tuvo en cuenta fue la tutoría personalizada a los estudiantes para analizar su mejora en el rendimiento académico; y para validar si esta mejora fue significativa, aplicaremos una prueba t student de correlación a cada uno de los periodos evaluados, dicha validación se puede observar en la tabla 4. Donde, si el Valor de P <= al Nivel de Significancia, se acepta la mejora, caso contrario se rechaza la mejora. Para el cálculo se usa un nivel de confianza del 95%, por tanto, el nivel de significancia será del 5% (0.05). En un solo periodo (2018-1) el mejoramiento de las notas obtenidas por los estudiantes no fue significativo, cuando se pasó tan solo de un promedio de 3.5 a 3.8. Por el lado del estudiante, este cuenta con tres de las cuatro fases; puede ver su rendimiento individual vs el rendimiento del grupo, junto a un detalle de las notas alcanzadas hasta el momento (Explicar), como segundo el detalle del cuartil en el cual se encuentra ubicado con respecto a todos los integrantes del curso (Diagnosticar) y, por último, usando la matriz de aceptabilidad del riesgo podrá ver la estimación de aprobar o re-probar la asignatura (Predecir). Tabla IV PRUeba T sTUDeNT PaRa COMPRObaR el IMPaCTO Del UsO De la HeRRaMIeNTa ¿El rendimiento académico de los estudiantes mejoró después de una intervención por parte del docente? Prom. Antes Prom. Después Prueba T Valor P Nivel Sign. Si/ No 2017-1 3.9 4.4 4.6974 0.0011 0.05 SI 2017-2 3.6 4.0 3.4933 0.0068 0.05 SI 2018-1 3.5 3.8 1.7839 0.1081 0.05 NO 2018-2 3.2 3.6 2.2712 0.0493 0.05 SI IV. eValUaCIÓN De la HeRRaMIeNTa Para evaluar la herramienta diseñada se procedió a realizar una comparación de las características del software desarrollado versus otras plataformas que se habían identificado previamente en el estado del arte. Es así, que en la tabla 5 se realiza una comparación entre distintas herramientas que existen en el mercado buscando evidenciar la funcionalidad de la herramienta AnalyTIC. Para la evaluación del aula virtual y de la herramienta AnalyTIC, se usaron métricas web clásicas, en este caso el método de Morae, tal y como se especifica en [32], se realizó la evaluación por un par experto, obteniendo los resultados mostrados en la tabla 6. Por parte de los estudiantes se acudió a un grupo de 4 alumnos para evaluar la herramienta, mediante un cuestionario de cinco preguntas que se tenía en el aula virtual para este propósito. Los resultados obtenidos se evidencian en la tabla 7. Tabla V COMPaRaCIÓN De CaRaCTeRísTICas eNTRe HeRRaMIeNTas la Herramienta AnalyTIC LOCO Analyst Student Success System Student Inspector GLASS SAM StepUp! Course Signal Narcissus Nivel 1 – Explicar Visualiza los datos xxxxxxxxx Nivel 2 – Diagnosticar Analiza los datos visualizados x xxxxxxx Nivel 3 – Predecir Análisis de los datos en tiempo futuro x x Nivel 4 – Prescribir Cómo podemos actuar para corregir los errores x x Útil para docentes x x x x Útil para estudiantes x xxxxxxx Tabla VI ResUlTaDOs ReVIsIÓN De exPeRTO HeRRaMIeNTa aNalyTIC Fig. 9. Notas obtenidas primer corte vs segundo corte, grupo de prueba periodo 2018-1 Fig. 10. Notas obtenidas segundo corte vs tercer corte, grupo de prueba periodo 2018-2 Resumen de resultados Calificación Neta # Preguntas # Respuesta Califica ción Página de Inicio 13 20 20 83% Orientación a Tareas y Funcionalidad del Sitio 21 44 44 74% Navegabilidad y Arq. De la Información 12 29 29 71% Formularios y entrada de datos 12 23 23 76% Confianza y Credibilidad -2 13 13 42% Calidad del Contenido y Escritura 20 23 23 93% Diagramación y Diseño Gráfico 37 38 38 99% Búsquedas 10 20 20 75% Ayuda, Retroalimentación & Recuperación de Errores -3 37 37 46% Calificación Final 247 247 73% Revisión de Experto Tabla VII eValUaCIÓN esTUDIaNTes De la HeRRaMIeNTa aNalyTIC Evaluador Est. 1 Est. 2 Est. 3 Est. 4 La programación del aula virtual Aceptable Aceptable Aceptable Excelente El servidor o tipo de alojamiento del aula virtual Excelente Excelente Excelente Excelente La estructura y organización del aula virtual Por mejorar Aceptable Aceptable Aceptable El diseño del aula virtual Aceptable Por mejorar Por mejorar Por mejorar Actividades y contenido del aula virtual Excelente Excelente Excelente Aceptable V. DIsCUsIÓN El software desarrollado es un producto diferenciador con respecto a otras herramientas en el mercado que trabajan igualmente LA. LMS como Moodle y Blackboard implementan plugins que integran LA, en la mayoría de los casos estos se quedan en la primera fase, solo analizan la huella de los estudiantes en las aulas virtuales; estos desarrollos están orientados a la administración o a los docentes, en ninguno de ellos se tiene presente al estudiante. El software AnalyTIC se enfoca en brindar información al docente y estudiante. Del lado del docente, integra las cuatro fases, permitiendo en primera instancia que él conozca el rendimiento académico de los alumnos en el aula virtual, comparar el desempeño individual vs el grupal, ¿qué tipo de recursos están consumiendo? (Explicar), en segundo lugar tener un diagnóstico de la significancia de las notas que lleva el estudiante hasta el momento (Diagnosticar), como tercero, mediante la matriz de riesgo, la herramienta le muestra al docente la estimación que tiene un estudiante de aprobar o re-probar la asignatura (Predecir) y por último le brinda diferentes alternativas para que pueda llevar a cabo una acción de mejora de manera individual con cada uno de los estudiantes en estado de riesgo de pérdida de la asignatura (Prescribir). Es así entonces, que la herramienta diseñada le permite al docente rastrear y seguir la evolución de los estudiantes en el aula de manera particular, y le suministra la información necesaria. El poder identificar patrones educativos de sus estudiantes en un entorno virtual, le facilita el poder personalizar los procesos de enseñanza-aprendizaje [31], y posteriormente ajustar los recursos para ofrecer tantas ayudas como sean necesarias, promover el uso de actividades que incrementen la participación de este y por ende mejorar el desempeño académico. Si bien es cierto, en algunos de los casos los resultados alcanzados en la mejora del rendimiento académico de los estudiantes no fue tan significativo (Ver tabla 4), es evidente que se logra dicha mejoría gracias a la tutoría y adecuación de contenidos que realizó el docente en su intervención a los estudiantes. Se pudo observar de igual manera que en algunos casos aquellos que mejoraban en un corte gracias a la intervención realizada, en algunas ocasiones para el siguiente, sufrían una desmejora en sus notas. En solo un caso, un estudiante intervenido obtuvo una nota inferior posterior a dicha intervención (Periodo 2018-1), los demás mejoraron o permanecieron igual. Ahora, a pesar de las bondades descritas en el uso de la herramienta, la aplicación de la misma nos permite afirmar que no todo es bueno en este proceso; de parte del docente que trabajó con los grupos intervenidos queda la experiencia de lo difícil que es poder adecuar contenidos de su espacio académico de acuerdo a las características de los muchos estudiantes que tiene un curso; igualmente el proceso de estar enviando recordatorios y mensajes motivadores a estudiantes por individual y no hacerlo a nivel grupal. Pero, destaca la gran utilidad de la herramienta al permitirle identificar los estudiantes en riesgo. La dificultad va más orientada al número de estudiantes que se tienen en los cursos. VI. CONClUsIONes El desarrollo de un software, que aplicará las fases de LA y posterior aplicación a un grupo de estudiantes, permitió observar que existe una correlación entre el uso de la herramienta por parte del docente y una mejora en el rendimiento académico de los estudiantes, esto gracias a que el docente pudo contar con información para poder llevar a cabo acciones de mejora de su proceso y una posterior tutorización a sus estudiantes. El uso de la herramienta que integra las 4 fases de LA ha demostrado ser una ayuda eficaz en el rendimiento del aprendizaje. Los procesos que realizan los estudiantes en el aula virtual analizados fueron: Estudiantes, Inicios de sesión, Tiempo total conexión, Rendimiento Vs Grupo, Rendimiento individual, Informe de actividades, Promedio actividades y Uso de recursos. Fueron estos el insumo principal en el diseño de la Herramienta de LA. Por otro lado, el desarrollo de este software permitió conocer y aplicar más en detalle los objetivos, propósitos y etapas de LA. Desde hace algunos años se ha venido hablando del tema en mención; algunos LMS y Universidades han trabajado o intentando incluir los procesos de LA para la toma de decisiones al interior de sus instituciones. Pero, no se ha desarrollado una herramienta que aplique o abarque las cuatro etapas de LA; adicional este modelo es una herramienta que le permite al docente identificar los estudiantes que necesitan tutoría y adelantar con ellos acciones que busquen la mejora del rendimiento académico de los mismos. agRaDeCIMIeNTOs Los autores de este trabajo agradecen a la Universidad Internacional de la Rioja, especialmente al programa de doctorado Virtual en Sociedad del Conocimiento, y a los estudiantes de la Universidad Cooperativa de Colombia, de la asignatura algoritmia de Ingeniería Ambiental. RefeReNCIas [1] S. Slade, «Learning Analytics: ethical issues and dilemmas,» American Behavioral Scientis, vol. 57, nº 10, pp. 1510-1529, 2013. [2] D. Clow, «An overview of learning analytics,» Teaching in Higher Education, vol. 18, nº 6, pp. 683-695, 2013. [3] A. Marks, M. AL-Ali y K. Rietsema, «Learning Systems’ Learning Analytics,» IEEE, pp. 676-681, 16. [4] P. Rojas, «Learning Analytics: una revisión de la literatura,» educacion.educadores, vol. 20, nº 1, pp. 106-128, 2017. [5] G. Siemens, «Learning Analytics: The Emergence of a Discipline,» American Behavioral Scientist, vol. 57, nº 10, pp. 1380-1400, 2013. [6] L. de-la-Fuente-Valentín, A. Corbi, R. González Crespo y D. Burgos, Learning Analytics, La Rioja: Encyclopedia of Information Science and Technology, 2014. [7] Y. Nieto Acevedo, C. Montenegro Marin, P. A. Gaona Garcia y R. González Crespo, «A proposal to a decision support system with learning analytics,» IEEE Explore Digital Library, pp. 161-168, 2018. [8] W. Greller y H. Drachsler, «Translating Learning into Numbers: A Generic Framework for Learning Analytics,» Educational Technology & Society,, vol. 15, nº 3, pp. 42-57, 2012. [9] D. Amo y R. Santiago, Learning Analytics: La narración del aprendizaje a través de los datos, Barcelona: Oberta UOC Publishing, SL, 2017. [10] M. Fernandez Delgado, M. Borja Vazquez-Barreiros y M. Lama, «Learning Analytics for the Prediction of the Educational Objectives Achievement,» IEEE, pp. 2501-2503, 2014. [11] P. De lange, A. Newman, P. Nicolaescu y R. Klamma, «An Integrated Learning Analytics Approach for Virtual Vocational Training Centers,» International Journal of Interactive Multimedia and Artificial Intelligence, vol. 5, nº 2, pp. 32-38, 2018. [12] A. Martinez Navarro y P. Moreno-Ger, «Comparison of Clustering Algorithms for Learning Analytics with Educational Datasets,» International Journal of Interactive Multimedia and Artificial Intelligence, vol. 5, nº 2, pp. 9-16, 2017. [13] L. Johnson, S. Adams Becker, M. Cummins, V. Estrada y V. y. H. Freeman, NMC Informe Horizon 2016 Edición Superior, AustinTexas: The New Media Consortium, 2016. [14] L. De-la-Fuente-Valentín, D. Burgos y R. González Crespo, «A4Learning: A Case Study to Improve the User Performance: Alumni Alike Activity Analytics to Self-Assess Personal Progress,» IEEE Xplore Digital Library, pp. 360-362, 2014. [15] UNIR, «UNIR research,» Project iLIME, Enero 2013. [En línea]. Available: http://research.unir.net/blog/ilime-operationalimplementation-of-a-recommendation-model-for-informal-andformal-learning/. [Último acceso: 1 Octubre 2018]. [16] A. a. C. Van Barneveld, Analytics in Higher Education: Establishing a Common Language, New York: EDUCAUSE, 2015. [17] Maricopa Community College, «Rio Salado College,» Maricopa Community College, 12 Abril 2018. [En línea]. Available: http:// www.riosalado.edu/Current/pages/default.aspx. [Último acceso: 1 Octubre 2018]. [18] U. C. Rosa Leonor y L. M. Cuauhtémoc, «Neural Networks for predicting student performance in online education,» IEEE LATIN AMERICA TRANSACTIONS, vol. 16, nº 7, pp. 2053-2060, 2018. [19] S. Treca, «Leveraging Analytics in Community Colleges,» Educause review, vol. 1, nº 5, pp. 7-11, 2015. [20] Educause Center for Applied Research, Higher Education and the Revolution of Learning Analytics, Oslo: International Council For Open And Distance Education, 2018. [21] L. A. B. S. C. M. E. V. Johnson, The NMC Horizon Report: 2016 Higher Education Edition, Austin-Texas: The New Media Consortium, 2016. [22] S. V. A. C. A. C. a. C. S. G. L. N. Aballay, «Adaptation Model Content Based in Cultural Profile into Learning Environment,» IEEE LATIN AMERICA TRANSACTIONS, vol. 13, nº 2, pp. 490-495, 2015. [23] R. B. Landis y D. Emeritus, Studying Engineering: A road Map a Rewarding Career, Los Ángeles: Discovery Press, 2013. [24] M. Scheffel, K. Niemann, D. Leony, A. Pardo, H.-C. Schmitz, M. Wolpers y C. Delgado, «Key Action Extraction for Learning Analytics,» 21st Century Learning for 21st Century Skills, pp. 320333, 2012. [25] F. A. Simanca H., D. Burgos, R. González Crespo y L. Rodriguez Baena, «Automation of the tutoring process in online environments through the analitycs of learning,» IEEE Explore Digital Library, pp. 1-5, 2018. [26] R. E. Walpole y R. H. M. S. L. Myers, Probabilidad y estadística para ingenieros, México D.F.: Prentice Hall Hispanoamerica S.A., 1992. [27] F.A. Simanca, “Sistema de mejora del rendimiento académico mediante learning analytics”, Tesis privada, 2018, 11 [28] T. Elias, «https://www.semanticscholar.org/,» 01 junio 2011. [En línea]. Available: https://pdfs.semanticscholar. org/732e/452659685fe3950b0e515a28ce89d9c5592a.pdf. [Último acceso: 25 septiembre 2019]. [29] P. Coad, E. Lefebvre y J. De Luca, Java modeling in color with UML: enterprise components and process, México: Prentice Hall PTR, 1999. [30] K. E. y. K. J. E. Kendall, Agile Modeling and Prototyping Systems Analysis and Design, Pearson Education Inc, 2011. [31] D. A. M. I. I. B. R. M. a. S. I. G. C. Challco, «Personalization of Gamification in Collaborative Learning Contexts using Ontologies,» IEEE Latin America Transactions, vol. 13, nº 6, pp. 1995-2002, 2015. [32] T. David, «UserFocus,» 2 08 2007. [En línea]. Available: https://www. userfocus.co.uk/articles/morae-he.html. [Último acceso: 10 9 2017]. Fredys A. Simanca H. Ingeniero de Sistemas, Universidad Cooperativa de Colombia, Bogotá, Colombia, investigador en el área de Tecnologías en la educación, Profesor Investigador, aspirante a doctorado en Sociedad del Conocimiento y Acción en los Ámbitos de la Educación, la Comunicación, los Derechos y las Nuevas Tecnologías. Rubén González Crespo. Doctor Ingeniero en Ingeniería Informática e Ingeniero en Ingeniería en Organización Industrial por la Universidad Pontificia de Salamanca. Máster en Dirección y Gestión de Proyectos y Máster en Ingeniería Web por la misma universidad. Diplomado en Estudios Internacionales por la Sociedad de Estudios Internacionales. Ha publicado más de 180 artículos en revistas indexadas y congresos nacionales e internacionales de prestigio. Ha impartido multitud de seminarios y conferencias en Europa y América Latina sobre Dirección de Proyectos, Inteligencia Artificial, Industria 4.0 y ha recibido diversos reconocimientos vinculados a su actividad. Luis Rodriguez Baena. Doctor en Sociología por la Universidad Pontificia de Salamanca. Máster en Informática por la Universidad Pontificia de Salamanca y Máster en Sistemas de Gestión Informática por el CENEI. Su área de investigación principal se centra en la usabilidad, la accesibilidad, la experiencia de usuario y el diseño centrado en el usuario, campo en el que ha dirigido varias tesis doctorales y ha participado como investigador en distintos proyectos de investigación. Así mismo ha publicado libros, artículos en revistas de investigación indexadas y ha participado en congresos tanto nacionales como internacionales. Prof. Dr. Daniel Burgos. Catedrático de Tecnologías para la Educación y la Comunicación (2010) y Vicerrector de Transferencia y Tecnología (UNIR Research) en la Universidad Internacional de La Rioja (UNIR) (2016-). Asimismo, es director de las Cátedras UNESCO en eLearning (2013-), e ICDE en Recursos Educativos Abiertos (2014-) (http://research.unir. net/unesco). Además, dirige el Instituto de Investigación, Innovación y Tecnología Educativas (UNIR iTED, http://ited.unir.net). Ha publicado 15 libros técnicos, 12 ediciones de números especiales de revistas indexadas y más de 100 publicaciones científicas en JCR (SCI, SSCI), Scopus, Inspec, IEEE, ACM y otros índices. Ha estudiado Ingeniería Informática (Dr. Ing), Educación (Dr.), Comunicación (Dr.), Antropología (PhD) y Administración de Empresas (DBA).