Informe de evaluación de la aplicación StepUP Code

Versión 1.0 11/2025 SISTEMAS DE EVALUACIÓN POR NIVELES PARA ASIGNATURAS DE PROGRAMACIÓN Resultados de las encuestas realizadas María Inmaculada Santamaría Valenzuela Sergio D'Antonio Maceiras David Gabriel Doñoro Álvarez Helena Liz López 11/2025 Informe de evaluación de la aplicación StepUP Code 1 UNIVERSIDAD POLITÉCNICA DE MADRID PROYECTO DE INNOVACIÓN EDUCATIVA Contenido StepUP Code: Sistemas de evaluación por niveles para asignaturas de programación ....................................................................................................... 2 Encuestas a estudiantes ................................................................................... 2 Apartado 1. Valoración general de la aplicación .......................................... 2 Apartado 2. Valora los diferentes aspectos de la aplicación ........................ 4 Apartado 3. Uso de la aplicación para estudiar ........................................... 6 Encuestas a docentes ....................................................................................... 6 Apartado 1. Valoración general de la aplicación .......................................... 6 Uso de la aplicación en las asignaturas impartidas .................................... 10 Anexos ................................................................................................................ 12 Anexo A. Evaluación cualitativa por parte del estudiantado .......................... 12 Anexo A.1. Comentarios valorando la utilidad de la aplicación ................. 12 Anexo A.2. Comentarios valorando las funcionalidades de la aplicación .. 12 Anexo A.3. Comentarios valorando la navegación por la aplicación .......... 13 Anexo A.4. Comentarios valorando la estética de la aplicación ................. 13 Anexo B. Evaluación cualitativa por parte del profesorado ........................... 14 Anexo B.1. Comentarios valorando la utilidad de la aplicación ................. 14 Anexo B.2. Comentarios valorando las funcionalidades de la aplicación .. 14 Anexo B.3. Comentarios valorando la navegación por la aplicación .......... 16 Anexo B.4. Comentarios valorando la estética de la aplicación ................. 17 11/2025 Informe de evaluación de la aplicación StepUP Code 2 StepUP Code: Sistemas de evaluación por niveles para asignaturas de programación La herramienta “StepUP Code” es una aplicación web basada en Python 3.11 y Django que permite la realización y gestión de pruebas de tipo test para el apoyo del aprendizaje en asignaturas de programación. Este documento contiene el análisis de la retroalimentación aportada por los usuarios que han probado la primera versión de la aplicación. Para la evaluación de la herramienta se ha tenido en cuenta la participación de un total de 7 estudiantes y 6 docentes, con preguntas relativas al diseño de la herramienta y su utilidad para los estudios. Encuestas a estudiantes En esta sección se muestra el análisis de las valoraciones aportadas por parte de los estudiantes que han participado en la prueba. Para la evaluación se les solicitó responder a una encuesta con un total de cuatro apartados de evaluación cuantitativa de distintos aspectos concretos y un cuarto apartado de respuesta libre para la evaluación cualitativa de la aplicación en general, incluyendo opinión cualitativa y oportunidades de mejora. A continuación, se analizan los resultados integrando la valoración del apartado cualitativo en los apartados anteriores para un mejor análisis. Apartado 1. Valoración general de la aplicación En este apartado se valora de manera general la utilidad, funcionalidades, navegación y estética de la aplicación, en una escala del 1 al 5 donde el 1 es el valor más negativo y el 5 el más positivo. Figura 1. Puntuación de la aplicación en la valoración de los estudiantes. En naranja, se marca la media global (4,07). 4,71 4,29 3,71 3,57 0 1 2 3 4 5 Utilidad Funcional Navegación Estética Puntuación Categoría Puntuación general de la herramienta Media Media global 11/2025 Informe de evaluación de la aplicación StepUP Code 3 Entre las distintas perspectivas analizadas se incluyen: el análisis de la utilidad de la herramienta, las funcionalidades que ofrece (modo test, modo examen y visualización del progreso), la navegación por la misma y la estética general. Se observa una media general de 4,07 (véase Figura 1), mostrando una valoración general alta de la aplicación. A continuación, se analiza cada una de las distintas características: Utilidad de la herramienta. Se obtiene una valoración muy positiva con un 29% de las valoraciones con 4 y un 71% con 5, resultando en una media final de 4,71 (véanse Figura 1 y 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 Figura 2. Porcentajes asociados a la valoración obtenida respecto a la utilidad, funcionalidades, navegación y estética de la aplicación en la valoración de los estudiantes. Cada barra de color muestra el porcentaje de apariciones de cada puntuación (siendo 1 la más negativa y 5 excelente). 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 11/2025 Informe de evaluación de la aplicación StepUP Code 4 - Figura 2), que muestra que la herramienta resulta de gran utilidad para todo el estudiantado. No se han recibido comentarios cuantitativos relacionados con la utilidad de la aplicación. Funcionalidades de la herramienta. En su mayoría la evaluación de las distintas funcionalidades aportadas es positiva, contando con un 14% de valoraciones medias (3), un 43% de valoraciones altas (4) y un 43% de puntuaciones excelentes (5). La media de este apartado resulta en un 4,29 (véanse Figura 1 y - Figura 2). Esta calificación muestra que las distintas funcionalidades son útiles para la autoevaluación del conocimiento de la asignatura por parte del estudiantado. Además, como se muestra en el anexo Anexo A.2. Comentarios valorando las funcionalidades de la aplicaciónse muestra un interés por incluir dos funcionalidades nuevas: incluir el inicio de sesión a través de la cuenta institucional y añadir más retroalimentación en la revisión de las preguntas de las distintas pruebas. Navegación por la aplicación. En el aspecto de navegación a lo largo de la aplicación, se obtiene una valoración algo inferior, con un 14% de valoración baja (2), y un 29% de valoraciones medias (3), un 29% de valoraciones altas (4) y un 29% de valoraciones excelentes (5). En este caso la media es de 3,71 (véanse 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 11/2025 Informe de evaluación de la aplicación StepUP Code 5 Figura 1 y - Figura 2). De este modo, se obtiene una valoración media-alta que muestra que, si bien la aplicación es útil y manejable, se necesita mejorar la navegación por la misma antes de su implementación. En efecto, como se muestra en el anexo Anexo A.3. Comentarios valorando la navegación por la aplicación, se reciben comentarios relacionados con la mejora del proceso de cierre de sesión, navegación entre páginas a partir del menú de sesión y posibles errores de interacción a la hora de finalizar un test y avanzar o retroceder a través de la página web. Estos comentarios son tenidos en cuenta y se valorarán de cara a futuras iteraciones. Estética. En el aspecto de estética se obtiene un 14% de valoración negativa (1), un 29% de valoración media (3), un 29% de valoración alta (4) y un 29% de valoración excelente (5). La media resultante es de 3,57. Esto muestra que la estética es correcta pero mejorable de la aplicación (véanse Figura 1 y - Figura 2). Desde el punto de vista de la estética se han recibido cinco comentarios de utilidad que serán tenidos en cuenta en futuras iteraciones (véase el anexo Anexo A.4. Comentarios valorando la estética de la 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 11/2025 Informe de evaluación de la aplicación StepUP Code 6 aplicación). Entre ellos destacan homogeneizar la estética de algunas páginas de la herramienta y revisar los colores de las calificaciones. Apartado 2. Valora los diferentes aspectos de la aplicación En este apartado se valora la utilidad de los distintos modos disponibles para la aplicación: sistema por temas, sistema por niveles y visualización de progreso. El objetivo es conocer cómo de útil resulta cada uno de los modos al estudiantado especialmente conforme se avanza en el temario de la asignatura. Se obtiene una media general de 4,57 (véase Figura 3. Puntuación para las principales funcionalidades de la aplicación: sistema por temas, sistema por niveles y visualización del progreso. En naranja, se marca la media global obtenida (4,57).). Esta calificación muestra una utilidad muy alta de la aplicación desde el punto de vista del estudiante. Figura 3. Puntuación para las principales funcionalidades de la aplicación: sistema por temas, sistema por niveles y visualización del progreso. En naranja, se marca la media global obtenida (4,57). 0 1 2 3 4 5 Sistema por temas Sistema por niveles Progreso Puntuación Categoría Puntuación de los diferentes aspectos de la aplicación Media Media global 11/2025 Informe de evaluación de la aplicación StepUP Code 7 A continuación, se analiza cada uno de los distintos apartados: ¿Te ayudaría el sistema por temas? En la funcionalidad “sistema por temas” se obtiene un 57% de valoración de valoración alta (4) y un 43% de valoración excelente (5). La media resultante es de 4,43 (véanse Figura 1 y - Figura 2). Estas calificaciones muestran la alta utilidad del modo de repaso por temas de la aplicación. ¿Te ayudaría el sistema por niveles? En la funcionalidad “sistema por niveles” se obtiene un 14% de valoración media (3), un 29% de valoración de valoración alta (4) y un 57% de valoración excelente (5). La media 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 Figura 4. Porcentajes asociados a la valoración obtenida en los distintos apartados de la primera pregunta “valoración de los diferentes aspectos de la aplicación” (sistema por temas, sistema por niveles y progreso). Cada barra de color muestra el porcentaje de apariciones de cada puntuación (siendo 1 la más negativa y 5 excelente). 0 0 00 0 00 14 0 57 29 14 43 57 86 0 50 100 Sistema por temas Sistema por niveles Progreso Porcentaje de aparición Puntuación obtenida por categoría Valoración de los diferentes aspectos de la aplicación 1 2 3 4 5 11/2025 Informe de evaluación de la aplicación StepUP Code 8 resultante es de 4,43 (véanse Figura 1 y - Figura 2), mostrando una alta calidad del modo por niveles para avanzar de manera progresiva a lo largo del temario. ¿Es útil la visualización del progreso? En la funcionalidad “visualización del progreso” se obtiene un 14% de valoración alta (4), y un 86% de valoración excelente (5). La media resultante es de 4.43 (véanse Figura 1 y - Figura 2). Esto muestra, mostrando una notable calidad de la visualización del progreso. Apartado 3. Uso de la aplicación para estudiar En este apartado se preguntó si se utilizaría la aplicación para estudiar el temario de la asignatura, obteniéndose un porcentaje del 100% afirmativo; es decir: todo el estudiantado la utilizaría. Este hecho, junto con el comentario animando a la inclusión de la herramienta dentro de la plataforma Moodle lleva a la conclusión de que la aplicación es de utilidad para la autoevaluación progresiva del aprendizaje durante el desarrollo de la asignatura de grado. 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 0 0 0 14 0 0 14 00 14 29 2929 43 29 29 71 43 29 29 0 50 100 Utilidad Funcionalidades Navegación Estética Porcentaje de aparición Puntuación obtenida por categoría Valoración general de la aplicación 1 2 3 4 5 11/2025 Informe de evaluación de la aplicación StepUP Code 15 33%) lo que muestra la adecuación de la visualización a los objetivos de la aplicación (véanse Fig. Figura 7. Puntuación de la aplicación en la valoración de los docentes en distintos aspectos concretos de la herramienta. En naranja, se marca la media global (4,46). y Figura 8. Porcentajes asociados a la valoración obtenida respecto a la utilidad, funcionalidades, navegación y estética de la aplicación en la valoración de los docentes. Cada barra de color muestra el porcentaje de apariciones de cada puntuación (siendo 1 la más negativa y 5 excelente).). Esta calificación se alinea con algunos comentarios de opciones de mejora para comprender mejor las distintas estadísticas mostradas en la aplicación. - ¿Consideras útil los dos tipos de preguntas (por tema y tipo examen)? El diseño bipartito de preguntas por tema y por examen resulta de utilidad, obteniendo un 4,5 de media, con un 50% de valoraciones con 4 y un 50% de con 5 (véanse Fig. Figura 7. Puntuación de la aplicación en la valoración de los docentes en distintos aspectos concretos de la herramienta. En naranja, se marca la media global (4,46). y Figura 8. Porcentajes asociados a la valoración obtenida respecto a la utilidad, funcionalidades, navegación y estética de la aplicación en la valoración de los docentes. Cada barra de color muestra el porcentaje de apariciones de cada puntuación (siendo 1 la más negativa y 5 excelente).). De esta manera, se considera que los dos modos de tipos de preguntas resultan de utilidad, no habiéndose detectado propuestas de mejora al respecto en los comentarios. Uso de la aplicación en las asignaturas impartidas Figura 9. Intención de uso de la aplicación en las asignaturas impartidas por los docentes. 5 1 Expectativa de uso de la herramienta en las asignaturas impartidas Sí usaría la aplicación en alguna de las asignaturas que imparto No usaría la aplicación en ninguna de las asignaturas que imparto 11/2025 Informe de evaluación de la aplicación StepUP Code 16 En este caso, todos los docentes exceptuando uno consideraron la herramienta útil para el apoyo en el desarrollo de la asignatura. Este resultado muestra que la idea de apoyar el aprendizaje con una herramienta adaptativa por temas y por niveles con gestión y análisis directo por el profesorado resulta de utilidad para diversas asignaturas del grado. 11/2025 Informe de evaluación de la aplicación StepUP Code 17 Anexos Anexo A. Evaluación cualitativa por parte del estudiantado En este anexo se incluye el análisis detallado de los comentarios del estudiantado, incluyendo número de ocurrencias de cada comentario y análisis de aplicabilidad. En este campo abierto se han recibido distintos comentarios desde el punto de vista de la visualización (5), la navegación (5) y la institucionalización (1). Llama la atención el interés por el uso de las credenciales institucionales para el acceso de la aplicación, mostrando que es una herramienta útil para su uso en el grado como parte integral del material. Se observan posibles mejoras para facilitar y corregir la navegación dentro de la herramienta y detalles de colores y tamaños útiles para la mejor visualización de la información a lo largo de la herramienta. A continuación, se incluyen las tablas de comentarios organizados según los apartados de la primera pregunta de la encuesta (valoración general de la aplicación). Anexo A.1. Comentarios valorando la utilidad de la aplicación Los estudiantes no han añadido comentarios relacionados con la utilidad de la aplicación. Anexo A.2. Comentarios valorando las funcionalidades de la aplicación Tabla I. Comentarios del estudiantado relacionados con la utilidad de la aplicación. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicabilidad a futuras iteraciones (Análisis). Comentario Nº Análisis Añadir una opción para entrar con el SIU de la UPM. 1 Requiere tiempo para la implementación, pero es interesante para futuras iteraciones Mejoraría que enseñen las que dejas en blanco también. 1 Cambio rápido para tener en cuenta en la próxima iteración. Revisar si sólo ocurre en los exámenes, donde es así por metodología. 11/2025 Informe de evaluación de la aplicación StepUP Code 18 Anexo A.3. Comentarios valorando la navegación por la aplicación Tabla II. Comentarios del estudiantado relacionados con la navegación dentro de la aplicación (menús, botones, etc.). Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicabilidad a futuras iteraciones (Anális). Comentario Nº Análisis Añadir opción de desplazarte a otras partes de la página con el menú superior 1 Fácil de incluir en la próxima iteración Poder acceder al nivel intermedio y superior tras completar todos los fáciles de un tema y no de todos los temas. 1 Fácil de incluir en la próxima iteración. Estaría bien una confirmación para cerrar sesión. 1 Fácil de aplicar en futuras iteraciones El botón de siguiente test no funciona. 1 Error de programación, a revisar. Incluir en la próxima iteración. Retroceder en el navegador después de terminar un test permite volver a entrar a un test ya enviado. 1 Porque se permite reintentar test. Anexo A.4. Comentarios valorando la estética de la aplicación Tabla III. Comentarios del estudiantado relacionados con la estética general de la aplicación. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicación (Análisis) Comentario Nº Análisis El color de la nota debe variar en función de esta. 4 Error de implementación a revisar en la próxima iteración Mejorar la pantalla de inicio en cuanto a estética 1 Se puede incluir en futuras iteraciones Los colores de fondo de las estadísticas del test chocan con el rojo del fondo. 1 Fácil de revisar en la próxima iteración 11/2025 Informe de evaluación de la aplicación StepUP Code 19 La barra de navegación es, en mi opinión, muy grande para lo vacía que está 1 Se puede revisar en futuras iteraciones. El estilo del historial es distinto del estilo del resto de la página. 1 A revisar los estilos en futuras iteraciones La página principal es demasiado diferente a las demás, el estilo debería ser más similar. 1 A revisar los estilos en futuras iteraciones Anexo B. Evaluación cualitativa por parte del profesorado En este anexo se incluye el análisis detallado de los comentarios del profesorado, incluyendo número de ocurrencias de cada comentario y análisis de aplicabilidad. A continuación, se incluyen las tablas de comentarios organizados según los apartados de la primera pregunta de la encuesta (valoración general de la aplicación). Anexo B.1. Comentarios valorando la utilidad de la aplicación Tabla IV. Comentarios del profesorado relacionados con la utilidad de la aplicación. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicación (Análisis) Comentario Nº Análisis En la versión actual no la veo madura para ser utilizada en asignaturas de Grado. 1 Es una versión beta, necesita más iteraciones antes de ser utilizada. Integrado en Moodle tiene más posibilidades para ser utilizado en asignaturas. 1 Es interesante y se tiene en cuenta para futuras iteraciones. Anexo B.2. Comentarios valorando las funcionalidades de la aplicación Tabla V. Comentarios del profesorado relacionados con las distintas funcionalidades de la aplicación. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicación (Análisis) Comentario Nº Análisis 11/2025 Informe de evaluación de la aplicación StepUP Code 20 Posibilitar acceso vía LDAP para entornos como la ETSISI 1 Requiere tiempo para la implementación, pero es interesante para futuras iteraciones Valorar la posibilidad de integrarlo en Moodle como extensión 1 Requiere de permisos y revisiones para poderlo añadir al moodle, pero es interesante y se han tenido en cuenta para los formatos en la base de datos los formatos de preguntas de Moodle. He realizado el primer test y la opción correcta ha sido siempre la primera 1 Si ha hecho la misma prueba del modo tema es correcto, está definido en orden. Se puede tener en cuenta y no es complicado aleatorizar la posición de las respuestas en futuras iteraciones. Posibilidad de crear usuarios por lotes insertando, por ejemplo, .csv. 1 Se puede implementar con Python y es muy útil, facilitando su integración con Moodle. A tener en cuenta en próximas iteraciones. He navegado un poco por la opción Admin, y la veo poco usable, aparecen todas las preguntas y respuesta seguidas sin categorizar entre otras cosas. 1 Se pueden modificar las vistas de Django para mejorar la visualización y gestión Pese a todo lo que tiene, tengo algunas dudas sobre la app según la abro. Parece que los tests existen como autoevaluación del alumno, 1 Son prácticas con vistas a repasar para el examen final. Por eso se da la retroalimentación 11/2025 Informe de evaluación de la aplicación StepUP Code 21 dado que ofrecen la opción de verificar las respuestas según se crea. ¿Cuál es la finalidad del test, ser un examen o una autoevaluación? De la misma manera, si luego se plantea un examen a partir de las preguntas del test, han podido ver las respuestas: ¿Es esto un comportamiento deseado? Porque metodologicamente al final permites ver las respuestas correctas al alumno sobre un test que contiene respuestas idénticas. Es mi mayor preocupación, la identidad de los tests por temas y exámenes no me acaba de quedar cien por cien clara a simple vista. Anexo B.3. Comentarios valorando la navegación por la aplicación Tabla VI. Comentarios del profesorado relacionados con la navegación dentro de la herramienta. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicación (Análisis) Comentario Nº Análisis En la pantalla de selección de modo del alumno, hacer un botón para seleccionar "Ver mi progreso" (como otro modo). 1 Fácil de aplicar en próximas iteraciones A veces, en la vista de progreso alumnos, la tabla del "Listado Detallado de Alumnos" sale incompleta, obligándote a deslizarte por ella, aunque haya suficiente hueco en la pantalla 1 Revisar su posible mejora en próximas iteraciones. Al mostrar la revisión completa de un test, un aspecto de usabilidad es que al final de la pantalla además de la opción Repetir test, se tuviera la 1 Debería haberse mantenido ‘Inicio’ arriba, error de implementación. A 11/2025 Informe de evaluación de la aplicación StepUP Code 22 de volver la inicio o la anterior pantalla revisar en la próxima iteración. No he visto forma de salir de las pantallas de test, salvo la de salir de la aplicación. 1 Debería haberse mantenido ‘Inicio’ arriba, error de implementación. A revisar en la próxima iteración. Los resultados por tema siendo accesibles desde "Progreso por clase" es poco intuitivo. 1 Revisar en la próxima iteración. Anexo B.4. Comentarios valorando la estética de la aplicación Tabla VII. Comentarios del profesorado relacionados con la estética de la herramienta. Incluye el foco del comentario (Comentario), el número de ocurrencias de comentarios asociados a dicho foco (Nº) y el análisis de aplicación (Análisis) Comentario Nº Análisis Echo de menos algún tipo de visualización tipo lineplot o diagrama de barras en el que se pueda ver la evolución de un determinado alumno o clase. 1 Este cambio es de dificultad media. Sería interesante revisarlo en futuras iteraciones.