Diseño e implementación de mejoras en el robot educativo para niños Haru4Kids

Proyecto Fin de Carrera Ingeniería de Telecomunicación Formato de Publicación de la Escuela Técnica Superior de Ingeniería Autor: F. Javier Payán Somet Tutor: Juan José Murillo Fuentes Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2013 Trabajo Fin de Master Master en Ingeniería Electrónica, Robótica y Automática Diseño e implementación de mejoras en el robot educativo para niños Haru4Kids Autora: Marta Julia López González de Quevedo Tutor: Jesús Iván Maza Alcañiz Dpto. Ingeniería de Sistemas y Automática Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2022 Trabajo Fin de Master Master en Ingeniería Electrónica, Robótica y Automática Diseño e implementación de mejoras en el robot educativo para niños Haru4Kids Autora: Marta Julia López González de Quevedo Tutor: Jesús Iván Maza Alcañiz Dpto. Ingeniería de Sistemas y Automática Escuela Técnica Superior de Ingeniería Universidad de Sevilla Sevilla, 2022 Trabajo Fin de Master: Diseño e implementación de mejoras en el robot educativo para niños Haru4Kids Autora: Marta Julia López González de Quevedo Tutor: Jesús Iván Maza Alcañiz El tribunal nombrado para juzgar el trabajo arriba indicado, compuesto por los siguientes profesores : Presidente: Vocal/es: Secretario: acuerdan otorgarle la calificación de: El Secretario del Tribunal Fecha: Agradecimientos Agradecer en primer lugar a mi familia, por su apoyo incondicional durante todos mis años de estudio. A Noelia por su paciencia infinita, a mis amigos y a todos mis compañeros del máster por el ambiente tan especial que se ha creado este año. Por último agradecer a mi tutor Iván Maza y a todos mis compañeros de 4i, por la oportunidad de realizar este proyecto y sobre todo por ayudarme a compaginar el máster a la vez que continuaba trabajando. Marta Julia López González de Quevedo Sevilla, 2022 I Resumen En el presente Trabajo Fin de Master se realiza un estudio sobre el estado del arte de la robótica social, especialmente la centrada en niños. Se profundiza en el robot educativo Haru, desarrollado por el Honda Research Institute - Japan y en su versión de sobremesa Haru4Kids, desarrollada por 4i Intelligent Insights y diseñado como una plataforma segura para la interacción con niños a largo plazo. Tras analizar los distintos experimentos de cohabitación realizados con Haru4Kids hasta la fecha, se propone una nueva actividad para el robot, con el fin de aumentar la atención e interés de los niños con vistas a futuros experimentos. A continuación, se desarrollan las etapas necesarias para implementar esta nueva actividad en el contenido del robot, realizando ampliaciones tanto en el módulo de diálogo como en la interfaz gráfica. Por último, se exponen las ventajas de esta plataforma como medio para estudiar el comportamiento de los niños durante la interacción con robots y se sugieren futuras líneas de investigación. III 1 Introducción 1.1 Motivación y Contexto La Inteligencia Artificial (IA) y la robótica se encuentran cada vez más presentes en la sociedad, utilizándose en asistentes de voz integrados en los teléfonos móviles o incluso videojuegos que introducen IAs conversacionales. Debido a los recientes avances, el área de la "Interacción Humano-Robot" (Human Robot Interaction (HRI)) se encuentra en alza. Sin embargo, pocos estudios se centran en cómo las generaciones más jóvenes interaccionan con los robots. Con esta motivación el Honda Research Institute de Japón (HRI-JP) en colaboración con el Centro Común de Investigación de la Comisión Europea (Joint Research Center (JRC)) implementan la "Orientación de políticas sobre el uso de la inteligencia artificial en favor de la infancia" desarrollada por UNICEF [ 1 ] con un prototipo de un robot conversacional llamado Haru. Este robot pretende ser socialmente inteligente, pudiendo detectar y procesar emociones y responder a ellas de la manera adecuada para crear una conversación sostenida y aprender con él, además de resultar beneficioso para el bienestar emocional y cognitivo de los niños [2]. Actualmente el proyecto se encuentra en las primeras fases de desarrollo. Para investigar la interacción robot-niño fuera de un ambiente controlado se desarrolla la plataforma Haru4Kids. Se trata de un avatar de Haru mostrado en la pantalla de una tablet, que a su vez se coloca sobre un soporte giratorio. Esta plataforma permite la cohabitación del robot y los niños en un entorno habitual como sus propias casas y utilizando una tecnología con la que se sienten más familiarizados. Por otro lado, la plataforma es utilizada como banco de pruebas para medir el nivel de aceptación de Haru, siendo el principal objetivo conseguir el interés e involucración a largo plazo. En este contexto de avances tecnológicos y mejora de integración de la robótica en la sociedad se propone investigar la solución desarrollada por el HRI-JP con el fin de encontrar e implementar mejoras que aumenten la aceptación e interés de los usuarios. 1 Capítulo 1. Introducción 1.2 Objetivos El objetivo general de este Trabajo Técnico es analizar en profundidad la solución en desarrollo por HRI-JP y Unicef y para estudiar la interacción entre niños y robots. Dentro de dicho objetivo se incluye la ampliación de la solución Haru4Kids, tanto en el módulo de diálogo como en la interfaz gráfica, con contenido educativo que mejore la involucración de los niños en la conversación. Dicho objetivo general requiere el cumplimiento de los siguientes subobjetivos, que se abordan a lo largo del trabajo: 1. Estudiar el propósito y diseño de Haru, así como otras lineas de investigación en robótica para niños. 2. Analizar la plataforma Haru4Kids junto a los distintos módulos que la componen y proponer una ampliación a dicha plataforma. 3. Desarrollar la ampliación propuesta y ponerla en marcha junto al resto de componentes. 4. En base a los resultados obtenidos determinar el grado de aceptación esperado en experimentos futuros. 2 1.3 Introducción a la robótica social 1.3 Introducción a la robótica social En primer lugar definimos robot social como un sistema con sensores y actuadores capaz de percibir e interpretar señales sociales humanas, como la comunicación de una intención, y responder a ellas de manera correcta. Sus aplicaciones son muy variadas, desde asistentes personales, uso en oficina, medicina, atención al público, entretenimiento, cuidado de niños, etc. En dominios como una oficina o una escuela, el robot social puede utilizarse como la parte física que conecta ambas partes en una conferencia remota, lo que se define como telepresencia [3]. Dichos robots sociales pueden tener forma humanoide como NAO [ 4 ] y Pepper [ 5 ] desarrollados por Aldebaran. Con más de 20 grados de libertad que les permiten moverse y reaccionar al entorno con naturalidad y la red de sensores y cámaras que los componen, son una plataforma avanzada para estudiar en profundidad la Interacción Humano-Robot. Figura 1.1 Robot NAO (izq) y Pepper (der) [6]. Son utilizados fundamentalmente en el campo de la educación como dinamizadores del proceso de aprendizaje, motivar al alumnado e introducir la inteligencia artificial en las escuelas. Además son plataformas abiertas y completamente programables, por lo que son utilizadas en universidades para el desarrollo de nuevas aplicaciones. Por otro lado, otras marcas como Nesspreso, Carrefour o Sephora han incorporado a Pepper para saludar a los clientes y llevar a cabo tareas de atención al consumidor. Además, algunos hospitales han incorporado estos robots para guiar y entretener a personas ingresados en estos centros o como apoyo a niños con TEA (Transtorno del Espectro Autista) que se sienten más cómodos con robots que con otras personas. Además de NAO y Pepper existen otras soluciones de robots sociales humanoides como Asimo (Honda), Milo (Robokind) o QTRobot (LuxAI) en un mercado cada vez más amplio. 3 Capítulo 1. Introducción 1.4 Inteligencia Artificial para niños Desde 2020 United Nations International Children’s Emergency Fund (UNICEF) lleva a cabo un proyecto para entender cómo los sistemas de inteligencia artificial pueden proteger y beneficiar a los niños [7]. Los niños ya interaccionan con tecnologías de inteligencia artificial de maneras muy variadas como en juguetes, asistentes virtuales o videojuegos. Hay algoritmos que les sugieren qué vídeo ver el siguiente, qué noticias leer o qué música escuchar. Sin embargo no se ha estudiado con anterioridad cómo los sistemas de IA afectan a los niños y a sus derechos, especialmente cuando son el grupo de población menos capacitada para entender las implicaciones de estas tecnologías. Las referencias a niños en las principales estrategias a nivel global sobre IA solo son superficiales, en el contexto de prepararlos para trabajar en una economía centrada en la inteligencia artificial. Sin embargo, conforme las generaciones más jóvenes utilizan cada vez más estos sistemas en situaciones cotidianas, aumenta la falta de atención a las oportunidades y riesgos que los sistemas de IA suponen para ellos [8]. Como parte de este proyecto UNICEF, ha desarrollado una orientación de políticas sobre el uso de la inteligencia artificial en favor de la infancia, que exploran los sistemas de IA y consideran el impacto que tienen sobre los niños. Basándose en la Convención sobre los Derechos del Niño, la guía ofrece nueve requisitos para una inteligencia artificial centrada en los niños [1]: 1. Apoyar el desarrollo y bienestar de los niños. 2. Garantizar la inclusión de y para los niños. 3. Dar prioridad a la equidad y a la no discriminación de los niños. 4. Proteger los datos y la privacidad de los niños. 5. Garantizar la seguridad de los niños. 6. Proporcionar transparencia, capacidad de explicación y responsabilidad para los niños. 7. Dar a los gobiernos y a las empresas conocimientos sobre la IA y los derechos de los niños. 8. Preparar a los niños para los desarrollos presentes y futuros de la IA. 9. Crear un entorno propicio. Para poner en marcha esta orientación de directrices se ha colaborado con gobiernos y empresas para realizar pruebas piloto. Uno de los casos de estudio elegidos para mostrar el correcto uso de la inteligencia artificial con niños es el robot Haru desarrollado en colaboración del Honda Research Institute con el Joint Research Center. 4 1.5 Conoce a Haru 1.5 Conoce a Haru El robot social Haru creado por el Honda Research Institute se introdujo en 2018 como una plataforma para investigar la interacción humano-robot a largo plazo desde un punto de vista emocional y empático. Desarrollado como un agente comunicativo multimodal, Haru interacciona a través de paralenguaje (sonidos no verbales), lenguaje (voz) y movimientos de ojos, cara y cuerpo. No se trata de un robot humanoide, sino que está inspirado en personajes carismáticos de películas de animación, con el objetivo de ser capaz de conectar con las personas. Su diseño está basado en ser capaz de interpretar las emociones humanas de un modo único, combinando los ojos, la boca y los 5 grados de libertad de movimiento corporal para representar emociones fáciles de identificar y con las que se puede empatizar [9]. Figura 1.2 Diferentes emociones en Haru [10]. Unos de los campos en los que se investiga el uso de este robot es en de la telepresencia, como mediador en una conversación a través de una pantalla. Por un lado añade diversión y claridad sobre las emociones que se quieren transmitir en la distancia. Por otro, las capacidades de Haru para interpretar las emociones pueden servir para alinear las intenciones entre emisor y receptor. Por ejemplo, puede ser usado para mediar una conversación entre niños en un contexto multicultural, enseñando emociones culturalmente apropiadas sin necesidad de un sujeto controlador. Más allá de la telepresencia otro de los objetivos a desarollar es la utilización de Haru como agente comunicativo con una personalidad única. En este caso el robot actúa como un compañero conversacional con mayor libertad de comunicación que la modalidad de telepresencia. La meta final es que el usuario no solo entienda la información transmitida por el robot sino que pueda influir con su estado de ánimo actual para lograr una relación empática entre Haru y la persona. Se ven tres pilares fundamentales en la investigación con Haru: entretenimiento y juego, enriquecimiento de las relaciones sociales y bienestar mental. El entretenimiento se consigue a través de historias interactivas, humor y juegos colaborativos, entre otras actividades. El enriquecimiento de las relaciones sociales se pretende construir con el uso de Haru en telepresencia. Por último, para el bienestar mental se exploran las capacidades de expresar emociones y afecto de Haru [9]. Actualmente es capaz de jugar a piedra, papel, tijera y jugar a la torre de Hanoi, así como crear historias de manera colaborativa. 5 Capítulo 1. Introducción Siendo uno de los casos de estudio del proyecto de UNICEF, Haru se centra en tres de los requisitos de la orientación de políticas sobre el uso de la inteligencia artificial en favor de la infancia: dar prioridad a la equidad y a la no discriminación, proporcionar transparencia, capacidad de explicación y responsabilidad y garantizar la seguridad. Para medir la comprensión de los niños de las nociones de equidad y la no discriminación se llevaron a cabo una serie de estudios que implicaban 20 alumnos de una escuela en Tokyo (Japón) y otros 24 en Bunabumali (Uganda). Los estudios se basaron en técnicas de narración de historias enfatizando la participación activa de los niños a través de la interacción con Haru. Con este enfoque se les preguntó a los niños qué veían como "equidad" en su día a día, además de utilizar historias locales y conocidas para vislumbrar posibles diferencias entre los dos grupos geográficos. Por otro lado, con el fin de construir sistemas de inteligencia artificial más fiables y transparentes, el equipo quería explicar los procesos de Haru de una manera que los menores pudieran entender. Para ello se desarrolló el anteriormente mencionado juego de la torre de Hanoi, donde los usuarios tienen que organizar una torre de anillos en función de sus tamaños. A partir de los movimiento de estos, Haru sugiere una respuesta que ayuda a comprender el juego además de dar una explicación del algoritmo. Este método fue puesto en práctica con los niños de la escuela de Tokyo, donde se demostró que no solo mejoraron sus habilidades en el juego sino que además mejoraron su conocimiento sobre el comportamiento y funciones de Haru. Por último, para garantizar la seguridad de los menores, expertos pedagógicos e ingenieros estuvieron presentes durante el transcurso de las pruebas del prototipo. El propio Haru fue diseñado par asegurar que la interacción con las personas se hiciera de manera segura. Para el caso en el que se deseara probar el robot a mayor largo plazo, dado que el robot físico se encuentra en la fase de prototipo, se decidió reemplazarlo por un robot de sobremesa. Dicho robot al que se le denomina Haru4Kids ("Haru para niños") tiene la misma funcionalidad, pero al estar basado en una pantalla se considera más seguro para ser utilizado de manera no supervisada en un entorno familiar. En el siguiente capítulo se describirán en profundidad los módulos que componen Haru4Kids, ya que será en esta plataforma en la que más adelante se desarrollará la ampliación propuesta. 6 2 Descripción de la implementación En este capítulo se describen los componentes de la plataforma Haru4Kids, desarrollada por la empresa 4i Intelligent Insights en colaboración con el HRI. Dichos componentes se separan en dos módulos principales: interfaz gráfica y sistema de diálogo. Además se revisarán los resultados de los experimentos de cohabitación hechos hasta el momento, para identificar y poner en marcha una mejora de la plataforma. 2.1 Interfaz gráfica Físicamente, Haru4Kids está formado por un avatar de Haru mostrado sobre la pantalla de una tablet (iPad) y colocado sobre un soporte giratorio (Kubi). El avatar, diseñado en Unity3D [ 11 ] se integra en la aplicación homónima Haru4Kids desarrollada en el lenguaje de programación Swift [ 12 ] exclusivamente para el sistema operativo iOS [ 13 ]. La Figura 2.1 muestra el aspecto físico de la plataforma. Figura 2.1 Diseño de Haru4Kids. 7 Capítulo 2. Descripción de la implementación Vista desde un nivel de abstracción alto, la interfaz gráfica puede dividirse en 7 módulos que se representan en la Figura 2.2: ASR, Detección facial, TTS, Kubi, Interfaz de Usuario, Cloudwatch y el controlador central que a su vez se comunica con el sistema de diálogo. Figura 2.2 Componentes Haru4Kids. • Automatic Speech Recognition (ASR) (Reconocimiento automático de voz): es el encargado de procesar la entrada de voz del usuario y transformarlo a texto reconocible por el sistema de diálogo. El modelo utilizado es el desarrollado por Apple [14] para sus asistentes virtuales. • Detección facial: es el responsable de procesar las imágenes tomadas a tiempo real. Se divide a su vez en dos componentes. – Detección de características faciales: se encarga de extraer información del ángulo de la cara, así como expresiones faciales, estimación de la edad, color de pelo, etc. – Seguimiento de personas: localiza la posición del usuario para poder orientar el soporte hacia él en todo momento. Se encuentra en desarrollo un sistema de reconocimiento facial con memoria a largo plazo, que utilizando modelos de Machine Learning preentrenados sea capaz de reconocer a los usuarios a partir de sus características faciales. • Text To Speech (TTS) (Texto a Voz): recibe como entrada el texto generado por el sistema de diálogo que corresponda a la siguiente interacción del robot y genera el audio correspondiente con la voz de Haru. Se encuentra integrado con el modelo desarrollado por Apple [15]. • Kubi[ 16 ]: se trata del soporte del iPad con movimiento motorizado en 2 grados de libertad. Utiliza los datos obtenidos por el módulo de detección facial para orientar la tablet hacia el usuario. Utiliza conexión Bluetooth para comunicarse con el Controlador Central. 8 2.1 Interfaz gráfica • Interfaz de Usuario: contiene la representación gráfica de Haru junto con las vistas de la aplicación. Al igual que el robot físico, es capaz de mostrar emociones como felicidad o tristeza utilizando los ojos y la boca para ello. • Cloudwatch [ 17 ]: servicio en la nube ofrecido por Amazon AWS [ 18 ] para almacenar los logs y registros que se dan durante la utilización del robot. No se almacena en la nube la información personal (imágenes, audios) para respetar en todo momento la privacidad de los niños y sus familias. Esta herramienta tiene la capacidad de generar gráficas personalizadas en función de los logs almacenados. De esta manera se generan dashboards con las gráficas más significativas que se actualizan en tiempo real (Figura 2.3). Esta herramienta tiene gran valor a la hora de realizar experimentos de cohabitación, pudiendo seguir su desarrollo mientras estos tienen lugar. Figura 2.3 Dashboard en AWS Cloudwatch. • Controlador Central: módulo central que coordina todos los otros módulos. Se encarga del manejo de las diferentes vistas de la interfaz, el envío de datos a Cloudwatch, realiza la conexión entre el sistema de diálogo y la aplicación, etc. 9 Capítulo 2. Descripción de la implementación 2.4 Experimentos de cohabitación Hasta la fecha se han realizado dos experimentos de cohabitación, de dos semanas de duración cada uno, con varias familias, donde los niños tenían la libertad de interactuar con Haru4Kids en la comodidad de sus casas. El primer experimento se realizó en el verano de 2021 con la participación de 5 familias y el segundo experimento en el verano de 2022, esta vez con 7 familias. El primer experimento se realizó con el objetivo de probar la capacidad del robot para funcionar en el mundo real, además de obtener las primeras impresiones de los niños. En esta primera iteración de experimentos solo estaban disponibles como actividades las historias y el juego de los detectives. El principal resultado que se obtuvo fue observar como el interés de los niños disminuyó sustancialmente conforme transcurrían los días del experimento, tal y como se observa en la Figura 2.8. Figura 2.8 Uso de Haru4Kids en el primer experimento de cohabitación [23]. Para el experimento del siguiente año, se añadió más variedad de contenido y actividades con la finalidad de hacerlo más entretenido para los niños. En la Figura 2.9 se muestra el tiempo de uso acumulado del robot para todas las familias a lo largo de todo el experimento. A partir del día 10 solo una familia continuó utilizando Haru4Kids. El resultado es similar al que se observa en la Figura 2.8, el tiempo de uso decrece conforme pasan los días del experimento ya que el efecto de la novedad se acaba. Durante el transcurso del experimento la aplicación recopiló imágenes y audios de los niños, siempre con el permiso expreso de los padres y con la posibilidad de desactivar esta función. Las imágenes obtenidas fueron analizadas para anotar el nivel de atención del usuario en cada momento. La escala de atención se estableció en cuatro niveles, siendo 1 muy poco atento y 4 muy atento. El conjunto total de imágenes se dividió en dos grupos a los cuales se les asignaron tres anotadores. Tras el proceso de anotación, la correlación entre los niveles de atención marcados por los anotadores en el mismo grupo de imágenes es baja. Esta medida hace que los resultados obtenidos en la anotación no sean una medida exacta del nivel de atención de los usuarios [23]. 16 2.4 Experimentos de cohabitación Figura 2.9 Uso de Haru4Kids en el segundo experimento de cohabitación [23]. Respecto al uso de las distintas actividades, la Figura 2.10 muestra el porcentaje del tiempo total de uso que cada familia pasó utilizando cada actividad. Los nombres de las actividades, descritas en el anterior apartado, están en su versión inglesa, siendo "WouldYouRather" la actividad "¿Qué prefieres?", "Detective" corresponde a "Palabras Intrusas", "GusanoLoco" es independiente del idioma, "Joke" son "Chistes" y "Story" - "Historias". La actividad del "Juego de las 20 preguntas" no estaba disponible durante el transcurso del experimento. Teniendo en cuenta que la duración de cada tipo de actividad es variable (la duración promedio de los chistes es de 51 segundos, mientras que la de los "Gusanos Locos" es 2 minutos y algunas historias superan los 5 minutos), es especialmente notable el tiempo transcurrido en los chistes, especialmente para las familias F01 y F06. También se puede concluir que la actividad "¿Qué prefieres?" es la menos atractiva para los niños. Figura 2.10 Porcentaje del tiempo de uso por actividad y familia [23]. 17 Capítulo 2. Descripción de la implementación Por otro lado, la Figura 2.11 muestra el número total de actividades realizadas, diferenciando entre las que fueron sugeridas por Haru (Haru-Driven) o propuestas por el usuario (User-Driven). Las actividades menos usadas, "¿Qué prefieres?" y "Juego de los detectives", son las únicas con más juegos propuestos por Haru que solicitados por los usuarios. Por el contrario, el 76% de las ocasiones que se empezó la actividad "Chistes" fue por petición de los niños, indicando que su nivel de aceptación es más alto. Figura 2.11 Actividades sugeridas por Haru y propuestas por los usuarios [23]. Además, tal y como se mencionó en secciones anteriores, el sistema de diálogo de Haru4Kids es de iniciativa mixta. Las interacciones siempre comienzan desde la parte del robot con smalltalk y sugerencias de actividades. A medida que transcurre la conversación el usuario puede tomar el control y elegir una actividad en particular. La Figura 2.12 muestra la evolución del porcentaje de actividades propuestas por los usuarios (User-Driven) en el transcurso del experimento. Para suavizar el impacto de los días con menor uso el gráfico muestra la media móvil con una ventana de 3 días, así como la linea de tendencia de los datos. Este gráfico indica que los usuarios aprenden a tomar el control sobre la conversación y pedirle al robot que tipo de actividad quieren hacer en el momento. Por último, los otros eventos accesibles al usuario "Ayuda" y "Repite" solo fueron utilizados en todo el experimento 3 veces el primero y 5 veces el segundo. Esta escasa utilización quizás pueda deberse al desconocimiento por parte de los usuarios de estas mecánicas o a la necesidad de desarrollarlo más en el sistema de diálogo. 18 2.4 Experimentos de cohabitación Figura 2.12 Evolución actividades propuestas por los usuarios [24]. 19 Capítulo 2. Descripción de la implementación 2.5 Propuesta de ampliación A partir de los resultados de los experimentos realizados, se puede concluir que Haru4Kids cumple su función como herramienta para monitorizar el desarrollo de la relación entre niños y robots tras interaccionar en el día a día. Sin embargo, el bajo tiempo de uso y la disminución del interés conforme pasan los días del experimento pueden deberse a la falta de contenido que les resulte interesante en el largo plazo. Hoy en día, niños cada vez menores pasan más tiempo en plataformas como YouTube o redes sociales, que ponen a su disposición contenido personalizado y atrayente. Las actividades preferidas por los usuarios han sido los chistes, interacciones cortas y divertidas; y las historias, más largas pero con un alto componente visual. Por esta razón se quiere añadir nuevo contenido más diverso, que incluya mayor interacción entre el robot y el usuario y con componentes más visuales que requieran prestar atención a la pantalla. La opción propuesta es una versión similar al juego del "rosco" del programa de televisión Pasapalabra [ 25 ] donde el jugador tiene que adivinar una palabra que empieza o contiene cada una de las letras del alfabeto. En el siguiente capítulo se describirá cómo se ha integrado la nueva actividad en la plataforma, tanto la parte del sistema de diálogo como de la interfaz gráfica. Además se explicarán otras mejoras incluidas para hacer de Haru4Kids un sistema más completo. 20 3 Solución Desarrollada En este capítulo se detalla la implementación de la nueva actividad llamada "Juego del alfabeto". En primer lugar se definen las especificaciones y requerimientos y, a continuación, se desarrollan en profundidad los cambios realizados tanto en el módulo de diálogo como en la interfaz gráfica. 3.1 Especificaciones de la actividad Antes de comenzar a desarrollar la nueva actividad, el primer paso es definir los requisitos que se quieren incluir, así como el funcionamiento del juego y los recursos necesarios. 3.1.1 Reglas del juego Las reglas son similares a las del programa televisivo. • Se muestran las letras de la A a la Z en pantalla. Para cada una de ellas, Haru hace una pregunta sobre una palabra que empiece o contenga dicha letra. •Si el usuario responde correctamente, se da la enhorabuena y se pasa a la siguiente palabra. •Si el usuario se equivoca se da la respuesta correcta y se pasa a la siguiente palabra. •Si el usuario se queda en silencio o dice "pasa" se pasa a la siguiente palabra. • Si el usuario pide ayuda o una pista, se le dará información adicional sobre la pregunta realizada. • El orden de las preguntas es de la A hacia la Z. En caso de llegar a la Z y tener letras restantes sin responder se comenzará una nueva vuelta. • El juego termina cuando todas las letras han sido respondidas o se han realizado 3 vueltas completas. 21 Capítulo 3. Solución Desarrollada 3.1.2 Recursos gráficos La idea inicial es mantener una estética similar a la del programa en el que se inspira, para que sea fácilmente reconocible y atractivo para los niños; pero respetando la propiedad intelectual del juego original. Cada una de las letras se coloca dentro de un círculo que puede tomar varios colores en función de su estado: azul significa sin responder; amarillo para la letra en curso; rojo para las preguntas que se han respondido mal y verde para las letras que se han respondido correctamente. Además se coloca un contador con el número de respuestas correctas. Por último, para llevar control de los resultados en diferentes sesiones, se propone mostrar un cuadro al final del juego con las mejores puntuaciones obtenidas. 3.1.3 Recursos de diálogo Para cada una de las letras que componen el juego es necesario definir: •Pregunta a realizar. •Posibles respuestas correctas. •Respuesta de Haru ante una respuesta correcta. •Respuesta de Haru ante una respuesta incorrecta. •Respuesta de Haru ante la opción de "pasar". •Pistas para el caso de que el usuario pida ayuda. Además como interacciones adicionales se añaden instrucciones del juego que se dan la primera vez que se comienza la actividad en una sesión e interacciones cada vez que el usuario comienza una nueva ronda. Para la última ronda, el mensaje es diferente para indicar que el juego está cerca de terminar. 22 3.2 Sistema de diálogo 3.2 Sistema de diálogo El desarrollo del sistema de diálogo se divide en las 7 etapas que se muestran en el esquema de la Figura 3.1, posicionadas según el orden en el que fue necesaria su realización. Dado que todo el funcionamiento de Haru4Kids está basado en la capacidad de diálogo, es necesario completar estos puntos antes de implementar la interfaz gráfica. Figura 3.1 Etapas para el desarrollo del sistema de diálogo. 3.2.1 Definir plantillas En primer lugar es necesario definir las plantillas a partir de las cuales generar ejemplos de preguntas para la actividad. Estas deben contener todos los campos necesarios para satisfacer los requisitos establecidos. Están escritas en formato JSON y contienen las frases de entrenamiento para detectar las intenciones del usuario. Para crear desde cero una actividad hacen falta dos tipos de plantillas diferentes, una para el juego al completo y otra para cada una de las letras que lo componen. Plantilla para el juego En ella se definen 11 campos de información que se muestran en la Figura 3.2. El campo id contiene un identificador único que representa a cada una de las actividades del robot, hay uno por cada JSON de actividad existente. El campo type (tipo) hace referencia al tipo de actividad a la que se refiere, en este caso la "actividad juego del alfabeto". callback direciona a otro archivo que activa una variable cuando se ha iniciado el juego del alfabeto al menos una vez en la 23 Capítulo 3. Solución Desarrollada sesión. grade_min ygrade_max hacen referencia a los cursos mínimo y máximo respectivamente a los que está dedicado esta actividad. Los campos introduction,next_round_introduction,final_round_introduction ygame_closure indican los ids de los mensajes con la introducción al juego, introducción a las siguientes rondas y el de finalización de la actividad. La variable number_of_rounds configura el número máximo de rondas que se dará en el juego. Por último, en questions se añaden las letras que conformarán el juego. Si existe más de un ejemplo de pregunta para una letra se añade a alternatives y al lanzar el juego se realiza una selección aleatoria entre todas las disponibles. De esta manera, la posibilidad de que dos juegos sean iguales se reduce. Figura 3.2 JSON utilizado como plantilla para el juego. Plantilla para las letras La plantilla para cada una de las letras está compuesta de 6 campos, tal y como indica la Figura 3.3. El campo id es el identificador único con el que se hace referencia a cada letra en el JSON del juego. El campo type (tipo) tiene dos valores posibles: "question_answer_response" para aquellas interacciones de Haru que esperan respuesta del usuario o "message" para las que no esperan respuesta. Para el tipo de actividad deseada se elige la primera opción. 24 3.2 Sistema de diálogo El campo language indica el idioma en el que se está rellenando la plantilla, ya que actualmente "Haru4Kids" está disponible en inglés y en español. En questions se encuentra la pregunta que debe hacer Haru sobre esa letra (prompt); el número de veces que se permite una respuesta fuera de las esperadas (max_not_understood) y la respuesta de Haru en ese caso (on_not_understood); similar a lo anterior pero tras recibir silencio por parte del usuario (max_no_input yon_no_input) y la respuesta de Haru si el usuario pide ayuda, en este caso, una pista (on_help). En answers se escriben las frases de entrenamiento para reconocer los cuatro intents (o intenciones) posibles. La intención "#help" se denomina ayuda contextual y es una mejora introducida en el sistema de diálogo completo, no solo en esta actividad. Consiste en activar el evento de ayuda a partir de frases que tengan sentido en la actividad que se esté llevando a acabo. Para el juego del alfabeto, el usuario puede activarlo con frases como "dame una pista" o "esta pregunta es muy difícil", contextualmente más apropiadas que "ayuda". Por último, en responses se incluyen las respuestas de Haru antes los posibles intents detectados. Figura 3.3 JSON utilizado como plantilla para las letras. 25 Capítulo 3. Solución Desarrollada 3.3.4 Incluir tabla de marcadores La última fase del desarrollo de la interfaz es la tabla de marcadores. Se trata de una lista que se muestra al terminar el juego con los mejores resultados obtenidos por los usuarios. La interfaz resultante se muestra en la Figura 3.9 e incluye las 5 mejores puntuaciones junto a la puntuación actual. Figura 3.9 Incluir tabla de marcadores. La tabla de marcadores es añadida para introducir la técnica de gamificación, es decir, utilizar elementos comunes de juegos en otros entornos como la educación. Componentes como este generan una experiencia positiva en los niños, facilitando la interiorización de los conocimientos y aumentando su motivación [26]. Para su implementación se hace uso de la base de datos UserDefaults [ 27 ] disponible para todas las aplicaciones desarrolladas en Swift. Esta base de datos es persistente entre sesiones por lo que registrará los resultados del juego durante toda la vida útil de la aplicación. Actualmente se encuentra en proceso de desarrollo un sistema de reconocimiento facial, capaz de asociar una cara específica a un vector de características único. Este sistema junto a una memoria capaz de asociar datos como el nombre o la edad a la cara detectada, permitirá conocer qué persona 32 3.3 Interfaz gráfica está utilizando la actividad a la hora de rellenar el campo de la tabla de marcadores. 33 4 Conclusiones y desarrollo futuro Tras llevar a cabo el estudio sobre robótica social, profundizando en el robot Haru y especialmente en Haru4Kids y tras la implementación de la actividad "juego del alfabeto", se establecen las conclusiones que se detallan a continuación, así como posibles líneas de desarrollo para futuros experimentos. • Importancia del estudio de la robótica social en niños: La robótica y otros dispositivos basados en inteligencia artificial están cada vez más presentes en la vida de los más jóvenes y tienen un gran impacto en numerosos ámbitos de sus vidas como la educación o el entretenimiento. Es necesario que estas interacciones entre menor y robot se hagan asegurando su seguridad, protegiendo su privacidad y apoyando su desarrollo y bienestar, además de prepararlos para relacionarse con IAs que se irán desarrollando en el futuro. • Haru como robot social: Los experimentos realizados, tanto con la versión física del robot como con el avatar de sobremesa, demuestran que los niños están interesados en Haru como comunicador. Las actividades de telepresencia entre alumnos de dos países de culturas muy diferentes, utilizando a Haru como intermediario, ayudan a comprender las nociones de equidad y no discriminación. • Haru4Kids como plataforma para experimentación: Debido a estar en las primera fases de desarrollo, la versión física de Haru no está preparada para ser utilizada fuera de un entorno controlado. En este contexto la plataforma Haru4Kids ha demostrado ser una herramienta eficaz para monitorizar en tiempo real el comportamiento de los niños mientras interaccionan con un robot. Su capacidad de logado en la nube hace que sea posible detectar los perfiles de uso de los niños conforme transcurren los experimentos de cohabitación o solucionar posibles errores que pudieran aparecer en el largo plazo. Por otro lado, la recopilación de imágenes y audios, siempre bajo el permiso expreso de los padres, permiten analizar las emociones y el interés mostrado a lo largo del tiempo. • Juego del alfabeto como nueva actividad: Los resultados de los experimentos de cohabitación indican que los niños tienen preferencia sobre las actividades dinámicas y visuales. La nueva actividad, además de incluir la interfaz visual que la hace más atractiva, es más interactiva que las antiguas e incluye un mayor número de animaciones y expresiones de Haru con las que los humanos podemos empatizar. 35 Capítulo 4. Conclusiones y desarrollo futuro Por otro lado, el contenido de la actividad está adaptado a la edad de los usuarios, incluyendo preguntas sobre el contenido de sus estudios, para poder utilizarse como medio de aprendizaje. Por último, las pistas o ayudas contextuales se han implementado de forma que puedan ser utilizadas en el resto de actividades, dándole una nueva funcionalidad al evento "ayuda". • Propuestas de desarrollo futuro: Con vistas a futuros experimentos con Haru4Kids, un posible avance sería incluir actividades más diversas, que aprovechen las propiedades del iPad como el uso de la pantalla táctil. Incluir sistemas de reconocimiento facial o una memoria capaz de recordar al usuario y detalles sobre él (edad, gustos, preferencias de actividades, etc.) puede ser una mejora significativa desde el punto de vista de usabilidad. Por otra parte, dado que ha demostrado ser una plataforma útil para la cohabitación en hogares, sería interesante realizar experimentos de mayor duración para eliminar el factor novedad e investigar cómo interaccionan los niños con el robot cuando lo consideran una parte de su día a día. Para finalizar, es necesario tener en cuenta que a día de hoy las opciones de entretenimiento para los más pequeños son tan variadas que es imposible competir con ellas a nivel de contenido. La línea de desarrollo futura de Haru debe estar orientada a ser un compañero con el que aprender y realizar actividades diferentes a las que están acostumbrados. 36 Índice de Figuras 1.1 Robot NAO (izq) y Pepper (der) [6] 3 1.2 Diferentes emociones en Haru [10] 5 2.1 Diseño de Haru4Kids 7 2.2 Componentes Haru4Kids 8 2.3 Dashboard en AWS Cloudwatch 9 2.4 Componentes sistema de diálogo 10 2.5 Haru contando la historia de David y Goliat 12 2.6 Haru dormido 14 2.7 Flujo de actividad de Haru4Kids 14 2.8 Uso de Haru4Kids en el primer experimento de cohabitación [23] 16 2.9 Uso de Haru4Kids en el segundo experimento de cohabitación [23] 17 2.10 Porcentaje del tiempo de uso por actividad y familia [23] 17 2.11 Actividades sugeridas por Haru y propuestas por los usuarios [23] 18 2.12 Evolución actividades propuestas por los usuarios [24] 19 3.1 Etapas para el desarrollo del sistema de diálogo 23 3.2 JSON utilizado como plantilla para el juego 24 3.3 JSON utilizado como plantilla para las letras 25 3.4 Lógica de la actividad 27 3.5 Etapas para el desarrollo de la interfaz gráfica 29 3.6 Propuesta para la parte visual de la actividad 29 3.7 Propuesta elegida para la parte visual de la actividad 30 3.8 Interfaz de la actividad añadiendo el contador 31 3.9 Incluir tabla de marcadores 32 37 Bibliografía [1] UNICEF, “Orientación de políticas sobre el uso de la inteligencia artificial en favor de la infancia.” [Online]. Available: https://www.unicef.org/globalinsight/media/2636/file/ UNICEF-Global-Insight-policy-guidance-AI-children-2.0-2021_ES.pdf [2] R. Gomez and V. Charisi, “Haru robot, case study.” [Online]. Available: https: //www.unicef.org/globalinsight/media/2206/file [3] S. B. Daily, M. T. James, D. Cherry, J. J. Porter, S. S. Darnell, J. Isaac, and T. Roy, “Affective computing: Historical foundations, current applications, and future trends,” Emotions and Affect in Human Factors and Human-Computer Interaction, pp. 213–231, 1 2017. [4] Aldebaran, “Nao the humanoid and programmable robot | softbank robotics.” [Online]. Available: https://www.aldebaran.com/en/nao [5] ——, “Pepper the humanoid and programmable robot | softbank robotics.” [Online]. Available: https://www.aldebaran.com/en/pepper [6] A. Robotics, “Alisys robotics - potencialidades de uso de pepper y nao.” [Online]. Available: https://alisysrobotics.com//es/blog/potencialidades-de-uso-de-pepper-y-nao [7] UNICEF, “Ai for children | unicef office of global insight & policy.” [Online]. Available: https://www.unicef.org/globalinsight/featured-projects/ai-children [8] M. Penagos, “What do national ai strategies say about children? | unicef office of global insight & policy.” [Online]. Available: https://www.unicef.org/globalinsight/stories/what-donational-ai-strategies-say-about-children [9] R. Gomez, “Meet haru, the unassuming big-eyed robot helping researchers study social robotics - ieee spectrum.” [Online]. Available: https://spectrum.ieee.org/honda-researchinstitute-haru-social-robot [10] R. Gomez, D. Szapiro, K. Galindo, and K. Nakamura, “Haru: Hardware design of an experimental tabletop robot assistant,” in ACM/IEEE International Conference on HumanRobot Interaction, 2018. [Online]. Available: https://ieeexplore.ieee.org/document/9473719 [11] Unity, “Unity real-time development platform.” [Online]. Available: https://unity.com/ 39 40 Bibliografía [12] M. Schaller et al., “SWIFT: SPH With Inter-dependent Fine-grained Tasking,” Astrophysics Source Code Library, p. ascl:1805.020, May 2018. [13] Apple Inc., “ios 14.” [Online]. Available: https://www.apple.com [14] Apple, “Speech | apple developer documentation.” [Online]. Available: https://developer. apple.com/documentation/speech [15] ——, “Av speech utterance | apple developer documentation.” [Online]. Available: https://developer.apple.com/documentation/avfaudio/avspeechutterance [16] Xandex, “Kubi telepresence robot | welcome.” [Online]. Available: https://www.kubiconnect. com/ [17] Amazon, “Aws | cloud computing - servicios de informática en la nube.” [Online]. Available: https://aws.amazon.com/es/ [18] ——, “Aws | cloud computing - servicios de informática en la nube.” [Online]. Available: https://aws.amazon.com/es/ [19] G. Cloud, “Dialogflow.” [Online]. Available: https://cloud.google.com/dialogflow [20] Google, “Google cloudn platform.” [Online]. Available: https://cloud.google.com/ [21] D. Flanagan, JavaScript: the definitive guide. " O’Reilly Media, Inc.", 2006. [22] T. Bray, “The javascript object notation (json) data interchange format,” 2014. [23] G. A. García, G. Pérez, L. Levinson, J. G. Amores, G. Alvarez-Benito, M. Castro-Malet, M. Castaño-Ocaña, and M. J. L.-G. de Quevedo, “Living with haru4kids: Study on children’s activity and engagement in a family-robot cohabitation scenario,” in IEEE International Conference on Robotics and Automation (ICRA) [Manuscript submitted for publication]. [24] G. Pérez, G. A. García, M. Castro-Malet, M. Castaño-Ocaña, M. J. L.-G. de Quevedo, and R. Durán-Viñuelas, “Child-robot conversation in the wild wild home: A language processing user study,” in ACM/IEEE International Conference on Human-Robot Interaction (HRI) [Manuscript submitted for publication]. [25] Antena3, “Pasapalabra | web oficial antena 3 programas.” [Online]. Available: https: //www.antena3.com/programas/pasapalabra/ [26] S. S. E. Center, “5 benefits of gamification.” [Online]. Available: https://ssec.si.edu/ stemvisions-blog/5-benefits-gamification [27] Apple, “Userdefaults | apple developer documentation.” [Online]. Available: https: //developer.apple.com/documentation/foundation/userdefaults