ImAc: Soluciones de Accesibilidad para Medios Inmersivos

ImAc: Soluciones de Accesibilidad para Medios Inmersivos Mario Montagud, Isaac Fraile, Einar Meyerson, Sergi Fernández Media & Internet Area Fundación i2CAT C\ Gran Capità 2-4 Edifici Nexus I, Barcelona (Spain) {mario.montagud, isaac.fraile, einar.meyerson, sergi.fernandez}@i2cat.net ResumenLa accesibilidad es un requisito fundamental para cualquier servicio (multimedia). Este artículo presenta las contribuciones del proyecto europeo ImAc, que explora cómo integrar eficientemente servicios de accesibilidad y tecnologías asistivas en el ámbito de los medios inmersivos, centrándose principalmente en vídeo 360º y audio espacial. En primer lugar, se describe la metodología centrada en usuario adoptada en el proyecto, formado por un consorcio inter-disciplinar. En segundo lugar, se presenta la plataforma extremo-a-extremo siendo desarrollada en el proyecto, manteniendo la compatibiliad con las plataformas e infraestructuras broadcast actuales, así como con las tecnologías y estándares existentes. En particular, se está desarrollando la tecnología necesaria para aumentar los servicios broadcast tradicionales con contenidos inmersivos accesibles proporcionados via broadband. El artículo concluye con una breve descripción de los pilotos planificados, así como de los escenarios y evaluaciones consideradas. Palabras ClaveAccesiblidad, Audio Espacial, Realidad Virtual, Subtítulos, Vídeo 360º I. INTRODUCCIÓN En los últimos años se está investigando mucho en el ámbito del consumo de vídeo online y/o contenidos TV. Como prueba de evidencia, algunos trabajos recientes han tratado de integrar servicios de accesibilidad (ej. [1]), escenarios multipantalla (ej. [2]) y contenidos inmersivos (ej. [3]) en servicios TV interactivos. Todas estas contribuciones responden a necesidades y demandas, y aportan un indudable valor añadido a la experiencia de consumo de contenidos. Sin embargo, todavía no se han considerado de manera conjunta. Como respuesta a ello, el proyecto europeo H2020 ImAc (Immersive Accessibility, www.imac-project.eu) trata de explorar cómo los servicios de accesibilidad se pueden integrar de manera eficiente en el ámbito de los medios inmersivos, garantizando compatibilidad con las tecnologías, formatos y recursos existentes. En cuanto a servicios de accesibilidad, ImAc considera subtítulos (incluyendo audio subtítulos y subtítulos de lectura fácil), audio descripción y lengua de signos. En cuanto a medios inmersivos, ImAc considera vídeo 360º y audio espacial. Asimismo, ImAc también considera tecnologías y funcionalidades asistivas, talescomo interacción por voz, zoom, mecanismos de guiado y ayuda, etc. Con tal de conseguir los objetivos planteados, se deben aportar soluciones reales, resultados experimentales y recomendaciones en este ámbito, dando respuesta a una serie de necesidades y desafíos de investigación, de entre los que se pueden destacar los siguientes: x¿Cuáles son los requisitos para posibilitar servicios inmersivos que sean realmente inclusivos y accesibles? ¿Cómo determinarlos de manera precisa? x¿Cómo se pueden extender las tecnologías y sistemas (inmersivas/os) actuales para soportar e integrar de manera eficiente servicios de accesibilidad? x¿Cómo se pueden extender las plataformas e infraestructuras broadcast para integrar de manera eficiente contenidos broadband inmersivos y accesibles? x¿Qué tipo de tecnologías asistivas pueden aportar en mayor medida y son susceptibles de ser adoptadas? x¿Qué modos y formatos de presentación de contenidos son más viables y adecuados? x¿Qué mecanismos y opciones de personalización deberían proporcionarse con tal de ajustarse a las necesidades y/o preferencias específicas de los usuarios? x¿Qué escenarios y casos de uso se verían beneficiados en mayor medida por las contribuciones del proyecto? En especial, también se pueden destacar multitud de retos y objetivos de investigación en cuanto al consumo interactivo de contenidos se refiere: xLos formatos para los contenidos audiovisuales tradicionales están bien definidos y especificados en estándares. Sin embargo, los formatos inmersivos se encuentran todavía en fase de especificación y evolución. xLos formatos y contenidos inmersivos son más restrictivos en cuanto a consumo de recursos (ej. procesado, ancho de banda…) y presentación adaptativa de los mismos. xEn los contenidos tradicionales, el campo de visión viene determinado en producción. Sin embargo, en los medios inmersivos, los usuarios disponen de libertad de exploración alrededor del área 360º, por lo que los usuarios podrían perderse escenas importantes fuera de su campo de visión actual. xLos contenidos gráficos tradicionales suelen tener un formato plano con un área de visionado delimitada. Sin 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' Actas de las XIV Jornadas de Ingeniería Telemática (JITEL 2019), Zaragoza (España), 22-24 de octubre de 2019. ISBN: 978-84-09-21112-8 Montagud, Fraile, Meyerson y Fernández, JITEL 2019. embargo, los contenidos inmersivos suelen tener formato esférico o incluso 3D. Ello, unido a la libertad de exploración citada anteriormente, supone un reto para el diseño de interfaces de usuario apropiadas, así como para delimitar el área de visionado confortable para las mismas. xEl consumo de contenidos multimedia tradicionales es muy frecuente en la sociedad actual. Sin embargo, los usuarios disponen de experiencia muy limitada en cuanto al consumo de contenidos inmersivos y, especialmente, en cuanto al uso de dispositivos de consumo para los mismos, como son las gafas de Realidad Virtual (RV) o Head Mounted Displays (HMD). xLas modalidades de interacción en contenidos y dispositivos de consumo tradicionales (ej. mandos a distancia, teclado, ratón…) son bien conocidas y altamente adoptadas. Sin embargo, nuevas modalidades de interacción son necesarias para dispositivos de RV, como son el control por gestos, uso decontroladores, etc. Esto se magnifica ante la imposibilidad de ver los controles externos, debido al uso del HMD, y de tener en cuenta los requisitos de accesibilidad. xExiste una variedad de soluciones de accesibilidad para contenidos tradicionales, por lo que se pueden considerar las mismas como punto de referencia (baseline) cuando se proponen soluciones nuevas o mejoras. Sin embargo, no existen soluciones de accesibilidad para medios inmersivos, por lo que se parte de cero, sin referencia ni experiencia previa. Este artículo ofrece una visión general del proyecto ImAc, destacando algunas de sus contribuciones en el ámbito y contexto de investigación introducidos en esta sección, centrándose principalmente en el consumo de contenidos. En la Sección II se repasa el estado del arte, enumerando algunos proyectos precedentes y destacando los aspectos innovadores y desafíos extra en ImAc. En la Sección III se describe la metodología centrada en usuario que se ha adoptado en el proyecto. A continuación, se describen las extensiones propuestas a las plataformas extremo-a-extremo broadcast existentes para ofrecer soluciones a los requisitos identificados. Asimismo, se destacarán las actividades de estandarización del consorcio en este ecosistema extremo-aextremo. Finalmente, en la Sección V se concluye el artículo con una descripción de los pilotos planificados, así como de los escenarios y evaluaciones consideradas. Se detallarán algunos de los resultados obtenidos y lecciones aprendidadas. II. ESTADO DEL ARTE ImAc cuenta con la experiencia, conocimientos y contribuciones fruto de proyectos europeos anteriores relacionados, en los que miembros del consorcio han participado (siendo incluso coordinadores de los mismos). Por un lado, el proyecto HBB4ALL ya abarcó el tema de los servicios de accesibilidad en el emergente ecosistema multimedia híbrido broadcast broadband, bajo el paraguas del estándar Hybrid Broadcast Broadband TV (HbbTV) standard [4]. Este ecosistema híbrido permite complementar los servicios broadcast tradicionales con contenidos broadband adicionales, que pueden ser consumidos en la misma TV conectada y/o en segundas pantallas (ej. tablets, smartphones…), de manera interactiva y personalizada. HBB4ALL aprovechó dichas posibilidades para integrar servicios de accesibilidad en contenidos broadcast [1]. ImAc busca la misma historia de éxito, pero centrándoseen entornos inmersivos, e incorporando dos novedades importantes: 1) soporte para conseguir Sincronización Inter-Dispositivo y streaming adaptativo basado en Dynamic Adaptive Streaming over HTTP (DASH); y 2) soporte para escenarios multipantalla en los que sólo intervienen tecnologías web (broadband). Por otro lado, el proyecto ImmersiaTV desarrolló una plataforma extremo-a-extremo para posibilitar experiencias TV multi-pantalla immersivas y personalizables [3]. Mediante la introducción de nuevos mecanismos de interacción y formatos en cuanto a narrativa (storytelling), las contribuciones de ImmersiaTV permiten enriquecer los servicios TV convencionales mediante la inclusión de escenas 360º e información contextual (ej. notificaciones, vídeos superpuestos, imágenes…). Estos tipos de servicios inmersivos e interactivos se están extendiendo en ImAc, prestando más atención a los formatos inmersivos (ej. codificación avanzada para vídeos 360º, audio 3D…) y, especialmente, integrando servicios de accesibilidad y tecnologías asistivas. III.METODOLOGÍA La incorporación de soluciones de accesibilidad en nuevas tecnologías, desde su inicio, contribuye a una implantación y adopción más efectiva. En base a esta premisa, ImAc se construye sobre tres pilares principales: 1) identificación de requisitos; 2) desarrollo e integración; y 3) validación y diseminación. El proyecto ha adoptado una metodología usercentric o centrada en usuario (Fig. 1), en la que los usuarios finales, profesionales y agentes interesados juegan un rol muy relevante en cada una de las etapas del proyecto, mediante la organización de talleres, sesiones de intercambio de ideas y análisis de propuestas, tests, y la asistencia a eventos. Todo ello permite identificar con gran precisión los requisitios de accesibilidad, opciones de personalización y escenarios de interés. “El diseño para usuarios con usuarios” representa una herramienta muy potente para identificar limitaciones y proporcionar de manera precisa las expectativas y necesidades de los perfiles de los consumidores considerados. Los resultados de las actividades user-centric a su vez determinan las soluciones tecnológicas necesarias para proporcionar los requisitos identificados, así como para posibilitar los servicios y escenarios planteados. Una premisa esencial de ImAc consiste en que las soluciones a proporcionar deben ser compatibles con las tecnologías, formatos, infrastructuras y prácticas actuales en el ámbito broadcast. Ello maximizará la re-usabilidad, interoperabilidad y las probabilidades de implantación y adopción masiva. En este contexto, el consorcio está contribuyendo activamente a la estandarización de tecnologías, formatos y recomendaciones bajo el marco de organismos internacionales, como son: World Wide Web Consortium (W3C); Moving Picture Experts Group (MPEG); e International Organization for Standardization (ISO). Finalmente, los pilotos y las acciones de diseminación considerados, junto a las estrategias de explotación implantadas, no sólo permiten validar las contribuciones del proyecto, sino también refinarlas en base a los resultados obtenidos y las impresiones recogidas (ver Fig. 1). 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' ImAc: Soluciones de Accesibilidad para Medios Inmersivos Fig. 1. Metodología centrada en Usuario utilizada en ImAc. IV.PLATAFORMA EXTREMO-A-EXTREMO Con tal de conseguir los objetivos planteados, ImAc está desarrollando una plataforma extremo-a-extremo, compuesta por diferentes bloques y componentes encargados de la producción, edición, gestión, preparación, distribución y consumo de contenidos inmersivos y de accesibilidad. La Fig. 2 esquematiza los niveles lógicos / bloques principales que componen la plataforma. Los módulos o componentes funcionales en dichos bloques se indican también en la citada figura, donde color verde indica que los componentes asociados se están desarrollando en ImAc, color naranja que se tratan de componentes relevantes para ImAc, pero que han sido desarrollado en otros proyectos (ej. ImmersiaTV [3]), y color blanco se utiliza para componentes que existen normalmente en las plataformas broadcast, pero que no son esenciales para ImAc. Además, la Fig. 3 proporciona una visión general de la arquitectura de la plataforma desarrollada y de la interacción entre los componentes de la misma. A continuación, se proporciona una breve descripción de cada bloque de la plataforma, enfatizando las extensiones propuestas en el proyecto. Las actividades de estandarización desarrolladas en este contexto también se detallan. A. Producción de Contenidos Los escenarios y servicios considerados en ImAc incluyen contenidos audiodivisuales a ser distribuidos vía broadcast, o bien vía plataformas de vídeo bajo demanda de los broadcasters, así como contenidos inmersivos y de accesibilidad a ser distribuidos vía broadband (ver Fig. 3). Sin embargo, en el proyecto sólo se considera el desarrollo de herramientas de producción y edición de contenidos de accesibilidad, asumiendo que los contenidos tradicionales e inmersivos han sido producidos mediante otras herramientas. Por tanto, el bloque de Producción de Contenidos de la plataforma incluye una serie de herramientas web para la producción y edición de los siguientes contenidos de accesibilidad: subtítulos; audio descripción; y vídeos con interpretación de lengua de signos. Dichas herramientas proporcionan los metadatos necesarios para la señalización y presentación de dichos contenidos, asociados e integrados con contenidos inmersivos específicos, yque a su vez pueden estar relacionados con contenidos broadcast. Más información sobre las funcionalidades del editor de subtítulos desarrollado se puede encontrar en [5]. Estos editores de contenidos de accesibilidad podrán ser utilizados por los agentes interesados bajo un modelo de distribución Software as a Service (SaaS). B. Proveedor de Servicios Este bloque de la plataforma incluye componentes para la ingesta y gestión de contenidos, como un Media Asset Management (MAM), así como para la planificación de la emisión / distribución de contenidos. Un componente clave de este bloque desarrollado en ImAc es el gestor de contenidos de accesibilidad, demonimando Accessibility Content Manager (ACM). En concreto, el ACM es el componente a través del cual se suministran y catalogan los contenidos inmersivos, se gestiona y valida el proceso de creación de los contenidos de accesibilidad y, finalmente, se ordena la preparación de los contenidos para su distribución. Fig. 2. Bloques y componentes principales de la plataforma ImAc. Fig. 3. Bloques y componentes principales de la plataforma ImAc. User -Centered Design Prof. + User Requirements Service & Platform Specification ImAc platform Development Content Production Pilots & Evaluation Explotation Strategies Dissemination Standardization Accessibility Content Production / Edition DVB Contents Immersive Content Production / Edition Classical AV Content Production / Edition CONTENT PRODUCTION Media Asset Management (MAM) Accessibility Content Management Playout for Broadcast Linear TV SERVICE PROVIDER Transcoding / Packaging Signalization of Media Services Broadband Delivery Broadcast Delivery CONTENT PREPARATION / DISTRIBUTION CONTENT CONSUMPTION Accessibility Contents Immersive Contents Inter-Media and InterDevic Sync (HbbTV 2.0) Production Management Media Asset Management Publication & Integration ImAc Platform Interface Subtitling Editor Sign Language Editor Audio Description Editor Content Manager System Manager Immersive Media Metadata Accessibility Media Accessibility Content Manager (ACM) BroadcastPrem i ses Broadcast Contents HMD (VR) HbbTV 2.0 Terminal PC / laptop Content Consumption Accessibility Contents Tablet / smartphone Immersive Contents Accessibility Contents Server(s) Encoding Packaging Signaling Content Preparation Broadcast (DVB, HbbTV) Broadband (DASH, HTTP...) HbbTV Main Screen Companion Screens 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' C. Preparación y Distribución de Contenidos Este bloque de la plataforma incluye componentes para preparar los contenidos suministrados y creados para su distribución. Dichos componentes se encargan de codificar los contenidos en múltiples calidades, de segmentarlos, señalizar su disponibilidad, y proporcionar una descripción sobre los mismos. El proyecto se centra en la distribución de contenidos vía broadband, mediante el uso de DASH y Content Delivery Networks (CDNs). Sin embargo, también se prevé el uso de DASH en coordinación con la transmisión broadcast vía Digital Video Broadcasting (DVB), bajo el paraguas del estándar HbbTV, utilizando los recursos y servicios de los broadcasters del consorcio. En este contexto, ImAc está explorando la especificación de extensiones a los formatos, tecnologías y soluciones de señalización existentes. Dichas extensiones se definen bajo la premisa de mantener la compatibilidad (backward compatibility) con los estándares existentes relacionados. En particular, se están presentando propuestas para la extensión de formatos de subtítulos en W3C (ej. formato Internet Media Subtitles and Captions, IMSC) y en MPEG (ej. en Omnidirectional Media Format, OMAF), así como para la señalización de servicios de accesibilidad y parámetros sobre los mismos en MPEG (ej. en DASH). D. Consumo de Contenidos Este bloque está compuesto por un portal para el listado y selección de contenidos, e información sobre los mismos, así como para la configuración de ajustes iniciales (ver Fig. 4), y un reproductor web (ver Fig. 5) para la presentación de contenidos inmersivos (vídeos 360º y audio espacial) y de accesibilidad (subtítulos, audio subtítulos, audio descripción, y vídeos con interpretación de lengua de signos) de manera personalizada e interactiva. Se ha diseñado una Interfaz de Usuario amigable e intuitiva (Fig. 5), adaptada a las características de los dispositivos y contenidos RV, y que permite ser magnificada para una mejor accesibilidad. El reproductor soporta diferentes modos de presentación para cada uno de los servicios de accesibilidad, determinados por los requisitos identificados en las actividades centradas en usuario llevadas a cabo en el proyecto. En cuanto a la presentación de subtítulos, se proporcionan diferentes opciones de personalización, como tamaño, color, posición e idioma. Subtítulos de lectura fácil también se soportan, siguiendo un proceso de validación previa estándar. Se trata de subtítulos con una estructura semántica simplificada para mejorar la accesibilidad de personas con dificultades de lectura o cognitivas. Fig. 4. Portal ImAc. El reproductor soporta dos modos de presentación principales para los subtítulos. Por un lado, se pueden presentar siempre centrados en el campo de visión del usuario, independientemente de hacia dónde esté mirando. De este modo siempre serán visibles, siguiendo al usuario (userreferenced). Por otro lado, se pueden/os renderizar junto a regiones o elementos visuales específicas en el área 360º, tomando como referencia el vídeo o mundo virtual (worldreferenced). En ambos casos, se pueden proporcionar indicadores visuales (flechas o radar) para guiar a los usuarios hacia la persona que habla. Como ejemplo, la Fig. 6 muestra la presentación de subtítulos junto a un radar que indica hacia dónde esta la persona que habla en comparación al campo de visión actual. El color del indicador se corresponde con el de los subtítulos para una mejor identificación. Asimismo, también se ha desarrollado un algoritmo que permite la presentación adaptativa de subtítulos en cuanto a su tamaño y cantidad de caracteres que se muestran, en función del área de renderizado efectiva [6]. En cuanto a la presentación de vídeos con lengua de signos, se soportan opciones de personalización en cuanto al idioma, tamaño y posición. Además, también se pueden añadir identificadores visuales, como son flechas y un radar, así como texto (nombre, descripción…) y emoticonos/pictogramas para ayudar al usuario a identificar a la persona que habla. Como ejemplo, la Fig. 7 muestra la presentación de un vídeo de lengua de signos junto con flechas y un emoticono con un rostro identificativo. Los vídeos con lengua de signos siempre se presentan en modo superpuesto al vídeo 360º, en una posición determinada dentro del campo de visión del usuario, independiente de hacia dónde esté mirando. Fig. 5. Interfaz de Usuario del reproductor ImAc. Fig. 6. Presentación de subtítulos centrados en el campo de visión junto a un radar para guiar al usuario. 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' Montagud, Fraile, Meyerson y Fernández, JITEL 2019. ImAc: Soluciones de Accesibilidad para Medios Inmersivos Fig. 7. Presentación de vídeo de lengua de signos con un emoticono para identificar a la persona que habla y con flechas para guiar al usuario. Otro mecanismo innovador en ImAc con respecto a este servicio de accesibilidad es que se han especificado soluciones de señalización compatibles con los estándares existentes para indicar los periodos de in/actividad del o de la intérprete. De esta manera, se pueda mostrar / ocultar el vídeo de manera automática, con tal de contribuir a una posible mayor inmersión. Los potenciales beneficios están siendo evaluados, bajo la premisa que minimizar la cantidad de elementos visuales durante el visionado contribuye a una mayor inmersividad y engagement. En cuanto a la presentación de audio descripción, además de explorar diferentes narrativas, ImAc saca partido de las posibilidades del audio espacial (Ambisonics), evaluando el impacto de diferentes combinaciones de espacialidad de audio para mejorar la accesibilidad e inmersión. En particular, se están explorando tres modos: xModo Clásico: voz superpuesta tradicional, como viniendo del cielo. xModo Estático: como si alguien te susurrase a la oreja. xModo Dinámico: el audio está referenciado a las acciones dinámicas que ocurren en el entorno 360º, por lo que se puede percibir dónde ocurren las mismas. El reproductor permitela selección de los diferentes modos (si están disponibles), así como la personalización del nivel de volumen con respecto al audio principal, y la presentación de pistas de audio descripción secundarias referenciadas a escenas o elementos visuales específicas/os. En cuanto a la presentación de audio subtítulos, el reproductor también soporta diferentes combinaciones de audio espacial (bien mediante voces humanas o sintéticas), y para ajustar su nivel de volumen, independientemente del del audio principal. Se trata de un servicio de accesibilidad menos implantado que los anteriormente citados, pero que ImAc está explorando y proponiendo soluciones para su presentación dinámica y personalizada. El reproductor se puede ejecutar en dispositivos de consumo tradicionales (ej. TV conectadas, PC, portátiles, tablets, smartphones…) y en dispositivos de RV, como HMDs. Asimismo, el player soporta diferentes modalidades de interacción, como vía el ratón, teclado, pantalla táctil, giroscopio, o controles RV. Asimismo, el portal y reproductor ImAc permiten la interacción por voz. Por un lado, es posible controlarlos vía comandos de voz. Por otro lado, se proporciona confirmaciones de voz a la ejecución de comandos. Para ello se han desarrollado APIs para la conversión bidireccional entre sentencias de voz y controles del portal/reproductor. Dichas funcionalidades se han integrado en un servidor o pasarela intermedia entre dispositivos de control de voz y el portal/reproductor, que permite la asociación entre los mismos. Ello permite conectar el portal/reproductor con controladores de voz externos, como Amazon Echo (Alexa) o Google Home, para aquellos dispositivos de consumo que no dispongan de un motor de reconocimiento de voz o incluso de micrófono, como son muchos HMDs. Además, este tipo de asistentes de voz son cada vez más utilizados en la sociedad actual. Las APIs desarrolladas son modulares y extensibles, y permiten, por ejemplo, la conexión de controladores remotos, mediante controles táctiles, u otras modalidades de interacción futuras (ej. gestos). Este bloque de la plataforma también incluye la tecnología necesaria para posibilitar escenarios multi-pantalla de manera sincronizada, tanto en escenarios web como en escenarios HbbTV [3]. En este contexto, ImAc está explorando la especificación de soluciones estándar para los modos de presentación de subtítulos (ej. en W3C y MPEG OMAF), para la señalización de vídeos con interpretación de lengua de signos discontinuos (ej. en MPEG DASH), así como para la especificación de directrices y recomendaciones en cuanto a Interfaces de Usuario y modalidades de interacción en RV (ej. en ISO, donde se ha iniciado un grupo de trabajo centrado en estos aspectos). Más información sobre el portal, reproductor y sus funcionalidades se puede encontrar en [5] y en [7]. Su versión actual puede ser accedida a través del siguiente enlace: https://imac.gpac-licensing.com/player/ Asimismo, demo videos se pueden visualizar en: https://bit.ly/2Wqd336 V. PILOTOS Más allá del desarrollo de los componentes tecnológicos necesarios, ImAc engloba tanto la creación de contenidos como la planificación y ejecución de pilotos, compuestos por una serie de tests y demostraciones. Esto es esencial para evaluar el rendimiento de la plataforma y, especialmente, para determinar los beneficios aportados a los usuarios. En concreto, se han planificado dos iteraciones de pilotos, que a su vez están precedidas de sus correspondientes pre-pilotos. Los pre-pilotos persiguen validar el rendimiento adecuado de la tecnología desarrollada, validar la metodología de evaluación propuesta, así como para determinar las condiciones de tests más adecuadas a considerar en los pilotos. Estos pilotos se ejecutan en diferentes acciones en España, Alemania y Reino Unido, aunque también se consideran pilotos abiertos a través de las webs del proyecto y de proveedores de contenidos. Las herramientas de edición de contenidos de accesibilidad y de gestión de contenidos son evaluadas por usuarios profesionales. Los contenidos creados y el reproductor multimedia son evaluados por usuarios finales, con perfiles específicos según cada serviciode accesibilidad y condiciones de test. Las evaluaciones subjetivas incluyen cuestionarios estandarizados sobre usabilidad e inmersión, así como preguntas ad-hoc sobre preferencias y aspectos de percepción. A continuación, se detallan algunas de las acciones piloto planteadas con respecto al bloque de Consumo de Contenidos, destacando algunos de los resultados y/o conocimientos adquiridos. 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' Montagud, Fraile, Meyerson y Fernández, JITEL 2019. A. Piloto 1 La primera iteración de pre-pilotos y pilotos con usuarios finales se centró en tres aspectos principales: 1. Determinar la proporción y tamaño del área de seguridad o campo de visión confortable (esto es, subregión del campo de visión) para la presentación de elementos visuales en pantalla, cuando se utilizan HMDs. A diferencia de pantallas convencionales con relación de aspecto 16:9 en las que existe un área de seguridad determinada por la recomendación R95 de la European Broadcasting Union (EBU) [8], en los HMDs la relación de aspecto es aproximadamente 1:1, y existe una deformación en los cantos (efecto esférico). En este sentido, la hipótesis inicial se basó en que una relación de aspecto 16:9 para el área de seguridad proporcionaria una experiencia de visionado más confortable que una relación de aspecto 1:1. Por tanto, se evaluó la presentación de subtítulos y de vídeos con interpretación de lengua de signos utilizando ambas relaciones de aspecto, y con diferentes tamaños especificados como porcentaje del campo de visión efectivo (ver Fig. 8). La hipótesis se confirmó, y se concluyó además que porcentajes entre un 60% y 70% del campo de visión efectivo para el área de seguridad del proporcionan un visionado más confortable. 2. Evaluar la usabilidad de las dos versiones de Interfaz de Usuario o menús del reproductor diseñadas, incluyendo los controles necesarios para proporcionar las funcionalidades perseguidas. Uno de ellos era un menú tradicional (Fig. 9), siguiendo una filosofía similar al reproductor de Youtube. El otro ocupaba la mayor parte de la pantalla (Fig. 10), y estaba enfocado a mejorar la accesibilidad, sobretodo para usuarios con baja visión. Se determinó que los menús tenían margen de mejora, en cuanto a: su ajuste al área de seguridad; mecanismos de activación / desactivación de servicios de accesibilidad propuestos; integración en entornos de RV; implicaciones por disponder de dos menús diferentes; y usabilidad del menú tradicional en pantallas pequeñas (ej. smartphones). Con las lecciones aprendidas, se diseñó una nueva versión de menú más amigable e intuitivo (ver Fig. 5), incluyendo el uso de iconos universales de accesibilidad y funcionalidades de magnificación para mejorar la accesibilidad, sin necesidad de utilizar 2 menús diferentes. Este nuevo menú se evaluará en el piloto 2. Fig. 8. Áreas de seguridad o de campo de visión confortable en HMDs. Fig. 9. Menú tradicional (primera versión). Fig. 10. Menú para mejor accesibilidad (usuarios con baja visión). 3. Modos de presentación y uso de indicadores para subtítulos. Se evaluó el primer modo de presentación de subtítulos planteado en el proyecto, en el que los subtítulos se muestran centrados en el campo de visión, independientemente de en qué zona del área 360º esté mirando el usuario. Dicha solución se comparó con la solución existente más implantada hasta el momento para vídeos 360º, consistenteen presentarlos subtítulos en 3 posiciones fijas, equiespaciados cada 120º [9]. Asimismo, se comparó el uso de flechas, de un radar, o de modos de auto-posicionamiento para asistir a los usuarios en la identificación de la persona que habla en cada momento. Algunos de los resultados y conclusiones que se obtuvieron se pueden consultar en [5]. Aunque se sigue investigando en estos aspectos, los resultados obtenidos revelan que la presentación de subtítulos centrados en el campo de visión es preferida por los usuarios. Con respecto a los mecanismos de guiado, las flechas son la solución más intuitiva, aunque el radar es preferido para usuarios con más contacto con los video-juegos y cuando hay diferentes personas hablando en el área 360º. Los mecanismos de auto-posicionamiento también son muy útiles. Sin embargo, en modo RV pueden resultar en mareos, debido al movimiento del mundo virtual sin movimiendo del usuario, así que se están explorando estrategias de transición adecuadas, así como su uso como mecanismo de rescate, y no de aplicación contínua. Los resultados y lecciones aprendidas en el piloto 1 han servido para refinar las contribuciones relacionadas, y a su vez evaluarlas en la segunda iteración de pilotos, con tal de determinar las mejoras y beneficios obtenidos. B. Piloto 2 La segunda iteración de pilotos considera todas las mejoras y extensiones a las contribuciones evaluadas en el piloto 1, así como modos de presentación e interacción para los demás servicios de accesibilidad considerados en ImAc. 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1' ImAc: Soluciones de Accesibilidad para Medios Inmersivos En primer lugar, se va a evaluar la percepción sobre el diseño y usabilidad del portal ImAc y del menú del reproductor. En cuanto a subtítulos, se van a evaluar modos de presentación mixtos, comparando elementos centrados en el campo de visión con elementos referenciados a objetos y escenas específicas. También se han añadido mejoras en el diseño gráfico de los indicadores visuales, así como elementos visuales adicionales (texto y emoticonos) para representar efectos de sonidos. Los beneficios aportados por la presentación de subtítulos de lectura fácil con respecto a la presentación de subtítulos tradicionales también se van a evaluar para distintos perfiles de usarios. En cuanto a lengua de signos, audio descripción y audio subtítulos, se van a evaluar las opciones de presentación descritas en la Sección IV.D. Para el caso de audio descripción, se va a evaluar además la interacción vía el menú accesible (magnificado) y por voz, para usuarios con deficiencias de visión y ciegos. C. Pilotos Abiertos Con las lecciones aprendidas a través de las acciones piloto previas, incluyendo tests subjetivos con usuarios en entornos controlados, se pretenden ejecutar pilotos abiertos a través de los servicios de los broadcasters del consorcio. En particular, se consideran dos escenarios. El primero de ellos consiste en proporcionar los recursos y servicios del proyecto, en cuanto al consumo interactivo de contenidos, en la web de los broadcasters y otros proveedores de contenidos para su consumo bajo demanda. El segundo escenario consiste en enriquecer programas emitidos por los canales terrestres de los broadcasters con contenidos inmersivos y de accesibilidad complementarios, a ser consumidos en escenarios multipantalla, de manera personalizada. Para ello, se utilizarán las funcionalidades proporcionadas por el estándar HbbTV, extendiéndolas para dar soporte a aplicaciones web capaces de reproducir contenidos inmersivos y de accesibilidad, y que pueden ser controladas por voz. Este mismo tipo de escenarios se replicarán en entornos 100% web, para que los usuarios que no dispongan de TV compatibles con las versiones recientes de HbbTV también puedan disfrutar de este tipo de servicios innovadores. En dichas acciones piloto se evaluará el alcance en cuanto a número de usuarios y contenidos consumidos, así como el comportamiento de los usuarios en cuanto a duración de sesiones y funciones habilitadas. VI. CONCLUSIONES Y TRABAJO FUTURO Todos los ciudadanos tienen el derecho de poder utilizar las tecnologías y servicios existentes, así como de interpretar los contenidos e información disponibles. Ello contribuye a una inclusión global y a la igualdad de oportunidades. En este contexto, ImAc se centra en proporcionar soluciones de accesibilidad para los medios inmersivos, considerando tanto entorno de consumo bajo demanda online, como servicios broadcast enriquecidos con contenidos broadband. A través de un consorcio inter-disciplinar y la adopción de una metodología centrada en usuario, ImAc está proponiendo extensiones a las plataformas broadcast existentes para posibilitar los escenarios considerados, de manera compatible con los recursos, tecnologías y formatos existentes. ImAc tiene como objetivo garantizar que las experiencias inmersivas sean inclusivas en diferentes idiomas, abordando no sólo las necesidades de personas con dificultades de audición y visión, sino también de personas con dificultades cognitivas o de aprendizaje, con bajo nivel de alfabetización y ancianos. Las contribuciones de ImAc en este contexto se han presentado en este artículo. Se han descrito las acciones pilotos planteadas y ejecutadas, junto a los escenarios considerados, así como se han destacado algunos de los resultados obtenidos y lecciones aprendidas. El trabajo futuro viene marcado por el plan de trabajo del proyecto hacia el piloto 2 y pilotos abiertos, así como algunas acciones complementarias que se pretender añadir (ej. considerar técnicas de procesado de señal –ej. como en [10] - y audio basado en objetos, para mejorar la accesibilidad). Asimismo, la accesibilidad en entornos de RV 3D, con libertad de exploración, navegación e interacción con los mismos, es un ámbito de investigación que se plantea como continuación del proyecto ImAc. AGRADECIMIENTOS Este trabajo se ha financiado por el programa H2020 de la Unión Europea, en el contexto del proyecto ImAc, con referencia 761974. El trabajo de Mario Montagud ha sido adicionalmente financiado por el Ministerio de Ciencia, Innovación y Universidades, en el contexto de una Ayuda Juan de la Cierva –Incorporación, con referencia IJCI-2017-34611. REFERENCIAS [1] P. Orero P., C. A. Martín, M. Zorrilla, “HBB4ALL: Deployment of HbbTV services for all”, IEEE BMSB’15, Ghent (Belgium), June 2015. [2] F. Boronat, D. Marfil, M. Montagud, J. Pastor, “HbbTV-Compliant Platform for Hybrid Media Delivery and Synchronization on Single and Multi-Device Scenarios”, IEEE Transactions on Broadcasting, 64(3), pp. 721-746, 2018. [3] J. A. Núñez, M. Montagud, I. Fraile, D. Gómez, S. Fernández, “ImmersiaTV: an end-to-end toolset to enable customizable and immersive multi-screen TV experiences”, Workshop on Virtual Reality, co-located with ACM TVX 2018, Seoul (South Korea), June 2018. [4] Hybrid Broadcast Broadband TV (HbbTV) 2.0.2 Specification. 2018. HbbTV Association Resource Library, https://www.hbbtv.org/resourcelibrary, February 2018. [5] B. Agulló, M. Montagud, I. Fraile, “Making interaction with virtual reality accessible: rendering and guiding methods for subtitles”, AI EDAM, To Appear in 2019. [6] C. Hughes, M. Montagud, Peter tho Pesch, “Disruptive Approaches for Subtitling in Immersive Environments”, ACM TVX 2019, Manchester (UK), June 2019. [7] M. Montagud, I. Fraile, E. Meyerson, M. Genís, S. Fernández, “ImAc Player: Enabling a Personalized Consumption of Accessible Immersive Content”, ACM TVX 2019, Manchester (UK), June 2019. [8] European Broadcasting Union (EBU) Recommendation R95, “Safe areas for 16:9 television production”, https://tech.ebu.ch/publications/r095, Last Access in June 2019. [9] A. Brown, J. Turner, J. Patterson, A. Schmitz, M. Armstrong, M. Glancy, “Subtitles in 360-degree Video”. ACM TVX 2017, Hilversum (The Netherlands, June 2017. [10] Y. Zhao, E. Cutrell, C. Holz, M. R. Morris, E. Ofek, A. D. Wilson, “SeeingVR: A Set of Tools to Make Virtual Reality More Accessible to People with Low Vision”, ACM CHI’19, Glasgow (UK), May 2019. 7KLVZRUNLVOLFHQVHGXQGHUD&UHDWLYH&RPPRQV,QWHUQDWLRQDO/LFHQVH&&%<1&1'