Proceso de evaluación de pictogramas: Catálogo de señalización accesible andaluz

Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 165 – ISSN: 0210-1696 DOI: https://doi.org/10.14201/scero2022534165189 LA VALIDACIÓN DE PICTOGRAMAS: EL CASO DEL CATÁLOGO DE SEÑALIZACIÓN ACCESIBLE ANDALUZ Pictogram Evaluation Process: Andalusian Accessible Signage Catalogue Gema ErEna-Guardia Universidad de Sevilla [email protected] Adrián SolíS-CampoS Universidad de Sevilla Luis arEnaS-BErnal Autismo Sevilla María Luisa BorrEro-BorrEro Junta de Andalucía. Consejería de Agricultura, Ganadería, Pesca y Desarrollo Sostenible Rosario Cala-Gil Federación de Autismo Andalucía Ana Isabel Carpio-ponCE Junta de Andalucía. Consejería de Igualdad, Políticas Sociales y Conciliación Teresa CondE-Carmona Junta de Andalucía. Consejería de Presidencia, Administración Pública e Interior Diego GarCía-SánChEz Instituto Lectura Fácil Pepe martín-álvarEz Transformación Digital José Manuel mEra-GómEz CEAPAT-IMSERSO proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 166 – Francisco Javier morEno-pérEz Universidad de Sevilla Ricardo Manuel morEno-ramoS Junta de Andalucía. Consejería de Igualdad, Políticas Sociales e Inclusión Marta ortiz-GómEz Universidad de Sevilla Miriam rivEro-ContrEraS Universidad de Sevilla Isabel r. rodríGuEz-ortiz Universidad de Sevilla María de los Ángeles triStanCho-FrutoS Junta de Andalucía. Consejería de Turismo, Regeneración, Justicia y Administración Local María viEjohErnándEz Plena Inclusión Andalucía Soledad vila-pariEntE Junta de Andalucía. Consejería de Educación y Deporte David Saldaña Universidad de Sevilla Recepción: 13 de octubre de 2021 Aceptación: 24 de marzo de 2022 rESumEn: Todas las personas necesitan apoyarse en elementos del contexto para desenvolverse por los entornos de manera autónoma. Esta necesidad se concreta en apoyos específicos cuando las personas tienen dificultades en comprensión permanentes o circunstanciales. Para que un contexto sea accesible universal y cognitivamente se emplean pictogramas para identificar los entornos. Estos pictogramas constituyen una señalética que debe ser validada por procesos estandarizados como describe la Normativa ISO-9186. El objetivo del estudio fue ampliar la base de pictogramas disponibles para la señalización de edificios y evaluar su diseño accesible. Los datos se recogieron por entrevista online y por formulario autocompletado online, en dos fases, la evaluación de la comprensibilidad y la translucidez, así como la calidad perceptual de los pictogramas. Un total de 1462 personas evaluaron la comprensión de los pictogramas y 270 su calidad perceptiva. Dicha muestra incluye participantes de diferentes colectivos y perfiles cognitivos. Se evaluaron 151 pictogramas y fueron 55 los seleccionados por cumplir criterios de comprensión, translucidez y calidad perceptiva. Este resultado supone una contribución relevante a las bases de pictogramas de uso público y privado existentes y aporta recursos señaléticos validados que pueden beneficiar a todas las personas facilitando la accesibilidad cognitiva en los espacios. palaBraS ClavE: accesibilidad cognitiva; pictogramas; validación; online; señalización. proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 167 – aBStraCt: Everyone needs to rely on elements in their context to move around their own environment with independence. People with permanent or temporary comprehension difficulties need specific support to be able to do so. Pictograms are some of the supports that can render a context cognitively and universally accessible. They are signs which need to be validated using standardized norms such as ISO 9186. This study aimed to increase the number of pictograms available for signposting buildings, and to evaluate their accessibility. Data were collected both via online interviews and self-ad- ministered questionnaires, in two phases: assessment of comprehensibility and translucency, and perceptual quality. A total of 1462 participants assessed the pictograms’ comprehension and 270 evaluated their perceptual quality. The sample included individuals of different groups and cognitive profiles. One hundred and fifty one pictograms were evaluated and 55 were selected after fulfilling comprehension, translucency, and perceptual quality criteria. The study is a relevant contribution to the database of pictograms available for use in private and public buildings and provides a group of validated signs that can benefit everyone by facilitating cognitive accessibility in spatial environments. KEywordS: cognitive accessibility; pictograms; validation; online; signposting. 1. Introducción 1.1. La accesibilidad universal y cognitiva La aCCESiBilidad univErSal es un derecho de todas las personas, incluidas las que tienen dificultades en la comprensión y la comunicación con el entorno (p. e., personas con bajo nivel cultural, discapacidad intelectual, trastorno del espectro del autismo [TEA], personas mayores o con daño cerebral sobrevenido) (ONU, 2006). Aplicada a los entornos requiere que la ciudad y sus servicios se organicen de modo que permitan a cualquier persona desenvolverse por ellos de la manera más independiente, segura y natural posible (Juncá, 2002). Existen tres tipos de accesibilidad: a) física, que consiste en la eliminación de obstáculos que impidan la circulación en el uso de instrumentos para aquellas personas con dificultades en la movilidad; b) sensorial, que permite a las personas con dificultades en la visión o audición el uso de herramientas mediante elementos que facilitan la percepción sensorial, por ejemplo, el subtitulado, la audiodescripción, etc.; y c) cognitiva, que implica la inteligibilidad o fácil comprensión del contexto, los procesos, bienes y herramientas (Belinchón et al., 2014). Hay normativas que regulan tanto la accesibilidad física como la sensorial. Sin embargo, no se dispone del mismo volumen de reglamentos que aborden los problemas relacionados con la creación de entornos accesibles cognitivamente. Su instauración puede favorecer a toda la población general y, principalmente, a las personas con dificultades en la comprensión o la comunicación permanentes o temporales. El objetivo último de la accesibilidad cognitiva, de acuerdo con los principios del llamado wayfinding, es que todas las personas puedan orientarse haciendo un uso óptimo de la información del entorno, para saber dónde están, dónde quieren ir y qué camino deben tomar para llegar al objetivo (García, 2012). proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 168 – Uno de los recursos que más se utilizan para facilitar la accesibilidad cognitiva de los entornos y el wayfinding son los pictogramas, definidos como imágenes o símbolos que representan personas, objetos o ideas que transmiten un mensaje de manera clara y sencilla (Romski et al., 2015). 1.2. Los pictogramas Es posible encontrar varios tipos de pictogramas. Por un lado, existen los sistemas pictográficos como el que ofrece el Portal Aragonés de la Comunicación Aumentativa y Alternativa (ARASAAC) y el Picture Communication Symbol (Johnson, 1981). Estos pictogramas diseñados en color y, en ocasiones, en blanco y negro abarcan referentes de todo tipo de conceptos (p. e., personas, verbos, adjetivos u objetos) y su objetivo es apoyar el aumento de la comunicación interpersonal para personas con trastornos en la comunicación expresiva y/o receptiva. Este objetivo es diferente al uso de pictogramas que se utilizan en señalética, con la que se pretende facilitar a las personas la orientación en un servicio o entorno o para el uso de herramientas, dando la información lo más concisa y clara posible a través de símbolos sencillos y esquemáticos donde se refleje la información esencial. En el caso de este segundo grupo, es necesario que los pictogramas estén ajustados a la zona donde se instalan ya que, si las personas no están familiarizadas con ellos, su uso no será efectivo por no dar acceso a la información. Por tanto, la comprensión de pictogramas y su efectividad en la señalización no es algo que pueda darse por sentado. Desafortunadamente, son poco frecuentes los trabajos que evalúan pictogramas relacionados con señalética, aunque sí son más frecuentes los que abordan su comprensión en otros contextos. De ellos, son varios los que han puesto de manifiesto que los pictogramas empleados en la señalización tienen a veces una utilidad limitada. Por ejemplo, sobre el uso de fármacos se aceptan pictogramas con índices de comprensión que van desde el 3 % hasta 66 % del total de diseños evaluados (Berthenet et al., 2016; Xu y Cavaco, 2018; Merks et al., 2018; Saremi et al., 2020; van Beusekom et al., 2017). Pictogramas relacionados con el uso de maquinaria agrícola aceptan alrededor del 40 % de pictogramas en una primera evaluación (Kisaalita y Sempiira, 2020). En algún estudio se ha encontrado que ningún participante comprendía los cuatro pictogramas más importantes relacionados con la seguridad que hay que tener a la hora de usar este tipo de maquinaria (Vigoroso et al., 2020). 1.3. La validación de los pictogramas Es importante asegurarnos de que existe relación entre los conocimientos previos de estos pictogramas y la información que transmiten. Para ello, se puede hacer uso de bases de pictogramas ya validados o validar pictogramas de nuevo diseño a partir de la normativa ISO-9186 1 y 2. proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 169 – Esta normativa, creada por la International Organization for Standarization (ISO), describe un método detallado de validación de señalética visual que consta de la evaluación de la comprensibilidad y de la calidad perceptual. Con esto se pretende asegurar que las personas entiendan correctamente de lo que informa el pictograma y que puedan identificar sus elementos en la práctica diaria. Para ello, un pictograma tiene que pasar por dos fases: comprensibilidad y calidad perceptiva. La primera fase tiene dos modos de evaluación: 1) estudiar el grado de comprensión libre de un símbolo para saber si el pictograma comunica el mensaje, preguntando directamente a la persona qué es lo que representa el símbolo; 2) evaluar la estimación de la comprensión de un pictograma (por ejemplo, Larraz et al., 2018), pidiendo al participante que indique si los pictogramas para un referente son muy, bastante o poco comprensibles. La fase de calidad perceptiva se evalúa pidiendo a los participantes que den una descripción precisa del objeto que se representa en el pictograma. Así, para que un pictograma sea accesible debe cumplir primero con criterios mínimos de comprensión libre o estimación de comprensibilidad y, posteriormente, con los de calidad perceptiva. No obstante, existen otros indicadores que informan de la adecuación de pictogramas, como es la evaluación de la translucidez. Este índice ha sido descrito como el grado de acuerdo que percibe la persona entre el pictograma y el referente (Bloomberg et al., 1990) o como el vínculo entre lo que el símbolo ilustra y lo que pretende transmitir (Saremi et al., 2020). En este caso se pide al participante que puntúe cuánto de representativo considera que es un pictograma respecto de su referente y definición. Entre las bases de datos de pictogramas validados bajo la normativa ISO se encuentran los validados por la AIGA (American Institute of Graphic Arts) para la señalización de aeropuertos y los incluidos en la base de datos de ISO (International Organization of Standarization [ISO], 2012). Además, existen estudios que han desarrollado y validado otros pictogramas en nuestro país. Entre ellos, encontramos el estudio realizado por el Centro de Referencia Estatal de Autonomía Personal y Ayudas Técnicas (Larraz et al., 2018), que ha ampliado su catálogo con 53 pictogramas nuevos validados por estimación de la comprensibilidad para el Instituto de Mayores y Servicios Sociales (IMSERSO) y un centro de atención al peregrino de Santiago de Compostela. Otros estudios aportan pictogramas sobre señalética hospitalaria como el de Formiga (2002), donde sometió a prueba 49 pictogramas bajo la normativa ISO. Del total, 24 pictogramas superaron el criterio mínimo en grado de comprensión libre y 22 superaron el criterio mínimo de estimación de la comprensibilidad. 1.4. El presente estudio Las bases de datos citadas en la sección anterior ofrecen diversos pictogramas validados, pero no abarcan todos los contextos; por lo tanto, aún quedan barreras cognitivas que superar para aquellas personas con un bajo nivel de comprensión de lenguaje. Esto motivó a la Consejería de Igualdad, Políticas Sociales y Conciliación proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 170 – de la Junta de Andalucía a crear un grupo de trabajo para la mejora de la accesibilidad cognitiva en los edificios públicos y solicitó a la Universidad de Sevilla la evaluación y orientación sobre cuáles de los pictogramas de nuevo diseño eran aptos para incluirlos en un nuevo Catálogo de Pictogramas Accesibles. El presente estudio presenta estos pictogramas y el procedimiento y resultados de su validación de acuerdo con el proceso estandarizado de la normativa ISO-9186 1 y 2. 1.5. Objetivo El objetivo general del estudio es evaluar los pictogramas de nuevo diseño para el Catálogo de Señalización Accesible de la Junta de Andalucía a través del proceso de validación adaptado online de la normativa ISO-9186. 2. Método 2.1. Participantes El estudio se ha llevado a cabo con un total de 1732 personas (1462 en la fase de comprensión y 270 en la fase de validación perceptiva) residentes en Andalucía. La muestra sigue una distribución similar a la estructura demográfica de la comunidad andaluza, actualizada a junio de 2020 por el Instituto de Estadística y Cartografía de Andalucía (IECA). Se recogieron datos sobre género, edad, nacionalidad de origen, residencia en Andalucía oriental u occidental y entorno urbano o rural. No obstante, dado que el objetivo último del estudio es la mejora de la accesibilidad cognitiva para personas con dificultades en la comprensión, ya sean permanentes o temporales, hay más representación de algunos colectivos que son los destinatarios de los pictogramas, como son las personas sin estudios/estudios primarios y personas con discapacidad intelectual (DI) (ver Tabla 1). Tabla 1. Distribución de participantes (y porcentaje en la población andaluza) según género, edad, residencia en Andalucía, residencia rural o urbana, discapacidad intelectual y nivel de estudios en la fase de comprensión Número de participantes Porcentaje de participantes Porcentaje Andalucía Género Femenino 793 54.24 % 50.71 % Masculino 664 45.42 % 49.29 % Otros 5 0.34 % Total 1462 proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 171 – Edad 0-4 años - - 4.58 % 5-14 años 101 7.01 % 11.14 % 15-29 años 572 39.12 % 16.41 % 30-44 años 292 25.38 % 22.23 % 45-64 años 371 25.38 % 28,.3 % 65 o más años 126 8.52 % 17.11 % Total 1462 Residencia en Andalucía Oriental 593 40.49 % 46.67 % Occidental 846 57.91 % 53.33 % Desconocido 23 1.51 % Total 1462 Residencia rural o urbana Rural 557 38.12 % 41.64 % Urbano 900 61.60 % 58.36 % Desconocido 5 0.27 % Total 1462 Discapacidad intelectual Sí 392 26.81 % 1.40 % No 1067 72.98 % 98.60 % Desconocido 3 0.21 % Total 1462 Nivel de estudios de participantes adultos Primarios 239 19.81 % 12.5 % Secundarios/Bachillerato/Grado medio 485 40.22 % 43.5 % Estudios superiores 309 25.62 % 33.0 % Sin estudios 150 12.43 % 11.0 % Desconocido 23 1.9 % Total 1206 Nota: Datos extraídos del Instituto de Estadística y Cartografía (IECA). Actualizados a 2020. 2.2. Procedimiento Los pictogramas evaluados fueron originados a través del trabajo conjunto del Grupo de Trabajo Andaluz de Accesibilidad Cognitiva (GTAAC), compuesto de personas expertas que conocían tanto el entorno como el público hacia el que se iba a dirigir la señalética. proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 172 – Este equipo realizó un estudio previo de los entornos para determinar qué edificios y dependencias de estos debían ser señalizados. Optaron por la señalización accesible de edificios públicos administrativos, culturales, deportivos, educativos, judiciales, medioambientales, residenciales, sanitarios y sociales. Con el objetivo de decidir qué lugares iban a ser señalizados y qué elementos debían componer el pictograma, se visitaron diferentes centros para recoger información sobre las distintas dependencias de las que se componían, su uso y si estaba señalizado o no. Para cada uno de estos referentes se diseñaron varios pictogramas. En total fueron creados 150 pictogramas que se tendrían que evaluar. Las personas participantes fueron captadas a través del contacto directo con los responsables de asociaciones y otros centros colaboradores, como asociaciones de personas con TEA y/o discapacidad intelectual, residencias u otros centros de personas mayores. Esta vía se complementó con la difusión en las redes sociales a la población general vía Twitter, Facebook y WhatsApp. En la recogida de datos se utilizaron diferentes técnicas, como entrevistas online por videollamada y formularios autocompletados online, tanto a población adulta, en situación de dependencia como a personas menores de edad. Antes de la realización de la prueba se solicitaba el consentimiento informado. En las entrevistas online, se realizaba una grabación donde se le explicaba a la persona participante el objetivo del estudio y se obtenía el consentimiento verbal. Si la persona era menor de edad o persona tutelada, eran los padres, las madres o los tutores quienes consentían la participación. En el caso de participantes de centros de personas con discapacidad intelectual donde no estaba presente el tutor o la tutora, se les enviaba previamente un documento que tenían que firmar. Por otro lado, si la participación tenía lugar mediante el formulario autocompletado, se pedía que marcasen si estaban de acuerdo en participar en el estudio tras hacer una breve descripción del objetivo de la tarea. En el caso de participantes menores de edad se pedía que indicasen si estaban respondiendo desde casa o desde el centro educativo para que fueran los progenitores o el profesorado, dependiendo del lugar, quienes estuvieran de acuerdo en su participación en la actividad. A continuación, se recogían los datos sociodemográficos de quienes participaban. En el caso de personas con problemas mayores en comprensión y/o que no pudieran proporcionar esta información, era el personal de apoyo el que la suministraba en una reunión previa. Una vez se contaba con el consentimiento informado y los datos sociodemográficos, se comenzaba con la validación propiamente dicha. Las personas participantes proporcionaban información para una de las dos fases de validación: la fase de comprensión o la fase perceptiva. Ninguna persona respondió a preguntas sobre comprensión y percepción en relación con los mismos pictogramas. En primer lugar, los datos relativos a la fase de comprensión se consiguieron por entrevistas online mediante la plataforma Zoom y por formularios autocompletados online vía Google Forms. Las personas entrevistadas fueron preferentemente el alumnado de educación primaria, personas adultas usuarias de centros de valoración y orientación, centros de participación activa, residencias de personas mayores, centros de personas con autismo proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 173 – y/o discapacidad intelectual. El personal de apoyo estaba presente para supervisar el correcto desarrollo de la prueba. Por otro lado, las personas que rellenaron el formulario online pertenecían a población adulta y estudiantes de educación secundaria. Aquellas personas pertenecientes a grupos culturales minoritarios fueron entrevistadas o encuestadas por ambas vías. En los casos en los que un pictograma resultó tener bajo nivel de comprensión, se evaluó la posibilidad de incluirlo en el Catálogo a través de su índice de translucidez. Este índice reflejaba el grado en que las personas consideraban que un pictograma era representativo o no del referente. Para ello, se realizaron entrevistas online para profesionales de diferentes centros (museo, biblioteca y centro de valoración) y formularios autocompletados para la población adulta. Los pictogramas que contaban con una comprensibilidad alta o una translucidez aceptable pasaron a la fase de validación de calidad perceptiva. Se realizó de forma presencial o a través de videollamada vía Zoom combinado con un formulario de Google donde se registraban las respuestas del participante. 2.3. Instrumentos 2.3.1. Diseño de pictogramas Los pictogramas fueron diseñados siguiendo una serie de pautas. Se mantuvo una estructura reticular estable para el diseño de todos los pictogramas. Este armazón sirvió de guía para unificar el estilo de pictogramas, así como para diseñar sus elementos con una jerarquía coherente. Cada pictograma fue insertado en un cuadrado o cartela de enmarque para que todos los elementos quedasen agrupados y fueron alineados geométricamente para que quedasen centrados. Dado que los pictogramas serían visualizados a varios metros de distancia, no se incluyeron detalles demasiado pequeños que contaminasen la composición global del diseño. También se tuvieron en cuenta la simetría y la perspectiva de género, reflejando la paridad en aquellos pictogramas donde aparecía más de una figura humana. Para el estudio de validación, se utilizó un contraste positivo de colores, con formas negras sobre un fondo blanco. 2.3.2. Conjuntos de pictogramas La normativa ISO 9186 indica que cada persona participante no puede ver más de 15 símbolos y que cada uno de los pictogramas tiene que ser valorado por, al menos, 50 personas diferentes tanto en la fase de comprensión como en la fase de translucidez. Para ello, se elaboraron listas con un máximo de 15 pictogramas con referentes distintos, presentados en diversos órdenes generados por aleatorización. Cada uno de ellos fue desglosado por contextos de presentación para garantizar que los pictogramas se viesen en diferentes entornos. Este muestreo de contextos realizado para este proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 180 – Figura 2. Gráficos de distribución y porcentajes de comprensibilidad, translucidez y calidad perceptiva de pictogramas accesibles Participantes que identifican correctamente el concepto [61%, 74%] (74%, 86%] (86%, 99%] Número de pictogramas 0 2 4 6 8 10 12 14 16 Puntuación media translucidez [5, 5,5] (5,5, 6] (6, 6,5] Número de pictogramas 0 2 4 6 8 10 12 14 16 Participantes que identifican todos los elementos [80%, 87%] (87%, 93%] (93%, 100%] Número de pictogramas 0 5 10 15 20 25 30 35 Participantes que identifican todos los elementos [69%, 79%] (79%, 90%] (90%, 100%] Número de pictogramas 0 5 10 15 20 25 30 35 Nota. A) Porcentaje de aciertos en la validación de comprensión. B) Puntuación media del grado de translucidez. C) Porcentaje de aciertos en calidad perceptiva para pictogramas de 8 × 8 cm. D) Porcentaje de aciertos en calidad perceptiva para pictogramas de 4 × 4 cm. Las respuestas en la tarea de comprensión se puntuaban de acuerdo con los criterios de las normas ISO 9186 por dos jueces independientes: 1 (correcto), 2 (incorrec- to), 3 (no sabe), 4 (no responde o describe). Ambos debían tener, al menos, un 80 % de acuerdo en las puntuaciones dadas a los pictogramas. En aquellos casos en los que las puntuaciones eran diferentes se consensuaba qué puntuación era la más adecuada. A) B) C) D) proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 181 – Tarea de evaluación de translucidez. Para una serie de pictogramas, se valoró la translucidez o grado en que la población consideraba que un pictograma era representativo o no del referente. En su modalidad de entrevista online, se presentaba un conjunto de pictogramas y se les pedía lo siguiente: Este pictograma representa X (incluir un centro específico), del 1 al 7, donde 1 es nada representativo y 7 muy representativo, ¿cuánto crees que refleja este pictograma ese lugar? Al igual que en el formulario de comprensión, este tenía una duración de 10 minutos. En la modalidad de formulario online autocompletado, se informaba del lugar que representaba, su definición y el contexto donde podría encontrarlo. Se pedía al participante que marcase en una escala del 1 al 7, donde 1 es “nada representativo” y 7 es “muy representativo”, si el dibujo reflejaba su significado. 2.3.4. Tarea online para evaluación de la calidad perceptiva Los pictogramas con puntuaciones aceptables en comprensibilidad y/o translucidez se validaron también en cuanto a su calidad perceptiva. A cada participante se le mostraban 15 pictogramas de tamaño 8 × 8 cm o de 4 × 4 cm a una distancia de dos metros como se muestra en la Figura 1D. Se utilizó la función de ampliación o reducción de tamaño disponible en PowerPoint para ajustar el tamaño, mientras la persona entrevistada o el personal de apoyo medía el tamaño del pictograma en su pantalla. Los pictogramas se presentaron sin referencia contextual alguna. Las personas encuestadas recibían las siguientes instrucciones: ¿Qué ve en esta imagen en blanco y negro? o Describa qué ve en este dibujo en blanco y negro. La prueba comenzaba con cinco pictogramas de entrenamiento, antes de pasar al conjunto de validación. El objetivo de dicho entrenamiento era asegurar que contestaban con referencia a los elementos visuales que componían los pictogramas (por ejemplo, dos figuras con coleta y tres sin ella, una mesa y dos sillas) y no con el significado del pictograma (una sala de reuniones). En este caso, la tarea tenía una duración aproximada de 15-20 minutos. Al igual que en la fase de comprensión cada respuesta fue juzgada de forma independiente por dos personas, diferentes de la que realizó la entrevista: 1 (descripción correcta), 0 (descripción incorrecta). 3. Resultados Para averiguar qué pictogramas eran accesibles se analizaron las respuestas de los y las participantes siguiendo los criterios que marcan la normativa ISO 9186. En la tarea de comprensión las respuestas se valoraban por dos personas independientes y la puntuación dependía del grado de acuerdo con la definición del referente que previamente estableció el equipo investigador. En la tarea de translucidez se valoraba la media de puntuación obtenida por el pictograma. Para la fase perceptiva, una persona valoraba las respuestas en función del listado de elementos gráficos del pictograma. proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 182 – Un pictograma era comprensible si superaba un porcentaje de aciertos del 60 %. El porcentaje que marca la normativa ISO-9186 es el de 67 %. En este estudio se seleccionaron algunos con un porcentaje algo inferior debido a que más de la mitad de las personas participantes que visualizaron esos pictogramas tenían discapacidad intelectual por mayor representación de esta población respecto a la estructura demográfica andaluza. Aquellos que no cumplían este criterio y eran, posteriormente, evaluados en el grado de translucidez debían tener una puntuación de, al menos, 5 sobre 7 para ser considerados aceptables. Para la fase perceptiva también se estableció como punto de corte el 60 %. Los pictogramas que no superaban estas fases fueron suprimidos y/o sustituidos por otros pictogramas. Estas nuevas versiones también se sometieron al mismo proceso de validación. Se evaluaron un total de 150 pictogramas para 73 referentes. Cada referente tenía, al menos, dos versiones de pictogramas con diseños distintos. Cincuenta pictogramas del total cumplieron los criterios de comprensibilidad libre. En algunos casos, dos versiones para un mismo referente presentaban puntuaciones similares en la tarea por lo que se seleccionaron aquellos expuestos a mayor diversidad de población. Finalmente se escogió una lista de 33 pictogramas. Estos pictogramas obtuvieron un rango de comprensión del 61 al 99 % de aciertos. El porcentaje medio de comprensibilidad fue del 75 %. En la Figura 2 se observa la distribución del porcentaje de aciertos de los pictogramas que han sido validados. En ella podemos observar una mayor proporción de pictogramas con un nivel de comprensión por debajo del 71 %. Para el resto de los referentes se seleccionaron aquellos que tenían un grado de translucidez aceptable, un total de 25. La puntuación media de estos pictogramas en el grado de translucidez fue de 5,6 sobre 7, con un rango de 5 a 6,5. En total, 22 pictogramas presentaron un promedio de representatividad del referente aceptable, obtuvieron una puntuación media de al menos 5, lo que supuso un 40 % del total de pictogramas validados. En la Figura 2 se muestra la distribución de puntuaciones y se puede observar la variabilidad en el grado de translucidez de estos pictogramas. En total, por tanto, se seleccionaron 58 pictogramas como los más accesibles en función de su comprensibilidad o traslucidez. El resto de los referentes se excluyeron por diferentes motivos: eran edificios y no eran lugares dentro de ellos o bien no se comprendían bien. En la fase perceptiva, solo tres pictogramas no cumplieron con los criterios de calidad mínimos. Los resultados obtenidos reflejan una elevada calidad perceptiva de los 55 pictogramas que superaron esta fase, tanto en el tamaño de 8 × 8 cm como en los de 4 × 4 cm. En concreto, se obtuvo un promedio del 93 % de descripciones correctas de los elementos que aparecen en los pictogramas presentados en un tamaño de 8 × 8 cm, con un rango del 80 al 100 %. En el tamaño 4 × 4, la media fue del 92 %, con una puntuación mínima del 60 %. Si se observa la distribución de puntuaciones en la Figura 2 se ve cómo la gran mayoría de pictogramas tienen una calidad visual por encima del 87 % en ambos tamaños de pictogramas. Como resultado de las dos fases (comprensión y percepción), finalmente se incorporaron al catálogo 55 pictogramas comprensibles y/o con translucidez aceptable y que se percibían correctamente. Esto supone un 75.3 % de los referentes propuestos proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 183 – inicialmente. En la Tabla 3 se resumen las puntuaciones obtenidas por estos 55 pictogramas que finalmente se incluyeron en el Catálogo de Señalización Accesible para la Señalización de espacios públicos. Todos los pictogramas validados están disponibles para su descarga en la web de la Consejería de Inclusión Social, Juventud, Familias e Igualdad en el siguiente enlace: https://www.juntadeandalucia.es/servicios/publicaciones/detalle/79557.html Tabla 3. Puntuaciones de comprensibilidad, translucidez y calidad perceptiva de pictogramas accesibles Calidad perceptiva Referente Comprensibilidad (%) Translucidez 8 x 8 cm (%) 4 x 4 cm (%) 11. Archivo - 5.1 100 100 12. Aula de formación 79 - 92 94 13. Aula de informática/Sala de ordenadores 67 - 97 94 14. Aula de música/Sala de baile 98 96 96 15. Aula de plástica 99 - 92 100 16. Aula de tecnología - 5 88 88 17. Cita previa - 5 96 81 18. Consigna - 6.5 92 100 19. Consulta médica/Forense 74 - 93 91 10. Consulta de pediatría 78 - 92 92 11. Consulta de podología - 6.1 92 80 12. Copistería/Fotocopiadora - 5 88 80 13. Cuarto de limpieza 67 - 97 94 14. Devolución/Préstamo 65 - 96 92 15. Enfermería/Sala de curas 78 - 90 88 16. Extracción/Análisis - 5.9 88 81 17. Fisioterapia 78 - 92 96 18. Fonoteca - 5.7 88 96 19. Fuente de agua 89 - 100 97 20. Gradas/Asientos 72 - 96 100 proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 184 – 21. Hemeroteca - 5.1 92 96 22. Huerto/Taller de jardinería 85 - 96 96 23. Máquina expendedora 68 - 80 80 24. Oficina general/Zona de administración - 5.8 100 96 25. OPAC - 5.1 88 96 26. Patio/Jardín 75 - 97 93 27. Radiología 75 - 93 100 28. Sala de bodas 62 - 100 100 29. Sala de espera 70 - 100 91 30. Sala de exposiciones/Exhibición - 6 92 96 31. Sala libre de estímulos - 5.8 88 92 32. Sala de prensa - 5.2 84 77 33. Sala de proyecciones/Audiovisuales 66 - 97 92 34. Sala de reuniones/Profesorado 68 - 100 100 35. Sala de televisión 66 - 92 97 36. Sala de visitas - 5.6 96 84 37. Sala de vistas 65 - 88 92 38. Sala/Zona de Urgencias - 5.9 96 100 39. Sala de velatorio 72 - 100 88 40. Salón de actos - 5.3 88 80 41. Sección infantil/Sala de juegos infantiles - 6.1 89 83 42. Taller de cerámica 61 - 96 96 43. Taller de cocina 78 - 87 81 44. Taller de costura 90 - 94 100 45. Taller de manualidades - 5.4 100 97 46. Taller de mecánica - 6 92 96 47. Taller de pintura 87 - 92 96 proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 185 – 48. Taquillas 65 - 96 100 49. Tienda/Venta de recuerdos 62 - 96 90 50. Videoteca - 5.4 80 96 51. Zona de atención infantil - 6.3 84 69 52. Zona de baño 90 - 97 100 53. Zona de deportes 85 - 92 100 54. Zona de recreo 84 - 92 100 55. Zona de residuos/Cuarto de basuras 78 - 92 92 Promedio de puntuaciones 75 % 5.6 93 92 4. Discusión Tanto las personas con dificultades en la comprensión como la población general necesitan de apoyos visuales que los guíen por los diferentes entornos para poder circular de manera autónoma e independiente en algún momento. Para asegurar que un lugar esté bien señalizado y sea accesible cognitivamente se requiere, entre otros elementos, de un conjunto de pictogramas que hayan sido validados por procesos estandarizados. Este estudio tenía como objetivo ampliar en un número importante la base de pictogramas disponibles para la señalización de espacios públicos y su diseño accesible. El presente estudio es singular en cuanto a la diversidad de la población considerada, el grado de aceptación o comprensibilidad de los pictogramas, su número y variedad y la diversidad de contextos de validación. Entre los estudios de estandarización de pictogramas no es frecuente que se utilicen muestras con características tan diversas. En la revisión de Souza et al. (2020) se resume que el 76 % de estudios utilizan una muestra de alumnado universitario y que solo un 24 % comprenden participantes de más de 35 años. Nuestro conjunto de participantes, sin ser absolutamente representativo de la población, refleja, en términos generales, su estructura en cuanto a edad, género, entorno geográfico y nivel de estudios. En concreto, se encuentran pocos estudios que incluyan muestras de diferentes etapas del desarrollo. En nuestro caso contamos con participantes de muy diferentes edades, desde niños y niñas hasta personas mayores de 65 años. Además, se ha hecho un esfuerzo importante para incluir a una proporción elevada de personas con discapacidad intelectual con o sin autismo, siguiendo estudios anteriores relevantes en nuestro país, como el de Larraz et al. (2018). Se evaluaron 150 pictogramas diferentes para 73 referentes a través del proceso de validación de la normativa ISO-9186 adaptada en formato online. Es un número de pictogramas razonablemente mayor o comparable al resto de los estudios proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 186 – encontrados, como el de Saremi et al. (2020) y Merks et al. (2018), que evalúan 53 y 50 pictogramas, respectivamente, y Berthenet et al. (2016) quienes sometieron a prueba un total de 76 pictogramas. Gracias a los pictogramas seleccionados, se ha cubierto el 75 % de referentes inicialmente propuestos. Por un lado, se aportan a las bases de pictogramas de uso público un total de 22 pictogramas con una translucidez aceptable y de 33 pictogramas que cumplen los criterios de comprensión. Esto supone una contribución comparable a otros estudios cuyos pictogramas han sido evaluados con el mismo método de comprensión, como el de Formiga (2002), con 24 pictogramas para el contexto hospitalario; Saremi et al. (2020) y Merks et al. (2018), con 29 y 22, respectivamente, aunque algo menor al trabajo de Berthenet et al. (2020), con 50 pictogramas sobre el uso de medicamentos. Otro de los puntos fuertes de este estudio es que se han evaluado pictogramas para dependencias de 15 contextos diferentes, entre los que se encuentran edificios administrativos, judiciales, sanitarios, bibliotecas, museos, centros ocupacionales, centros de visitantes, residencias, centros de participación activa, centros de formación, centros sociales, educativos y centros de valoración y orientación. Esto ha supuesto un procedimiento poco usual, ya que frecuentemente los pictogramas para su uso en señalética de espacios se validan empleando uno o dos contextos determinados (p. ej., Formiga, 2002; Larraz et al., 2018). La inclusión de pictogramas implica familiarizar a las personas participantes con el material visual para guiarlos en el proceso de interpretación, y es un punto importante para incluir en el diseño de validación de pictogramas (Dowse, 2020). Por ello, este es uno de los primeros estudios donde se indicaba a la persona no solo si el pictograma podía encontrárselo en una puerta o directorio, sino que también se enseñaba una imagen de en qué edificio se encontraba. Sería de interés comprobar si la presencia o no del contexto durante la tarea de comprensión contribuye a acceder con más facilidad al significado de los pictogramas. Una proporción de los pictogramas incorporados no cumplieron los criterios mínimos de comprensión. Esto puede deberse a múltiples causas. Por un lado, se conoce que la capacidad cognitiva, en concreto, los procesos lógicos y de abstracción, influyen en el nivel de comprensión de pictogramas (Beaufils et al., 2014). Por otro, Doak et al. (1996) encuentran que personas con baja alfabetización no identifican el foco central de la imagen, impidiendo así la integración del significado del pictograma. Dado que la muestra de este estudio incluye personas con discapacidad intelectual y/o autismo y personas con niveles de escolarización bajos, puede ser que el nivel de comprensión en algunos pictogramas haya sido menor por las diferentes capacidades cognitivas de los participantes. Otro factor que puede influir en la comprensión de los pictogramas es que el diseño y las características de estos no sean reconocidos. En este estudio se ha evaluado la translucidez de los pictogramas que presentaban una menor comprensión, pero existen otras características como la complejidad visual, la significatividad, la familiaridad, la distancia semántica y el nivel de concreción de los elementos, la concordancia de nombres, concordancia de imágenes y el índice H, que también es interesante conocer (Souza et al., 2020). proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 187 – En este sentido, para los pictogramas que tenían una translucidez aceptable, no podemos considerar que hayan sido validados con las medidas más objetivas. No obstante, podrían considerarse como “pictogramas entrenables”. Esta señalética tendría un nivel de comprensión menor o incluso podría ser desconocida, pero el uso continuado en los determinados contextos podría permitir que se interiorizase y fueran utilizados con normalidad en algún momento. Nuestro estudio recoge, además de los criterios de las normas ISO 9186, los criterios y consejos propuestos recientemente por Dowse (2020). Por tanto, puede decirse que la validación de estos pictogramas para el Catálogo de Señalización Accesible diseñado por el GTAAC y editado por la Junta de Andalucía cumple con criterios de calidad en el área de diseño de pictogramas, como es la participación de población heterogénea de participantes validadores/as y métodos de corrección y evaluación rigurosos. No obstante, existen algunos procesos que habría sido interesante incluir, como la realización de un estudio previo con los pictogramas para conocer si tienden a cumplir el criterio de aceptación. En caso de no ser así, se podría haber organizado un grupo focal compuesto de población destinataria de pictogramas para realizar un estudio previo cualitativo para conocer los aspectos que impiden el acceso al significado y realizar las modificaciones pertinentes. En el estudio de Kisaalita y Sempiira (2020) se utiliza este procedimiento y en el primer ciclo de evaluación solo ocho pictogramas de 20 cumplían los criterios y en el segundo ciclo de evaluación, el 70 % quedó validado. En este sentido, obtener información cualitativa sobre las dificultades encontradas para la comprensión del pictograma es vital de cara a poder realizar modificaciones pertinentes en estos. Estudios como el de van Beusekom et al. (2017) y el de Merks et al. (2018) utilizan este método en el proceso de validación. Esto supondría aún más implicar a la población destinataria de la señalética en el proceso de diseño y evaluación de los pictogramas. 5. Conclusión El presente trabajo muestra la adaptación online de un procedimiento estándar de validación de pictogramas que ayuda a guiar la evaluación de nuevos diseños destinados a la señalética de espacios, mediante la utilización combinada de entrevistas y cuestionarios autocumplimentados de un modo no utilizado hasta el momento en España. Esta propuesta constituye una herramienta de gran valor para futuros trabajos que deseen alcanzar a un gran número de personas usuarias en el momento de la validación, asegurando así la mayor comprensión de los pictogramas creados. Como resultado de este proceso, se presentan 55 pictogramas de nueva validación en un amplísimo grupo de personas de diferentes zonas geográficas, perfiles cognitivos, edades y niveles educativos, lo que garantiza su utilidad para promover el acceso a la información en diversidad de contextos y poblaciones. Así, el trabajo aquí presentado, tanto en lo que respecta a la base de pictogramas resultantes como la metodología empleada, constituye una propuesta que permitirá avanzar en la mejora de la accesibilidad universal y proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 188 – cognitiva de los entornos, con el objetivo de favorecer la inclusión en la sociedad de todas las personas. 6. Referencias bibliográficas BEauFilS, E., hommEt, C., Brault, F., marqué, A., Eudo, C., viErron, E., dE toFFol, B., ConStanS, T. y mondon, K. (2014). The effect of age and educational level on the cognitive processes used to comprehend the meaning of pictograms. Springer International Publishing, 26, 61-65. https://doi.org/10.1007/s40520-013-0179-6 BElinChón, M., CaSaS, S., díEz, C. y tamarit, J. (2014). Accesibilidad cognitiva en los centros educativos. Colección Guías prácticas de orientaciones para la inclusión educativa. Ministerio de Educación, Cultura y Deporte. BErthEnEt, M., vaillanCourt, R. y pouliot, A. (2016). Evaluation, modification, and validation of pictograms depicting medication instructions in the elderly. Journal of Health Communication, 21(0), 27-33. https://doi.org/10.1080/10810730.2015.1133737 BloomBErG, K., Karlan, G. y lloyd, L. (1990). The comparative translucency of initial lexical items represented in five graphic symbol systems and sets. Journal of Speech Language and Hearing Research, 33(4), 717-725. https://doi.org/ 10.1044/jshr.3304.717 doaK, C., doaK, L. y root, J. (1996). Teaching patients with low literacy skills. Lippincott Williams and Wilkins. dowSE, R. (2020). Designing and reporting pictogram research: problems, pitfalls and lessons learnt. Research in Social and Administrative Pharmacy, 17, 6, 1208-1215. https://doi.org/10.1016/j.sapharm.2020.08.013 FormiGa, E. (2002). Ergonomia informacional: compreensibilidade de símbolos para sinalização de hospitais públicos e unidades de saúde no Rio de Janeiro [Tesis de maestría no publicada]. Pontificia Universidad Católica de Río de Janeiro. GarCía, D. (2012). Diseño de sistemas de orientación espacial: Wayfinding. Laboratorio Wayfinding. inStituto dE EStadíStiCa y CartoGraFía dE andaluCía. (iECa) Consejería de transformación Económica, Industria, Conocimiento y Universidades de la Junta de Andalucía. (s. f.). https://www.juntadeandalucia.es/institutodeestadisticaycartografia/temas/est/tema_po- blacion.htm intErnational orGanization oF Standarization. (2012). Graphical symbols. https://www. iso.org/obp/ui/#search johnSon, R. (1981). The Picture Communication System. MayerJohnson Co. junCà J. A. (2002). Accesibilidad Universal. Diseño sin discriminación. imSErSo y Obra Social Caja Madrid. Kanji, L., Xu, S. y CavaCo, A. (2018). Assessing the understanding of pharmaceutical pictograms among cultural minorities: the example of Hindu individuals communicating in European Portuguese. Pharmacy, 6(1), 22. https://doi.org/10.3390/pharmacy6010022 KiSaalita, W. S. y SEmpiira, E. J. (2020). Development of pictograms to communicate technological solution instructions (labeling) among low-literacy users. Ergonomics in Design, 1-13. https://doi.org/10.1177/1064804620959145 proceso de evaluación de pictogramas: catálogo de señalización accesible andaluz g. erena, a. solís, l. arenas, m.ª l. borrero, r. cala, a. i. carpio, t. conde, d. garcía, p. martín, j. m. mera, fco. j. moreno, r. m. moreno, m. ortiz, m. rivero, i. r. rodríguez, m.ª a. tristancho, m.ª viejo, s. vila y d. saldaña Ediciones Universidad de Salamanca / CC BY-NC-ND Siglo Cero, vol. 53 (4), 2022, octubre-diciembre, pp. 165-189 – 189 – larraz, C., rEGatoS, R., rodríGuEz, M., SEBaStián, M. y GarCía, D. (2018). Creación y evaluación de pictogramas de señalización. CEapat. https://ceapat.imserso.es/InterPresent1/ groups/imserso/documents/binario/crepictogramas2018.pdf mErKS, P., ŚwiECzKowSKi, D., BalCErzaK, M., drEliCh, E., BiałoSzEwSKa, K., Cwalina, N., KrySinSKi, J., jaGuSzEwSKi, M., pouliot, A. y vaillanCourt, R. (2018). The evaluation of pharmaceutical pictograms among elderly patients in community pharmacy settings – a multicenter pilot study. Patient Preference and Adherence, 12, 257-266. https://doi. org/10.2147/ppa.S150113 Normas iSo 9186-2: 2008 Graphical symbols - Test Methods. Part 2 Method for testing perceptual quality. Normas iSo 9186-1: 2014 Graphical symbols - Test Methods. Part 1 Method for testing comprehensibility. romSKi, M., SEvCiK, R. A., Barton-hulSEy, A. y whitmorE, A. S. (2015). Early intervention and aaC: what a difference 30 years makes. Augmentative and Alternative Communication, 31, 181-202. https://doi.org/ 10.3109/07434618.2015.1064163 SarEmi, M., ShEKaripour, Z. S. y KhodaKarim, S. (2020). Guessability of U.S. pharmaceutical pictograms in Iranian prospective users. Pharmacy Practice, 18(1). https://doi. org/10.18549/PharmPract.2020.1.1705 Souza, C., Garrido, M. V. y Carmo. J. C. (2020). A systematic review of normative studies using images of common objects. Frontiers in Psychology, 11, 573314. https://doi. org/10.3389/fpsyg.2020.573314 Van BEuSEKom, M. M., land-zandStra, A. M., BoS, M. J. W., Van Den BroEK, J. M. y Gu- ChElaar, H. J. (2017). Pharmaceutical pictograms for low-literate patients: understanding, risk of false confidence, and evidence-based design strategies. Patient Education and Counseling, 100(5), 966-973. https://doi.org/10.1016/j.pec.2016.12.015 viGoroSo, L., CaFFaro, F., miChElEtti CrEmaSCo, M., BaGaGiolo, G. y Cavallo, E. (2020). Comprehension of safety pictograms affixed to agricultural machinery among Pakistani migrant farmworkers in Italy. Journal of Agromedicine, 25(3), 265-278. https://doi.org/10. 1080/1059924X.2019.1673269