Dilemas éticos de los vehículos autónomos: Responsabilidad ética, análisis de riesgo y toma de decisiones

DOI: http://doi.org/10.12795/Argumentos/2022.i25.09 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS: RESPONSABILIDAD ÉTICA, ANÁLISIS DE RIESGO Y TOMA DE DECISIONES ETHICAL DILEMMAS OF AUTONOMOUS VEHICLES: ETHICAL RESPONSIBILITY, RISK ANALYSIS AND DECISION MAKING JAVIER BUSTAMANTE DONAS Universidad Complutense de Madrid [email protected] RECIBIDO: 29/09/2022 ACEPTADO: 30/11/2022 Resumen: Este artículo plantea un análisis de los dilemas éticos creados en torno a los sistemas autónomos inteligentes, y más particularmente en torno a los vehículos autónomos. Se estudia el estado de la cuestión desde un punto de vista interdisciplinar. Se señalan los desafíos para la seguridad de los sistemas autónomos, así como las vulnerabilidades que afectan a la resistencia de los sistemas autónomos con respecto a ataques externos. Para tal fin se compara la habilitación para el manejo de vehículos con la certificación de sistemas autónomos. Se aplican dichos conceptos al estudio del caso del primer accidente mortal causado por un vehículo autónomo en relación con la asignación de responsabilidad ética y legal. Por último, se apunta a la tarea pendiente del análisis de la relación entre la ética de los vehículos autónomos y la teoría de juegos. Palabras clave: Vehículos autónomos; Ética, Toma de decisiones; Ética de las máquinas; Ética de la ingeniería. Abstract: This article presents an analysis of the ethical dilemmas created around intelligent autonomous systems, and more particularly around autonomous vehicles. The state of the art is studied from an interdisciplinary point of view. The challenges for the security of autonomous systems are pointed out, as well as the vulnerabilities affecting the resilience of autonomous systems 276 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 with respect to external attacks. For this purpose, vehicle operation licensing is compared to the certification of autonomous systems. These concepts are applied to the case study of the first fatal accident caused by an autonomous vehicle in relation to the assignment of ethical and legal responsibility. Finally, the pending task of analyzing the relationship between the ethics of autonomous vehicles and game theory is addressed. Keywords: Autonomous vehicles; Ethics; Decision making; Machine Ethics; Engineering Ethics. Definiciones y conceptos básicos sobre conducción autónoma Se define como vehículo autónomo aquel que puede circular sin intervención humana por vías que no han sido diseñadas específicamente para este tipo de vehículos y por las que circulan colectivamente ciclistas, peatones, y otros usuarios de vehículos. Emplean sistemas de automatización que llevan a cabo total o parcialmente la llamada tarea de conducción dinámica (DDT) 1 . Estos sistemas dependen a su vez de los inputs que reciben a partir de otros subsistemas: sensores ultrasónicos, sensores infrarrojos, sistema inercial, sistemas de posicionamiento y navegación por satélite, sistemas de cámaras de visión artificial, sistemas de radar y sistemas de determinación de distancia a través de láser (LIDAR) 2 . Todos los vehículos se catalogan en una taxonomía de seis niveles según el grado de intervención de sistemas autónomos para asistir a la conducción humana. Las especificaciones técnicas de estos niveles de automatización han sido establecidas por un organismo global llamado Sociedad de ingenieros de automoción (SAE) en el documento J3016 publicado en 2014, cuya última revisión es del 30 de abril de 2021 (SAE, 2022). Los niveles de automatización hacen referencia al papel que desempeña cada uno de los tres 1 DDT: Dynamic driving task. 2 LIDAR: Laser imaging detection and ranging DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 277 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 agentes principales (el conductor, el sistema de automatización de la conducción, otros sistemas y componentes del vehículo) en la ejecución de la DDT habitual, o en la DDT de emergencia. Estos niveles son los siguientes (Km77, 2022; SAE, 2022):  Nivel 0: ningún nivel de automatización, conducción totalmente manual sin asistentes para el control en marcha del vehículo.  Nivel 1: conducción asistida por dispositivos que pueden ayudar al control longitudinal o lateral del vehículo, pero no los dos a la vez. Por ejemplo, el programador de velocidad o el asistente de aparcamiento.  Nivel 2: automatización parcial de la conducción. Asistencia a la conducción en ambos ejes al mismo tiempo, pero de forma limitada y dejando al conductor la responsabilidad de responder en situaciones de detección de peligros imprevistos. Por ejemplo, el sistema de mantenimiento dentro del carril y el asistente de conducción en atascos.  Nivel 3: automatización condicional de la conducción. El conductor puede ceder el control al sistema autónomo, pero puede desactivar a voluntad dicho sistema frente a una situación de riesgo. Cuando el sistema detecta que se enfrenta a condiciones que le superan, avisa para que el conductor vuelva a tomar el control.  Nivel 4: alta automatización de la conducción. El vehículo opera de forma automática de forma continuada, sin la expectativa de intervención por parte del conductor. El sistema está preparado para responder a situaciones de peligro imprevistas y escoger la acción más favorable, es decir, que propicie la denominada situación de mínimo riesgo. El conductor siempre puede solicitar recuperar el control del vehículo en cualquier momento, aunque el 278 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 vehículo puede no responder inmediatamente. Si es el vehículo el que solicita que el conductor retome el control y éste no lo hace, el sistema es capaz de detener el vehículo en una zona segura.  Nivel 5: automatización total de la conducción. El sistema de conducción automatizada (ADS) 3 está diseñado para circular por cualquier vía que sea apta para un conductor humano en las mismas condiciones ambientales, incluidas las climatológicas. Por lo tanto, el vehículo puede carecer de pedales y/o de volante, o prescindir de un conductor de seguridad. Los niveles se aplican a las funciones que están activadas durante la conducción. Por lo tanto, un vehículo de un nivel más alto puede tener desactivadas algunas funciones y actuar dentro de un nivel inferior. Las ventajas de la generalización de los vehículos autónomos han sido recogidas por la Organización Internacional de Constructores de Automóviles (OICA), y son las siguientes: Se evitarían los errores humanos que causan más del 90 % de los accidentes de tráfico, por lo que aumentaría significativamente la seguridad vial. Se optimizaría la organización del tráfico mejorando el flujo de vehículos, con la consiguiente reducción de emisiones contaminantes. Se extendería el beneficio del uso del automóvil a conductores con necesidades especiales o inseguros, y a personas de edad avanzada. Por último, el ahorro de tiempo empleado en conducir supondría mayor productividad y disponibilidad de tiempo de ocio. No obstante, también surge la necesidad de diseñar un marco ético y legal complejo con relación a la responsabilidad de los accidentes provocados por sistemas de conducción autónoma. También surgen dilemas éticos con relación a otros factores como 3 ADS: Automated driving system. DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 279 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 la programación de la toma de decisiones en situaciones donde la mejor opción posible implica coste de vidas humanas, o la transparencia de los algoritmos empleados y la certificación de los sistemas de inteligencia artificial y las redes neuronales de aprendizaje profundo que se encuentran en el corazón del sistema autónomo. En los siguientes apartados iremos desentrañando estos dilemas éticos. La deliberación ética acerca de los sistemas autónomos inteligentes. Estado de la cuestión Los vehículos autónomos son una clase particular de sistemas autónomos inteligentes. Los sistemas autónomos inteligentes son aquellos que interaccionan con su entorno para adaptarse a las circunstancias dinámicas cambiantes. Ya sean barcos autónomos, vehículos de conducción automática o drones y otros tipos de aviones civiles o militares no tripulados, se engloban en uno de los campos de mayor éxito de las tecnologías de aprendizaje máquina e inteligencia artificial. La adopción de nuevos modelos de computación en nube, de robótica corporativa, de plataformas de arquitectura de red, etc., está generando toda una constelación de problemas éticos que tienen que ver no solamente con el uso de dichos artefactos, sino también con el diseño, el modelado, la verificación y la validación de los sistemas autónomos de complejidad funcional creciente tanto en escala como en prestaciones. Sin duda esta tendencia hacia una complejidad mayor tanto en estructura como funcional comienza a presentar un gran desafío de diseño y de validación para garantizar tanto la seguridad como la certificación de dichos sistemas con respecto a estándares técnicos y éticos aceptables en una sociedad democrática. (Yu et al., v-vi). 280 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 En los últimos años se han publicado un gran número de artículos académicos y libros blancos dedicados a orientar la investigación de las diferentes comunidades implicadas, como son las que trabajan en el control de sistemas, el procesamiento de señales, la visión artificial, el diseño de circuitos, la validación y verificación, la robótica corporativa y la inteligencia artificial. Sin embargo, este florecimiento de los enfoques especializados no debe olvidar que a menudo los dilemas éticos se generan en territorios de intersección de estas disciplinas, de forma que empezamos a percibir la necesidad de una visión holística y unificada del estado de la cuestión para poder responder a estos dilemas. Al ser un área de naturaleza fuertemente interdisciplinaria, los dilemas éticos generados tienen que ver también con avances en el estado de la cuestión producidos por la colaboración de investigadores industriales y académicos. En estos casos, no basta simplemente un abordaje deontológico, ya que se ponen en juego valores de eficacia y seguridad que no obedecen a conceptos ideales, sino a criterios y niveles de seguridad y fiabilidad aceptables por la sociedad. Esto implica que la problemática ética de los vehículos autónomos entendidos como un caso particular de sistemas autónomos inteligentes pone en acción una constelación de valores que no son solamente éticos, y que tienen que ver con criterios consecuencialistas o prudenciales, como veremos más adelante (Yu et al., v-vi). Uno de los objetivos de este artículo será destacar la necesidad de establecer criterios éticos y protocolos de evaluación aplicables a los desafíos relacionados con la seguridad de la nueva generación de vehículos autónomos basados en el aprendizaje máquina, la aplicación de la computación en nube y la inteligencia artificial. Nuevas metodologías de análisis ético deben ser desarrolladas para orientar el trabajo colaborativo de las comunidades de tecnólogos y científicos que están trabajando en proyectos que no solo potencian DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 281 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 la capacidad humana para interactuar con su entorno, sino que redefinen las tareas hasta hace poco tiempo consideradas exclusivamente humanas. Si bien es cierto que los vehículos de conducción autónoma llevan ya algunos años entre nosotros, el continuo avance en tecnología de sensores, aprendizaje de máquina visión artificial y modelos de toma de decisiones, está abriendo nuevas oportunidades para ampliar el uso de estos sistemas, pero también aumenta su complejidad y nivel de acoplamiento. En consecuencia, la discusión ética sobre sus condiciones de utilización se encuentra con requerimientos de seguridad cada vez más complejos para los cuales las metodologías convencionales de diseño y validación no están convenientemente preparadas para responder a los grandes desafíos de seguridad y consistencia que requieren estos sistemas. La opinión pública ha generado una particular expectación acerca de estos dilemas sobre la seguridad de las operaciones y decisiones de un vehículo autónomo a través de accidentes con graves consecuencias que lo ocurrido recientemente implicando a vehículos de Tesla y Uber. Desafíos para la seguridad y resistencia de los sistemas autónomos El número de desafíos que tienen relevancia ética para esta tecnología es muy amplio. El primero de ellos tiene que ver con las implicaciones para la seguridad de los sistemas autónomos sometidos a ciberataques desde la perspectiva del control de sistemas. Y el problema aquí se sitúa en conseguir un diseño de sistemas de control resistente a ciberataques que no sea excesivamente conservador. Cuando se evalúan los llamados controladores híbridos se verifican de forma analítica 282 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 exclusivamente para casos de horizonte de tiempo finito. Sin embargo, los resultados deben posteriormente extenderse al caso de horizonte de tiempo infinito para poder generalizar los resultados y garantizar así un satisfactorio nivel de protección frente a ciberataques (Kwon y Hwang, 2019). El segundo problema tiene que ver con las metodologías de validación de sistemas autónomos de visión artificial en condiciones no ideales, es decir, circunstancias caracterizadas por la variación de las condiciones ambientales -- especialmente la temperatura y la visibilidad en situaciones de niebla --, y también por el envejecimiento de los circuitos. En estos casos el problema está en la imposibilidad de validar la robustez de estos sistemas en escenarios reales de casos más desfavorables, ya que resulta muy complicado diseñar experimentalmente la peor situación posible. Las investigaciones en este terreno se orientan a diseñar algoritmos, particularmente del tipo subset sampling (SUS), para obtener una estimación objetiva de la estadística de fallos raros utilizando a la menor cantidad posible de datos de test, con el objetivo de optimizar los costes de validación, mejorando los abordajes poco eficientes basados en el uso del método Montecarlo de fuerza bruta. (Handi Yu et al., 2019). Un tercer problema tiene que ver con dos desafíos básicos en el diseño de sistemas autónomos seguros y confiables: la dinámica inadecuada del modelo del sistema y los entornos solo parcialmente observables. Tanto el aprendizaje máquina como la inteligencia artificial tienen un enorme potencial de transformación de los sistemas autónomos, dado que utilizan el diseño basado en datos (data-driven design). En este sentido, el análisis de las experiencias y de las consecuencias de los procesos de toma de decisiones en escenarios realistas es la principal herramienta de evolución. Sin embargo, dado el carácter crítico de la seguridad de los sistemas de vehículos autónomos, esta evolución requiere abordajes que sean al DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 283 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 mismo tiempo seguros, resistentes y robustos. Dada la cantidad de información que debe ser procesada por el sistema autónomo del vehículo en cada desplazamiento medio, tasas ínfimas de error dan lugar a cifras difícilmente soportables de accidentes y pérdida de vidas humanas (Bansal y Tomlin, 2019). Resistencia de los sistemas autónomos con respecto a ataques externos Un cuarto problema tiene que ver con la seguridad con respecto a ataques externos a los vehículos autónomos. Incluso cuando es posible garantizar el adecuado funcionamiento de los sensores en todo tipo de circunstancias climáticas y ambientales, aparte del desgaste y envejecimiento de los componentes de los subsistemas sensoriales, existe el problema de la vulnerabilidad de la integridad de los sistemas autónomos a las intervenciones externas, conocidas como hacking. El punto más vulnerable de dichos sistemas se localiza en su red neuronal profunda (Deep Neural Network, o DNN), que se ocupa fundamentalmente de interpretar y dotar de sentido a los estímulos o inputs captados por los sensores del vehículo. Varios artículos científicos recientes han demostrado la vulnerabilidad de las DNN y frente a pequeñas perturbaciones visuales en los inputs del sistema (Carlini et al., 2017; Carlini et al., 2020; Gandhi et al., 2020; Goodfellow et al., 2014; Kos et al., 2017; Li et al., 2014; Moosavi-Dezfooli et al., 2016; Neekhara et al., 2021; Nguyen et al. 2015; Papernot et al. 2016). Dado que los vehículos autónomos utilizan este tipo de redes neuronales para tomar decisiones en circunstancias críticas de seguridad, una interpretación errónea de información por parte de los sensores podría provocar decisiones erróneas y generar escenarios peligrosos. Estas técnicas pueden ser utilizadas para sabotear de 290 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 que esté basado en procedimientos muy sofisticados dependerá siempre de la precisión y fiabilidad de sus sensores, ya que a partir de ellos obtienen la información del mundo exterior que está en la base de sus procesos de toma de decisiones. Ya que en ética el problema de la responsabilidad está siempre a la base, algunos ejemplos nos demuestran la relación entre percepción del mundo y toma de decisiones. El conductor de un Tesla falleció porque confió en el sistema automático de detección frente a obstáculos cuando un tráiler se cruzó en su trayectoria. El sistema estaba programado para detenerse frente a un obstáculo de ese porte, el problema es que el sensor no funcionó adecuadamente provocando el accidente mortal. (NTBS 2017). Cuanto mayor es el grado de incertidumbre, en mayor medida tiene que ser sustituido el conocimiento deductivo por otro inductivo, ya que no contamos con todos los elementos de juicio necesarios. Aquí más que en cualquier otro escenario se cumple la máxima de Samuel Butler: la vida consiste en sacar conclusiones de premisas insuficientes. En casos como el de las señales de tráfico hackeadas, los humanos actuamos en función de intuiciones y juicios situacionales, basados habitualmente de experiencia. Esta es la característica del nivel de experticia o maestría, en el que no es suficiente una base de conocimiento si no está apoyada en la experiencia previa en situaciones de incertidumbre similares. Este nivel de conocimiento experiencia tiene mucho que ver con lo que tradicionalmente se entiende como sabiduría, y es un terreno muy alejado aún del alcance de la inteligencia artificial, a pesar de los progresos realizados hasta el momento. Serán necesarios avances cualitativos para poder obtener niveles satisfactorios de imitación del comportamiento humano en este tipo de situaciones límite. Viendo estos antecedentes, Cummings aboga por la conveniencia de aplicar un sistema de certificación de vehículos autónomos que aprenda de la experiencia obtenida con los DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 291 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 procedimientos de obtención de licencias para conductores de vehículos terrestres o pilotos de una vez. De la misma forma que el chequeo de la vista es fundamental para aún operador humano, la certificación de los sistemas de visión artificial son un elemento clave en los vehículos autónomos. No es solamente un problema de sabotaje externo malintencionado, como hemos visto en el caso estudiado por Eykholt, sino también de otras causas medioambientales, como es una situación de niebla, de lluvia o de nieve, de baja visibilidad, de deslumbramiento cuando está el sol a baja altura en el amanecer o en el ocaso, de viento que arrastre hojas que queden pegadas a las señales de tráfico impidiendo su correcta identificación, etc. En los viajes nocturnos por carretera es habitual ver al llegar a destino que los faros y el parabrisas quedan manchados por una multitud de mosquitos y otros insectos que son atraídos por las luces del vehículo y quedan incrustados. Tampoco son infrecuentes las defecaciones de los pájaros sobre la carrocería del vehículo, sobre todo cuando aparcamos debajo de un árbol. Factores tan triviales pueden bloquear un sensor óptico o provocar fallos de identificación de elementos esenciales como las señales de tráfico, peatones y otros vehículos, para el desarrollo de una conducción segura. Por último, fallos eléctricos en el vehículo o el envejecimiento de componentes ópticos o electrónicos puede ser importantes factores de riesgo. Como ya hemos indicado, la certificación debería establecerse a dos niveles. Por un lado, de forma genérica para un solo componente del vehículo autónomo, y por otro individualmente para cada vehículo en forma de inspección periódica. En cuanto al equivalente de los exámenes teóricos, la certificación para los vehículos autónomos debería contemplar simuladores que replicaran situaciones aleatorias de riesgo tanto para la seguridad de los pasajeros y el conductor del vehículo como para los peatones y conductores y pasajeros de otros vehículos. Se 292 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 debería prestar atención especial a los llamados elementos de mitigación de riesgo. Aquí de nuevo el problema principal es de índole ética. Tenemos que definir el umbral de riesgo que consideramos aceptable, y también la respuesta suficientemente buena por parte del sistema autónomo. Es decir, una respuesta que minimice los daños dentro del abanico de posibilidades reales, aceptando que ni humanos ni máquinas pueden tener un conocimiento exhaustivo de todas las condiciones implicadas en la situación, por lo que si hace necesario definir el umbral de riesgo que estamos dispuestos a aceptar. En teoría de la decisión se utiliza un concepto de satisfactorio para calificar este tipo de decisiones. En términos prácticos, se suele establecer que un sistema autónomo funciona adecuadamente cuando genera niveles de seguridad equivalentes o mejores (EBLS) 5 a los que se exigen a los operadores humanos, especialmente en situaciones poco probables pero de consecuencias potencialmente graves. El problema que nos enfrentamos para establecer estos estándares de EBLS es la opacidad del funcionamiento del software del vehículo autónomo. Los algoritmos de aprendizaje profundo y las redes neuronales son muy complicados de entender, y a ello se suma en muchos casos el carácter propietario del software, que impide la llamada ingeniería inversa. Es decir, que estemos autorizados a decodificar el programa inspeccionando lo que realmente hace su código fuente. El problema se resolvería en gran parte exigiendo que toda la programación de los subsistemas del vehículo obedezca a estándares de software libre. Otro camino sería el desarrollo de algoritmos transparentes y modalidades de visualización e interacción que permitan a los especialistas conocer y entender cómo el vehículo genera planes de acción y de toma de decisiones que realmente cumplan los niveles de EBLS. En caso contrario resulta muy difícil establecer controles para garantizar el 5 ELBS: Equivalent or better levels of safety. DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 293 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 cumplimiento de las prescripciones éticas que debe cumplir el vehículo autónomo para obtener su certificación. (Cummings, 2019, p. 147). De la misma forma en que los conductores noveles deben llevar en el vehículo una señal que indique a los demás conductores que se encuentran en periodo de formación (la famosa “L” blanca sobre fondo verde) sería ético que los vehículos autónomos utilizaran algún indicativo para prevenir a los demás conductores de su presencia en la carretera. Al menos en esta etapa de desarrollo en la que aún no han alcanzado un nivel satisfactorio de seguridad. Prueba de ello es que en el estado de California están autorizados a circular sin que haya un conductor dentro del vehículo, siempre que haya un operador que controle remotamente el vehículo y que pueda intervenir telemáticamente cuando así lo requiera una situación de peligro. Sin embargo, este tipo de operaciones sufren de un defecto congénito. Se trata del desfase en la reacción del teleoperador, ya que evitar un accidente requiere frecuentemente tiempos de reacción de una fracción de segundo. Al actuar a distancia el teleoperador necesita un tiempo extra para tomar control del vehículo y tomar las decisiones oportunas, para después actuar de forma motora sobre los dispositivos del vehículo autónomo. Además de este tiempo extra necesario para tomar el control del vehículo hay que tener en cuenta la limitación física llamada desfase neuromuscular, que consiste en un retardo de 500 milisegundos entre la aparición del estímulo y la capacidad de reaccionar. Una prueba de ello y es la gran cantidad de accidentes de los drones controlados a distancia. En el caso del avión no tripulado Predator, la fuerza aérea norteamericana ha perdido un tercio de su flota por fallos de operación humana, principalmente en maniobras de aterrizaje. Estas maniobras se realizan a velocidades similares a las de un automóvil que circula por una autopista. Por lo tanto, es muy probable que los vehículos 294 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 autónomos, dado el estado actual de la tecnología, sufren también de las mismas dificultades para que el teleoperador consiga evitar un accidente. El camino consistiría en el desarrollo de interfaces más sofisticadas de realidad Virtual para que los teleoperadores tuvieran una percepción más inmersiva y realista, diseñando sensores táctiles y olfativos que complementen los estímulos visuales y auditivos. Haciendo intervenir más sentidos se consigue una mejor percepción e interpretación de la situación de peligro. Una segunda fase consistiría en la implantación subcutánea de una interfase que permitiera que dichos estímulos se dirigieran directamente al sistema nervioso del teleoperador. De esta manera se reduciría la distancia que tendrían que recorrer los impulsos eléctricos de su respuesta motora. No obstante, este tipo de intervenciones presenta nuevos dilemas éticos que deben ser tenidos en cuenta, que tienen que ver con la integridad del cuerpo de la persona. En vehículos autónomos de nivel 5 se elimina la esta fuente de error, ya que no existe ningún tipo de intervención humana, sino que la conducción se realiza con un altísimo nivel de conectividad con el entorno, a través del reconocimiento de señales, la información ambiental contenida en la nube, los sistemas de geoposicionamiento de alta precisión, y todo tipo de tecnologías que requieren un nivel de acoplamiento muy elevado. No olvidemos que en cualquier sistema de alto acoplamiento, cualquier fallo de un componente se contagia rápidamente al resto de componentes, provocando un fallo múltiple de difícil resolución. Sin embargo, aparece otra fuente de error que puede ser más grave. En el sector del automóvil cada vez tiene mayor importancia los fallos de software. En vehículos convencionales que no tienen sistemas de inteligencia artificial, estos fallos han sido responsables de más de un 19 % de las llamadas a fábrica para reparación (recalls) en 2019. En vehículos más sofisticados el problema es mucho más grave. Entre 2016 y 2022 la compañía BMW llamar a DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 295 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 revisión a más de 60.000 vehículos de los modelos X3, X4 y serie 5 debido a un fallo de software que provocaba la pérdida de torque y la parada del motor. A su vez, Tesla ha tenido que llamar a fábrica más de 130.000 vehículos en Estados Unidos debido a un fallo de software que provocaba que la pantalla de infoentretenimiento no mostrara imágenes de la cámara trasera, la selección de marcha el estado de los limpiaparabrisas y de las luces de aviso, incrementando así el riesgo de sufrir un accidente. En 2019, solo en Estados Unidos más de 10 millones de vehículos han sufrido estos fallos, y el 51,6% no han pasado por fábrica y circular sin haber resuelto el fallo. (Sibros, 2020). A medida que los automóviles cada vez tienen más elementos de conectividad, aumenta también la cantidad de líneas de código de programación necesarias para soportar este aumento de capacidades inteligentes. Esto conlleva un aumento exponencial del riesgo de fallo de programación. En este panorama se plantean nuevos dilemas como el que afecta a la política de la compañía Tesla de actualizar automáticamente el software de sus vehículos sin consentimiento ni conocimiento previo del dueño del vehículo. A medida que se introduzcan a niveles superiores de conducción autónoma, parece una cuestión moralmente delicada el hecho de que el fabricante actualice sin consentimiento un software que permite funcionales desconocidas para el usuario, o asociando la descarga de la actualización a la aceptación tras la lectura de las condiciones de uso, cuando todos sabemos que casi nadie lee dichas condiciones antes de instalar una aplicación en su teléfono móvil o en su computadora. Hoy en día no existen test homologados y estandarizados que puedan evaluar adecuadamente el software basado en una racionalidad estocástica y no determinista, como es el caso del aprendizaje máquina, principalmente en entornos críticos de seguridad con alto grado de incertidumbre. Ese hecho permite prever un aumento muy significativo de este problema en un futuro próximo. Y este 296 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 problema se suman otros que quedan claramente puestos en el caso del primer accidente con consecuencias mortales en el que se visto involucrado un vehículo autónomo. Lo veremos a continuación. El primer accidente mortal de un vehículo autónomo: ¿quién (o qué) fue responsable? El 18 de marzo de 2018 un SUV Volvo de conducción autónoma atropelló a un peatón a una velocidad de 39 millas por hora (63 km/h), a pesar de la presencia de un conductor de seguridad o backup driver. La misión de este conductor es tomar el control del vehículo en el caso de que éste tome una decisión errónea que ponga en peligro la vida del propio conductor, la de otros conductores o peatones, o la propia integridad del vehículo. El accidente tuvo lugar en la localidad de Tempe, Arizona, cuando Elaine Herzberg, de 49 años, se cruzó en la carretera con su bicicleta y fue arrollada por el vehículo de la compañía Uber. La investigación alegó que la conductora de seguridad, Rafaela Vasquez (nacido Rafael), estaba en el momento del accidente distraída mientras asistía a un programa del concurso de televisión La voz. Los datos de streaming de la plataforma Hulu demostraron que su teléfono móvil estaba visualizando dicho programa. Se trata del primer atropello con resultado de muerte en el que está implicado un automóvil autónomo, y es un caso paradigmático para poder analizar los dilemas éticos que se plantean acerca de la responsabilidad de los accidentes en los vehículos autónomos. Fue un día fatídico para la industria del automóvil y la percepción pública de la seguridad de la nueva tecnología de vehículos autónomos En su defensa Rafaela Vasquez declaro que la mujer saltó a la carretera justo delante de ella montando en una bicicleta y llevando DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 297 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 varias bolsas de compra, y que no tuvo ninguna posibilidad de frenar. Su velocidad en ese momento era de 40 millas por hora, por lo que no superaba el límite de 45 millas en ese punto de la carretera. Sylvia Moir, jefe de policía de Tempe, declaró que “Está muy claro que habría sido difícil evitar esta colisión en cualquier tipo de modo (autónomo o conducido por humanos) basándose en cómo salió de las sombras directamente a la calzada". Fuentes de la policía local también señalaron que los vídeos grabados por las cámaras del vehículo de Uber apoyaban la versión de Vasquez (Styles, 2018). Actualmente se encuentra a la espera de juicio, quizá por la complejidad del caso y también por las repercusiones que una sentencia en un sentido u otro puede tener para la industria del automóvil. No hay que olvidar que a partir de 2015 Uber competía con Google en la carrera por el vehículo autónomo, planteándose el desarrollo de los robotaxis como una batalla existencial. Efectivamente, contar con una flota de taxis sin conductor reduciría enormemente los costes de operación, lo que daría una ventaja estratégica sustancial a la compañía que fuera la primera en conseguir dicha gesta. Rafaela Vasquez se enfrenta a una acusación de homicidio por negligencia. El fiscal solicita una pena de 2,5 años de prisión, similar a la de un homicidio involuntario. A la hora de cerrar este artículo todavía no hay fecha prevista para el juicio. Este caso muestra claramente dónde se encuentra el eslabón más débil del sistema legal, más allá de cualquier consideración ética. Lo que está en juego es la asignación de responsabilidad civil o penal a los agentes involucrados. Las grandes compañías cuentan con equipos de abogados especializados en su defensa legal, y siempre existe la coartada del error humano. La defensa sostiene que Vasquez no estaba en el momento del accidente viendo un programa concurso, sino chequeando en su teléfono móvil información enviada por la compañía. Además de intentar saber 298 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 quién fue culpable, este accidente debería obligar a las compañías implicadas en el desarrollo de los automóviles autónomos a reevaluar sus políticas de seguridad. Sin embargo, parecen más preocupadas por el hecho de que con sucesos con éste la opinión pública ha reducido su fe en la promesa de la tecnología que se presenta con innegables beneficios sociales. Un fiscal de Arizona liberó a la compañía Uber de cualquier responsabilidad criminal, pero muchos observadores consideran que hay indicios de que la compañía tiene alguna responsabilidad, y que Rafaela Vasquez ha sido señalada como chivo expiatorio (Stern, 2021). Lauren Smiley (2022) ha escrito para la revista Wired un revelador artículo que presenta la primera entrevista concedida por la conductora después del accidente, y también expone una exhaustiva recopilación de datos acerca del accidente que pone en tela de juicio la explicación oficial y nos lleva a concluir que existe un profundo interés por presentar el primer accidente mortal de un vehículo autónomo como un error humano, sacando de los focos cualquier deliberación ética acerca de la planificación de los test en vías públicas y de las garantías de funcionamiento adecuado de estos vehículos de convivencia con ciclistas, peatones y otros conductores. Cito textualmente un fragmento de la reconstrucción del momento del accidente: El sistema de conducción de Uber - que en ese momento llevaba 19 minutos controlando el coche - registró un vehículo que circulaba por delante a 5,6 segundos de distancia, pero no alertó a Vásquez. A continuación, el ordenador anuló su evaluación inicial: no sabía qué objeto era. A continuación, volvió a cambiar la clasificación a un vehículo, y luego osciló entre vehículo y otra cosa. A 2,6 segundos del objeto, el sistema lo identificó como "bicicleta". A 1,5 segundos, volvió a considerarlo otra cosa. Luego volvió a bicicleta. El sistema generó un plan para intentar esquivar lo que fuera, pero decidió que no podía. Entonces, a 0,2 segundos del impacto, el coche emitió un sonido para DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 299 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 alertar a Vásquez de que el vehículo iba a reducir la velocidad. Dos centésimas de segundos antes del impacto, a 39 Mp/h, Vásquez agarró el volante, lo que sacó al coche de la autonomía y lo puso en modo manual. Era demasiado tarde. La bicicleta destrozada dejó una estela de 7 metros en la acera. Una persona yacía gravemente herida en la calzada (Smiley, 2022). Días después, representantes de la compañía explicaron a la policía que habían anulado el sistema de frenado automático de Volvo para que no interfiriera con los propios sistemas de seguridad instalados por Uber. Una vez que esta compañía retiró sus vehículos autónomos de pruebas, realizó una autoevaluación sobre el accidente y sus prácticas de seguridad. En su análisis de los datos reconoció que su tecnología de visión artificial no había reconocido en ningún momento a la víctima del accidente como una persona: Casi cada vez que el sistema cambiaba lo que creía que era Herzberg - un coche, una moto, otra cosa - empezaba de cero para calcular hacia dónde podría dirigirse el objeto, es decir, cruzando la carretera hacia el carril del Volvo. Uber había programado el coche para retrasar la frenada brusca durante un segundo a fin de permitir que el sistema verificara la emergencia - y evitar falsas alarmas- y que el ser humano tomara el control. El sistema sólo frenaría bruscamente si podía evitar por completo el accidente; de lo contrario, reduciría la velocidad gradualmente y avisaría al conductor. En otras palabras, en el momento en que consideró que no podía evitar por completo a Herzberg aquella noche, el coche no pisó a fondo los frenos, lo que podría haber hecho que el impacto fuera menos grave (Smiley, 2022). Más adelante Volvo realizó pruebas de simulación del accidente con sus propios recursos, y emitió un informe para la National Transportation Safety Board en el que demostraba que su sistema patentado de frenada de emergencia, el que Uber anuló para sustituirlo por su propio sistema, habría detenido el vehículo antes de provocar el atropello en 17 de 20 escenarios posibles, y habría 306 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 Bibliografía Bansal, S., & Tomlin, C. J. (2019). Control and Safety of Autonomous Vehicles with Learning-Enabled Components. In H. Yu, X. Li, R. Murray, S. Ramesh, & C. J. Tomlin (Eds.), Safe, Autonomous and Intelligent Vehicles. Springer Nature. https://doi.org/10.1007/978- 3- 319- 97301- 2. Bonnefon, J. F., Shariff, A., & Rahwan, I. (2016). The Social Dilemma of Autonomous Vehicles. Science, 352(6293): 1573- 1576. https://doi.org/10.1126/science.aaf2654 Dolhansky, B., Bitton, J., Pflaum, B., Lu, J., Howes, R., Wang, M. & Canton Ferrer, C. (2020). The deepfake detection challenge (DFDC) dataset. arXiv preprint arXiv:2006.07397. Carlini N., & Wagner, D. (2017). Towards evaluating the robustness of neural networks. In Security and Privacy (SP), 2017 IEEE Symposium, 39–57. Carlini, N., & Farid, H. (2020). Evading deepfake-image detectors with white- and black-box attacks. arXiv preprint arXiv:2004.00622. Cummings, M.L. (2017). The Brave New World of Driverless Cars: The Need for Interdisciplinary Research and Workforce Development. TR News, 34–37. Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A, Xiao, C., Prakash, A., Kohno, T., & Song, D. (2018). Robust Physical- World Attacks on Deep Learning Visual Classification, IEEE/CVF Conference on Computer Vision and Pattern Recognition, 1625- 1634, doi: 10.1109/CVPR.2018.00175. Gandhi, A., & Jain, S. (2020). Adversarial Perturbations Fool Deepfake Detectors. arXiv preprint. https://doi.org/10.48550/arXiv.2003.10596. Goodfellow I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572. DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 307 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 Guevara, J. F. (2021). Moral machine: descubriendo el desafío ético de las inteligencias artificiales. Arbor, 197(800), a607. https://arbor.revistas.csic.es/index.php/arbor/article/view/2421. Handi Yu et al. (2019). Efficient Statistical Validation of Autonomous Driving Systems. In H. Yu, X. Li, R. Murray, S. Ramesh, & C. J. Tomlin (Eds.), Safe, Autonomous and Intelligent Vehicles. Springer Nature. https://doi.org/10.1007/978- 3- 319- 97301- 2. Km77.com (2022) Conducción autónoma, niveles y tecnología. https://www.km77.com/reportajes/varios/conduccion-autonoma- niveles. Kos, J., Fischer, I., & Song, D. Adversarial examples for generative models. arXiv preprint arXiv:1702.06832, 2017. Kwon, C., & Hwang, I. (2019). Cyberattack-Resilient Hybrid Controller Design with Application to UAS. In H. Yu, X. Li, R. Murray, S. Ramesh, & C. J. Tomlin (Eds.), Safe, Autonomous and Intelligent Vehicles. Springer Nature. https://doi.org/10.1007/978- 3- 319- 97301- 2. Li, B., & Vorobeychik, Y. (2014). Feature cross-substitution in adversarial classification. In ANIPS’14: Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, 2087–2095. Moosavi-Dezfooli, S., Fawzi, A., Fawzi, O., & Frossard, P. (2016). Universal adversarial perturbations. CoRR, abs/1610.08401. Neekhara, P., Dolhansky, B., Bitton, J., & Ferrer, C. C. (2021). Adversarial Threats to DeepFake Detection: A Practical Perspective. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Nashville, TN, USA. 923-932. https://openaccess.thecvf.com/content/CVPR2021W/WMF/html/N 308 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 eekhara_Adversarial_Threats_to_DeepFake_Detection_A_Practica l_Perspective_CVPRW_2021_paper.html Nguyen, A., Yosinski, J., & Clune, J. (2015). Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 427–436. NTSB (2017). Highway Accident Report: Collision Between a Car Operating with Automated Vehicle Control Systems and a Tractor- Semitrailer Truck near Williston, Florida May 7, 2016. NTSB/HAR- 17/02 PB2017–102600. Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, Z. B., & Swami, A. (2016). The limitations of deep learning in adversarial settings. In Security and Privacy (EuroS&P), 2016 IEEE European Symposium on, 372–387. Quach, K. (14 de marzo de 2022). Driver in Uber’s self-driving car death goes on trial, says she feels ‘betrayed’. The Register. https://www.theregister.com/2022/03/14/in_brief_ai/ SAE (2022). Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles J3016_202104. SAE.org. https://www.sae.org/standards/content/j3016_202104/ Sandel, M. (2011) Justicia. ¿Hacemos lo que debemos? Debate. Shinar, D., & Schieber, F. (1991). Visual requirements for safety and mobility of older drivers. Hum. Factors, 33(5), 507–519. Sibros medium (2022). The Current State of Automotive Software Related Recalls. https://sibros.medium.com/the-current-state-of- automotive-software-related-recalls-ef5ca95a88e2 Smiley, L. (2022). ‘I’m the Operator’: The Aftermath of a Self- Driving Tragedy. Wired, 8 de marzo. https://www.wired.com/story/uber-self-driving-car-fatal-crash/ Stern, R. (12 de mayo de 2021). Trial Delayed for Backup Driver in Fatal Crash of Uber Autonomous Vehicle. Phoenix New Times. DILEMAS ÉTICOS DE LOS VEHÍCULOS AUTÓNOMOS 309 Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309 https://www.phoenixnewtimes.com/news/uber-crash-arizona- vasquez-herzberg-trial-negligent-homicide-charge-11553424. Styles, R. y Smith, J. (20 de marzo de 2018). Convicted armed robber who was behind the wheel of self-driving Uber when it killed pedestrian as she wheeled her bike across a road. Daily Mail. https://www.dailymail.co.uk/news/article-5524031/PICTURED- Felon-wheel-killer-self-driving-Uber-car.html Yu, H., Li, X., Murray, R., Ramesh, S., & Tomlin, C. J. (Eds.). (2019). Safe, Autonomous and Intelligent Vehicles. Springer Nature. https://doi.org/10.1007/978- 3- 319- 97301- 2. 310 JAVIER BUSTAMANTE DONAS Argumentos de Razón Técnica, nº 25, 2022, pp. 275-309