Repositorio Institucional de Documentos

Trabajo Fin de Grado Marco ético-jurídico para la actuación de un asistente conversacional del Gobierno de Aragón. Ethical-legal framework for the interpellation of a conversational assistant of the Government of Aragón. Autora Marina Cebrián Monreal Director José Félix Muñoz Soro Facultad de Derecho 2019/2020 2 ÍNDICE I. INTRODUCCIÓN ............................................................................................... 4 1. Resumen ................................................................................................................ 4 2. Razón de la elección del tema y justificación de su interés ..................................... 4 3. Metodología ........................................................................................................... 5 II. INTELIGENCIA ARTIFICIAL, DERECHO Y ÉTICA ................................... 7 1. Evolución y concepto ............................................................................................. 7 2. Ética e inteligencia artificial ................................................................................. 10 III. DESARROLLO DE UN ASISTENTE CONVERSACIONAL EN EL GOBIERNO DE ARAGÓN ...................................................................................... 19 1. ¿Qué son los asistentes conversacionales o chatbots? ........................................... 19 2. El asistente conversacional de Aragón Open Data ................................................ 22 IV. MARCO ÉTICO Y NORMATIVO APLICABLE AL ASISTENTE CONVERSACIONAL DE ARAGÓN OPEN DATA .............................................. 23 1. Marco ético .......................................................................................................... 24 2. Marco normativo ................................................................................................. 29 2.1 Naturaleza jurídica del chatbot .......................................................................... 30 2.2 Derecho aplicable al chatbot .............................................................................. 32 2.3 Espacio de interacción ciudadano-chatbot ......................................................... 36 3. Responsabilidad administrativa del chatbot .......................................................... 38 V. CONCLUSIÓN ............................................................................................... 42 VI. BIBLIOGRAFÍA ............................................................................................ 44 VII. WEBGRAFÍA................................................................................................. 46 3 LISTADO DE ABREVIATURAS - IA: Inteligencia Artificial. - TFG: Trabajo de Final de Grado. - ITAINNOVA: Instituto Tecnológico de Aragón. - UE: Unión Europea. - RGPD: Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos). - ENS: Real Decreto 3/2010, de 8 de enero, por el que se regula el Esquema Nacional de Seguridad en el ámbito de la Administración Electrónica. - ENI: Real Decreto 4/2010, de 8 de enero, por el que se regula el Esquema Nacional de Interoperabilidad en el ámbito de la Administración Electrónica. - LTAIBG: Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno. - LPAC: Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. - LRJSP: Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público. - LOPDGDD: Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales. 4 I. INTRODUCCIÓN 1. Resumen La inteligencia artificial (en adelante IA) es un instrumento creado por el ser humano con capacidad de respuesta ante multiplicidad de cuestiones y materias, ya sean en procesos productivos que no necesitan hacer uso del componente humano, o en otras que exigen un proceso, si cabe, más inteligente, de estudio y de decisión entre posibles y diversas alternativas. Es un concepto y una herramienta novedosa que nos ayuda en nuestro día a día, tanto en las labores sencillas como en las más complejas, extendiéndose de una forma extraordinaria en todos los ámbitos que nos afectan: económicos, personales, sociales, territoriales, etc. Así, este Trabajo de Final de Grado (en adelante TFG) estudiará una serie de cuestiones que entran directamente en el ámbito de la inteligencia artificial contexto histórico, diversos conceptos como machine learning, deep learning, big data, etc., concretamente en el diseño de un chatbot: asistente conversacional como interfaz de consulta en lenguaje natural de los recursos y servicios disponibles en formatos abiertos en el marco de Aragón Open Data. 2. Razón de la elección del tema y justificación de su interés La IA es un campo científico y de investigación aplicada que ha tenido, tiene, y seguro que tendrá cada vez más importancia no solo en el ámbito político, económico y social, sino también en el jurídico. En consecuencia, decidí encaminar mi TFG a una realidad de la IA, actual, novedosa e importante desde la perspectiva del Derecho: análisis de un marco ético y jurídico de un chatbot. Los chatbots son un ejemplo del desarrollo inimaginable de las tecnologías. Al estar compuestos por sistemas que hacen uso de la IA son capaces de recopilar una inmensidad de datos e ir aprendiendo de nuestras actuaciones, dudas y decisiones, gustos y rechazos, usos y costumbres. Por ello, el manejo de información de los chatbots y, en ocasiones, la realización de acciones y toma de decisiones, mediante algoritmos programados que el ser humano diseña y le ordena, ha suscitado cierta inseguridad, lo que provoca la necesidad de introducir en el diseño de las redes neuronales unos criterios éticos con la capacidad de tomar decisiones razonables, lo más humanas posibles y un marco normativo definido. 5 Actualmente, el Instituto Tecnológico de Aragón (en adelante ITAINNOVA), como organismo público dependiente del Gobierno de Aragón, está desarrollando un asistente conversacional por el que se persigue que los datos y la información de la que disponen las Administraciones Públicas puedan facilitarse de una forma mucho más sencilla, de tal manera que todo el mundo pueda tener acceso a ella a través del chatbot. Su finalidad es crear marcos de conversación destinados a ayudar, facilitar y proporcionar información a los usuarios con el fin de resolver las dudas, preguntas y cuestiones que el interesado necesite conocer para su relación con la Administración autonómica. Sin embargo, cuestiones más complejas acompañan a este prototipo. Deberá evitar la presencia de rasgos discriminatorios: sexistas, machistas, homófobos, racistas y xenófobos; garantizar la privacidad del acceso y de aquellos contenidos que afecten a los derechos de los ciudadanos; estar compuesto por un sistema resistente que evite posibles intromisiones, secuestro de datos, uso indebido de la información, etc. Todo ello me lleva a desarrollar un TFG que se aproxime a la posible aplicación de criterios éticos en armonía con el estudio y análisis de la normativa vigente que debería aplicarse al prototipo de chatbot que está diseñando ITAINNOVA. Los objetivos de este trabajo van a ser: 1. Explicación del contexto histórico y concepto de la IA. 2. Análisis de los chatbots: qué son, quién los crea y para qué y a quiénes están destinados. 3. Exposición del asistente conversacional del Gobierno de Aragón. 4. Análisis y aplicabilidad de los criterios éticos definidos por los expertos en IA en la Unión Europea (en adelante UE) al chatbot diseñado por ITAINNOVA. 5. Estudio y análisis del actual marco normativo aplicable. Aplicación de la normativa administrativa en caso de obligación y responsabilidad. 3. Metodología Para la consecución de los objetivos propuestos se ha recabado información de diferentes fuentes. Primero, he consultado variada bibliografía para estudiar y comprender el contexto histórico tanto de la IA como de los chatbots. En segundo lugar, tuve varias interacciones con el directos del equipo del asistente conversacional (ITTAINOVA) para concretar las características primordiales del mismo. 6 - Primera reunión: o 27/10/2019 o Asistentes: Rafael del Hoyo, José Félix Muñoz y Marina Cebrián o Temas tratados: Cómo voy a enfocar mi TFG, objetivos y temas que va a tratar el mismo; primer contacto con el chatbot que están diseñando. - Segunda reunión: o 16/04/2020 o Asistentes: Rafael del Hoyo y Marina Cebrián o Tema tratado: Explicación formal del chatbot que están diseñando. Por último, fue necesaria la consulta, de nuevo, de bibliografía e informes y normativa internacional, estatal y autonómica para guiarme tanto en el marco ético como jurídico del asistente conversacional. El desarrollo del marco jurídico aplicable ha requerido de un estudio e investigación de los distintos ordenamientos que he considerado esenciales como son el europeo, estatal y autonómico aragonés. 7 II. INTELIGENCIA ARTIFICIAL, DERECHO Y ÉTICA 1. Evolución y concepto La gestación de la IA se produce entre los años 1943 y 1955. Warren McCulloch y Walter Pitts (1943) realizaron el primer trabajo que, a día de hoy, se reconoce como IA. A lo largo de la primera mitad del siglo XX, se llevaron a cabo tal cantidad de avances en la materia que, finalmente, desembocó en el nacimiento «canónico» de la IA a manos de John McCarthy durante la Conferencia de Dartmouth (1956). 1 Este, junto con M.L.Minsky, N. Rochester y C. Shannon, propusieron la realización de un proyecto que, tras dos meses de trabajo, daría lugar al nacimiento del concepto de IA. Consistía en agrupar a diez destacados científicos para que, a través de sus conocimientos, averiguasen un método para que las máquinas pudieran resolver problemas que, hasta ese momento, solo estaban al alcance de los humanos. 2 La investigación debía desarrollarse con la premisa de que cada aspecto del aprendizaje o cualquier otra característica de la inteligencia pudieran describirse con tanta precisión que una máquina lograse simularlo. 3 Es decir, el objetivo era crear máquinas que, a través de una réplica o imitación del pensamiento humano, fueran capaces de realizar tareas que requiriesen inteligencia humana. 4 Para ellos, la IA no era una rama más de la informática, sino que iba más allá: era un campo nuevo cuyo objetivo se basaba en crear máquinas capaces de calcar la capacidad humana a la hora de emplear lenguaje, aprender y razonar. 5 A la conferencia de 1956 le siguieron décadas de optimismo, a pesar de que las dos primeras fueron muy poco fructíferas ya que no se consiguieron grandes avances, lo que provocó que en 1974 la financiación de la IA se redujera drásticamente. Sin embargo, durante la década de los 70, Feigenbaum y otros estudiantes de Stanford, decidieron llevar a cabo el Proyecto de Programación Heurística (HPP) para investigar hasta qué punto la nueva metodología calificada como expert systems programas inteligentes que 1 MARÍN GARCÍA, S., «Ética e inteligencia artificial», en Cuadernos de la Cátedra CaixaBank de Responsabilidad social corporativa, nº 42, 2019, p. 5. 2 SOLAR CAYÓN, J. I., «La Inteligencia Artificial y su impacto en el ámbito profesional», en: Solar Cayón, J. I., La inteligencia artificial jurídica. El impacto de la innovación tecnológica en la práctica del Derecho y el mercado de los servicios jurídicos, Cizur Menor, Aranzadi, 2019, pp. 21-52, p. 21. 3 RUSSEL, S. J. y NORVING, P., Artificial Intelligence. A Modern Approach, tercera edición, Pearson Education, New Jersey, 2010, p. 17. 4 SOLAR CAYÓN, J. I., «La Inteligencia Artificial… op. cit., p. 22. 5 MARÍN GARCÍA, S., «Ética e inteligencia… op. cit. p. 6. 8 emulaban las capacidades analíticas y la toma de decisiones del ser humano, podía ser aplicada al aprendizaje humano. 6 El gran éxito comercial de estos sistemas provocó un gran empujón al proyecto inicial durante la década de los 80. 7 A finales del siglo XX y comienzos del siglo XXI, la IA comenzó a ser utilizada para labores de logística, minería de datos y diagnósticos médicos. A día de hoy, es una tecnología ampliamente extendida en muchas industrias con grandes aplicaciones en una amplitud de ámbitos. 8 La idea de imitar el funcionamiento de la mente humana fue, como ya hemos mencionado, el principal foco de investigación durante los años 80, usando como base los modelos explicativos del pensamiento y funcionamiento cerebral desarrollados por neurocientíficos. No obstante, el estudio e investigación de la IA llevó a que filósofos y psicólogos afirmaran que, para comprender de forma óptima el cerebro humano, era necesario profundizar más en el estudio del mismo. Por ello, a finales del siglo XX aparecen las bases técnicas que en la actualidad constituyen «el pensamiento humano» en las máquinas: «las redes neuronales artificiales» y «algoritmos genéticos». 9 A grandes rasgos, la IA se define como la capacidad de computación que permite la creación de sistemas con las capacidades cognitivas de los seres humanos. 10 Sin embargo, en la actualidad, y a pesar de tener un recorrido histórico de casi un siglo, no existe un concepto consolidado para la IA ya que cada una de ellas establece diferentes objetivos o parten de diferentes significados de inteligencia. 11 Así, para establecer un concepto más concreto hay que hacer referencia a otros aspectos. A pesar de la indefinición, y la problemática de la concreción del concepto que ya se daba en los textos fundacionales de la IA, la premisa que mejor refleja su naturaleza es la del Congreso de Dartmouth: la IA, en un periodo mínimo de tiempo, iba a ser capaz de sintetizar los procesos cognitivos y los logros de la inteligencia general de las máquinas. Con esta metodología se busca, por un lado, descomponer la inteligencia humana en sus procesos más simples y elementales para poder, más tarde, formalizarlos 6 RUSSEL, S. J. y NORVING, P., Artificial Intelligence… op. cit., p. 23. 7 MARÍN GARCÍA, S., «Ética e inteligencia… op. cit., p.6 8 Ibidem. 9 SOLAR CAYÓN, J. I., «La Inteligencia Artificial… op. cit., p. 22. 10 CHARNIAK, E. y McDERMOTT, D., Introduction to Artificial Intelligence, Addison Wesley, Massachusetts, 1985, p. 6. 11 MARÍN GARCÍA, S., «Ética e inteligencia… op. cit., p.6 9 expresarlos en un lenguaje formal más lógico, recomponerlos en forma de algoritmos y estrategias de programación y reproducir así la inteligencia humana en máquinas y programas. 12 La premisa del congreso no bastaba, por lo que otros autores trataron de establecer un concepto más conciso. Para ello, comenzaban estableciendo el objetivo que pretende alcanzar esta tecnología imitar la forma de actuar o pensar de los seres humanos o construir sistemas que razonen o que actúen como ellos. 13 A partir de este, Russell y Norvig elaboraron cuatro categorías para las distintas definiciones: (1) sistemas que piensan como humanos, que recogen definiciones de Haugeland (1985) y Bellman (1978), basados en representar la capacidad de toma de decisiones, resolver problemas o aprender, es decir, operaciones ligadas a las capacidades mentales de los humanos; (2) sistemas que actúan como humanos, inaugurada por el test de Turing y definida por Kurzweil (1990) y Rich y Knight (1991) caracterizados por poder procesar el lenguaje natural, representar conocimiento, razonar y aprender para adaptarse a las nuevas circunstancias; (3) sistemas que piensan racionalmente, moldeados a través de los conceptos de Charniak y McDermott (1985) y Winston (1992) que se definen por representar sistemas capaces llegar a conclusiones a través de imitar el pensamiento lógico racional; (4) sistemas que actúan racionalmente Poole y Nilsson (1998) con el objetivo de que la racionalidad vaya más allá de las leyes de la lógica e incluir elementos como la autonomía, el cambio, etc. 14 15 En definitiva, no existe una definición consolidada y concreta sobre la IA ya que la mayoría de los autores discrepan en cuanto a los objetivos y las facultades que se intentan lograr. Sin embargo, todos ellos están de acuerdo en que la IA se nutre de varias herramientas: machine learning (compuesto por deep learning y reinforcement learning), machine reasoning y robótica. 16 Para entrar un poco en contexto del funcionamiento del chatbot, el machine learning o aprendizaje automático se basa en algoritmos que son capaces de identificar patrones de comportamiento a partir del análisis de datos, integrar patrones en un modelo mediante alguna forma estadística o 12 Ibidem. 13 Ibidem, p. 7. 14 RUSSEL, S. J. y NORVING, P., Artificial Intelligence… op. cit., p. 2. 15 MARÍN GARCÍA, S., «Ética e inteligencia… op. cit., p.7. 16 CORTINA ORTS, A., «Ética en la inteligencia artificia», en Anales de la Real Academia de Ciencias Morales y Políticas, nº 96, 2019, p. 383. 16 Por lo tanto, este requisito va destinado a que «un sistema de IA no socave la autonomía humana ni cause otros efectos adversos». Tienen que garantizarse unas medidas de control y una supervisión a través de dispositivos de gobernanza, «tales como el enfoque de la participación humana (human-in-the-loop), la supervisión humana (human-on-the-loop), o el control humano (human-in-command)». 51 II. Solidez y seguridad técnicas. La solidez técnica, basada en el principio de prevención de daño, requiere que «los sistemas de IA se desarrollen con un enfoque preventivo en relación con los riesgos, de modo que se comporten siempre según lo esperado y minimicen los daños involuntarios e imprevistos, evitando asimismo causar daños inaceptables,» 52 es decir, tienen que ser sólidos, fiables y seguros, capaces de resolver errores o incoherencias del sistema. 53 Este requisito implica: (1) resistencia a los ataques de seguridad ante ataques de agentes malintencionados a datos, al modelo de sistema o a la infraestructura informativa, el sistema debe protegerse adoptando diferentes decisiones o desconectándose; (2) plan de repliegue y seguridad general procedimiento basado en un sistema de normas o por intervención humana antes de continuar con su labor para minimizar consecuencias y errores, evitando así daños a los seres vivos y medio ambiente; (3) precisión capacidad para «realizar juicios correctos […] o efectuar predicciones, formular recomendaciones o tomar decisiones correctas basándose en datos o modelos»; (4) fiabilidad funcionamiento óptimo con un conjunto de información y en diferentes situaciones y reproducibilidad repetición de las decisiones acertadas que haya tomado el sistema. 54 III. Gestión de privacidad y datos. La privacidad y el principio de prevención del daño van unidos, debiendo estar garantizados tanto la primera como la protección de la intimidad y de datos de los sistemas de IA. «Los registros digitales del comportamiento humano» pueden almacenar preferencias, edad, orientación sexual, etc. 55 Por ello, el deber de protección 51 «Comunicación de la comisión… op. cit., p. 5. 52 «Grupo independiente de expertos… op. cit., p. 20. 53 «Comunicación de la comisión… op. cit., p. 5. 54 «Grupo independiente de expertos… op. cit., p. 21. 55 «Comunicación de la comisión… op. cit., p. 5. 17 abarca desde los primeros datos que se facilitaron hasta los últimos, incluyendo la información generada por la interacción del usuario con el sistema. 56 La calidad e integridad de los datos también es un gran pilar de este requisito. A la hora de recopilar datos, estos pueden contener errores, imprecisiones o sesgos sociales por lo que, antes de entrar en un sistema de IA, el proceso y los datos deben ponerse a prueba y documentarse en cada fase planificación, entrenamiento, ensayo y despliegue. Además, para garantizar esta privacidad, el acceso de datos tiene que estar restringido a través de la elaboración de protocolos que permitan el acceso tan solo a personal cualificado, y solo a la información que necesite. 57 IV. Transparencia. Relacionado con el principio de explicabilidad, este requisito debe garantizar una trazabilidad de sistemas de IA, es decir, se tiene que dejar constancia de todo, desde las decisiones que ha tomado el sistema hasta el proceso que ha llevado para tomar esa decisión. 58 Por otro lado, en el mundo digitalizado en el que vivimos, la necesidad de una explicabilidad está al orden del día. 59 El usuario tiene derecho a conocer y rastrear el proceso que ha llevado a cabo el sistema de IA para poder entender la decisión que toma y, si esta ha tenido un impacto significativo, tener derecho de reclamar una explicación. 60 El usuario debe saber que el sistema de IA no es un humano ya que cuenta con una serie de limitaciones. Por tanto, a la hora de interactuar debe: identificarse como un sistema de IA y dar al usuario la opción de interactuar con una persona «con el fin de garantizar el cumplimiento de los derechos fundamentales». 61 V. Diversidad, no discriminación y equidad. La inclusión, la diversidad y la igualdad de acceso y trato son características que deben estar garantizadas. 56 «Grupo independiente de expertos… op. cit., p. 21. 57 Ibidem, p. 22. 58 «Comunicación de la comisión… op. cit., p. 6. 59 CORTINA ORTS, A., «Ética en la… op. cit., p. 391. 60 «Comunicación de la comisión… op. cit., p. 6. 61 «Grupo independiente de expertos… op. cit., p. 22. 18 Unido al principio de equidad, este requisito requiere de: (1) necesidad de evitar sesgos injustos eludir la presencia de sesgos que ha podido adquirir el sistema con el paso del tiempo y que podrían desencadenar prejuicios y discriminaciones a los usuarios, procurando que sean eliminados durante la fase de recopilación de información; (2) accesibilidad y diseño universal permitir el acceso a todas las personas, independientemente de la «edad, género, capacidades o características», haciendo hincapié sobre las personas con discapacidad ya que necesitan un sistema que se pueda adaptar a sus condiciones; (3) participación de las partes interesadas consultar de forma periódica a los usuarios que puedan verse afectados por el sistema, implantando mecanismos de participación. 62 VI. Bienestar social y ambiental Una IA fiable, siguiendo los principios de equidad y prevención del daño, debe ser consciente del impacto medio ambiental que puede llegar a tener, por lo que es necesario que: sea sostenible garantizar, tras una evaluación del proceso de desarrollo, despliegue y utilización, medidas que respeten el medio ambiente de la forma más respetuosa posible, fomente una responsabilidad ecológica e «investigue soluciones de IA para hacer frente a los temas que suscitan preocupación a escala mundial». 63 A pesar de que los sistemas de IA estén diseñados para mejorar nuestra vida y atraer beneficios, también pueden contribuir no solo al deterioro, físico o mental, de las personas, sino también al de las instituciones, la democracia y la sociedad en su conjunto. Por ello, se deben llevar a cabo estudios exhaustivos de los efectos que pueda acarrear el sistema y así garantizar el bienestar social. 64 VII. Rendición de cuentas. Como último requisito, ligado al principio de equidad, se garantiza «la responsabilidad y la rendición de cuentas de los sistemas de IA y de sus resultados». 65 La auditabilidad, definida como la «capacidad de evaluar los algoritmos, los datos y los procesos de diseño», es fundamental para la fiabilidad de la IA, siendo los auditores 62 Ibidem, p. 23. 63 Ibidem, p. 24. 64 Ibidem. 65 «Comunicación de la comisión… op. cit., p. 7. 19 internos y externos los encargados de llevar a cabo una evaluación del sistema para garantizarla. 66 Ser responsable de las decisiones que ha tomado el sistema de IA es una garantía de este requisito. «La identificación, evaluación, notificación y minimización de efectos negativos», además de la protección de denunciantes anónimos, ONGs, sindicatos y otras entidades, es imprescindible para los usuarios que se vean afectados. 67 Todos estos requisitos, basados en derechos fundamentales, son necesarios para una IA fiable. Sin embargo, puede ser complicado encontrar el equilibrio entre ellos. Para evitar tensiones, se debe identificar «los intereses y valores subyacentes del sistema» y, si surge algún problema, «se deberá explicitar cómo se ha intentado buscar el equilibrio entre ellos y evaluarlo en términos del riesgo que plantea para los principios éticos, incluidos los derechos fundamentales». En el caso de que el usuario sufra algún efecto negativo, para garantizar esa confianza, será necesaria una compensación adecuada. 68 III. DESARROLLO DE UN ASISTENTE CONVERSACIONAL EN EL GOBIERNO DE ARAGÓN 1. ¿Qué son los asistentes conversacionales o chatbots? Con carácter general, los chatbots son programas compuestos, que integran IA, capaces de simular o mantener conversaciones con las personas. 69 Sin embargo, para entender mejor los asistentes conversacionales y sus funciones debemos conocer definiciones más elaboradas, como la que propone Van Woudenberg: «Un chatbot, o asistente conversacional, puede definirse como un programa informático que interactúa con los usuarios por medio de un lenguaje natural, a veces sobre un determinado campo, y que posiblemente tenga un avatar 70 y un módulo de procesamiento de habla». 71 Por otro 66 «Grupo independiente de expertos… op. cit., p. 24. 67 Ibidem, p. 25. 68 Ibidem. 69 GARCIA BRUSTENGA, G., FUERTES-ALPISTE, M. y MOLAS-CASTELLS, N., «Briefing paper: los chatbots en educación», eLearn Center, 2018, p. 4. 70 Según enzyme advising group blog¸ un avatar es «la forma física que usamos para humanizar al bot y darle esa “apariencia física”, que en realidad es virtual. Su función es representar a la persona o al sistema que encarna». 71 VAN WOUDENBERG, A. F., «A Chatbot Dialogue Maneger. Chatbots and Dialogue systems: A hybrid Approach», Trabajo de fin de Máster (Dir.: Dr. E. Roubtsova), Ámsterdam, University of the Netherlands, Faculty of Management, Science and Technology, 2014, p. 1. 20 lado, Cobos califica a los asistentes conversacionales «como programas software que interpretan y responden a las declaraciones realizadas por los usuarios en un lenguaje natural corriente». Integran técnicas de lingüística computacional y la comunicación se puede establecer a través de Internet, mensajes instantáneos, e-mails, foros, etc. 72 Sin embargo, la definición más simple y completa para este TFG nos la otorga D. Allison, definiendo los chatbots como aplicaciones conversacionales capaces, no solo de imitar la personalidad humana, sino también de interactuar y responder con frases que permiten seguir la conversación de una manera elocuente para los humanos. 73 En cuanto a sus características, que mencionaré a continuación, existe una gran cantidad de bibliografía, siendo el autor T.J. Cobos quién realizó el estudio más completo de las mismas. 74 A pesar de ser una lista extensa que puede provocar dudas de si verdaderamente un asistente conversacional es capaz de cumplimentar todas ellas, es cierto que la IA evoluciona y mejora día a día, motivando que todos los chatbots, o en su defecto la mayoría, se compongan de estos rasgos: a) Autonomía. Un agente que es capaz de actuar a base de su experiencia y de adaptarse aunque el entorno cambie, es autónomo. b) Sociabilidad. Cuenta con la capacidad de comunicarse con otros agentes o entidades. c) Racionalidad. Puede formular la respuesta más adecuada a partir de los datos que recibe del entorno. d) Reactividad. Debido a los cambios que el chatbot sufre en su entorno, no solo es capaz de proporcionar frases como respuesta, sino que también puede realizar réplicas de diversa índole, como por ejemplo enlaces o recursos electrónicos. e) Pro-actividad. El agente es capaz de adaptarse a pesar de que el entorno sea modificado. f) Adaptabilidad. Su capacidad de autoaprendizaje le permite realizar cambios en su comportamiento según lo aprendido. 72 COBOS, T. J., «Integración de un chatbot como habilidad de un robot social con gestor de diálogos», Trabajo de fin de Máster, (Dir.: Dr. J. Fernández de Gorostiza Luengo y Dr. F. Alonso Martin), Madrid, Universidad Carlos III de Madrid, Departamento de Ingeniería de sistemas y automática, 2013, p. 9. 73 ALLISON, D., «Chatbot in the library: is it time?», Library Hi Tech, vol. 30, nº 1, 2012, p. 95. 74 COBOS, T. J., «Integración de… op cit., p. 10. 21 g) Movilidad. Puede trasladarse por la red telemática. h) Veracidad. No proporciona información errónea a propósito. i) Personalidad. «Cada agente es único y depende del programador otorgarle las características que quiere darle, como emociones, comportamiento no verbal…» 75 Para entender un poco más los asistentes conversacionales, las funciones que desempeñan y a quién van dirigidos, mencionaré algunos ejemplos ilustrativos. En primer lugar, encontramos a Eliza (1964), siendo uno de los primeros chatbot diseñado para actuar como un psiquiatra ya que, a través de un sistema de etiquetas que le permitía entender textos y clasificarlos, los usuarios lo utilizaban para expresar sus problemas. 76 En segundo lugar, Clippy (1997), asistente conversacional que, cuando la persona entraba en cualquier aplicación de Microsoft Office, le ofrecía su ayuda a través de una serie de preguntas para resolver cualquier duda de uso que tuviera. 77 Otro ejemplo más reciente sería Alexa (2014), asistente virtual que utiliza la interpretación del lenguaje natural para procesar y actuar según la consulta o solicitud que el usuario ha realizado. 78 Por último, durante este periodo de tiempo tan complejo, ITAINNOVA ha desarrollado el llamado COVID19AragonBot debido al colapso que sufrieron los teléfonos de atención ciudadana. Así, el ciudadano tiene acceso a un bot que resolverá las dudas que el usuario le formule sobre el virus, además de tener información actualizada en cada momento. 79 Poco a poco, la tecnología ha ido ganando terreno en todo tipo de campos educación, salud, marketing, entretenimiento, etc. sin ser una excepción los chatbots. La principal función de los asistentes conversacionales es facilitar y mejorar la calidad de las personas a través de la tecnología, ya sea en el campo de la medicina, 80 en la 75 COBOS, T. J., «Integración de… op cit., p. 10-11. 76 Güelcom, https://guelcom.net/origen-chatbots-evolucion-hacia-atencion-cliente/, visitado el 18/04/2020. 77 Planeta CHATBOT, https://planetachatbot.com/evoluci%C3%B3n-de-los-chatbots-48ff7d670201, visitado el 18/04/2020. 78 Amazon alexa, https://developer.amazon.com/es-ES/alexa, visitado el 18/04/2020. 79 Heraldo, https://www.heraldo.es/noticias/aragon/zaragoza/2020/04/03/itainnova-aclara-dudasciudadanas-en-covid19aragonbot-en-telegram-1367849.html, visitado el 19/04/2020. 80 MILANI, R.V., BOBER, R.M. y LAVIE, C.J., «The Role of Technology in Chronic Disease Care», en Progress in Cardiovascular Diseases, nº 58, 2016, p. 3. 22 enseñanza, 81 entretenimiento 82 o servicios al ciudadano por la Administración, por ejemplo el acceso a la información, como es el caso de nuestro chatbot, cuyas funciones y características principales exponemos a continuación. 2. El asistente conversacional de Aragón Open Data Durante los últimos años, el uso de datos de la Administración por la ciudadanía ha ido in crescendo. Un ejemplo cercano es que durante el año 2019, se realizaron un total de 33.480.501 consultas a través de la página web que facilita el Ayuntamiento de Zaragoza (API Zaragoza), es decir, casi 100.000 peticiones diarias. 83 Con el fin de hacer más accesibles los datos que almacena la Administración y que, además, fueran comprensibles para que puedan ser utilizados por la sociedad de una forma más eficiente y sencilla, el año pasado el Gobierno de Aragón promovió el diseño de un asistente conversacional, licitando un contrato de servicios que tenía por objeto, según la memoria justificativa: poner en funcionamiento un asistente conversacional o chatbot como interfaz de consulta en lenguaje natural de los recursos y servicios disponibles en formatos abiertos en el marco de Aragón Open Data: «portal de datos abiertos del Gobierno de Aragón, que tiene como misión ser el catálogo a partir del cual los ciudadanos y las empresas puedan acceder al conjunto de datos abiertos que publiquen tanto el Gobierno de Aragón, como el resto de instituciones del territorio aragonés que se quieran unir a la iniciativa». 84 La finalidad era y es clara: que los ciudadanos tengan acceso de forma más sencilla al Aragon Open Data. Finalmente, el resultado del procedimiento de licitación fue la adjudicación del contrato a ITAINNOVA: Centro Tecnológico con personalidad jurídica propia, sin ánimo de lucro y con la finalidad de investigar en tres ámbitos: el regional, el nacional y el europeo. 85 81 CHUN-HUNG, L., GUEY-FA, C., MIN-YUH, D., CHORNG-SHYONG, O. y WEN-LIAN, H., «Using Instant Messaging to Provide an Intelligent Learning Enviroment», en Intelligent Tutoring Systems¸ nº 4053, 2006. 82 Microsoft, https://support.skype.com/en/faq/FA34646/what-are-skype-bots-and-how-do-i-add-them-ascontacts, visitado el 26/03/2020. 83 Zaragoza AYUNTAMIENTO, http://www.zaragoza.es/ciudad/noticias/detalle_Noticia?id=229924, visitado el 20/04/2020. 84 Aragón Gobierno Abierto, https://transparencia.aragon.es/content/opendata#:~:text=Arag%C3%B3n%20Open%20Data%20es%20el,aragon%C3%A9s%20que%20se%20quiera n%20unir, visitado el 10/06/2020. 85 ITTAINOVA, https://www.itainnova.es/es/itainnova, visitado el 01/05/2020. 23 Para su desarrollo, la empresa adjudicataria, en primer lugar realiza un «mapa de proyecto»: documento de análisis que define el alcance y las fases que va a tener. Una vez realizado, se empieza a diseñar la lógica y la IA de la que se va a componer el chatbot. Actualmente se encuentran en esta etapa del proyecto ya que, en un principio, la idea era desarrollar un asistente conversacional basado en preguntas y respuestas, pero el Gobierno de Aragón solicita que no se ciña solo a eso, sino que sea capaz de seguir una conversación, que tenga una interacción mucho mayor. Es por ello que la función del agente aun no está definida debido a que, una vez que se muestran las posibilidades del mismo, el promotor, en este caso el Gobierno de Aragón, desea una mayor humanización u otros elementos, lo que ha provocado que el desarrollo se haya ralentizado. Para determinar los objetivos, ITAINNOVA está haciendo pruebas con usuarios reales para ver qué es lo que quieren. Por lo tanto, se está trabajando en un diseño que no solo sea útil, sino que también alcance un elevado grado de interés para que la persona que haga uso del mismo quiera volver a realizar otras preguntas. Hoy en día, se trabaja con mucha IA que estéticamente es muy llamativa, pero que no se llega a usar. Así, los resultados que se esperan desde ITAINNOVA es que el chatbot diseñado sea accesible y eficiente, donde el ciudadano pueda acceder y encontrar en él tanto la información que necesita a través del Aragon Open Data como una respuesta de la Administración autonómica fiable, segura y en determinados supuestos de valor jurídico procedimental. 86 IV. MARCO ÉTICO Y NORMATIVO APLICABLE AL ASISTENTE CONVERSACIONAL DE ARAGÓN OPEN DATA Durante los últimos años, las Administraciones Públicas han mejorado a la hora de prestar servicios públicos e información de forma mucho más rápida a través de webs de transparencia, trámites online, etc. Sin embargo, siguen trabajando de forma tradicional en su sistema interno de gestión, lo que puede dificultar la entrada de la smartificación. 87 86 Entrevista con Rafael del Hoyo, realizada el 16/04/2020. 87 RAMIO, C., Inteligencia Artificial y la Administración Pública. Robots y humanos compartiendo el servicio público, Catarata, Madrid, 2019, p. 13. Según RAMIO, C., la smartificación en el ámbito público 24 La Administración, aunque es consciente del futuro electrónico y desde hace tiempo ha previsto y regulado la necesidad de aceptar la Administración electrónica como un derecho del ciudadano, 88 debe asumir la realidad actual: el sector privado le lleva ventaja ya que desde hace años ha realizado numerosos trabajos en investigación, sanidad, comunicación, logística, servicios y comerciales. 89 De esta manera, no solo debe progresar en la smartificación y robótica, sino que también debe ser una Administración segura y fiable para el ciudadano. Para ello, deberá asimilar los principios señalados por el Comité de expertos y asumidos por la Comisión Europea en 2019. Por todo ello, los siguientes epígrafes del presente TFG tratarán de estudiar, valorar y considerar, desde un punto de vista tanto objetivo como subjetivo, cuál es el espacio del chatbot del Gobierno de Aragón en la denominada IA, cómo deberá incluirse en la Administración Pública de Aragón para adaptarse a los estándares europeos de fiabilidad y qué función y servicio deberá cumplir en las relaciones Administraciónciudadano. 1. Marco ético Como hemos expuesto en epígrafes anteriores, la IA es compatible con nuestro marco jurídico y es la UE quien marca, a través de la Comisión, los principios y requisitos para que el progreso científico y técnico de la IA sea ético y fiable. Ahora bien, para poder determinar un posible marco ético del chatbot es necesario acudir a las conclusiones del trabajo de expertos de la UE, expuesto en el epígrafe «ética e inteligencia artificial», y aplicar sobre el asistente conversacional, de forma concreta, los principios que hemos visto anteriormente: 1.-Principio del respeto de la autonomía humana. Según el Comité de Expertos, «los derechos fundamentales en los que se apoya la UE van dirigidos a garantizar el respeto de la libertad y la autonomía de los seres humanos. Las personas que interactúen con sistemas de IA deben poder mantener una autonomía plena y efectiva sobre sí mismas y ser capaces de participar en el proceso democrático. se define como un «proceso para lograr mayor inteligencia institucional para gobernar las complejas redes públicas y privadas con el objetivo final de aportar valor público a las actividades administrativas y atender de manera proactiva las necesidades de la ciudadanía». 88 RAMIO, C., Inteligencia Artificial… op. cit., p. 8. 89 Ibidem, p. 75. 25 Los sistemas de IA no deberían subordinar, coaccionar, engañar, manipular, condicionar o dirigir a los seres humanos de manera injustificada». 90 La principal finalidad de este principio es evitar que el chatbot, y en general la IA, sea alienante, es decir, una fuente de influencia sobre la autonomía humana que limita y coarta la toma de decisiones del usuario. Un asistente conversacional que te redirija a las búsquedas que él desea o que intenta evitar que accedas a la información que has solicitado no sería válido. El respeto a la dignidad humana tiene que estar presente en todo momento, de tal manera que el usuario sea tratado como lo que es: un ser con conciencia y racional y no un objeto susceptible de manipulación. También es de vital importancia que el chatbot garantice la libertad individual, de tal manera que el usuario, dentro de su esfera de libertad, pueda actuar y acceder a la información que quiere, estando exento de cualquier interacción contraria por parte de la aplicación. Por lo tanto, el chatbot debe estar abierto a la autonomía plena y efectiva del ciudadano, respetando sus derechos constitucionales y en especial sus derechos como administrado, siendo libre la elección del ciudadano al dato, solicitud o servicio que demanda. El asistente conversacional incluido en la Administración electrónica del Gobierno de Aragón, creado y supervisado por la Administración autonómica, deberá ser un canal abierto y seguro en las interrelaciones ciudadano-Administración. 2.- El principio de prevención del daño. En opinión del Comité de Expertos, «los sistemas de IA no deberían provocar daños (o agravar los existentes) ni perjudicar de cualquier otro modo a los seres humanos. Esto conlleva la protección de la dignidad humana, así como de la integridad física y mental. Todos los sistemas y entornos de IA en los que operan estos deben ser seguros». 91 El chatbot debe operar en un entorno seguro. Dentro del ámbito de la Administración Pública, esta asume y se responsabiliza del mismo como una herramienta eficaz, útil y segura, que deberá garantizar al ciudadano que sus derechos están protegidos frente a cualquier uso o abuso, ya provenga de la propia Administración o de terceros. Deberá cumplir con todos los certificados y garantías para tener un entorno seguro e 90 Para continuar el texto, véase el aparatado 50) del documento «Grupo independiente de expertos de alto nivel sobre inteligencia artificial creado por la comisión europea en junio de 2018», en Directrices éticas para una IA fiable, p. 15. 91 Para continuar el texto, véase el apartado 51) del documento «Grupo independiente de expertos de alto nivel sobre inteligencia artificial creado por la comisión europea en junio de 2018», en Directrices éticas para una IA fiable, p. 15. 32 naturaleza jurídica administrativa de la interacción electrónica entre el ciudadano y la Administración aragonesa, a través del chatbot. Por todo lo anterior, las primeras reflexiones que podemos hacer son que el asistente conversacional automatizado formará parte de la Administración Pública Aragonesa y su interacción con los ciudadanos tendrá carácter y naturaleza administrativa, al igual que todas las consecuencias de hecho y de derecho que se deriven desde su origen. 2.2 Derecho aplicable al chatbot Es complejo responder a la pregunta de qué Derecho debe regular un chatbot como herramienta electrónica automatizada de la IA. Si podemos regular jurídicamente más allá del marco normativo de la IA que hemos estudiado, deberíamos preguntarnos qué o hasta dónde deberíamos hacerlo. En el contexto actual de masiva implantación de la IA, que produce consecuencias, afecciones, conflictos de intereses y peligros que afectan a los derechos y libertades de las personas, es natural alinearse con las teorías iuspositivistas y que el Derecho regule «todo» sobre los asistentes conversacionales: origen, programación, diseño, contenido, licencias, medio y espacio donde actúa, accesibilidad, seguridad, responsabilidad, derechos y obligaciones del titular y de los usuarios, registro, patentes, etc. En este TFG estudiaremos el Derecho que se aplica al chatbot y su funcionamiento, como instrumento de la Administración Pública Electrónica Automatizada al servicio del ciudadano. La LPAC y la LRJSC, por su carácter básico, consolidan la aplicabilidad de la IA en el funcionamiento ordinario de la Administración Pública en sus relaciones con los ciudadanos y las relaciones entre sí y con sus órganos, organismos públicos y entidades vinculadas o dependientes y, por tanto, aplicables al chatbot. La LTAIBG, norma básica y aplicable también a nuestro chatbot, como dispone en su disposición final 8ª, constituye el eje fundamental de toda acción política, incrementando y reforzando la transparencia, reconociendo y garantizando el acceso a los ciudadanos a la información. La Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (en adelante LOPDGDD) que adapta el ordenamiento jurídico español al Reglamento (UE) 2016/679 del Parlamento Europeo y el Consejo de 27 de abril de 2016, constituye una norma fundamental, que protege y garantiza los derechos digitales de los ciudadanos, conforme al mandato del artículo 18.4 de la Constitución y por ello vinculante de forma plena al chatbot. 33 La LPAC consolida el modelo electrónico y sus herramientas como forma de actuación ordinaria entre las Administraciones Públicas y los ciudadanos y que recoge, en mi opinión, la titularidad de los «derechos fundamentales» del ciudadano frente a la Administración Pública, ya que su enumeración en el artículo 13, concluye extendiéndolos a «cualesquiera otros que les reconozcan la Constitución y las leyes», es decir, la Administración deberá no solo respetar sino también proteger los derechos y libertades previstos en el artículo 14 y siguientes de la Constitución española y todas las leyes que los desarrollan. Si el chatbot al servicio de la Administración tiene naturaleza jurídico-administrativa y su funcionamiento electrónico está automatizado en su relación con los ciudadanos, deberá respetar y ayudar al ciudadano en sus relaciones electrónicas con la Administración. La Ley reconoce el derecho de los ciudadanos: a «comunicarse a través del Punto de Acceso General electrónico de la Administración»; «ser asistidos en el uso de medios electrónicos»; «acceso a la información pública, archivos y registros, de acuerdo con lo previsto en la LTAIBG»; «ser tratados con respeto y deferencia»; « la protección de datos de carácter personal, y en particular a la seguridad y confidencialidad de los datos que figuren en los ficheros, sistemas y aplicaciones de las Administraciones Públicas» y «acceso sencillo, universal y actualizado a la normativa en vigor, a la información pública y buen gobierno». Toda una batería de derechos que el ciudadano puede exigir a la Administración Electrónica Automatizada, representada en el chatbot. El chatbot formará parte de la Administración Electrónica Automatizada al actuar íntegramente a través de medios electrónicos en el marco de un procedimiento administrativo simple petición vs concesión/desestimación y en el que no interviene de forma directa un empleado público (artículo 41.1 LRJSP). Así, el chatbot tendrá identidad administrativa propia, ya que no solo deberá establecerse con carácter previo el órgano u órganos competentes en el diseño, programación, mantenimiento, supervisión, control de calidad y auditoría, sino que además, tal y como establece el artículo 41.2 de la LRJSP, deberá conocerse el órgano responsable a efectos de impugnación. De esta manera, como señala el artículo 40.2, se entenderá identificada como propia la información que la Administración Pública publique en su portal de internet, como sería en el caso del chatbot. De lo expuesto podemos observar cómo se van fijando de forma legal los principios de que el chatbot debe cumplir como herramienta de la IA ética, fiable, eficiente y segura. 34 El asistente conversacional nace con la intención de ser una herramienta de publicidad activa, un canal automatizado de información pública en los términos previstos en el artículo 105.b) de la Constitución, dentro del Aragon Open Data y, por ello, un instrumento que la Administración Pública y en particular la aragonesa, ha asumido como esencial en sus relaciones con la ciudadanía (principio de explicabilidad y transparencia). De la LTAIBG, como norma básica que regula en sus artículo 5 y 11 los principios generales y técnicos de la publicidad activa de la Administración; deducimos que el ciudadano, como persona que actúa de forma autónoma y plena (principio de la autonomía humana), accederá al chatbot de forma libre, gratuita, a través de un formato adecuado, para que le resulte accesible y comprensible (principio de accesibilidad universal) para todos, en términos de transparencia máxima y protegiendo sus derechos y datos derivados de esa relación electrónica con la Administración. Sin embargo, el artículo 14 de esta misma ley, establece unos límites a la hora de acceder a la información pública cuando su acceso pudiera suponer un peligro para la seguridad nacional, la defensa, las relaciones exteriores, la seguridad pública y otros casos que enumera la LTAIBG (principio de prevención del daño). Tras estudiar la normativa, hemos deducido el interés por la consolidación de la Administración electrónica, y como parte de ella la automatizada, en la que incluiríamos al chatbot. Sin embargo, la puesta en servicio de este tipo de herramienta es una decisión autónoma de cada Administración Pública. En nuestro caso, el Gobierno de Aragón impulsa un asistente conversacional dentro del marco normativo básico estatal que hemos visto, de acuerdo con los principios de jerarquía de fuentes y de competencia objetiva y territorial. La Comunidad Autónoma dispone de un ordenamiento jurídico propio en materia de Administración y funcionamiento electrónico al que deberá adaptarse el chatbot. Podemos señalar como origen de la Administración electrónica de Aragón el Decreto Legislativo 2/2001, de 3 julio, del Gobierno de Aragón, por el que se aprueba el Texto Refundido de la Ley de la Administración de la Comunidad Autónoma de Aragón, en el que se recogen como principios de funcionamiento la racionalización y agilización de los procedimientos administrativos, el servicio efectivo y acercamiento a los ciudadanos. Fue el Decreto 224/2007, de 18 de septiembre, del Gobierno de Aragón, de estructura orgánica del Departamento de Presidencia, el que atribuyó a la Dirección General de Organización, Inspección y Servicios del Departamento de Presidencia las 35 competencias en materia de procedimiento administrativo, así como Administración electrónica, elaboración, implantación y desarrollo de propuestas que garanticen el acceso electrónico de los ciudadanos a los servicios públicos de la Administración de la Comunidad Autónoma y la dirección, coordinación y gestión de los sistemas de información al ciudadano en materia de servicios y procedimientos. Después, se aprobó el Decreto 81/2011, de 5 de abril del Gobierno de Aragón, por el que se modifica el Decreto 228/2006, de 21 de noviembre, del Gobierno de Aragón, por el que se crea el Registro Telemático de la Administración de la Comunidad Autónoma de Aragón, se regula la tramitación de procedimientos administrativos por medios electrónicos y se establecen otras medidas en materia de Administración Electrónica. La nueva redacción del Decreto 228/2006 establece que la sede electrónica del Gobierno de Aragón, por el que se regula el Portal de Servicios del Gobierno de Aragón en la red Internet, permite el acceso electrónico de los ciudadanos a los servicios públicos. Por último, Aragón aprobó la Ley 8/2015, de 25 de marzo, de Transparencia de la Actividad Pública y Participación Ciudadana de Aragón, que tiene por objeto como dice en su artículo 1 «… regular e impulsar la transparencia de la actividad pública en Aragón y la participación ciudadana en las políticas que desarrolla el Gobierno de Aragón». La ley desarrolla los dos aspectos que conforman la transparencia en la actividad pública: la publicidad activa y el derecho de acceso a la información pública. Establece la obligación de difundir una amplia información, de manera obligatoria, gratuita y veraz, garantizando la accesibilidad y objetividad, a través de medios electrónicos. Sobre el derecho de acceso a la información pública, ordena un procedimiento de acceso, desarrollando aspectos como la solicitud de acceso a la información, las causas de inadmisión, la tramitación y la resolución recogiendo un régimen de impugnaciones de las resoluciones expresas o presuntas de las solicitudes de acceso a la información, contemplando la posibilidad de reclamación o en su caso el recurso directo ante la jurisdicción contencioso-administrativa. Concluiremos este epígrafe señalando que la normativa expuesta es la que hemos llamado básica y la de desarrollo en el ámbito autonómico de Aragón, no agota el marco legislativo aplicable a la Administración Electrónica Automatizada en el que se incluye el chatbot, ya que existe todo un código de leyes y normas de seguridad, necesarias para que las relaciones Administración-ciudadano se puedan calificar no solo como 36 administrativas, electrónicas, automatizadas, sino también seguras (principio de prevención del daño). Por lo tanto, el marco normativo aplicable al chatbot deberá entenderse según el sentido propio de sus palabras, en relación con el contexto, los antecedentes históricos y legislativos y la realidad social del tiempo en que han de ser aplicadas, atendiendo fundamentalmente al espíritu y finalidad de aquellas, que es el de la implantación y consolidación de una Administración electrónica, automatizada y segura. 2.3 Espacio de interacción ciudadano-chatbot En este TFG hemos considerado al chatbot como un interfaz de consulta en lenguaje natural de los recursos y servicios disponibles en formatos abiertos en el marco de Aragón Open Data y donde la idea inicial de su desarrollo basado en preguntas y respuestas, se ha superado al demandar el Gobierno de Aragón que sea capaz de seguir una conversación, que tenga una interacción mucho mayor. Una vez expuesto el desarrollo y contenido del marco normativo, debemos concretar el espacio donde se relacionará el ciudadano y la Administración Electrónica Automatizada y segura representada por el asistente virtual. La normativa estatal y autonómica identifica como punto de encuentro entre el ciudadano y la Administración Pública Electrónica, la denominada «sede electrónica»: dirección electrónica de la que la Administración es titular, donde ejercerá sus competencias y donde accederán, con autonomía plena, los ciudadanos a través de las redes de telecomunicación (artículo 38.1 LRJSP). El chatbot se encontrará en la sede electrónica del Gobierno de Aragón que, como ya hemos mencionado, es un portal de servicio de este en la red internet. Su página web permite el acceso electrónico de los ciudadanos a los servicios públicos que se oferten. Cada Administración Pública, en nuestro caso la autonómica, que cree su sede electrónica, identificará a su órgano titular y se sujetará a los principios ya mencionados de transparencia, publicidad, responsabilidad, disponibilidad, accesibilidad, neutralidad, seguridad e interoperabilidad, estableciéndose los medios disponibles para la formulación de sugerencias y quejas (artículo 38.3 LRJSC), es decir, toda una declaración de principios y requisitos que reflejan de forma amplia los identificados en el marco ético de la IA. Además, la sede electrónica se identificará y garantizará la 37 seguridad de las comunicaciones utilizando certificados reconocidos o cualificados de autenticación del sitio web (artículo 38.5 LRJSP). La creación de la sede electrónica conlleva la responsabilidad de la Administración titular en cuanto a integridad, veracidad y actualización de la información y los servicios a los que puede accederse desde la misma (artículo 38.2 LRJSP), además de disponer y establecer sistemas que permitan la seguridad de las comunicaciones (artículo 38.4 LRJSP). Estas serían cuestiones importantes si tenemos en cuenta que el origen del chatbot será el de canal de acceso a la información de los datos que dispone la Administración aragonesa. Además, el contenido en la sede electrónica de informaciones, servicios o transacciones deberá respetar el principio de accesibilidad y uso de acuerdo con las normas establecidas, tal y como recoge el artículo 38.5 LRJSC, remitiéndose, en concreto, a la LTAIBG y en especial a su artículo 5, que regula los principios generales de la publicidad activa y que ya hemos mencionado en el presente trabajo. La primera conclusión a la que llegamos es que será la Sede Electrónica del Gobierno de Aragón, donde se alojará el servicio de chatbot y se detallarán los trámites que podrán realizarse a través del mismo, siendo la información o datos abiertos del Gobierno de Aragón el principal de ellos. Se fijará y publicitará un catálogo de servicios que prestará el chatbot donde el ciudadano podrá buscar la información o el trámite adecuado en ese entorno electrónico automatizado, en las condiciones, requisitos y principios que hemos visto anteriormente. Para acceder, se facilitará desde la sede un enlace de «acceso sencillo». Si su servicio se limita al acceso, consulta y remisión de documentación abierta, entendemos que deberían ser mínimos los requisitos exigidos para la accesibilidad al mismo, su carácter anónimo y sólo debería registrarse la consulta a efectos de identidad electrónica del punto de acceso y de envío de la información y documentación solicitada, garantizándose en todo caso la seguridad del sistema y la protección de la privacidad de la petición formulada. Por lo tanto, después del estudio y de las consultas realizadas, consideramos que el chatbot nace con vocación de ser un instrumento que puede servir más y mejor al ciudadano. Si llega a evolucionar a un instrumento más complejo, considero que debería ser a un canal directo de procedimientos administrativos sencillos donde el ciudadano, esta vez identificado con su DNI electrónico, pudiera acceder no solo a la información de Aragón Open Data, sino también a su información personal y a otros procedimientos 38 administrativos donde, el simple ejercicio del derecho de petición, se concretará en la concesión de lo solicitado. En este caso, si entendemos que los requisitos formales serán cada vez más complejos, como la identidad electrónica del ciudadano, el registro electrónico de la petición y del procedimiento, así como los efectos de la concesión y desestimación, al finalizar la actuación administrativa automatizada, consideramos que debería realizarse una confirmación verbal de lo solicitado. También como medio de interacción ciudadano-Administración y con base en la transparencia pública, el chatbot sería un medio adecuado para la realización de encuestas y estadísticas de interés público y social. Concluimos que los servicios del chatbot deberán prestarse en el marco ético y normativo que hemos desarrollado para que la interacción se formalice y se consolide, ya que como herramienta electrónica inteligente deberá retroalimentarse. 3. Responsabilidad administrativa del chatbot A lo largo de este TFG hemos ido considerando que las consecuencias derivadas de la relación del ciudadano con el chatbot serían administrativas dentro del marco procedimental administrativo automatizado previsto en la LPAC y la LRJSP. Además, también hemos considerado de la misma naturaleza las consecuencias derivadas de la desestimación del derecho de petición o, en su caso, por los daños y perjuicios que se pudieran ocasionar por un mal funcionamiento del servicio público prestado por la Administración Electrónica aragonesa titular del chatbot. En todo caso, bien sea de «trámite» o de «resolución», las actuaciones tendrán naturaleza administrativa por los sujetos, contenido, procedimiento y finalización del servicio prestado tras ejercer el ciudadano su derecho de petición constitucionalmente reconocido. Una vez determinado que los servicios previstos en el catálogo del chatbot serán actos administrativos, pasamos al estudio de la responsabilidad derivada de la actuación del asistente conversacional electrónico del Gobierno de Aragón. La IA, compuesta por algoritmos que manejan millones de datos, y su introducción en las Administraciones Públicas contribuiría a «racionalizar y agilizar la tramitación del proceso administrativo». 95 Como ya hemos visto, el chatbot del Gobierno de Aragón no 95 CERRILLO I MARTÍNEZ, A., «El impacto de la inteligencia artificial en el derecho administrativo. ¿Nuevos conceptos para nuevas realidades técnicas?», en Revista General del Derecho Administrativo, nº 50, 2019, pp. 1-38, p. 20. 39 solo formará parte de la sede electrónica regulada en el artículo 38 LRJSP, calificándose así las funciones del asistente conversacional como actuaciones administrativas automatizadas (artículo 41 LRJSP 96 ), sino que también se encontrará dentro del portal Aragón Open Data. Tras la entrevista con el coordinador del proyecto, Rafael del Hoyo, podemos saber que la función del chatbot será meramente informativa, por lo que no existiría responsabilidad ya que su actividad administrativa, presumiblemente no causaría ningún daño o perjuicio al usuario porque cumpliría con los principios y requisitos éticos y de fiabilidad ya expuestos. Sin embargo, para que el trabajo tenga un contenido más detallado, dedicaré este último apartado a determinar la potencial responsabilidad del chatbot en el caso de que su función no solo sea informativa, sino que también se dedique a resolver peticiones concretas de interés particular o público, emitir informes vinculantes, iniciar y terminar procedimientos simples o sin motivación, adoptar resoluciones de mayor calidad y complejidad, etc., por lo que un fallo en su sistema supondría un daño para el usuario y, por tanto, desencadenaría una responsabilidad. La primera cuestión que planteo es hasta qué punto el daño que pueda sufrir el usuario por parte del asistente conversacional es antijurídico y, por tanto, nazca una responsabilidad. Después de consultar leyes y bibliografía he llegado a la conclusión de que dentro de este ámbito debemos diferenciar, en un principio, a dos responsables: la Administración Pública como responsable directo, tal y como establece el artículo 36 LRJSP y el desarrollador/fabricante como responsable subsidiario. En primer lugar, comentaré la responsabilidad directa. La Administración, desde el momento en el que comienza a utilizar dentro de su sistema la IA, en este caso el chatbot, se da por sentado que es responsable porque es conocedora de lo que ha introducido y, por tanto, está asumiendo cualquier daño que pueda generar. 97 Por tanto, para que se pueda establecer una responsabilidad acorde con el artículo 32 LRJSP y con la IA, deberá: determinar las funciones que se pretende que desempeñen y, una vez establecidas, la Administración tendrá que estudiar los riesgos que conllevan estas actividades, asumiendo así la responsabilidad por funcionamiento anormal del servicio que se ha prestado. 96 Ibidem. 97 VALERO TORRIJOS, J., «Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena Administración», en Revista Catalana de dret públic, nº 58, 2019, pp. 83-96, p. 92. 40 En segundo lugar, debemos determinar quién sería el responsable subsidiario. Para su determinación, he acudido tanto al Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y otras leyes complementarias y la Directiva 85/374/CEE del Consejo, de 25 de julio de 1985, relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los Estados Miembros en materia de responsabilidad por los daños causados por productos defectuosos. En ambos, básicamente se establece que «los responsables de los daños causados por los defectos de los productos» serán sus fabricantes, 98 siendo en este caso ITAINNOVA por ser el encargado, no solo de la elaboración del proyecto de chatbot, sino también de su diseño, desarrollo y mantenimiento del servicio que presta y, por tanto, causante del daño. Por lo tanto, hemos considerado que deberían ser responsables los sujetos mencionados en párrafos anteriores, excluyendo de responsabilidad, en un principio, al usuario por el artículo 34 LRJSP donde se establece que «sólo serán indemnizables las lesiones producidas al particular provenientes de daños que éste no tenga el deber jurídico de soportar de acuerdo con la Ley [...]». Por lo tanto, el particular no solo no tiene ningún deber jurídico de soportar injustificadamente el daño, sino que, además, tiene derecho a exigir esa responsabilidad por el artículo 13.1 f) LPAC. Todo esto nos lleva a dos conclusiones. La primera, es que, el hecho de que artículo 34 LRJSP establezca que «no serán indemnizables los daños que se deriven de hechos o circunstancias que no se hubiesen podido prever o evitar según el estado de los conocimientos de la ciencia o de la técnica existentes en el momento de producción de aquéllos […]»,no significa que se exima de responsabilidad a la Administración en contenido de IA ya que, de lo contrario, no se estaría cumpliendo la garantía constitucional del artículo 106. 99 La segunda conclusión a la que he llegado es que, para poder garantizar la exigencia de responsabilidad de la Administración y eximir de la misma al ciudadano, es necesario que se cumplan con los principios aprobados y recomendados por la Comisión Europea, en especial con el principio de explicabilidad. Este principio se traduce en una mayor transparencia, es decir, que se otorguen a los ciudadanos tanto las herramientas que son necesarias para comprender el 98 CERRILLO I MARTÍNEZ, A., «El impacto de… op. cit., p. 28. 99 VALERO TORRIJOS, J., «Las garantías jurídicas de… op. cit., p. 92. 41 funcionamiento de la IA (en este caso del chatbot) como las fuentes de datos que se hayan utilizado. Con ello, el usuario será consciente del cómo y por qué de la decisión tomada por el chatbot. Para concluir, nos gustaría reflexionar sobre una cuestión. A pesar de que el chatbot sea meramente informativo, ¿está completamente exento de responsabilidad? A través de esta aplicación, cualquier persona que acceda a ella puede obtener los datos que solicite, pudiendo hacer un uso lícito o ilícito o, en caso del chatbot, ofrecer unos datos erróneos que lleven al usuario a confusión. Por ejemplo, un ciudadano desconoce el procedimiento que tiene que llevar a cabo para solicitar una beca y para solventar sus dudas decide utilizar los datos que el asistente conversacional le ha facilitado. Sin embargo, la información es errónea o incompleta y no logra pedirla correctamente. O, por otro lado, un usuario que solicita información con intereses o fines, irregulares o incluso ilícitos, para la comisión de algún delito. Algunas de nuestras normas vigentes contemplan la posibilidad de que la responsabilidad por acción u omisión del robot se atribuya a un agente humano concreto: fabricantes, operadores o usuarios. Sin embargo, como ya hemos estudiado a lo largo del TFG, nuestro chatbot actúa de forma autónoma ya que va aprendiendo a medida que va recibiendo más información, lo que nos hace preguntarnos si este sería responsable de otorgar información errónea o, de lo contrario, la facilita de forma correcta pero es usada de manera ilícita. La resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho Civil sobre robótica 100 establece que a la hora de gestionar el riesgo, no hay que centrarse exclusivamente en la persona que actuó de manera negligente chatbot o usuario, sino en aquella que hubiera sido capaz de minimizar los riesgos y manejar ese impacto negativo. Por tanto, habría que estudiar las circunstancias y los daños provocados por facilitar esa información, determinar si su causante ha sido el chatbot o el usuario y, finalmente, establecer una responsabilidad «proporcional» al grado de autonomía del chatbot. 100 Parlamento europeo, Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica,https://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html#title2.