Intellegentiae artificialis, imperium et civitatem

Álvaro Sánchez Bravo (Director) Geraldo Costa da Camino (Coordinador) INTELLEGENTIAE ARTIFICIALIS, IMPERIUM ET CIVITATEM INTELLEGENTIAE ARTIFICIALIS, IMPERIUM ET CIVITATEM VV. AA. Editado por: Editorial Alma Mater Paseo de las Delicias, 30, 2º. Madrid (España) [email protected] www.editorialalmamater.com Impreso en España ISBN: 979-83-96042-25-4 Maquetación, diseño y producción: Editorial Alma Mater © 2022 Editorial Alma Mater Quedan rigurosamente prohibidas, sin la autorización por escrito de los titulares del copyright, bajo las sanciones establecidas por las leyes, la reproducción parcial o total de esta obra por cualquier medio o procedimiento, comprendidos la reprografía y el tratamiento informático, y la distribución de ejemplares de esta edición mediante alquiler o préstamos públicos. ÍNDICE LA TOMA DE DECISIONES AUTOMATIZADA Y EL CONTROL DE HUMANIDAD Fernando H. Llano Alonso.......................................................................... 7 ¿SE PUEDE AUTOMATIZAR LA FAIRNESS EN LA INTELIGENCIA ARTIFICIAL? LA PROBLEMÁTICA DE LA DISCRIMINACIÓN Y LA DIMENSIÓN DE LA INTERSECCIONALIDAD Nuria Belloso Martín ................................................................................... 37 LA INTELIGENCIA ARTIFICIAL: EL NUEVO AVANCE TECNOLÓGICO CON REPERCUSIÓN EN LOS SISTEMAS JURÍDICOS Susana Álvarez González ......................................................................... 59 REGULAÇÃO DA INTELIGÊNCIA ARTIFICIAL NO BRASIL Licurgo Mourão ............................................................................................ 73 DE LAS ACTUACIONES ADMINISTRATIVAS AUTOMATIZADAS A LA INTELIGENCIA ARTIFICIAL. UN BREVE APUNTE SOBRE SU IMPLEMENTACIÓN Y REGULACIÓN EN LA ADMINISTRACIÓN PÚBLICA ESPAÑOLA Elisa Rocío Prados Pérez .......................................................................... 91 UM CONTROLE SOCIAL INOVADOR SOBRE O CONTROLE EXTERNO: MÉTODO PARA AFERIÇÃO DE DECISÕES DOS TRIBUNAIS DE CONTAS Geraldo Costa da Camino. ...................................................................... 111 CONTROLE DE SUSTENTABILIDADE (T)EC(N)OLÓGICO PELOS TRIBUNAIS DE CONTAS DO BRASIL E DA ESPANHA E UM BREVE DIÁLOGO COM CERVANTES Daniela Zago Gonçalves da Cunda. .................................................... 121 INTELIGENCIA ARTIFICIAL, ALGORITMOS Y TRABAJO Juan Raso Delgue ....................................................................................... 141 NOVAS PERSPECTIVAS PARA O CONTROLE EXTERNO: ONLINE DISPUTE RESOLUTION, IA E TRIBUNAIS DE CONTAS Ricardo Schneider Rodrigues. .............................................................. 159 CIUDADES, TIC E INTELIGENCIA ARTIFICIAL Álvaro Sánchez Bravo .............................................................................. 175 INTELLEGENTIAE ARTIFICIALIS, IMPERIUM ET CIVITATEM 7 LA TOMA DE DECISIONES AUTOMATIZADA Y EL CONTROL DE HUMANIDAD Fernando H. Llano Alonso Decano de la Facultad de Derecho Universidad de Sevilla (España) INTRODUCCIÓN La relación entre el ser humano y la Inteligencia Artificial (IA) ante el horizonte de la singularidad ha alimentado tradicionalmente la imaginación de los autores que cultivan el género de la ciencia ficción y la distopía. En la mayoría de estas novelas distópicas son las máquinas inteligentes las que terminan controlando a la humanidad, ante la imposibilidad de ésta de competir con un adversario infinitamente superior en velocidad de procesamiento de datos, capacidad de almacenamiento de información, resistencia y precisión en la ejecución de tareas, y sobre todo en aprendizaje. Cuando los humanos crearon un ordenador capaz de almacenar la información y aprender de ella, firmaron la sentencia de muerte de la humanidad. Con esta cita se inicia Dune. La yihad butleriana (2004), primera novela de la trilogía de Brian Herbert y Kevin J. Anderson sobre Leyendas de Dune, que a su vez es el preludio de la saga Dune de Frank Herbert. Quizás sea esta la primera novela a contracorriente de la mayoría de novelas futuristas y distópicas en la que los últimos humanos libres se revelan en los Planetas Sincronizados, bajo el liderazgo de Serena Butler, contra el dominio de las máquinas pensantes desarrolladas con IA (todas ellas subsumidas en el supercomputador Omnius) y consiguen vencerlas rotundamente. Así describen Herbert y Anderson el comienzo del 8 fin del ciclo de dominio de las máquinas inteligentes y autoconscientes sobre los humanos: Desde las profundidades de sus ciudades de energía, Omnius observaba la Tierra. Sus ojos espía grababan cada fase del audaz ataque humano. Vio que las tornas cambiaban (Herbert-Anderson, 20115, 619) A diferencia de otras novelas y películas de ciencia ficción, Dune supone una rara excepción a la resignación con la que los seres humanos aceptan la llegada de la era de la posthumanidad. Por ello, apelando precisamente al espíritu indómito de los últimos seres humanos autoconscientes y a su ansia de libertad, Serena Butler prende la llama de la rebelión contra las máquinas pensantes. Hay en esta novela una voluntad de resistencia colectiva de los seres humanos conscientes de su condición de sujetos morales y, por ende, dotados de conciencia moral, sentido de la responsabilidad y sabiduría práctica, de su derecho a la libertad y a la dignidad, a pesar de la opresión que sufren de facto a causa de la Singularidad tecnológica. A propósito de la inmersión de la humanidad en el universo de la Singularidad se pregunta Slavoj Žižek si la entrada de la especie humana en el reino superior de lo posthumano supondrá la desaparición gradual de la humanidad tal y como la conocemos o si, por el contrario, nuestros futuros descendientes posthumanos que vivan en ese “estadio superior” de la perfección serán capaces de recordar de algún modo, incluso con una memoria entrañable, los azares del “estadio inferior” de la humanidad (Žižek, 2023, 142- 143). En definitiva, ¿cómo se enfrentará la humanidad a la Singularidad (ese “gran otro" que, según Jacques Lacan, constituye el orden simbólico virtual integrado en la red digital), lo hará de manera consciente o inconsciente? En esa esfera de los múltiples metaversos ¿serán los humanos capaces de diferenciar la realidad virtual de lo real, las experiencias compartidas sincrónicamente 15 Cuando los científicos de datos revisaron las predicciones algorítmicas basadas en los datos extraídos de los millones de datos y patrones de comportamiento de sus clientes en las plataformas digitales y redes sociales, descubrieron que el algoritmo de aprendizaje automático tenía dificultades para predecir ciertos tipos de promociones. Pero, en lugar de abandonar el proyecto, los científicos decidieron desarrollar un enfoque HITLFE. La clave consistía en codificar el nivel de confianza de la máquina en sus predicciones y hacer que los humanos revisaran dichas predicciones de forma excepcional cuando la máquina no les ofreciera la fiabilidad esperada (Ross- Taylor, 2021). HUMAN-ON-THE-LOOP (HOTL) En el tercer modelo de interacción entre humanos y máquinas inteligentes o robots, son los humanos quienes asisten a las máquinas en su toma de microdecisiones mecánicas. En los sistemas de HOLP la toma de decisiones debe automatizarse al 100% porque la respuesta debe producirse casi de manera inmediata, en un periodo de tiempo demasiado corto como para incluir en el sistema al ser humano. Sin embargo, aunque el operador humano quede excluido en primera instancia de ese proceso de toma de decisión automatizada, sí puede supervisar posteriormente los resultados de estas decisiones automatizadas e incluso ajustar reglas y parámetros para futuras decisiones. En una configuración algorítmica más avanzada, la máquina también recomienda parámetros o cambios en las reglas que luego son supervisados por un humano. Un ejemplo de aplicación del sistema autónomo de toma de decisiones HOTL lo encontramos en una aseguradora global de vida y salud que necesita aumentar el valor de sus ventas. En este supuesto, los agentes de ventas de esta empresa utilizan un dispositivo móvil para trabajar con posibles clientes, recopilando datos sobre sus necesidades financieras y su situación, les y ayudan 16 a solicitar electrónicamente productos de protección e inversión. El aumento de los ingresos resultará de gran utilidad a los agentes para identificar las oportunidades adecuadas de venta cruzada y venta adicional mientras tratan con los clientes potenciales. Posteriormente, el departamento de marketing de esta compañía aseguradora utilizará análisis avanzados e IA para identificar ofertas para cada cliente potencial en función de su situación financiera y de los productos que compre. Este sistema de toma de decisiones a nivel de cliente se integra perfectamente en la aplicación móvil de la aseguradora y se ejecuta en tiempo real, de forma totalmente autónoma. Luego el equipo de marketing gestionará el bucle de retroalimentación y obtendrá datos detallados sobre cómo se seleccionan las ofertas, podrá hacer un seguimiento de las estrategias de los clientes y realizar cambios en el comportamiento del sistema. Por cierto, según algunos estudios recientes sobre el impacto de la IA en el futuro del sector de los seguros en la próxima década (2030), las aseguradoras que prosperarán más serán precisamente aquellas que mejor utilicen las nuevas tecnologías para crear productos innovadores, aprovechar los conocimientos del aprendizaje cognitivo a partir de nuevas fuentes de datos, agilizar los procesos y reducir los costes, y superar las expectativas de los clientes en cuanto a individualización y adaptación dinámica (Balasubramanian-Libarikian-McElhaney, 2021). HUMAN-OUT-OF-THE-LOOP (HOOTL) En el cuarto modelo de interacción, radicalmente opuesto al primero (HITL), la máquina es quien toma todas las microdecisiones, aunque ésta es supervisada desde fuera del sistema por el hombre que interviene tan solo para establecer nuevos límites y objetivos. En esta modalidad el feedback del sistema se encuentra dentro de un bucle cerrado, por lo que los ajustes de la 17 retroalimentación de datos entre los humanos y las máquinas se hallan automatizados. A propósito del sistema de toma automatizada de decisiones HOOTL, el Mayflower Autonomous Ship, un buque completamente autónomo (no tripulado) de investigación marina cuyo software ha sido co-diseñado por la compañía IBM y la organización sin fines de lucro Promoting Marine Research and Exploration (ProMare), recopila a lo largo de su travesía cantidades masivas de datos, incluso en entornos meteorológicos hostiles, y tiene capacidad de tomar decisiones cruciales en fracciones de segundo sin intervención humana de ningún tipo. La capitana de la nave es la IA que navega autónomamente, surca los mares evitando los peligros oceánicos y observa rigurosamente las reglas del Derecho Marítimo, con el fin de alcanzar los objetivos preestablecidos por los responsables del proyecto científico (que son seres humanos). Respecto a los cuatro modelos de interacción que se han explicado de forma sucinta solo cabría añadir que, con independencia de cuál sea la opción de gestión con la que deseemos interactuar con la IA (ya sea desde la mayor implicación humana en la supervisión algorítmica del HITL, a la completa autonomía de la máquina en la toma de decisiones propia del HOTL), todo sistema de microdecisión debe ser revisado para garantizar que la toma de decisión automatizada es la adecuada, para ello es fundamental que se eviten las decisiones herméticas que se amparan en la opacidad de los algoritmos de cajas negras, y que ninguna decisión algorítmica que se aplique al mundo real pueda optimizarse en tanto que esté basada en una sola métrica, sin que exista una mínima supervisión y una compensación entre los parámetros que sirven para medir la toma de decisiones. En el próximo epígrafe me referiré precisamente a la transparencia algorítmica y a la necesaria garantía de la reserva y el control de humanidad en materia de libertades y derechos fundamentales. 18 LA RESERVA DE HUMANIDAD Y EL CONTROL DE LOS ALGORITMOS EN MATERIA DE LIBERTADES Y DERECHOS FUNDAMENTALES En la doctrina iuspublicista española más reciente ha alcanzado especial fortuna la expresión “reserva de humanidad”, una idea comparable a otros conceptos normativos afines como el de “reserva de ley” (por ejemplo, la reserva de ley orgánica que establece el art. 81.1 CE para el desarrollo de los derechos fundamentales y de las libertades públicas), o el término “reserva de ejercicio de potestades para los funcionarios”, según se prevé en el art. 9.2 del Real Decreto Legislativo 5/2015, de 30 de octubre, que considera que las potestades administrativas sólo deben ser ejercidas por los empleados públicos, debido a su relación estatutaria con la Administración, actúan al servicio los intereses generales de acuerdo con los principios de imparcialidad y objetividad. En el ámbito reglamentario de la UE también se regula la reserva de humanidad por el Reglamento 2016/679 del Parlamento Europeo y del Consejo relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (UE RGPD), en cuyo art. 22.1 se garantiza a quienes estén interesados el derecho a no ser objetos de decisiones individuales automatizadas, incluida la elaboración de perfiles, que produzca en ellos efectos jurídicos o les afecten significativamente. Por otra parte, en el art. 22.3 UE RGPD se introduce el control de humanidad (la supervisión humana) sobre la decisión automática para salvaguardar los derechos, las libertades y los intereses legítimos de los interesados. Sin embargo, como ha señalado Juli Ponce, la inminente entrada en vigor del Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de Inteligencia Artificial (en adelante RUEIA) plantea problemas de coherencia normativa en la interpretación del art. 22 UE RGPD, 19 que establece una reserva de humanidad generalizada, salvo las excepciones previstas por la norma jurídica y su sustitución por la supervisión humana, y los arts. 5 y 14 RUEIA, que establecen, respectivamente, la prohibición de la IA solo en ciertos casos y la supervisión humana únicamente en supuestos de sistemas de IA de alto riesgo; por lo demás, en el resto de usos de la IA que no implican alto riesgo, el RUEIA no prevé ni reserva de humanidad ni supervisión humana (Ponce Solé, 2022, 66). En el décimo punto de la Exposición de Motivos del RUEIA se indica que los Estados miembros deben estar facultados para especificar la aplicación de las disposiciones del RUEIA a través de su propia normativa nacional, para lo cual el Reglamento concede a los Estados un margen de maniobra en la concreción de dicha normativa interna, incluso en el tratamiento de datos personales (“datos sensibles”). También en el párrafo 16 de la Resolución del Parlamento Europeo, de 3 de mayo de 2022, sobre Inteligencia Artificial en la era digital se encomienda a los legisladores el deber de “abordar los riesgos que plantea actualmente la toma de decisiones basada en la IA”, porque, como corresponde a un Estado de Derecho y a los principios proclamados en el art. 9.3 CE que le son consustanciales, el uso de la IA por las administraciones públicas no escapa al cumplimiento de los principios de legalidad, publicidad de las normas, seguridad jurídica, responsabilidad e interdicción de la arbitrariedad de los poderes públicos (Presno Linera, 2022, 51). En este sentido, en relación con la legislación española sobre IA y la toma de decisiones administrativas, en el marco de la Estrategia Nacional de la Inteligencia Artificial, de la Carta de Derechos Digitales, y de las iniciativas europeas en torno a la IA, el art. 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, aparte de ser considerada por algunos juristas como la primera regulación de la IA en Derecho español, establece los principios de buena administración y diligencia debida como 20 límites de las decisiones administrativas automatizadas (Ponce Solé, 2019a; 2019b). De conformidad con este estándar jurídico, las administraciones públicas tendrán en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, y, siguiendo las recomendaciones de la UE, promoverán “el uso de una IA ética, confiable y respetuosa con los derechos fundamentales”. A hilo de este razonamiento sobre la pertinencia de la justificación o explicación de las decisiones públicas, y considerando los riesgos derivados del funcionamiento técnico de los algoritmos y de la IA empleados por la administraciones públicas, comenta Andrés Boix Palop que un mínimo de explicabilidad de los algoritmos es exigible, aún en el caso de que entendamos funcionalmente a los algoritmos como actuaciones administrativas y no como normas reglamentarias, de conformidad con lo establecido en los arts. 9.3 CE y 35 Ley 39/2015, de Procedimiento Administrativo Común (Boix Palop, 2022, 99). La mención a la necesidad de avanzar en la rendición de cuentas de los programas informáticos con capacidad para tomar decisiones algorítmicas resulta oportuna, no solo en aras de la protección de los derechos y libertades de los ciudadanos, tanto en el ámbito de lo público como en el de lo privado, sino también porque, como ha advertido Manuel Medina Guerrero, a pesar de las innegables ventajas del empleo de sistemas de decisiones automatizadas basadas en algoritmos en términos de eficacia y economía, no pueden soslayarse los riesgos que conllevan estas decisiones para los derechos e intereses de la ciudadanía, riesgos que se condensan en el temor genérico a que el ser humano se convierta en un mero objeto de los programas informáticos (Medina Guerrero, 2022, 141). Algunos autores plantean ya la conveniencia de amparar por vía constitucional el derecho de los ciudadanos al conocimiento de los 21 algoritmos utilizados por las administraciones en la toma de decisiones automatizadas en el sector público. La justificación de la ampliación del reconocimiento constitucional a este pretendido derecho se motivaría por vía del art. 18.4 CE, en el que se consagran como derechos fundamentales la libertad informática y la protección de datos personales. Por cierto, esta interpretación abierta del art. 18.4 para integrar el derecho a conocer los algoritmos usados en la toma de decisiones parece haber encontrado receptividad en el legislador a través del derecho de acceso a la información pública regulado en la Ley 19/2013, de 9 de diciembre, y en la jurisprudencia constitucional reciente (STC 292/2020) a propósito de las facultades y poderes jurídicos que confiere al titular del derecho a la protección de datos (Cerrillo i Martínez, 2021, 41-78; Medina Guerrero, 2022, 142). INTELIGENCIA ARTIFICIAL Y EL COTO VEDADO DE LA HUMANIDAD En la toma de decisiones automatizadas hay una dimensión fundamental que debe tenerse en cuenta en la valoración del modelo de interacción entre humanos y máquinas, y es la perspectiva ético-jurídica desde la que se estudia el impacto de la cibernética, la informática, la IA y la robótica en el ámbito de los principios y los valores, un terreno de común interés para la Ética de la Inteligencia Artificial y la Filosofía del Derecho. El pionero de los estudios de informática jurídica e iuscibernética ha sido, precisamente, un iusfilósofo: Mario G. Losano, quien en uno de sus primeros libros, Giuscibernetica (1969), analizaba la estructura interdisciplinar de la iuscibernética para ofrecer una síntesis adecuada de los principales problemas teóricos y prácticos que se encontraban los programadores y los juristas en el uso de los programas informáticos (problemas de índole sociológico, filosófico, lógico, lingüístico y técnico). 22 Por cuanto respecta a la idea de reserva de humanidad fue apuntada por primera vez, en sentido iusfilosófico, por Ernesto Garzón Valdés. En efecto, en uno de los primeros números de la revista Doxa. Cuadernos de Filosofía del derecho el iusfilósofo argentino publicó dos artículos; en el primero de ellos, titulado “Representación y democracia”, el iusfilósofo argentino se refiere por primera vez al “coto vedado” de los bienes básicos, que son aquellos que son condición necesaria para la realización de cualquier plan de vida (Garzón Valdés, 1989b, 209), y justifica el ejercicio del paternalismo jurídico por parte del Estado de derecho en el caso de que los miembros de la comunidad no comprendan la importancia de estos bienes básicos. Por lo tanto, según Garzón Valdés, el coto vedado de los bienes básicos no dependería, en última instancia, de la voluntad o deseos de la comunidad, porque, en su opinión: Quien no comprende la relevancia de los bienes básicos puede ser incluido en la categoría de incompetente básico (Garzón Valdés, 1989a, 157). Para este autor, el rechazo de la garantía de los propios bienes básicos supone una muestra evidente de irracionalidad o de ignorancia de relaciones causales elementales como las que existen entre la disponibilidad de estos bienes y la realización de cualquier plan de vida. Por otra parte, señala Garzón Valdés, los derechos y necesidades básicas incluidos en el coto vedado deben ser universalizables e iguales para todos los ciudadanos, pues sólo se puede concluir que una sociedad es homogénea cuando todos sus miembros gozan de los derechos incluidos en el coto vedado de los bienes básicos. Desde un punto de vista jurídico-positivo, el coto vedado de los intereses universalizables o derechos humanos no pueden ser objeto de recortes resultantes de negociaciones parlamentarias, en la medida que éstos constituyen 23 el núcleo no negociable de una constitución democráticoliberal que propician el Estado social (Garzón Valdés, 1989a, 162). Existe una vinculación conceptual entre el coto vedado de los derechos, las necesidades y bienes básicos, y la democracia representativa, en la que está vigente el principio de la mayoría, dentro de un marco de homogeneidad social compatible con la realización de la esperanza de la autodeterminación individual. En definitiva, como sostiene Carlos Santiago Nino, en sintonía con Ernesto Garzón Valdés, el concepto de bienes y necesidades básicas no sólo sería central en una concepción liberal de la sociedad, sino que haría de puente -al permitir su satisfacción simultáneaentre las dos ideas básicas del liberalismo: la de que los fines de los individuos deben ser respetados y la de que todo individuo es un fin en sí mismo (Nino, 1989, 34). Garzón Valdés se refiere al coto vedado de los derechos, bienes y necesidades en clave liberal y neokantiana. En este sentido, conviene aclarar que su aproximación al concepto de bien básico desde un punto de vista moral recuerda a la idea del bien primario en la posición original rawlsiana e implica la ejecución exitosa de un plan de vida racional. Esta concepción de los bienes básicos (primary goods) permite a los individuos presumir la consecución de sus fines: libertad y oportunidad, renta y patrimonio, y sobre todo, el respeto de la persona por sí misma (self-respect) (Rawls, 1971, 433). En línea de continuidad con esta lectura kantiana y liberal de los derechos fundamentales (en forma de lista de capacidades) Martha C. Nussbaum también es partidaria de un “blindaje” de los mismos, por ejemplo, ante cualquier intento de recorte o frente a posibles cambios que pudieran ser decididos por mayoría simple 24 en un nuevo proceso constituyente (Nussbaum, 2017, 69; 2012, 97- 98). Proyectando la tesis iusfilosófica del coto vedado defendida por Garzón Valdés al contorno ético-jurídico demarcado por la reserva de humanidad, en la que se protegen derechos, bienes y necesidades básicas de los ciudadanos frente la indeseada intromisión de las decisiones automatizadas basadas en algoritmos de alto riesgo, cabría preguntarse qué áreas prioritarias de los derechos y libertades serían aquellas en las que operaría este ámbito de protección de lo que es esencialmente humano, absolutamente irreductible e irrenunciable para la dignidad de la persona y la conciencia humana, ante la irrupción de la IA, la robótica y las tecnologías conexas. En el art. 14 de la Propuesta de Reglamento del Parlamento Europeo y del Consejo, por el que se establecen normas armonizadas en materia de Inteligencia Artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión1, se regula la vigilancia humana de los sistemas de IA de alto riesgo, que -según la definición del texto normativoson aquellos que comprometen la salud, la seguridad o los derechos fundamentales, y que pueden surgir cuando un sistema de IA de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible (art. 14.2). En los últimos años ha habido casos paradigmáticos y problemáticos derivados del uso de algoritmos de alto riesgo que han afectado precisamente a las tres grandes áreas a las que se refiere el mencionado precepto de la propuesta de Reglamento UE 1 Texto de la Comisión Europea COM (2021) 206 final, publicado el 21 de abril de 2021, 2021/0106 (COD). 31 profesionales de la medicina al mito de la perfección de la IA, además de su efectiva rendición a la falacia tecnológica inspirada por el fundamentalismo tecnológico, que no puede confundirse con la metodología empírico, la capacidad crítica y la vocación humanista que caracteriza a la ciencia médica. En el próximo apartado, el conclusivo, se abordará precisamente esta cuestión relativa a la necesidad de supervisión ética de los algoritmos y la exigencia de responsabilidad derivada del funcionamiento erróneo o del mal uso de que pueda hacerse de los mismos. CONCLUSIÓN En 2016 Google presentó el proyecto DeepMind Health, en colaboración con el Royal Free London NHS Foundation Trust. En este proyecto de la multinacional tecnológica estadounidense puso en funcionamiento dos aplicaciones: Streams y Hark, con las que pretendía mejorar los sistemas de salud (en particular el NHS, es decir, el servicio de salud británico). Así, mientras que la app Streams servía para detectar pacientes en riesgo de contraer alguna enfermedad y se reducía a unos segundos el proceso de revisión de las pruebas analíticas de sangre de los pacientes, la app Hark estaba configurada para reducir las listas de espera y el papeleo en los hospitales. Al inicio de esta colaboración de Google con el NHS, los responsables de DeepMind Health se comprometieron a que los datos de los pacientes (registros personales de 1,6 millones de pacientes) nunca se conectarían con las cuentas o servicios de Google, precisamente en aras del respeto a su derecho a la intimidad (Powles-Hodson, 2017, 351-367). En 2019 Google rompería esta promesa inicial al vincular DeepMind Health, la empresa filial de atención médica a Google, la empresa matriz, incorporando a la misma millones de datos personales de los pacientes del NHS sin contar con su previo consentimiento, a la vez que desmantelaba el comité de revisión 32 ética de los algoritmos aplicados en el ámbito sanitario y cuyo panel de revisores ya había manifestado pocos meses antes del cierre del mismo su preocupación ante el riesgo potencial de que DeepMind Health pudiera utilizar su acceso a los datos personales de los pacientes del NHS para propiciar las ganancias monopolísticas para la empresa matriz de Google, Alphabet (Murgia, 2018). A propósito de la revisión institucional de la transparencia y buen funcionamiento de los algoritmos, hay autores que ponen en duda que un solo comité ético sea capaz por sí mismo de garantizar el rigor, la utilidad y la integridad de los big data. Se trataría, según esta doctrina escéptica respecto a la viabilidad del control de humanidad sobre la IA, de una pretensión poco realista (Lipworth- Mason-Kerridge-Ioannidis, 2017, 489-500). Otra línea doctrinal sostiene que el problema de la responsabilidad y de la pública rendición de cuentas por parte de quienes hacen uso de los algoritmos potencialmente lesivos de derechos y libertades de los ciudadanos debería ser planteada como una cuestión de acuerdo o consenso entre las partes interesadas (Floridi, 2022, 173). Como solución alternativa a la posible falta de acuerdo sobre la revisión de la transparencia y el buen funcionamiento de los algoritmos, existe un código ético propuesto por la Association for Computing Machinery (ACM) en el que se enuncian siete principios éticos fundamentales para los profesionales de la Informática y la Computación4. El objetivo principal que se 4 Los siete principios éticos generales enunciados por el Código de Ética y Conducta Profesional de la ACM y que todo buen profesional de la Informática y la Computación debería seguir son los siguientes: 1.- Contribuir a la sociedad y al bienestar humano, reconociendo que todas las personas son partes interesadas en la Informática; 2.- Evitar daños o consecuencias negativas, especialmente cuando son significativas e injustas; 3.- La conducta de un buen profesional debe ser siempre transparente, honesta y fiable; 4.- Respeto a los valores de igualdad (no discriminación), tolerancia, respeto a los demás y justicia; 5.- Crear oportunidades para que los miembros de la organización o grupo crezcan como profesionales; 6.- Respetar la intimidad (privacy), por lo que los profesionales de 33 persigue este código deontológico profesional es, precisamente, el beneficio de todas las partes interesadas en el mantenimiento de un debate abierto entorno a las cuestiones éticas que promueven la responsabilidad y la transparencia (Buhmann-Passmann- Fieseler, 2019). Por último, entre quienes apuestan por generar las condiciones necesarias para el cultivo de una “cultura algorítmica” más responsable, destaca Luciano Floridi, quien propone repartir una “responsabilidad moral distributiva” entre todos los agentes morales, es decir, personas humanas o jurídicas, es decir, sociedades constituidas por seres humanos (Floridi, 2016, 2). En sentido análogo, Mark Coeckelbergh, inspirándose en la Declaración de Montreal para un desarrollo responsable de la IA (2018), sostiene que la espiral de la Ética de la IA no debe circunscribirse solamente al ámbito de la política internacional y la gobernanza global; en efecto, también la comunidad académica debe asumir una posición activa en la propuesta de iniciativas que busquen una interacción equilibrada e inocua entre los humanos y las máquinas desarrolladas con IA, de tal modo que sea posible concebir la armonía entre el avance tecnológico con la salvaguarda del legado humanista y los valores que son inherentes y necesarios para la defensa de la dignidad, la autonomía de la voluntad y los derechos fundamentales del ser humano (Coeckelbergh, 2020, 157). BIBLIOGRAFÍA BALASUBRAMANIAN, R.-LIBARIKIAN, A.-McELHANEY, D. (2021), “Insurance 2030-The Impact of AI on the future of insurance”, McKinsey la Informática solo deben usar la información personal para fines legítimos y sin violar los derechos y libertades de los individuos; 7.- Respeto de la confidencialidad de los secretos comerciales, los datos de los clientes, las estrategias comerciales no públicas, información financiera, datos de la investigación, artículos académicos previos a la publicación y solicitudes de patentes. Cfr., https:// www.acm.org/code-of-ethics 34 & Company, March 12, 2021, https://www.mckinsey.com/industries/financial-services/ourinsights/insurance-2030-the-impact-of-ai-on-the-future-of-insurance (última consulta, 25 de abril de 2023) BENON, H.-DECKER, M. (2021), “Insuring Commercial Drones? Liability or Opportunity? Insurance Journal, September 6, 2021, https:// www.insurancejournal.com/magazines/magfeatures/2021/09/06/630181.htm (última consulta, 25 de abril de 2023) BUHMANN, A.-PASSMANN, J.-FIESELER, C. (2019), “Managing algorithmic accountability: Balancing reputational concerns, engagement strategies, and the potential of rational discourse”, Journal of Business Ethics, nº 163, pp. 265-280, htttps:// link.springer.com/article/10.1007/s10551-019-04226-4 (última consulta, 25 de abril de 2023) BOIX PALOP, A. (2022), “Transparencia en la utilización de Inteligencia Artificial por parte de la Administración”, El Cronista del Estado social y democrático de derecho, nº 100, pp. 90-105. CERRILLO I MARTÍNEZ, A. (2021), “La transparencia de los algoritmos que utilizan las administraciones públicas”, Anuario de Transparencia Local 3/2020, Fundación Democracia y Gobierno Local, pp. 41-78. COECKELBERGH, M. (2020), AI Ethics, The MIT Press, Cambridge (Massachusetts)-London. FITZEK, F. H. P.-LI, S.-Ch.-SPEIDEL, S.-STRUFE, T. (2021), “Tactile Internet with Human-in-the-Loop: New Frontiers of Transdisciplinary Research”, Tactile Internet with Human-in-the-Loop, Academic Press, San Diego (California). FLORIDI, L. (2016), “Faultless responsability: On the nature and allovation of moral responsability for distributed moral actions”, Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 374 (2083), https:// royalsocietypublishing.org/doi/10.1098/rsta.2016.0112 (última consulta, 25 de abril de 2023) (2022), Etica dell´intelligenza artificiale. Sviluppi, opportunità, sfide, Rafaello Cortina Editore, Milano. GARZÓN VALDÉS, E. (1989a), “Representación y democracia”, Doxa. Cuadernos de Filosofía del derecho, nº 6, 1989, pp. 143-164. (1989b), “Algo más acerca del coto vedado”, Doxa. Cuadernos de Filosofía del derecho, nº 6, 1989, pp. 209-213. GROTE, T.-BERENS, P. (2019), “On the Ethics of Algorithmic Decision- Making in Healthcare”, Journal of Medical Ethics, nº 46, 20th November 35 2019, pp. 205-211, https:// 10.1136/medethics-2019-105586 (última consulta, 25 de abril de 2023) HABERMAS, J. (1981), Theorie des Kommunikativen Handelns (2 Bände), Suhrkamp, Frankfurt am Main. HERBERT, B.-ANDERSON, K. J. (20115), Dune. La Yihad butleriana, trad. esp., Eduardo G. Murillo, Debolsillo, Barcelona. HUERGO LORA, A. (2020), “Una aproximación a los algoritmos desde el Derecho administrativo” (pp. 23-87), en La regulación de los algoritmos (Director: Alejandro Huergo Lora; coordinador: Gustavo Manuel Díaz González), Thomson Reuters Aranzadi, Cizur Menor (Navarra). JIE, Z.-ZHIYING, Z.-LI, L. (2021), “A Meta-Analysis of Watson for Oncology in Clinical Application”, Nature, 11:5792, https://www.nature.com/articles/s41598-021-84973-5 (última consulta, 25 de abril de 2023) LARSON, E. J. (2022), El mito de la Inteligencia Artificial. Por qué las máquinas no pueden pensar como nosotros lo hacemos, trad. esp., Milo J. Krmpotić, Shackleton Books, Barcelona. LIPWORTH, W.-MASON, P. H.-KERRIDGE, I.-IOANNIDIS, J. P. A. (2017), “Ethics and Epistemology in Big Data Research”, Journal of Bioethical Inquiry, 14 (4), pp. 489-500, https:// link.springer.com/article/10.1007/s11673-017-9771-3 LOSANO, M. G. (1969), Giuscibernetica. Macchine e modelli cibernetici del diritto, Einaudi, Torino. MEDINA GUERRERO, M. (2022), “El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho fundamental a la protección de datos personales”, Teoría y realidad constitucional, nº 49, NINO, C. S. (1989), “Autonomía y necesidades básicas”, Doxa. Cuadernos de Filosofía del derecho, nº 6, 1989, pp. 21-34. MURGIA, M. (2018), “DeepMind´s move to transfer health unit to Google stirs data fears”, Financial Times, 13th November, https://www.ft.com/content/f4a73450-e771-11e8-8a85-04b8afea6ea3 (última consulta, 25 de abril de 2023) NUSSBAUM, M. C. Frontiers of Justice. Disability, Nationality. Species Membership (2007), The Belknap Press of Harvard University Press, Cambridge (Massachusetts)-London. (2012), Crear capacidades. Propuesta para el desarrollo humano, trad. esp., A. Santos Mosquera, Paidós, Barcelona. PONCE SOLÉ, J. (2019a), La lucha por el derecho a una buena administración: el estándar jurídico de diligencia debida y el buen 36 gobierno en las políticas públicas, Cuadernos de la Cátedra de Democracia y Derechos Humanos, núm. 15, Universidad de Alcalá de Henares- Defensor del Pueblo, Alcalá de Henares. (2019b), “Inteligencia artificial, Derecho administrativo y reserva de humanidad, algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, nº 50, pp. 141- 171. (2022), “Reserva de humanidad y supervisión humana de la Inteligencia Artificial”, El Cronista del Estado social y democrático de derecho, nº 100, pp. 58-67. POWLES, J.-HODSON, H. (2017), “Google DeepMind and Healthcare in Age of Algorithms”, Health and Technology, 7/2017, pp. 351-367, https:// link.springer.com/article/10.1007/s12553-017-0179-1 PRESNO LINERA, M. (2022), “Derechos fundamentales e Inteligencia Artificial en el Estado social, democrático y digital de Derecho”, El Cronista del Estado social y democrático de derecho, nº 100, pp. 48-57. RAO, D. M.- CHERNYAKHOVSKY, A.-RAO, V. (2011), “Analyzing Global Epidemiology of Diseases Using Human-in-the-Loop Bio-Simulations” (153-174), Human-in-the-Loop Simulations (eds. L. Rothrock-S. Narayanan), Springer Verlag, London. RAWLS, J. (1971), A Theory of Justice, The Belknap Press of Harvard University Press, Cambridge (Massachusetts)-London. ROSS, M.-TAYLOR, J. (2021), “Managing AI Decision-Making Tools”, Harvard Business Review, https://hbr.org/2021/11/managing-ai-decision- making-tools (última consulta, 25 de abril de 2023) SHACKLE, S. (2020), “The Mistery of the Gatwick Drone”, The Guardian, 1 December 2020, https://www.theguardian.com/uknews/2020/dec/01/the-mystery-of-the-gatwick-drone (última consulta, 25 de abril de 2023) ŽIŽEK, Slavoj (2023), Hegel y el cerebro conectado, trad. esp., Fernando Borrajo, Paidós, Barcelona. 37 ¿SE PUEDE AUTOMATIZAR LA FAIRNESS EN LA INTELIGENCIA ARTIFICIAL? LA PROBLEMÁTICA DE LA DISCRIMINACIÓN Y LA DIMENSIÓN DE LA INTERSECCIONALIDAD Nuria Belloso Martín Catedrática de Filosofía del Derecho Universidad de Burgos (España) INTRODUCCIÓN Los usos de la IA en el Derecho han supuesto numerosos retos que acaban confluyendo en la necesidad de que la justicia presida el diseño, el funcionamiento y las decisiones que se adoptan a partir del algoritmo. La proyección de la equidad en el Derecho antidiscriminatorio y en las políticas de igualdad, que ya en el ámbito analógico no es pacífica, con mayor razón presenta particulares dificultades cuando se usa la inteligencia artificial (en adelante, IA). Dejando a un lado la desigualdad en el acceso (“brecha digital”), pretendo centrarme en el examen de si se puede automatizar la fairness en la inteligencia artificial. La justicia requiere la aplicación imparcial en unos casos, pero en otros, como ya advirtió Aristóteles, la justicia también implica la idea de trato proporcional, lo que implica que los destinatarios obtengan cantidades desiguales de cualquier bien en cuestión (Aristóteles, cap. 3). La igualdad aquí es el principio por defecto que se aplica en ausencia de reivindicaciones especiales que puedan presentarse como razones de justicia. La dificultad radica en identificar qué sea ese 'suum cuique', lo que le corresponda a cada uno -sea una persona individual o se trate de un grupo con determinados atributos-. Hay varias categorías que se convierten 38 en imprescindibles cuando la filosofía y la Machine Learning (ML) van de la mano, y que permiten entender las dificultades y limitaciones de la construcción de un modelo de predicción y de decisión perfecto: parcialidad, opresión, igualdad y discriminación. La búsqueda de la igualdad y de la no-discriminación, por la que tanto se trabaja en el ámbito offline, se traslada, y con mayor intensidad, al ámbito digital y de la IA. Las desigualdades de género, raza, sexo, clase social, etnia, religión, -entre otrasestán presentes en los sistemas de clasificación de IA, en los sistemas predictivos y en los sistemas decisionales, amplificando y perpetuando tales desigualdades. Por ello, hay que insistir en iniciativas que delineen métodos y procedimientos para identificar, aminorar y corregir esos sesgos en los sistemas de IA. Cuando el entrenamiento de aprendizaje automático incide y afecta a atributos sensibles relacionados con las personas, la consecución de la equidad y de la imparcialidad (decisión justa) resulta dificultosa. Esta misma consideración de atributos sensibles debe desarrollarse en la formulación de los algoritmos, en unos casos, para establecer tales discriminaciones positivas y, en otros, para eliminar diferencias. Las nociones de fairness propuestas por la comunidad de aprendizaje automático se hacen eco de ciertas consideraciones de justicia y han dirigido su mirada a filósofos morales y políticos. Varios trabajos recientes han señalado la necesidad de reflexionar sobre tales conexiones de manera que técnicos, juristas, filósofos y éticos trabajen conjuntamente (Barocas et al., 2020; Verma; Rubin, 2018). En aras de evitar malentendidos conceptuales, hago la advertencia preliminar de que justicia y equidad no son términos sinónimos (Goldman y Cropanzano, 2015), al igual que tampoco lo son, a su vez, equidad e imparcialidad. Precisar tales conceptos requeriría un estudio profundo que ahora excedería los límites propuestos para este trabajo. A riesgo de simplificar en exceso, considero que 39 la justicia, en su conceptualización de valor y fin del Derecho, sería la categoría omnicomprensiva tanto de la equidad como de la imparcialidad, entendiendo por estos criterios instrumentales el enfoque dirigido a lograr el fin más amplio que es la justicia (Belloso Martín, 2023). En este trabajo los utilizaré indistintamente. La mayoría de las investigaciones sobre sesgos algorítmicos, se suelen enfocar en una sola variable de análisis cada vez, bien sea el sexo o la raza, pero no realizan una valoración sobre varios ejes de desigualdad y que actúen conjuntamente. Ello dificulta detectar y conocer las consecuencias para los sujetos que pertenecen a más de uno de los grupos protegidos1. Esta dificultad se pone especialmente de relieve cuando se relaciona con la justicia distributiva y con los derechos económicos, sociales y culturales, es decir, en cómo establecer ese suum cuique tribuere automatizado. Asimismo, si un procedimiento algorítmico, bien sea predictivo o decisional, ya resulta técnica y jurídicamente complejo para que se ajuste al fairness, mayor dificultad se presenta cuando debe lidiar con una dimensión de interseccionalidad. En este trabajo me propongo analizar si se puede automatizar la fairness de la IA, para lo que examinaré algunas de las dificultades que debe de superar el diseño de un algoritmo -siempre desde el enfoque de la filosofía jurídicapara que se ajuste al fairness (bien se entienda como equidad o como imparcialidad). Entre esas dificultades revisaré principalmente dos: la dimensión de interseccionalidad como factor que potencia la discriminación; y la dificultad para fijar un estándar homogéneo y estable que sirva como referencia para que un proceso decisional de una IA establezca si se ha producido o no discriminación, a diferencia del 1 Como explica Beltramelli et alt., son varios los especialistas que han puesto de manifiesto los problemas de realizar análisis en un solo eje de este campo. Así, Buolamwini recomienda tomar como punto de partida el marco interpretativo de las estructuras de dominación y desigualdad, que propone la interseccionalidad, para analizar el desarrollo desigual en las intersecciones de las variables género y etnia-raza en algoritmos de clasificación a partir del reconocimiento facial. 40 criterio judicial en el contexto de la Unión Europea, que trabaja con parámetros contextuales. Reducir o minimizar sesgos, velar por el respeto al principio de igualdad de oportunidades, neutralizar prejuicios, resolver la dicotomía discriminación directa/discriminación indirecta, son sólo algunas de las operaciones que conlleva, en la vida analógica, lidiar con la discriminación. En el ámbito de la IA, tanto la problemática que conlleva la discriminación como la dimensión de interseccionalidad (necesidad de clasificar, distinguir grupos, subgrupos, atributos sensibles, ventajas merecidas, etc.) ponen de manifiesto la dificultad de englobar tales operaciones de calibrado en un estándar fijo y homogéneo en las predicciones y decisiones automatizadas. Los interrogantes que se suscitan son numerosos: ¿qué es la justicia intereseccional? ¿Qué relación guarda con la justicia individual y grupal? ¿puede hablarse de una justicia en la ciencia de datos? ¿qué variables se deben de tomar en consideración para el diseño de un algoritmo sensible a la justicia interseccional? ¿qué criterios habría que aplicar para conseguir calibrar la fairness de las decisiones algorítmicas? ¿se podrían diseñar unos estándares que permitieran establecer unos umbrales para determinar la fairness del algoritmo? Un examen exhaustivo de todas estas cuestiones excedería los límites que me he propuesto en este trabajo. Por ello, voy a limitarme a ofrecer algunas claves sobre la temática. A VUELTAS CON LA IGUALDAD Y NODISCRIMINACIÓN Una de las proyecciones de la justicia es la igualdad y nodiscriminación. Como bien explica Castilla, de manera simplificada, la igualdad ante la ley significa que las situaciones iguales deben ser tratadas iguales y las situaciones desiguales deben ser tratadas desigualmente, siempre de manera justificada objetiva, razonable y proporcional. Por su parte, la prohibición de discriminación 47 una categoría específica, el “algoritmo discriminatorio” clasifica, divide los datos en diversas categorías, conforme a los criterios que el programador haya establecido, y realiza distribuciones. Los algoritmos son modelados para reconocer características y atributos que en situaciones anteriores han conducido al éxito, no interesándose por lo justo sino replicando modelos y prácticas anteriores. La identificación de sesgos y su neutralización es uno de los más importantes desafíos que tiene ante sí la IA. Con relación a este reto, las carencias en la detección de sesgos resultan aún más manifiestas cuando se toman variables de forma independiente, ya que las desigualdades pueden presentarse en la intersección de las mismas y, en cambio, de forma individual, resultan indetectables. Es decir, cuando se cruzan distintas categorías que han forjado, a lo largo de la historia, situaciones de discriminación, de opresión y de diferencia injusta, además de hacer más compleja la detección de los sesgos, también incrementa y potencia tal discriminación. No se trata de considerar negativa la diferencia sino la diferencia injusta o no correcta. Uno de los grandes retos para los juristas -y también para los técnicoses el de indagar si es posible un algoritmo equitativo, un sistema de IA que incorpore fairness. Fairness puede definirse como “la ausencia de perjuicio o preferencia por un individuo o grupo basado en sus características” (Ghosh; Genuit; Reagan, 2021: 2) por parte de un sistema cuando proceda a realizar una tarea de clasificación, predicción y toma de decisiones basada en datos. Una de las definiciones de justicia interseccional más citadas por parte de quien investiga sobre esta temática es la de Foulds et al. (2019), que desarrollan el concepto de differential fairness. A juicio de los autores, la definición debe satisfacer los siguientes criterios: deben considerarse múltiples atributos protegidos; todos los 48 valores de intersección de los atributos protegidos deberían estar protegidos; se debe garantizar la protección de los valores individuales de los atributos protegidos (por ejemplo “las mujeres”, en el caso de “mujeres afro”); la definición debe proteger a los grupos minoritarios; y la definición debería garantizar que las diferencias sistemáticas entre los grupos protegidos, se rectifiquen, en lugar de codificarse (Foulds et al., 2019). Proponen la creación de subgrupos a partir de la intersección de dos o más variables protegidas, garantizando la paridad estadística entre tales subgrupos. Así, un algoritmo de IA es justo si las probabilidades de los resultados (por ejemplo, ser aprobado/a para un préstamo por parte de una entidad bancaria) son iguales o similares, independientemente de la combinación de intersección de atributos de un grupo, como el género y la raza.5 ¿SE PUEDE AUTOMATIZAR LA EQUIDAD (FAIRNESS)? En el ámbito norteamericano se pueden encontrar numerosos estudios sobre el sesgo, la discriminación y fairness en la inteligencia artificial y en el aprendizaje automático. Sin embargo, en el ámbito de la Unión Europea son escasos, lo cual contrasta con la relevancia que en el contexto jurídico y judicial europeo se ha dado al derecho antidiscriminatorio. Junto a los escasos estudios dedicados a fairness algorítmica, también se ha señalado que hay una brecha entre las herramientas estadísticas de fairness 5 En la literatura se encuentran una diversidad de “casos” -unos se basan en sistemas de clasificación, y otros se basan en sistemas de predicciónque permiten visualizar ejemplos para dar cuenta de los sesgos producidos al no tomar en cuenta las diferentes dimensiones que atraviesan a las personas. Son ya conocidos que diversos datos comerciales utilizados para entrenar algoritmos de reconocimiento facial, a partir del muestreo de cómo varios sistemas de clasificación de imágenes faciales por género van actuando, reflejan que la calibración de los sistemas para las mujeres de piel oscura es un 30% menos preciso en comparación al que se realizaba en hombres de piel clara. 49 algorítmica y las métricas de discriminación que, como requisitos probatorios, utilizan los tribunales europeos. Wachter et alt. (2021) señalan que, si en un caso de discriminación, se establece una comparativa entre un proceso decisional desarrollado por un tribunal europeo, frente a una decisión de una IA, habría claras diferencias. Muchos de los conceptos fundamentales para presentar una demanda, como la composición del grupo desfavorecido y el favorecido, la gravedad y el tipo de daño sufrido, los requisitos para la pertinencia y admisibilidad de las pruebas, requieren que el Poder judicial tome decisiones normativas o políticas sobre una base de caso por caso, de manera que los requisitos actuales en el marco de la Unión Europea (UE) son demasiado contextuales, dependen de la intuición y están abiertos a la interpretación judicial. Es decir, caso por caso se valora si la magnitud de la discriminación depende en gran medida del tipo de daño cometido, si un grupo minoritario se ve afectado, y si la discriminación refleja una injusticia sistémica medida contra el marco legal. Wachter et alt. engloban este proceder en lo que denominan “igualdad contextual”. A partir de esta caracterización del sistema judicial en casos de discriminación, consideran que en la Unión Europea no se puede automatizar la fairness o la no discriminación porque el propio diseño legal no proporciona un marco estático u homogéneo adecuado que permita probar la discriminación en los sistemas automatizados de una IA. Por ejemplo, la decisión de una Administración pública en orden a conceder una ayuda social, 6 o 6 En España se puede citar el caso del Programa BOSCO (Bono Social Eléctrico). Tal Bono consiste en un descuento en la factura eléctrica para los "consumidores vulnerables y con menor capacidad económica para afrontar los precios elevados". La norma establece tres vías de entrada para acceder al descuento: i) por rentas bajas; ii) familias numerosas; iii) y beneficiarios de una pensión mínima de incapacidad o jubilación y que no cuenten con otros ingresos. Esta última vía deja fuera a otro tipo de pensionistas, como las viudas, y a los pensionistas que reciban algún ingreso -es decir, no tuvo en cuenta la dimensión de interseccionalidad (mujer, escasos recursos, viuda). En el caso de una viuda, la 50 de una empresa a la hora de contratar, será o no susceptible de ser considerada como discriminatoria, dependiendo en buena medida de la valoración e interpretación de la legislación y del contexto que, en cada caso, hago el juez. Es como si la horquilla que mide el umbral de discriminación para probar que una determinada decisión es discriminatoria, fuera flexible. Si lo que se pretende es la automatización de este tipo de decisiones, la falta de unos estándares fijos y homogéneos, hacen muy difícil la consecución de una decisión algorítmica ajustada a fairness.7 respuesta del programa BOSCO contiene dos afirmaciones: “no reúne los requisitos” e “imposibilidad de comprobar niveles de renta”. Las dos eran falsas: sí los reúne y sí se han comprobado los niveles de renta. La plataforma Civio (septiembre de 2019), interpuso recurso contencioso-administrativo ante la negativa del Consejo de Transparencia de obligar a hacer público el código del programa que decide quién resulta beneficiario del bono social eléctrico. En el mes de febrero de 2022, se dictó Sentencia desestimatoria para Civio, y con una condena en costas de 2.000 €. Según la sentencia, sí, es un acto administrativo pero, a diferencia de lo que interpreta Civio, quien decide no es la aplicación, sino un órgano administrativo. 7 Traigo aquí a colación la reciente polémica que ha surgido en España con respecto a la concesión del bono social térmico. El Bono Social Térmico (BST) es una ayuda directa a consumidores vulnerables destinada a compensar los gastos de suministro de energía para los usos térmicos, como calefacción, agua caliente sanitaria o cocina. Su regulación se establece en el Real Decreto-ley 15/2018, de 5 de octubre, de medidas urgentes para la transición energética y la protección de los consumidores, con el fin de complementar la ayuda percibida en concepto de Bono Social Eléctrico por los “consumidores vulnerables”, para la energía destinada a calefacción, agua caliente sanitaria o cocina, independientemente de cuál sea la fuente utilizada. Es decir, son beneficiarios de este Bono, sin necesidad de realizar ningún trámite ni solicitud, los beneficiarios del Bono Social Eléctrico. A tenor de la denominación de estas normativas (Bono eléctrico de justicia energética del Real Decreto-ley 18/2022, de 18 de octubre.) se deduce que estas ayudas constituyen una proyección de la justicia (justicia energética” la denomina el legislador), y que se articulan a través de programas informáticos específicos. La legislación contempla que el colectivo de familias numerosas tiene derecho a tal ayuda, sin que se especifique ninguna condición con respecto a su nivel de renta. Sin embargo, a raíz de que se haya conocido que varios miembros de la clase política, con rentas altas, y con familia numerosa, eran beneficiarios de tales ayudas, el Gobierno se ha planteado revisar las condiciones para la concesión, exigiendo un determinado umbral de renta. Ello pone sobre la 51 Esta heterogeneidad en la interpretación y aplicación de la ley de no discriminación de la UE, aunque deseable porque se ajusta y adapta a cada caso, por otro lado, plantea un problema para incorporar consideraciones de equidad y no-discriminación en los sistemas automatizados. Si bien existen numerosas métricas estadísticas en la literatura técnica, ninguna puede capturar de manera confiable una conceptualización europea de la discriminación que es, por definición, contextual. La flexibilidad interpretativa judicial no es un "error" de la ley de no discriminación de la UE; más bien, es a la vez intencional y ventajosa. No obstante, en este entorno regulatorio, la agilidad contextual puede convertirse rápidamente en una subjetividad desbocada, inclinando drásticamente la balanza de poder a favor de posibles discriminadores libres para diseñar sistemas y pruebas de acuerdo con las métricas de fairness que les sean más favorables. La igualdad contextual no se presta a la automatización. En comparación con la toma de decisiones humana, los algoritmos no son tan intuitivos; operan a velocidades, escalas y niveles de complejidad que desafían la comprensión humana, agrupan y actúan sobre clases de personas que no tienen por qué parecerse a grupos históricamente protegidos, y lo hacen sin que las potenciales víctimas sean conscientes del alcance y los efectos de las decisiones automatizadas. La visibilidad de tal discriminación puede pasar fácilmente desapercibida. Como resultado, es posible que las personas a quienes se las haya aplicado un proceso predictivo y/o decisional automatizado, nunca se den cuenta de mesa la cuestión de la “interseccionalidad” la cual, por defecto, aquí no se ha dado (familia numerosa + máximo de renta). Y lleva también a poner de relieve que el concepto de “persona vulnerable” no está precisado jurídicamente. En este caso, además, se parte de que el Programa Bosco, que es el que asigna en primer lugar la concesión de ayudas del Bono Social Eléctrico -requisito determinante y previo para ser acreedor del Bono Social Térmicoestá puesto en cuestión por su aparente discriminación. Si a ello se suma la falta de toma en consideración por parte de la normativa, de los diversas características y atributos que inciden en la interseccionalidad en el ámbito offiline, con mayor razón se proyecta potenciado en el ámbito algorítmico. 52 que han estado en desventaja y, por lo tanto, no tengan un punto de partida para poder presentar una reclamación contra tal discriminación. La discriminación que deriva de un proceso predictivo o de un proceso decisional de un algoritmo, es decir, una discriminación automatizada, es más abstracta y poco intuitiva, mucho más sutil, intangible y difícil de detectar que cuando es un ser humano quien discrimina. Los seres humanos discriminan debido a actitudes negativas (por ejemplo, estereotipos, prejuicios) y sesgos muchas veces no intencionales (por ejemplo, prácticas organizacionales o estereotipos internalizados) que pueden actuar como una señal para las víctimas, de manera que las permite detectar más fácilmente que se ha producido discriminación. La demanda sólo puede plantearse si una víctima realmente se siente en desventaja. Por ejemplo, un solicitante puede no sabrá cuándo o por qué se filtró su curriculum vitae al solicitar un trabajo. Es posible que el consumidor nunca sepa que no se le muestran ciertos anuncios o que están recibiendo ofertas de productos comparativamente desfavorables con respecto a los que le llegan a otros individuos. Estos mecanismos de señalización, de advertencia de la discriminación, no existen en los sistemas algorítmicos. Por tanto, habría que diseñar e implementar procedimientos de evaluación consistentes en definir un estándar común para la evidencia estadística, que permitiera detectar y evaluar prima facie la discriminación automatizada, y que apoyaran las respectivas funciones, desde los diseñadores de los programas a los controladores, así como a los ulteriores demandantes y a los propios jueces (Wachter et alt., 2021). Esta medida estadística de referencia estándar acogería las numerosas nociones que se utilizan para definir la fairness y la lucha contra la discriminación, que se nutren de varias propuestas (ceguera voluntaria, paridad demográfica o estadística, igualdad predictiva (Dhasarathy et alt, 53 2021); individual fairness, group fairness, fairness through unawareness, equal outcome, equal opportunity, equal impact, (Barocas, Hardt y Narayanan, 2018); o bien, tratamiento desigual, impacto dispar (Rubin; Verma, 2018), etc.8 En definitiva, para prevenir casos que involucren una potencial discriminación causada por sistemas automatizados, habría que encontrar métricas de equidad adecuadas ajustadas a la legalidad y, sin embargo, que sean lo suficientemente estáticas como para ser codificadas. En general, los tribunales nacionales y europeos, así como los estudiosos del derecho, son reacios a depender en gran medida de la evidencia estadística para probar las denuncias de discriminación. Las estadísticas a menudo no están disponibles, son obsoletas o no se consideran confiables. Por último, a esta dificultad de encontrar un estándar para automatizar la fairness, hay que añadir que la discriminación aditiva e interseccional complica aún más estas decisiones automatizadas (por ejemplo, una discriminación, como pueda ser la de género en el lugar de trabajo o prácticas de contratación racistas). ¿Cómo mediría un algoritmo atributos que, superpuestos, da lugar cada una de ellas a un mayor grado de discriminación? Un algoritmo que se empleara para evaluar curricula y que tuviera sesgos contra el género femenino, contra la raza (negra o asiática, por ejemplo), contra la edad (rechazando a solicitantes de más de 40 años), 8 Wachter et alt. proponen que se aporten una definiciones clave, y que la posición probatoria y los umbrales comparativos se definan en función de las circunstancias del caso, incluyendo (1) quién es un grupo desfavorecido y de comparación apropiado;(2) que es lo que constituye una desventaja particular (por ejemplo, oportunidad financiera perdida), (3) la relevancia del daño discriminatorio (por ejemplo, debe afectar a un “lejano mayor número” de personas, no debe ser fortuito, reglas menos estrictas si son constantes disparidad durante un largo período), (4) si un daño concreto necesita ser probado o una amenaza potencial es suficiente, y (5) qué tipos de evidencia son admisibles en los tribunales (por ejemplo, estadísticas o evaluaciones de sentido común). 54 contra las personas con necesidades especiales (un cierto grado de minusvalía), en su decisión automatizada de “rechazar” la solicitud de la candidata, no se podría conocer si obedecía a un compendio de todos los atributos mencionados, o con solo uno de ellos ya habría sido suficiente para rechazarlo. En cualquier caso, la dimensión interseccional, amplifica las posibilidades de discriminación automatizada y de la black box, ya que no se sabría la razón (razones) concretas. Ante una decisión automatizada discriminatoria, que afectara a la dimensión de interseccionalidad, el poder judicial, para valorar las pruebas, podrían incentivar lo que comúnmente se conoce como “'dividir y conquistar el enfoque”. Es decir, se podría defender el comportamiento discriminatorio de un sistema al dividir al grupo desfavorecido en subgrupos y mostrando que cada subgrupo es tan pequeño que ninguno de ellos pasa el umbral legalmente requerido de desventaja significativa y desproporcionada (es decir, dominancia negativa). Esto sería especialmente perjudicial para casos que involucren discriminación interseccional o grupos minoritarios (Wachter et alt. 2021). CONCLUSIONES Los procedimientos automatizados a través del aprendizaje automático de una IA deben de ajustarse a la fairness, al igual que se hace en el ámbito offline. Tal desiderátum no es de fácil consecución ya que los sistemas automatizados, especialmente en cuanto a cuestiones de justicia y equidad, encuentran serias dificultades técnicas. En este trabajo he señalado dos de estas problemáticas. En primer lugar, cuando un algoritmo trabaja con un conjunto de identidades o atributos sensibles (sexo, raza, clase) que influyen sobre el acceso que se pueda tener a derechos y oportunidades, hay que ser especialmente vigilante para que la actividad 55 predictiva y/o el proceso decisional no vulnere la igualdad y el principio de no-discriminación. El análisis interseccional tiene como objetivo revelar las variadas identidades, exponer los diferentes tipos de discriminación y de desventaja que se dan como consecuencia de una combinación y cruce de identidades. Busca abordar las formas en las que el racismo, el patriarcado, la opresión de clase, y otros sistemas de discriminación crean desigualdades. En segundo lugar, resulta difícil encontrar un estándar para automatizar la fairness, unas métricas de equidad adecuadas que respeten la legalidad y que, sin embargo, sean lo suficientemente estáticas como para ser codificadas y, de esa manera, aplicadas por el algoritmo. Ahora bien, lo que técnicamente parece inviable ahora, habrá voces que señalen que, posiblemente, en un futuro próximo, como resultado de una investigación interdisciplinar (técnicos, juristas, éticos) puede que sea posible y contemos con una IA que “se aproxime” al criterio de fairness de un ser humano. Tengo mis serias reservas sobre tal “acercamiento” ya que el sentido de la justicia, como el de la equidad, precisan de elementos tales como el razonamiento, uso del lenguaje, capacidad crítica, corrección de errores, explicaciones (y no mera explicabilidad), finura no sólo de técnica legislativa sino de intuición, de valores, de justicia, de interpretación y de contexto que, sólo la razón humana está en condiciones de elaborar. BIBLIOGRAFÍA Aristóteles, Ética a Nicómaco, Libro V, cap. 3. Barrere Unzueta, Mª. Ángeles (2010). “La interseccionalidad como desafío al mainstreaming de género en las políticas públicas”, R.V.A.P. nº. 87-88, pp. 225-252. Barocas, Solon; Selbst, Andrew (2016). “Big Data’s Disparate Impact”, California Law Review, v. 104, n. 3, pp. 671-732. 56 Barocas, Solon; Hardt, Moritz; Narayanan, Arvind (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org. Disponible en: https://fairmlbook.org/. Acceso 12/11/2022 Belloso Martín, Nuria (2023). “Sobre fairness y machine learning: el algoritmo ¿puede (y debe) ser justo?, Anales de la Cátedra Francisco Suárez, Universidad de Granada, nº 57, 2023, pp. 7-38. ISSN: 0008-7750. DOI: https://doi.org/10.30827/acfs.v57i.25250 https://revistaseug.ugr.es/index.php/acfs/article/view/25250 Beltramelli Gula, Noelia; Camila Ferro, María Goñi Mazzitelli, Lorena Etcheverry & Martín Rocamora (2022). “Un concepto viajero: comprensiones acerca de la interseccionalidad en estudios de sesgo en la ciencia de datos”, NORUS, vol. 10, nº 18, pp. 152-18. file:///C:/Users/Propietario/Downloads/4847-Texto%20do%20artigo- 8672-2-10-20230119-1.pdf Crenshaw, Kimberle (1989). “Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics”, Review University of Chicago Legal Forum. Crenshaw, Kimberle (1991). “Mapping the Margins: Intersectionality, Identity Politics, and Violence against Women of Color, Stanford Law Review, nº43(6), pp. 1241-1299. https://doi.org/10.2307/1229039 Chouldechova, Alexandra (2017). Fair Prediction with Disparate Impact: A study of Bias in recidivism prediction instruments, Big Data, v. 5, n. 2, pp. 153-163. Castilla, Karlos (2022). Cuatro ángulos de análisis de la igualdad y la no discriminación en la inteligencia artificial. Institut de Drets Humans de Catalunya. Castilla, Karlos (2022). “Ideas para el análisis de los derechos humanos desde una perspectiva interseccional”, Papeles el tiempo de los derechos, nº2, Instituto de Derechos Humanos Universidad Carlos III de Madrid, pp. 1-14. Dhasarathy. A., Jain, S. & Khan, N. (2020). When governments turn to AI: Algorithms, trade-offs, and trust. McKinsey & Company. Ghosh, Avijit; Genuit, Lea; Reagan, Marry (2021). “Characterizing Intersectional Group Fairness with Worst-Case Comparisons”, 2º Workshop on diversity in Artificial Intelligence (aidbei). Proceedings of Machine Learning Research, n.142, pp. 22-34. Stewart, Matthew (2020). Cómo lograr la equidad en los algoritmos. https://www.codetd.com/es/article/12010244 63 estrategias de aprendizaje automático y estrategias basadas en la lógica y el conocimiento”14. NUEVO AVANCE TÉCNICO, ¿NUEVO DERECHO? Al margen de discusiones doctrinales en torno a su definición, no cabe duda de que el desarrollo de la IA está marcando en los últimos tiempos la investigación tecnológica, de forma muy similar a lo que sucedió años antes con el Proyecto Genoma Humano, si bien con parámetros y consecuencias distintas15. Al igual que sucedía entonces, este avance técnico produce una paradoja en relación con los derechos, pues se trata de proyectos fruto de la libertad, investigación y producción científica que abren el camino a múltiples beneficios pero que pueden constituir una amenaza para la persona y sus derechos. Cabe esperar, por tanto, que genere, como mínimo, “la necesidad de nuevas protecciones y de nuevos derechos”16, pues suele existir correlación entre “avance técnico-cambio jurídico” cuando éste tiene una proyección social amplia. La consecuencia jurídica del avance técnico puede consistir, como señala Díez-Picazo, en la aparición de una nueva legislación o en la reacción del ordenamiento jurídico en sus vías de aplicación e interpretación, siendo frecuente que la primera reacción sea la de “tratar de ajustar o englobar el conjunto de los nuevos hechos que 14 https://www.consilium.europa.eu/es/press/pressreleases/2022/12/06/artificial-intelligence-act-council-calls-for-promoting-safe- ai-that-respects-fundamental-rights/ 15 Algunas de las ideas expuestas en estos apartados han sido previamente incluidas en: ÁLVAREZ GONZÁLEZ, S.; “La necesaria protección de los derechos fundamentales como punto de partida en las propuestas de regulación de la inteligencia artificial”, en Interfaces dos direitos humanos no século XXI, Editora Metrics, Brasil, 2022. 16 PECES-BARBA MARTÍNEZ, G.; “La libertad del hombre y el Genoma”, en El Derecho ante el Proyecto Genoma, Vol. I, Fundación BBV con la colaboración de Universidad de Deusto-Diputación Foral de Biskaia, Bilbao, 1994, P. 202. 64 el nivel técnico determina en los moldes antiguos, preconizando de este modo el mantenimiento de la misma solución anteriormente establecida, por medio de lo que puede ser una forzada interpretación extensiva de los textos”17. De esta forma, como el Derecho surge de la realidad, es necesario que intervenga con reglas de juego que se impongan en la sociedad en transformación. Como indica Garriga Domínguez, respecto a la influencia de las TIC, “desde el último tercio del siglo pasado se produce un cambio de paradigma que afecta a todos los aspectos de la sociedad postindustrial” en la cual la información se convierte en fuente fundamental de productividad y también de poder18. Al auge de la sociedad de la información, hay que adicionar, el avance de otras ciencias y tecnologías. Vinculados a estos retos, surgen nuevos campos de la ética y también del Derecho. En particular, en relación con la IA, hace ya algunos años que la literatura ha señalado, como uno de los grandes retos, la inclusión de parámetros éticos de las máquinas y su grado de cumplimiento19. En este contexto, como señala Pérez Luño, el Derecho no existe ni es imaginable fuera del tiempo, de tal forma que los conceptos y categorías del actual surgieron en la Modernidad y en la etapa de codificación con un fin: dar respuestas jurídicas a las exigencias y a los problemas políticos de aquella coyuntura histórica. La realidad ha variado, entre otras cuestiones por la revolución científica y técnica, “por eso, el método de análisis de esa realidad tiene que adecuarse a las nuevas exigencias de su objeto”. El Derecho 17 DÍEZ-PICAZO, L.; Derecho y masificación social. Tecnología y Derecho privado (Dos esbozos). Cuadernos Civitas, Madrid, 1987, p. 90. 18 GARRIGA DOMÍNGUEZ, A.; “El impacto de la TIC en los derechos humanos”, en Fundamentos éticos y jurídicos de las TIC, Aranzadi, Pamplona, 2012. 19 De forma paralela surge el debate en el ámbito filosófico sobre la mejora de los aspectos morales de la propia naturaleza humana, Vid. PERSSON, I. and SAVULESCU, J.; ¿Preparados para el futuro?, TEELL, 2020. 65 debería tener en cuenta esta nueva realidad si no quiere volverse “inútil o, en el peor de los casos, deformadora de su significado”20. Al igual que de forma previa sucedió con los avances de la Genética y de la Biotecnología21, el avance de la IA debe constituir un nuevo marco de estudio para el Derecho y especialmente para el estudio de los derechos humanos. Partiendo de esa base, y al margen de los posibles ilícitos penales, los derechos fundamentales con más riesgo de afección por el uso de esta tecnología son el derecho a la igualdad y no discriminación y el derecho a la privacidad. Al respecto, cabe recordar que este último, también denominado derecho a la autodeterminación informativa o protección de datos, constituye una nueva modalidad de libertad personal, tendente a proteger jurídicamente la "identidad personal”22. Es la respuesta del Estado de Derecho frente a las nuevas necesidades derivadas de la revolución tecnológica y que garantiza a la persona un poder de control y disposición sobre sus propios datos personales. Este actúa al mismo tiempo como instituto o garantía del pleno disfrute de los restantes derechos fundamentales, como pueden ser la igualdad y la no discriminación23. Si bien los derechos señalados son los que pueden verse directamente más afectados por la creación y/o usos de la IA según el estado actual de la técnica, ésta presenta también un riesgo directo o indirecto para otros derechos que pueden verse comprometidos en la deriva de un uso torticero de la tecnología. Así, si los riesgos inmediatos deben abordarse con normas para proteger la privacidad, la igualdad y la no discriminación, resulta 20 PÉREZ LUÑO, A.E.; Trayectorias contemporáneas de la Filosofía y Teoría del Derecho, Grupo Nacional de Editores, Sevilla, 2003 p. 4. 21 Vid. ÁLVAREZ GONZÁLEZ, S.; Derechos fundamentales y protección de datos genéticos, Dykinson, 2007. 22 PÉREZ LUÑO, A.E.; “Vittorio Frosini y los nuevos derechos en la sociedad tecnológica”, Informática e Diritto, Le Monnier, Firenze, 1992, p. 107. 23 Fundamento jurídico séptimo, sentencia del Tribunal Constitucional Español 290/2000, de 30 de noviembre. 66 también esencial la valoración de los posibles daños para otras libertades. Entre los derechos a los que debe prestarse una especial atención ante un mal uso o creación de IA, cabe señalar la libertad de expresión, la libertad de reunión, la libertad de pensamiento, el derecho a la tutela judicial efectiva y a un juicio justo, el derecho a la educación e incluso el derecho a la vida y a la salud. Muchos de estos derechos ya están siendo afectados por el uso de ciertas aplicaciones con fines diversos. El Consejo de Europa aprobó el 8 de abril de 2020 una serie de Recomendaciones sobre el impacto de los algoritmos en los derechos humanos. Se insta a los Estados miembros a garantizar el derecho a la autodeterminación informativa en el diseño, desarrollo y puesta en marcha de los sistemas algorítmicos, evaluando con detalle los derechos humanos que pueden verse afectados y, en particular, el derecho a la no discriminación. Se insta, de forma específica, al sector privado a garantizar los derechos humanos tomando conciencia de la responsabilidad hacia los valores de una sociedad democrática. En este sentido, cabe recordar, con el profesor Peces-Barba, que, si bien los derechos fundamentales se presentan en su fórmula clásica como mecanismos para preservar la libertad del individuo frente al poder de Estado, para proteger a los hombres “de los maleficios del poder”, la quiebra de la convicción igualitaria ha promovido la extensión de los derechos fundamentales al ámbito privado, de tal forma que ha permitido preguntarse si los derechos no deben ser también preferentes o, en todo caso, protegibles en las mismas condiciones en los dos ámbitos24. Aunque es imposible predecir cómo va a evolucionar el estado, los conocimientos y aplicaciones vinculadas a la IA en los próximos años, parece indudable que el Derecho deberá enfrentarse a nuevos retos derivados del análisis de grandes cantidades de datos de carácter personal y su conexión, incluso con relación a 24 PECES-BARBA MARTÍNEZ, G.; Ética, poder y Derecho. Reflexiones ante el fin de siglo, Centro de Estudios Constitucionales, Madrid, 1995, p. 72. 67 conjuntos de datos que, en sí mismos, no contienen datos personales. Previsiblemente, si se logran grandes avances en la inteligencia artificial general y fuerte, el encaje de los riesgos en las categorías actuales de derechos resulte extremadamente complejo, siendo preciso quizás una extensión de su contenido que dé cobertura a nuevas situaciones o tal vez la creación de nuevos derechos25. Los poderes públicos deben estar preparados para abordar con “el nivel superior de maestría necesario” la competencia tecnológica26. En este sentido, como señala Llano Alonso, “debemos y podemos salvar nuestra circunstancia con las tecnologías, pero a la vez debemos librarnos de su fuerza de atracción centrípeta para evitar ser absorbidos por el agujero negro del posthumanismo”27. LA CONFIANZA SOCIAL: LA NECESIDAD DE COMPRENSIÓN, ACEPTACIÓN Y EL PRINCIPIO DE TRANSPARENCIA COMO REQUISITO ESENCIAL EN LA REGULACIÓN DE LA IA. Como señala Salazar, la expansión exponencial de la tecnología pasa, en última instancia, por la aceptación social y compresión de la misma, ante un cambio tecnológico tan rápido que resulta difícil de asumir y que puede provocar el denominado “shock tecnológico”28. Tras ciertos escándalos por todos conocidos derivados de un uso masivo ilícito de información de carácter personal con afección 25 Sobre los nuevos derechos y tecnologías, Vid. DE ASÍS ROIG, R., Derechos y tecnologías, Dykinson, Madrid, 2022, pp. 43-51. 26 BOSTROM, N.; Superinteligencia. Caminos, peligros, estrategia, ob.cit., p. 11. 27 LLANO ALONSO, F.H.; Homo Excelsior. Los límites ético-jurídicos del transhumanismo, Tirant lo Blanch, Valencia, 2018, p. 192. 28 “mezcla de miedo a lo desconocido y una vaga conciencia de sus ventajas e inconvenientes”. SALAZAR, I.; La revolución de los robots. Cómo la inteligencia artificial y la robótica afectan a nuestro futuro, Ediciones TREA, Madrid, 2019, p. 51. 68 directa a los derechos fundamentales, parece que, en gran medida, la confianza en sistemas vinculados al uso de la IA, dentro del marco del Estado de Derecho, vendrá dada y quedará condicionada por la forma en la que se realice su regulación y por las garantías que se implementen para la protección de estos derechos. La Comisión europea ha señalado como uno de los objetivos centrales en el abordaje de la materia la necesidad de generar un “ecosistema de confianza” con un enfoque antropocéntrico centrado en el ser humano. Dicho reto pasa por la necesidad previa de una base mínima de alfabetización digital de la ciudadanía, pues, malamente, podrá valorar un individuo las bondades o maldades de la implantación tecnológica o de la toma de decisiones basada en la misma si no le resulta posible su comprensión. Desde algunos sectores se ha apelado a una cierta “responsabilidad de la ciudadanía” que no se estaría ejerciendo en relación con los avances tecnológicos. No obstante, la misma no parece exigible en un contexto actual en el que la educación y la falta de comprensión de esta materia no permiten este control o responsabilidad en su utilización. Al respecto, la Unión Europea, dentro del marco de su Estrategia sobre IA, aprobada en abril de 2018, ya destacó la necesidad de concienciación en torno a la misma, en todos los niveles de la educación, con la finalidad de crear habilidades sobre la toma de decisiones. Evidentemente, dicha tarea resultará de enorme complejidad y de difícil extensión a ciertos sectores concretos de la población. Los recelos sobre el uso tecnológico mal intencionado o sobre los posibles efectos perversos parecen forzar un debate técnico o pretécnico. En este contexto, la Comisión Europea, de forma previa a entrar en la regulación, ha señalado, siete requisitos a tener en cuenta en relación con la IA: acción y supervisión humanas; solidez técnica y seguridad; gestión de la privacidad y protección de datos; transparencia; diversidad, no discriminación y equidad; bienestar social y medioambiental y rendición de cuentas. Asume las Directrices éticas para una IA fiable elaboradas por el grupo independiente de expertos de alto nivel sobre inteligencia artificial, creado en junio de 2018. 69 Entre ellos, la transparencia se presenta como un requisito esencial no solo respecto a los datos de entrenamiento o a la conservación de los datos sino también para la creación de esa confianza social e individual y, en su caso, para reparar el daño causado. Según el Libro Blanco de IA, este principio de transparencia conlleva necesariamente: la información respecto a las capacidades y limitaciones de la IA e información sobre la si el afectado se está relacionado con un ser humano o con un sistema de IA. Este principio de transparencia está ya presente en la normativa de protección de datos en el ámbito de la Unión Europea, considerándolo como una medida de privacidad por defecto para que los ciudadanos puedan supervisar el tratamiento de su información de carácter personal. La normativa vigente en materia de protección de datos lo señala como una medida imprescindible para garantizar un tratamiento leal de los datos personales y del derecho a recibir una información completa, clara y sencilla relativa a todos los aspectos relevantes de un tratamiento de datos personales y a sus posibles consecuencias29. No obstante, dicho principio ha de complementarse, en el marco de la IA y en aras a generar la confianza social en torno a la misma, con su extensión en el diseño y en la puesta en marcha de los dispositivos que usen este tipo de tecnología. Así, “este derecho cobra una nueva y mayor relevancia en el mundo de los datos masivos, de la computación ubicua y del Internet de las cosas”30. Esta exigencia implicará que la aplicación de dicho principio no puede reducirse a un instante puntual, sino que afectará a todos y cada uno de los momentos de creación y puesta en marcha de los 29 GARRIGA DOMÍNGUEZ, A.; “La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproximación a su regulación en el Reglamento de Protección de datos de la Unión Europea”, Derechos y Libertades, núm.38, época II, 2018, p. 134. 30 Ibídem, p. 136. 70 dispositivos, así como a todos los elementos y participantes que intervienen en la solución tecnológica. Este principio debe complementarse necesariamente con la supervisión humana, con el objetivo de no socavar la autonomía humana y protegerla de los efectos adversos. Esta supervisión planteará especial problema en aquellos sistemas de IA que evolucionen y aprendan de la experiencia en los que necesariamente se tendrán que adoptar mecanismos para evitar la pérdida de control de la IA por el ser humano. En el marco de las Directrices Éticas para una IA fiable se apuesta por una IA centrada en las personas, en el servicio a la humanidad y en el bien común y apoyada en tres componentes esenciales: lícita, que respete el marco normativo existente, prestando especial atención a los textos de derechos humanos, ética y robusta desde el punto de vista técnico y social para que los sistemas funcionen de manera segura y fiable y determinación, en su caso, los posibles daños involuntarios. Dentro de los principios éticos de la IA, basados en los derechos humanos, el citado grupo de expertos destaca los siguientes: respeto a la autonomía, prevención del daño, equidad y explicabilidad. El Parlamento Europeo, el Consejo y la Comisión se han pronunciado sobre los parámetros analizados en este epígrafe en la Declaración Europea sobre los Derechos y Principios Digitales para la Unión Europea, de 26 de enero de 202231. Si bien el texto tiene carácter declarativo, aborda, entre otras cuestiones, en el capítulo III, las “interacciones con algoritmos y sistemas de inteligencia artificial”, en la que se compromete políticamente, en aras a garantizar la libertad de elección, a la promoción y aplicación de dicho principio. La finalidad última, en este contexto, debería ser evitar que la IA y los algoritmos decidan “sobre fines y objetivos futuros del desarrollo de la vida, al margen de las elecciones de las 31https://digital-strategy.ec.europa.eu/en/library/declaration-european-digital- rights-and-principles#Declaration 71 personas concernidas por esos designios” y en ocasiones con sustitución plena de las decisiones humanas por la IA32. ALGUNOS APUNTES SOBRE UN DEBATE ABIERTO En esta temática son habituales las denominados pseudocontroversias33 que se recrean en posturas antagónicas sobre las bondades o maldades de la IA y no en el estudio de las competencias y objetivos que puede alcanzar. Esto no significa que los sistemas jurídicos puedan permanecer ajenos a este avance complejo, con independencia de que finalmente se produzca o no, sino que el debate ha de producirse en el marco de los indicadores señalados. Así, cuando hablamos de IA, es necesario centrar el debate en sus justos términos, entendiendo esta tecnología como una combinación de información y computación, por lo que será necesario movernos en esos parámetros y en el control de los mismos. Situar el debate en estos términos, no significa que su regulación haya de abordarse una vez que se produce el avance sino más bien al contrario pues, desde el punto de vista jurídico, estos puntos deben ser predefinidos previamente y analizados de conformidad los parámetros del ordenamiento. Esta postura plantea un problema inicial: la necesidad de planificación previa. En este sentido, “el riesgo real de la IA no es la maldad sino la competencia”34, de tal forma que, cuando se analiza el tema, “debemos ser conscientes de los peligros, identificarlos, emplear 32 PÉREZ LUÑO, A.E.; “El posthumanismo no es humanismo”, Derechos y Libertades, núm. 44, enero, 2021, p. 30. 33 Sobre esta cuestión, Vid. TEGMARK, M.; Vida 3.0. Que significa ser humano en la era de la inteligenia artificial, Penguin Random House Grupo Editorial, 2018, pp. 59 y ss. 34 HAWKING, S.; Breves respuestas a las grandes preguntas, ob.cit. p. 233. 72 la mejor práctica y gestión posibles y prepararnos con mucha antelación para sus consecuencias”35. Si no resulta posible este control, quizás debería ponerse en marcha la elaboración de un Derecho preventivo. Sin embargo, determinar qué usos y qué avances tecnológicos deberían prohibirse resulta, sin duda, complicado habida cuenta del estado actual de las tecnologías emergentes. No son pocos los que apostarían por prohibir aquellas tecnologías en las que el riesgo no sea razonable o proporcional en relación con los beneficios, pero dicha afirmación nos conduciría a la aplicación de principios con un alto grado de incerteza. Es, en este contexto, en el que los derechos humanos, ya anteriormente señalados, crearían un límite, no solo como punto de partida, sino como punto de llegada. 35 Ibídem, p.253. 79 funcionamento (quanto a algoritmos, dados, provas e validações realizadas, além da lista das áreas que utilizam tais tecnologias).10 No mesmo sentido, interessante mencionar o estudo realizado pelo Centro de Tecnologia e Sociedade (CTS) da Fundação Getúlio Vargas (FGV Direito Rio), o qual foi encaminhado ao Ministério da Ciência Tecnologia Inovações e Comunicações (MCTIC) no âmbito da consulta sobre a Estratégia Brasileira de Inteligência Artificial. Nesse estudo, em consonância com a Organização para a Cooperação e Desenvolvimento Econômico, recomendou-se que a regulação da inteligência artificial observe os seguintes princípios: i) os sistemas de IA devem promover o crescimento inclusivo, o desenvolvimento sustentável e o bem-estar; ii) os sistemas de IA devem ser projetados de maneira a respeitar o Estado de Direito, os direitos humanos, os valores democráticos e a diversidade, liberdade, dignidade, autonomia, privacidade e proteção de dados, não discriminação e igualdade, diversidade, equidade, justiça social e direitos trabalhistas internacionalmente reconhecidos. Para isso, devem incluir salvaguardas apropriadas, como possibilitar a intervenção humana sempre que necessário; iii) deve haver transparência e explicabilidade sobre os sistemas de IA. Por esse motivo, os atores da IA devem fornecer informações significativas e apropriadas ao contexto, de modo a permitir que os potenciais indivíduos 10 AGENCIA DE GOBIERNO ELECTRÓNICO Y SOCIEDAD DE LA INFORMACIÓN Y DEL CONOCIMIENTO (AGESIC). Principios Generales sobre Inteligencia Artificial para un Gobierno Digital. Disponível em: https://bit.ly/2Siy4tO. Acesso em: 24 out. 2022. 80 afetados tenham acesso aos critérios que serviram de base para a previsão, recomendação ou decisão algorítmica; iv) os sistemas de IA devem ser robustos, seguros e protegidos durante todo o ciclo de vida. Os riscos potenciais devem ser continuamente avaliados e gerenciados. Para esse fim, os atores da IA devem garantir a rastreabilidade, inclusive em relação aos conjuntos de dados, processos e decisões tomadas durante o ciclo de vida do sistema de IA3, possibilitando a análise dos resultados do sistema e, em caso de solicitação ou investigação, devem oferecer as respostas apropriadas ao contexto e consistentes com o estado da arte; e v) as organizações e os indivíduos que desenvolvem, implantam ou operam sistemas de IA devem ser responsabilizados pelo seu apropriado funcionamento, de acordo com os princípios acima.11 Imperioso destacar, contudo, que a regulação da inteligência artificial não é tarefa simples, uma vez que, além de buscar garantir a proteção dos direitos do usuário e a segurança na sua utilização, é salutar que se promova e preserve a inovação,12 de modo a evitar barreiras à pesquisa e ao desenvolvimento de serviços de inteligência artificial. Soma-se a isso a complexidade advinda do cenário de rápida evolução das tecnologias, o que torna a legislação propensa a se tornar obsoleta. 11 IVAR, A. et. al. Regulação de inteligência artificial no Brasil: policy paper. 2020. Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/30078. Acesso em: 24 out. 2022. 12 KELLER, Clara Iglesias; BAPTISTA, Patrícia. Por que, quando e como regular as novas tecnologias? Os desafios trazidos pelas inovações disruptivas. Revista de Direito Administrativo – RDA, ano 11, n. 273, set./dez. 2016. Disponível em: www.forumconhecimento.com.br/periodico/125/347/3395. Acesso em: 1º mar. 2023. 81 INICIATIVAS DE REGULAÇÃO DA INTELIGÊNCIA ARTIFICIAL NO BRASIL No Brasil, algumas legislações tangenciam temas relacionados à inteligência artificial, tais como a Lei n. 12.965/2014, conhecida como Marco Civil da Internet, e a Lei n. 13.709/2018, Lei Geral de Proteção de Dados Pessoais (LGPD), que assegura a explicabilidade de qualquer decisão automatizada que utilize dados pessoais de indivíduos, tendo em vista que as pessoas afetadas por decisões algorítmicas devem poder pleitear uma explicação dos principais critérios e fundamentos utilizados para a decisão automatizada. Contudo, não há legislação federal específica sobre o tema, apenas propostas legislativas em andamento, conforme se verá à frente. Merece destaque, ainda, a Resolução n. 332/2020, do Conselho Nacional de Justiça,13 que estabeleceu diretrizes sobre ética, transparência e governança de inteligência artificial no Poder Judiciário, considerando, sobretudo, a concepção de que a inteligência artificial pode contribuir com a agilidade e coerência do processo de tomada de decisão e que há inúmeras iniciativas nesse sentido nos tribunais. A Resolução prevê a obrigatoriedade de que o desenvolvimento, a implantação e o uso da inteligência artificial observem os direitos fundamentais e que a utilização de tecnologias deve buscar garantir a segurança jurídica e a igualdade. Para tanto, previu que, antes de ser implementado, o sistema deverá ser homologado, de forma a identificar se preconceitos ou generalizações influenciaram seu desenvolvimento, acarretando tendências 13 BRASIL. Conselho Nacional de Justiça. Resolução n. 332, de 21 de agosto de 2020. Disponível em: https://atos.cnj.jus.br/atos/detalhar/3429. Acesso em: 6 mar. 2023. 82 discriminatórias no seu funcionamento. Caso não possa ser sanado o viés discriminatório, o modelo não poderá ser utilizado. Como medida de transparência e controle pelo usuário, os sistemas que auxiliem na elaboração de decisão judicial devem explicar satisfatoriamente a técnica utilizada e os processos que conduziram ao resultado, permitindo a supervisão do magistrado competente. Embora não se trate propriamente de regulação sobre a matéria, foi instituída a Portaria do Ministério da Ciência, Tecnologia e Inovações n. 4.617, de 6 de abril de 2021, alterada pela Portaria n. 4.979, de 13 de julho de 2021, do mesmo Ministério, a Estratégia Brasileira de Inteligência Artificial (Ebia), que se fundamenta em cinco princípios para uma gestão responsável dos sistemas de inteligência artificial, quais sejam: (i) crescimento inclusivo, desenvolvimento sustentável e bem-estar; (ii) valores centrados no ser humano e na equidade; (iii) transparência e explicabilidade; (iv) robustez, segurança e proteção; e (v) responsabilização ou prestação de contas (accountability). A Estratégia Brasileira de Inteligência Artificial tem como objetivos: • contribuir para a elaboração de princípios éticos para o desenvolvimento e uso de inteligência artificial responsáveis; • promover investimentos sustentados em pesquisa e desenvolvimento em inteligência artificial; • remover barreiras à inovação em inteligência artificial; • capacitar e formar profissionais para o ecossistema da inteligência artificial; • estimular a inovação e o desenvolvimento da inteligência artificial brasileira em ambiente internacional; e 83 • promover ambiente de cooperação entre os entes públicos e privados, a indústria e os centros de pesquisas para o desenvolvimento da inteligência artificial.14 O referido documento ressalta que, entre as principais discussões envolvendo o uso da inteligência artificial, está a busca por estabelecer princípios gerais e padrões éticos que devem buscar o equilíbrio entre: (i) a proteção e a salvaguarda de direitos, inclusive aqueles associados à proteção de dados pessoais e à prevenção de discriminação e viés algorítmico; (ii) a preservação de estruturas adequadas de incentivo ao desenvolvimento de uma tecnologia cujas potencialidades ainda não foram plenamente compreendidas; e (iii) o estabelecimento de parâmetros legais que confiram segurança jurídica quanto à responsabilidade dos diferentes atores que participam da cadeia de valor de sistemas autônomos.15 No final de 2022, a Comissão de Juristas instituída pelo Ato do Presidente do Senado n. 4, de 2022, apresentou minuta de substitutivo aos Projetos de Lei n. 5.051/2019, 21/2020 e 872/2021, que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. Nos termos da exposição de motivos, 14 BRASIL. Ministério da Ciência, Tecnologia e Inovação. Estratégia Brasileira de Inteligência Artificial (Ebia). Disponível em: www.gov.br/mcti/pt-br/acompanhe- o-mcti/transformacaodigital/inteligencia-artificial. Acesso em: 14 mar. 2023. 15 BRASIL. Ministério da Ciência, Tecnologia e Inovação. Estratégia Brasileira de Inteligência Artificial (Ebia). Disponível em: www.gov.br/mcti/pt-br/acompanhe- o-mcti/transformacaodigital/inteligencia-artificial. Acesso em: 14 mar. 2023. 84 [...] esse novo marco legal tem um duplo objetivo. De um lado, estabelecer direitos para proteção do elo mais vulnerável em questão, a pessoa natural que já é diariamente impactada por sistemas de inteligência artificial, desde a recomendação de conteúdo e direcionamento de publicidade na Internet até a sua análise de elegibilidade para tomada de crédito e para determinadas políticas públicas. De outro lado, ao dispor de ferramentas de governança e de um arranjo institucional de fiscalização e supervisão, criar condições de previsibilidade acerca da sua interpretação e, em última análise, segurança jurídica para inovação e o desenvolvimento econômico-tecnológico.16 A Comissão de Juristas realizou, além de reuniões internas, audiências públicas envolvendo mais de 50 (cinquenta) palestrantes, objetivando a participação dos diversos setores da sociedade, como setor público, academia, indústria e terceiro setor de diversas regiões do país. Também foram realizados seminários internacionais com mais de 20 (vinte) palestrantes e, ainda, recebidas 102 (cento e duas) contribuições escritas de entidades representantes da sociedade civil, de órgãos governamentais, da academia, do setor privado, além de contribuições individuais. O relatório final apresentado resultou em um documento de 912 (novecentas e doze) laudas, o que demonstra a complexidade das discussões que envolvem a matéria. A minuta formulada pela Comissão de Juristas, mais robusta que a proposta inicial que havia sido aprovada na Câmara dos Deputados, possui 45 (quarenta e cinco) artigos que objetivam 16 BRASIL. Senado Federal. Coordenação de Comissões Especiais, Temporárias e Parlamentares de Inquérito. Relatório final da Comissão de Juristas responsável por subsidiar a elaboração de Substitutivo sobre Inteligência Artificial instituída pelo Ato do Presidente do Senado n. 4, de 2022, aprovado em 1º de dezembro de 2022. Disponível em: https://legis.senado.leg.br/sdleggetter/documento?dm=9221643&ts=1677521675945&disposition=inline. Acesso em: 15 mar. 2023. 85 trazer segurança aos usuários das novas tecnologias, prevendo, em suma, diversos direitos às pessoas afetadas pela inteligência artificial; a possibilidade de responsabilização do desenvolvedor ou operador da tecnologia; a exigência de transparência e medidas de governança, que devem ser observadas ao longo de todo o ciclo de vida do sistema de inteligência artificial, desde a concepção inicial até o encerramento de suas atividades e descontinuação. O substitutivo adotou modelagem baseada nos riscos que o sistema de inteligência artificial pode ocasionar, prevendo que todo sistema passará por análise preliminar de classificação de seu grau de risco e, a partir daí, são preconizadas regras diferenciadas, de acordo com os potenciais riscos da tecnologia. Determinou, ainda, a designação, pelo Poder Executivo, de autoridade competente para zelar pela fiscalização da aplicação da lei e estabelecer normas e diretrizes para sua implementação, tal qual ocorre com a Autoridade Nacional de Proteção de Dados (ANPD), no âmbito da LGPD. Algumas previsões são polêmicas, a exemplo da responsabilidade civil, que, na nova proposta, é objetiva para o operador de sistema de inteligência artificial de alto risco ou de risco excessivo que causar dano patrimonial, moral, individual ou coletivo (art. 27, §1º), em oposição à proposta inicial aprovada na Câmara dos Deputados, que previa responsabilidade subjetiva e foi objeto das discussões travadas pela comissão, diante da dificuldade de se comprovar a conduta culposa do desenvolvedor da tecnologia e por ser contrária à prevalência do regime de responsabilidade objetiva consagrado na doutrina, na jurisprudência, no Código Civil e na legislação consumerista. Nos demais casos, ou seja, quando não envolver alto risco ou risco excessivo, a proposta prevê presunção de culpa do agente causador do dano, aplicando-se a inversão do ônus da prova em favor da vítima (art. 27, §2º). 86 Por fim, importante mencionar que a minuta proposta pela Comissão de Juristas, com o objetivo de fomentar a inovação, previu a possibilidade de que a entidade fiscalizadora autorize o ambiente regulatório experimental, denominado Sandbox Regulatório. Sobre o instituto, observa-se que, in verbis: O objetivo do Sandbox Regulatório é criar um ambiente de negócios em que as empresas possam testar produtos e serviços inovadores sem as limitações e restrições impostas pelas regras vigentes, estimulando, dessa forma, o ambiente de inovação tecnológica, sem que se perca o controle sobre os novos negócios que estão surgindo, a fim de mitigar eventuais riscos às empresas, à economia e aos clientes. A regulação dos negócios baseados em soluções inovadoras e disruptivas não acompanha a velocidade de transformação desses negócios, então, essa ferramenta veio para auxiliar na adequação das regras à nova realidade imposta por essas empresas, possibilitando que regras sejam testadas em pequenos grupos antes que tenham alcance geral.17 O Projeto de Lei n. 21/2020 segue em tramitação no Senado Federal, e a expectativa é de que seja amplamente debatido antes de ser votado e de retornar à Câmara dos Deputados, diante da relevância da matéria que, como se viu, envolve diretamente a proteção a direitos e valores fundamentais e o futuro da inovação no Brasil. CONCLUSÃO A permeabilidade das técnicas de inteligência artificial em variados campos da sociedade é uma realidade que não pode ser ignorada. As novas tecnologias têm mostrado sua capacidade de 17 BRASIL. Tribunal de Contas da União. Sandbox regulatório. Disponível em: https://portal.tcu.gov.br/data/files/86/75/3F/4B/669A38102DFE0FF7F18818A8 /SandBox%20Regulatorio.pdf. Acesso em: 14 mar. 2023. 87 revolucionar o mundo como o conhecemos e, caso bem empregadas, podem constituir ferramentas relevantes para a melhoria da qualidade de vida da população. No âmbito da Administração Pública, como se viu, a utilização da inteligência artificial tem o potencial de propiciar a prestação de serviços públicos mais eficientes, de reduzir a burocracia e aprimorar o controle da atividade estatal. No entanto, as tecnologias disruptivas também trazem consigo riscos a direitos e garantias fundamentais, que desafiam os operadores do direito a buscar regular a forma como se darão essas interações, sobretudo em razão da multidisciplinaridade que envolve o tema e da velocidade com que novas técnicas de inteligência artificial surgem. Diante disso, o Brasil tem buscado, por meio do Projeto de Lei n. 21/2020, em trâmite no Senado Federal, estabelecer um marco normativo que estabeleça princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A iniciativa é bem-vinda e está em consonância com as tendências internacionais que visam estabelecer parâmetros para o uso ético das novas tecnologias. No entanto, as previsões específicas do Projeto de Lei precisam ser largamente debatidas pela sociedade antes de aprovadas, tendo em vista que a regulação da inteligência artificial possui como principal desafio harmonizar a busca de segurança jurídica para os atingidos pelas ferramentas de inteligência artificial, induzindo boas práticas, com o incentivo à inovação, já que a criação de barreiras pode impactar no crescimento tecnológico do país. 88 Assim, espera-se que o Estado, além de atuar de forma a regular o uso das novas tecnologias, também se ocupe de implementar programas de fomento e incentivo à inovação, para que o Brasil não seja apenas consumidor de tecnologias criadas no exterior, mas também possa produzir novos mecanismos de inteligência artificial capazes de solucionar os principais desafios da sociedade brasileira. REFERÊNCIAS AGENCIA DE GOBIERNO ELECTRÓNICO Y SOCIEDAD DE LA INFORMACIÓN Y DEL CONOCIMIENTO (AGESIC). Principios Generales sobre Inteligencia Artificial para un Gobierno Digital. Disponível em: https://bit.ly/2Siy4tO. Acesso em: 24 out. 2022. BINENBOJM, Gustavo. Poder de polícia; ordenação regulação. Belo Horizonte: Fórum, 2020. BRASIL. Conselho Nacional de Justiça. Resolução n. 332, de 21 de agosto de 2020. Disponível em: https://atos.cnj.jus.br/atos/detalhar/3429. Acesso em: 6 mar. 2023. BRASIL. Ministério da Ciência, Tecnologia e Inovação. Estratégia Brasileira de Inteligência Artificial (Ebia). Disponível em: www.gov.br/mcti/pt-br/acompanhe-o- mcti/transformacaodigital/inteligencia-artificial. Acesso em: 14 mar. 2023. BRASIL. Senado Federal. Coordenação de Comissões Especiais, Temporárias e Parlamentares de Inquérito. Relatório final da Comissão de Juristas responsável por subsidiar a elaboração de Substitutivo sobre inteligência artificial instituída pelo Ato do Presidente do Senado n. 4, de 2022, aprovado em 1º de dezembro de 2022. Disponível em: https://legis.senado.leg.br/sdleggetter/documento?dm=9221643&ts=1677521675945&disposition=inline. Acesso em: 15 mar. 2023. BRASIL. Tribunal de Contas da União. Sandbox regulatório. Disponível em: https://portal.tcu.gov.br/data/files/86/75/3F/4B/669A38102DFE0FF7F 18818A8/SandBox%20Regulatorio.pdf. Acesso em: 14 mar. 2023. GIAMBIAGI, Fabio; ALÉM, Ana Claudia. Finanças públicas: teoria e prática no Brasil. Rio de Janeiro: Elsevier, 2011. 95 de la Administración de que se trate y con carácter específico a determinadas actuaciones que pudieran ser, sin ánimo de ser exhaustivos, las que a continuación se describen: actos automáticos de impulso y de mero trámite del procedimiento electrónico, la emisión de certificado automático de inserción de anuncios en los tablones electrónicos, la expedición automática de recibos de presentación por el registro electrónico, el foliado automático de expedientes electrónicos, la emisión automática de copias auténticas de documentos electrónicos en los términos previstos en el artículo 27 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas (LPAC). También al hilo de lo anterior, serían actuaciones administrativas automatizadas la digitalización de documentos en soporte papel o en otro soporte no electrónico en los términos del citado artículo 27 de la LPAC, las migraciones y cambios de formato automáticos, en particular, a efectos de archivo; las diligencias sobre documentos electrónicos o en soporte papel para la constancia de la fecha de la resolución o acuerdo en la que fueron aprobados. Asimismo, pueden realizarse a través de actuaciones administrativas automatizadas la firma de las resoluciones y notificaciones de los órganos colegiados y unipersonales, la fe pública en los contratos y convenios administrativos, la asignación de la numeración de las resoluciones y acuerdos y su inclusión en el Libro electrónico, las diligencias de apertura y cierre de los libros electrónicos, la expedición automática de recibos de presentación en los Registros electrónicos. Continuamos con otros trámites como la expedición de certificados y volantes de documentos del padrón municipal, histórico de movimientos, etc, la expedición electrónica de certificados e informes de datos individualizados de los padrones, matrículas, censos y demás documentos tributarios e ingresos públicos, la expedición electrónica de certificados en base a Registros públicos, comunicaciones a la ciudadanía, entre otros. 96 Trámites que permiten celeridad y rapidez en los procedimientos y en la formación de los expedientes siempre con las debidas garantías de tramitación y basadas en el cumplimiento de las características técnicas generales del sistema de firma y certificado aplicables; que serán conformes a lo establecido en el Esquema Nacional de Interoperabilidad en el ámbito de la Administración Electrónica, normativa concordante, en la propia política de firma y política de archivo en soporte electrónico de la Administración. En todo caso, la relación de los sistemas de obtención de sello electrónico utilizado, incluyendo las características de los certificados electrónicos y los prestadores que los expiden, será pública y accesible en la sede electrónica de la Administración. Para la identificación y la autentificación del ejercicio de la competencia en la actuación administrativa automatizada, se utilizará con carácter general, un sistema de Código Seguro de Verificación (en adelante, CSV) vinculado al documento. El sistema generará el CSV mediante un algoritmo aleatorio y lo vincula al documento electrónico en que se materialice la actuación automatizada y a la aplicación firmante del mismo. El CSV solo podrá ser utilizado para autenticar aquellas actuaciones automatizadas que se hayan publicado en la sede electrónica. El sello electrónico garantizará la autenticidad y la integridad del documento emitido, a cuyo efecto contendrá un CSV con que se haya firmado, que podrá consultarse en la sede electrónica de la administración de que se trate. La validación del certificado podrá realizarse a través de los servicios ofrecidos y publicados por la web del prestador de certificados de certificación de confianza cualificado. La actuación administrativa automatizada debe aprobarse por resolución administrativa y deberá publicarse en la Sede Electrónica de la Administración. Todo ello sin perjuicio de otras garantías adicionales de publicidad en el Boletín Oficial que corresponda. Contra la resolución aprobatoria de la actuación administrativa automatizada, al ser acto administrativo, que es 97 definitivo en vía administrativa, se podrá interponer, con carácter potestativo, recurso de reposición ante el órgano que lo ha dictado, en el plazo de un mes a contar desde la publicación en la sede electrónica. Alternativamente, se podrá interponer recurso contencioso-administrativo ante los Juzgados competentes de la Jurisdicción Contencioso-Administrativa. Las Actuaciones Administrativas Automatizadas son una realidad que resulta actualmente de aplicación ordinaria en muchas de nuestras administraciones pero el final del camino, no es sólo eso sino mucho más, esto es, la utilización y el uso de la inteligencia artificial que está ya entre nosotros como veremos a continuación. En la presente aportación trataremos de reflexionar sobre los retos, oportunidades y posibilidades que plantea las diferentes herramientas y sistemas de Inteligencia artificial en la administración. Igualmente, realizaremos un breve apunte sobre los usos de la inteligencia artificial en la Administración y sus riesgos. Entendemos que es necesario profundizar en las limitaciones éticas que plantea su desarrollo para que facilite su crecimiento responsable en beneficio de toda la sociedad. LA INTELIGENCIA ARTIFICIAL APLICADA A LA ADMINISTRACIÓN: UNA REALIDAD CADA VEZ MÁS CERCANA Para abordar estas cuestiones, debemos señalar los tres estadios que concurren en la práctica diaria de nuestras Administraciones. De un lado, se ha producido una progresiva digitalización en un entorno de las nuevas tecnologías y de comunicación, que nos ha traído un inmenso tratamiento de datos y su debida trazabilidad. Junto a la digitalización, aparece la automatización cuya finalidad es sustituir al operador humano en las tareas burocráticas, repetitivas, instrumentales, como hemos visto anteriormente y que están reguladas en el art 41 de la Ley 40/2015. El tercer y definitivo paso en este proceso es el de la Inteligencia artificial (IA), cuya implementación está orientado a la toma de decisiones, 98 sustituyendo al ser humano. Estos tres estadios conviven, son complementarios pero a la vez independiente y todos son importante para apoyar la toma de decisiones en el ámbito de la administración pública. Cuando hablamos de IA nos estamos refiriendo al desarrollo de sistemas y algoritmos que son capaces de realizar tareas y de aprender mediante un entrenamiento basado en incorporar grandes conjuntos de datos para adquirir con ello nuevas y mejores capacidades. A partir de los datos en poder de las Administraciones, de los algoritmos y del aumento de la potencia computacional de los ordenadores y de los sistemas de almacenamiento de datos, la Inteligencia artificial puede cumplir un relevante papel en el seno de la Administración. De esta manera, a través de la inteligencia artificial los ordenadores son capaces de realizar acciones que serían consideradas como “inteligentes” si fuesen desarrolladas por personas. Se trata, en realidad, de emular las facultades intelectuales humanas en máquinas para que éstas puedan realizar tareas propias de los seres humanos. Dentro de la Inteligencia Artificial es importante tener en cuenta elementos específicos como son los algoritmos y los datos. Siguiendo a PONCE SOLÉ utilizando el símil en la cocina de la Inteligencia Artificial, los primeros, serían las recetas y los segundos, los ingredientes2. Así es. Los algoritmos se define como “el procedimiento para encontrar la solución a un problema mediante la reducción del mismo a un conjunto de reglas”. En la actualidad, los algoritmos que tienen un mayor potencial son aquellos que permiten el aprendizaje automático (machine learning) a través del que los ordenadores adquieren la capacidad de aprender de los datos y la experiencia que les permiten tomar 2 Vid. PONCE SOLÉ, J ., “Inteligencia artificial, derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico” en Revista General de Derecho Administrativo núm 50, Iustel, enero 2019. 99 decisiones por sí mismos. A partir de los datos disponibles, el algoritmo identifica patrones y correlaciones entre los datos que son utilizados posteriormente para generar un modelo cuya calidad es evaluada estadisticamente y, en su caso, mejorada a partir de los resultados que se van obteniendo. Progresando, un estadio más avanzado de inteligencia artificial es el aprendizaje profundo (deep learning) que se basa en el aprendizaje de complejas redes neuronales, que emulan el funcionamiento del cerebro humano, a partir del uso de ingentes cantidades de datos. A este respecto, debemos plantearnos la naturaleza jurídica de un algoritmo, ¿es una norma jurídica, es un acto? De este modo, en la actual doctrina administrativa española existe un candente debate acerca de su naturaleza jurídica, existiendo una línea doctrinal defensora de su carácter reglamentario, y otra, en oposición a la primera, que aboga por su enmarcación como instrumento aplicativo del Derecho, pero no su consideración como norma que innove el ordenamiento jurídico, pero debemos tener presente que no todos los algoritmos que utiliza la Administración pública producen efectos jurídicos. Por otro lado, sobre este particular entendemos su complejidad porque muchos de los algoritmos no se agotan con su cumplimiento o uso y algunos de ellos, los que utilizan el aprendizaje automático, pueden llegar a innovar el ordenamiento jurídico al incorporar criterios que no están explícitamente previstos en la norma. En cualquier caso, debemos advertir que, el procedimiento de elaboración de los algoritmos dista mucho de cumplir con trámites propios del procedimiento de elaboración de los reglamentos y, en particular, su publicación. Esto nos debe hacer reflexionar sobre los algoritmos y sobre lo relevante que es la claridad y la transparencia en su diseño y en las instrucciones de su programación, que permitan el aprendizaje automático. Máxima trazabilidad en todo lo referente al modelo matemático de predicciones, su código fuente y sus características y para el que la legislación señala que ha de ser abierto. A este respecto uno de los riesgos que a menudo se han planteado es el 100 de caja negra, o de la opacidad del algoritmo, esto debe proscribirse. Como hemos señalado anteriormente, para poder llevar a cabo todos estos procesos, el aprendizaje automático requiere grandes cantidades de datos (big data), datos masivos que se identifican con tres características: volumen, variedad y velocidad (las tres v). Su recopilación, ordenación, estructura, análisis e interpretación deviene esencial. A modo de ejemplo, los Ayuntamientos de Barcelona y Vitoria tiene ya una Oficina del dato porque los datos en la hora presente han adquirido una importancia capital. Han de servir para las diferentes áreas y servicios administrativos así como han de estar a disposición de la sociedad civil en general. Esto enlaza con la idea de gobierno abierto y con la idea de crear valor en torno al dato. Parece indiscutida la posibilidad de usar la Inteligencia Artificial en aquellos expedientes donde se producen decisiones automatizadas en relación con potestades regladas pero hemos de manifestar mayor precaución para admitir decisiones automatizadas en ámbitos donde impera la discrecionalidad administrativa. La legislación alemana de procedimiento administrativo ha prohibido el uso de la inteligencia artificial en las decisiones discrecionales y en la misma línea el art 44.2 de la Ley catalana 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas señala que “sólo son susceptibles de actuación administrativa automatizada los actos que puedan adoptarse con una programación basada en criterios y parámetros objetivos”. Es, por ello, que a sensu contrario, lo subjetivo, determinante de la ponderación discrecional está vedada en la legislación catalana. Consideramos que en la Administración pública, la decisión de poner en funcionamiento un sistema de inteligencia artificial debe ser adoptado formalmente mediante un acto administrativo, una exigencia y condición inexcusables para facilitar la adecuada 101 defensa de los derechos e intereses legítimos ya que, en definitiva, de no ser así, se estaría dificultando una eventual impugnación por parte de los ciudadanos destinatarios. Asimismo, la intención de utilizar inteligencia artificial en un determinado supuesto debería hacerse con previa participación ciudadana, contar con el trámite de información pública previsto en el artículo 83 LPAC, que favorezca la transparencia. Como principio de actuación de las administraciones públicas, la transparencia debe guiar el uso de la inteligencia artificial en las administraciones públicas, debiendo ser objeto de publicidad todos esos extremos de cómo se adoptan estas decisiones públicas. Igualmente, deviene esencial en la adopción de mecanismos de IA la obligación de motivación como uno de los pilares del derecho a la buena administración que lo justifica a fin de dar respuesta y ofrecer un mejor control de esa decisión administrativa, no solo en vía administrativa, sino también judicial e incluso por la Agencia Española de protección de Datos. El incumplimiento de estas cautelas podría tener consecuencias, como no puede ser de otra manera, desde la perspectiva de la invalidez de los actos administrativos o, en su caso, de la responsabilidad patrimonial de la Administración Pública asumiendo las consecuencias de un funcionamiento anormal de los servicios públicos en los términos del art 32 LRJSP. LA NECESIDAD DE UN MARCO NORMATIVO Y ÉTICO ADECUADO: EL LIDERAZGO EUROPEO EN LA TRANSICIÓN DIGITAL Aunque la tecnología y la sociedad siempre se adelantan al Derecho, es necesario un marco normativo y ético adecuado que encuadre la Inteligencia Artificial. Desde las más diversas instancias se están realizando esfuerzos, entre los que merece destacarse la Recomendación de la UNESCO sobre la ética de la 102 Inteligencia Artificial y la Recomendación sobre Inteligencia Artificial de la OCDE a la que se han adherido multitud de países3. Pero es respecto a la Inteligencia Artificial, donde la Unión Europea está consolidando un enfoque propio. Esta política regulatoria podría suponer una desventaja competitiva frente a otros lugares en los que no preven esas cautelas y siendo conscientes de ello, las instituciones europeas aspiran a que, con su ejemplo, se logre un efecto emulador en otros países. Sobre Inteligencia Artificial, la Comisión Europea ha aprobado dos relevantes documentos: la Comunicación de la Comisión Europea sobre Inteligencia artificial para Europa COM (2018) 237, de 25 de abril; y el Plan coordinado sobre la inteligencia artificial, Comunicación de la Comisión Europea COM (2018) 795, de 7 de diciembre. Después, aprobó la Comunicación COM (2019)168, de 8 de abril, denominada Generar confianza en la inteligencia artificial centrada en el ser humano. Seguidamente, debemos destacar igualmente el Libro Blanco de la UE sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y a la confianza, en el que se establecen las líneas maestras de una futura regulación en la materia íntimamente conectado con la Estrategia europea de datos, Comunicación de la Comisión COM (2020) 66 final, de 19 de febrero. Igualmente, el Parlamento Europeo ha impulsado varias iniciativas, entre las que destacamos el Marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas y la Resolución sobre Inteligencia artificial: cuestiones de interpretación y de aplicación del Derecho internacional. Asimismo, debemos hacer mención al Reglamento (UE) 2021/694, del Parlamento Europeo y del Consejo, de 29 de abril de 2021, por el que se establece el Programa Europa Digital. 3 Recomendación sobre la Ética de la Inteligencia Artificial, adoptada por la Conferencia General de la UNESCO, reunida en París del 9 al 24 de noviembre de 2021, en su 41ª reunión y Recomendación del Consejo sobre Inteligencia Artificial, de 22 de mayo de 2019. 103 Vemos que, desde la Unión Europea se está realizando un esfuerzo de ir adaptando el concepto de IA a la nueva realidad tecnológica y social. Por último, en lo más reciente, destacamos la “Propuesta de Reglamento del Parlamento Europeo y el Consejo estableciendo reglas armonizadas sobre inteligencia artificial”. Su rango normativo equivale al de una Ley europea y por tanto resulta de especial interés dado su carácter directo y vinculante tanto para los Estados miembros como para la ciudadanía logrando así un mayor grado de uniformidad en el régimen sustantivo y en su aplicación práctica. Se trata de lograr un marco normativo armonizado en toda la Unión, que evite la fragmentación del mercado único; que las exigencias impuestas a los desarrollos de la IA sean las mismas en toda la UE, permitiendo así la libre circulación de la tecnología. A tales efectos, la propuesta de Reglamento establece un relevante papel para la Junta europea de Inteligencia Artificial, compuesta por representantes de los Estados miembros y de la Comisión, así como para el Supervisor Europeo de protección de datos. Conviene puntualizar que esta propuesta de regulación adquiere la forma de Reglamento, se aplica de forma inmediata, sin necesidad de acto alguno de transposición al Derecho interno. A la espera de la aprobación del Reglamento europeo, en España, se ha publicado un Libro Blanco y en la Ley de Presupuestos Generales de 2022, que ha incluido una dotación para una nueva agencia que supervisará las aplicaciones que cuenten con inteligencia artificial. Y, recientemente, se han incorporado unas mínimas pautas para evitar sesgos, facilitar la transparencia y la rendición de cuentas a través del art. 23 de la Ley 15/2022, de 12 de julio, de igualdad de trato y no discriminación que señala “ 1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, 104 siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio. 2. Las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos. 3. Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido. 4. Se promoverá un sello de calidad de los algoritmos” A nivel nacional, debemos hacer referencia al trabajo que desde el Gobierno de España, en concreto, desde la Secretaría de Estado de Digitalización e Inteligencia Artificial, se ha venido realizando fundamentalmente en los últimos años. La Estrategia Nacional de Inteligencia Artificial (ENIA) de 2 de diciembre de 2020 y la Carta de Derechos digitales vienen a constituir los dos pilares programáticos sobre los que pretende asentarse la planificación de la IA en España. Asimismo, es fundamental tener en cuenta la Estrategia Española de I+D+I en Inteligencia artificial del Ministerio de Ciencia, Innovación y Universidades. En este sentido debemos subrayar aunque sea someramente el Plan de Digitalización de las Administraciones Públicas (PDAP), con el horizonte temporal 2025, pretende un salto decisivo en la mejora de la eficacia y eficiencia de la Administración Pública. Sus tres objetivos fundamentales pueden agruparse en: a) Servicios digitales, accesibles, eficientes, seguros y fiables que permitan desarrollar servicios públicos digitales más inclusivos, eficientes, personalizados, proactivos y de calidad para para el conjunto de la ciudadanía. 111 UM CONTROLE SOCIAL INOVADOR SOBRE O CONTROLE EXTERNO: MÉTODO PARA AFERIÇÃO DE DECISÕES DOS TRIBUNAIS DE CONTAS Geraldo Costa da Camino. Pós-doutorando em Controle Externo na Escola de Artes, Ciências e Humanidades da Universidade de São Paulo (EACH/USP). Procurador do Ministério Público junto ao Tribunal de Contas do Estado do Rio Grande do Sul. O controle externo da Administração Pública, de titularidade do Poder Legislativo, é exercido com o auxílio – e através de competências próprias – do Tribunal de Contas. Órgãos de extração constitucional, as cortes de contas – que não integram os poderes, nem a eles se submetem – não formam propriamente um sistema, uma vez que, com seu viés marcadamente federativo, carecem de instâncias recursais exógenas e de uma lei orgânica nacional que lhes dê uniformidade processual, sendo regulamentadas localmente, nas respectivas esferas. Talvez pela diversidade daí decorrente, quiçá pela especificidade da matéria que tratam, os tribunais de contas são superficialmente conhecidos, inclusive por considerável parcela da comunidade jurídica, e pouco se submetem ao escrutínio do controle social. Esse déficit de accountability pode ser enfrentado ao se “exigir [...] motivações mais extensas e didáticas ou requerer a utilização de procedimentos participatórios.” (JORDÃO, 2016, p. 244-245). Identifica-se, a partir desse quadro, a necessidade de, especialmente no contexto das inovações tecnológicas que dão substrato às smart cities, avançar-se na interação entre Estado e Sociedade também no campo do controle externo. Como doutrinou Ricardo Lobo Torres, “só o controle [...] legitima o 112 tributo” (TORRES, 2008, p. 511). Se a importância do controle é inquestionável, sua legitimidade é impositiva, devendo ser aferida não somente no meio estatal, mas pela sociedade a quem serve o controle, e a quem se destina o objeto controlado. Dromi (2005, p. 73) afirma que é preciso, ao defender a inserção recíproca do controle na sociedade e da sociedade no controle, cuidado com a coisa pública. Não basta, para tanto, estimular a sociedade civil a exercer o controle social. É preciso dotá-la de (1) conhecimento da atividade do controle externo e de (2) ferramentas tecnológicas para levá-lo a termo. Adaptando a sentença de Chamayou (2020, p. 22) sobre a governabilidade, pode-se dizer que a controlabilidade é uma capacidade composta da disposição de ser controlado e da aptidão para controlar. Os mecanismos sociais, como destacam Smulovitz e Peruzzotti (2003, p. 315), podem influenciar o desempenho dos órgãos de controle horizontal (como os tribunais de contas), organizando-se em bases populares e servindo de “guardiões dos guardiões”. Para que isso ocorra, todavia, a participação desses atores não pode se restringir, como observa Barros (2019, p. 209), a inserções eventuais no processo de controle, despidas de protagonismo e levadas a termo de forma periférica. Mais do que isso, esse controle precisa questionar a “eficácia procedimental dos órgãos de fiscalização dos gastos públicos” (BLIACHERIENE, TEIXEIRA e AZEVEDO, 2015, p. 121). Ainda mais importante se torna a ação do controle social ao se tomar a lição de Speck (2000, p. 16), no sentido de que as instituições regulatórias intermediários, como as cortes de contas, são dotadas de alto grau de autonomia e não se sujeitam ao processo de controle popular, como os poderes Legislativo e Executivo. Nesse sentido, é pertinente, por um lado, empreender pesquisa sobre a legitimidade da atuação do órgão de controle externo, verificando a coerência (inclusive a partir da cultura de 113 precedentes em voga no âmbito judicial) e a fundamentação de seus julgados (em atenção ao princípio da persuasão racional). A previsibilidade das decisões deve ser um atributo dos tribunais de contas, que não podem ser autorreferenciais, na acepção adotada por Luhman (1997, p. 51), da produção de resultados distintos a partir dos mesmos inputs. O controle social de que se trata não deve afetar a liberdade de julgar, que é uma prerrogativa dos magistrados de contas, senão “refletir sobre a necessidade de procedimentos e parâmetros para a atividade jurisdicional que, como qualquer outra função atribuída a um estado de direito, não pode ser exercida arbitrariamente.” (RODRIGUEZ, 2013, p. 149). Muito menos chegar ao paroxismo cogitado por Han (2017, p. 110), ao advertir que “o controle total aniquila a liberdade de ação e leva, em última instância, à uniformização.”. Deve, entretanto, ser próximo – e indutor – do controle externo 4.0 que se anuncia, inclusive em relação aos próprios atos, como bem doutrinam Cunda e Ramos (2021, p. 215). Ademais, não se pode prescindir de sindicar acerca de eventual ingerência política nas razões de decidir, em possível conexão com a forma de investidura de seus membros. Dentre tantos autores, Medauar (2014, p. 155) critica a verificação meramente formal de requisitos constitucionais, como os notórios conhecimentos, para essas indicações, comumente gestadas a partir de acordos políticos. Podem resultar daí, como constata Lopes Jr. (2007, p. 109), prejuízos à eficiência e à legitimidade da atividade judicante dos tribunais, principalmente em face da chance de “interferência fundamental dos controlados [...] sobre os controladores” (BLIACHERIENE, 2016, p. 209). Há um prognóstico de que “a inteligência artificial migrará para as posições de poder, responsabilidade e prestação de contas” 114 (SCHWAB e DAVIS, 2019, p. 181), abrindo possibilidade de atuação ainda mais efetiva – e essencial – para o controle social. Impõe-se, portanto, buscar as experiências passadas e presentes no campo do controle social (observatórios, conselhos etc.), bem como as ferramentas de TI disponíveis para otimizá-las (em termos de dados abertos e inteligência artificial, por exemplo), no expansivo cenário das smart cities, inclusive no direito comparado. O controle social deve ser exercido com mais vigor, fazendo uso das novas tecnologias, conforme registram corretamente Ribeiro, Bliacheriene e Santana (2019, p. 39). Interessante exemplo traz Regatieri (2020, p. 374), discorrendo sobre avaliação de políticas públicas no Reino Unido e no Canadá. Nesses países, essa tarefa pode ser exercida por gestores envolvidos no produto a ser aferido, mas sem prejuízo de que outros órgãos efetuem o controle de qualidade quanto à robustez das avaliações realizadas. Parece cabível uma analogia com o papel imaginado para o controle social em relação ao controle externo. A indexação dos acórdãos dos processos de contas, a disponibilização prévia e tempestiva das pautas de julgamento, as bases de dados de precedentes, as informações públicas sobre julgadores e gestores, dentre outros requisitos, podem permitir que o controle social não seja meramente formal, senão avance na materialidade das decisões, e no questionamento sobre as razões de decidir, evidentes ou não. É como entendem Lino e Aquino, em estudo de caso, para os quais “[m]esmo quando irregularidades gravíssimas são apontadas pelo corpo instrutivo, relatores com raízes político-partidárias tendem a sugerir a aprovação das contas municipais de seus correligionários [...] devido à limitação da participação social”. Acredita-se que o aperfeiçoamento da transparência e da segurança jurídica nas 115 ações de controle, com políticas de acompanhamento, impactará positivamente no combate à corrupção (RECH e ZORTÉA, 2020, p. 54). Entretanto, não se desconhece o risco, como detectou Neves (2019, p. 49), dada a potencial influência política na ação do controle, de que a abordagem científica da matéria se faça em ambiente refratário a críticas. Para mitigá-lo, o pesquisador deve ser capaz de demonstrar a seu público-alvo a neutralidade do estudo empreendido, e os benefícios de seus produtos, não só, de forma ampla, à sociedade, senão, estritamente, à própria atividade dos órgãos analisados. É o que prega Speck (2013, p. 99), para quem os tribunais de contas só teriam a ganhar em termos de legitimidade tendo a sociedade como aliada, o que reverteria também em prol da eficácia de sua atividade. Assim, justifica-se a pesquisa pela necessidade de ser suprida a ausência de um controle social efetivo, sistemático e inovador sobre o controle externo exercido pelos tribunais de contas. Se implementado, com o uso de novas tecnologias, esse controle propiciará, a curto prazo, a melhoria da atuação das cortes, em face do escrutínio de suas decisões. Corolário disso, a médio prazo, as políticas públicas submetidas ao controle externo serão otimizadas, mercê do incremento da legitimidade dos órgãos controladores. O problema de pesquisa, portanto, consiste na possibilidade – ou não – de se inovar no controle social sobre o controle externo, com o uso de novas tecnologias capazes de rendê-lo efetivo, identificando conflitos de interesse, desconsideração de apontamentos de auditoria e incoerência com os próprios precedentes. A pergunta dele decorrente: é possível avançar no rumo da materialidade de um controle social efetivo e inovador sobre o controle externo realizado pelos tribunais de contas? 116 Como? O objetivo geral da pesquisa não se restringe ao aspecto prospectivo. Mais do que isso, tem ela intuito propositivo, visando a apresentar uma alternativas para a resolução do problema colocado. Desta forma, a pesquisa tem por objetivo geral o de, a partir da análise das decisões dos tribunais de contas, desenvolver um método capaz de propiciar um controle social inovador sobre o controle externo, com parâmetros seguros e previsibilidade de resultados. Decompondo o objetivo geral acima, tem por objetivos específicos, os de (1) analisar a estrutura das decisões dos tribunais de contas a fim de identificar e categorizar seus diferentes componentes em relação aos tipos de dados de entrada; (2) a partir da categorização do item (1), identificar características mais apropriadas para indexação e aferições intrínsecas (em cotejo com manifestações da auditoria e do Ministério Público de Contas no mesmo processo) e extrínsecas (levando em contas precedentes do próprio e/ou de outros tribunais) da adequação das decisões dos tribunais de contas; (3) propor, a partir de interlocuções com essas cortes (por meio de seus Marcos de Medição) e observatórios de Tribunais de Contas, um arcabouço para processamento das características extraídas no item (2); e (4) definir método para predição de resultados de julgamentos, capaz de servir de base para soluções tecnológicas úteis ao controle social sobre o controle externo. Assim, o resultado esperado da pesquisa é um método de aferição da qualidade das decisões dos tribunais de contas que possa servir de insumo para a implementação de soluções com uso de novas tecnologias para o controle social sobre o controle externo da Administração Pública. 117 REFERÊNCIAS ALVES, F. D. Controle social de políticas públicas. Santa Cruz do Sul: Estudos de Direito, 2018. BARROS, L. M. A. Compliance e controle social do setor público: auditorias democráticas. São Paulo: Quartier Latin, 2019. BLIACHERIENE, A. C. Controle da eficiência do gasto orçamentário. Belo Horizonte: Editora Fórum, 2016. BLIACHERIENE, A. C.; TEIXEIRA, B. C.; AZEVEDO, D. Q. F. Teoria do Desenvolvimento e as perspectivas para um controle popular das contas públicas. Revista de Informação Legislativa, v. 205, p. 107-126, 2015. CHAMAYOU, G. A sociedade ingovernável: Uma genealogia do liberalismo autoritário. São Paulo: Ubu, 2020. CONTI, J. M. Direito financeiro na Constituição de 1988. São Paulo: Oliveira Mendes, 1998. CUNDA, D. Z. G.; RAMOS, L. A. Ciber@administração pública e Controle 4.0: seus desafios em tempos de pandemia do coronavírus, e a transparência ampliada (para além de translúcida). In: LIMA, L. H; GODINHO, H. H. A. M.; SARQUIS, A. M. F. Os desafios do controle externo diante da pandemia da covid-19: estudos de ministros e conselheiros substitutos dos Tribunais de Contas. Belo Horizonte: Fórum, 2020. p. 207-242. DA CAMINO, G. C. A investidura no Tribunal de Contas. Belo Horizonte: Fórum, 2021. DA CAMINO, G. C. República como responsabilidade: o conteúdo jurídico do princípio republicano na Constituição brasileira. 2021. 285 p. Tese (Doutorado em Direito) – Faculdade de Direito, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2021. FONSECA, F.; GUEDES, A. M. Controle social da Administração Pública. São Paulo: UNESP, 2008. FRAZÃO, A.; MULHOLLAND, C. (coord.). Inteligência artificial e Direito: Ética, regulação e responsabilidade. 2. ed. rev., ampl. e atual. São Paulo: Revista dos Tribunais, 2020. GIL, A. C. Métodos e Técnicas de Pesquisa Social. 7. ed. São Paulo: Atlas, 2019. HAN, B. Sociedade da transparência. Petrópolis-RJ: Vozes, 2017. JORDÃO, E. Controle judicial de uma administração complexa: a experiência estrangeira na adaptação da intensidade do controle. São Paulo: Malheiros: SBDP, 2016. 118 LINO, A. F.; AQUINO, A. C. B. Práticas não adequadas nos tribunais de contas. Revista de Administração Pública, 54(2), 220-242, 2020. Disponível em: https://www.scielo.br/j/rap/a/S5G5y97GWRYb64B3PDmwKjk/?l ang=pt. Acesso em: 22 jul. 2021. LOPES JUNIOR, E. M. A judicialização da política no Brasil e o TCU. Rio de Janeiro: FGV, 2007. LUHMAN, N. Novos desenvolvimentos na teoria dos sistemas. In: NEVES, C. E. B.; SAMIOS, E. M. B. Niklas Luhman: a nova teoria dos sistemas. Porto Alegre: UFRGS, 1997. p. 49-59. MACHADO, A. Tribunais de contas estaduais: indicações, perfil dos conselheiros e autonomia das instituições. Dissertação (Mestrado em Ciência Política) - Universidade Federal de Pernambuco, CFCH, Recife, 2017. MEDAUAR, O. Controle da administração pública. 3. ed. rev., atual. e ampl. São Paulo: Revista dos Tribunais, 2014. MIRANDA, A. Tribunal de Contas no Brasil: a falsa cisão entre técnica e política: 1890-2018, da legislação simbólica ao gerencialismo público do ajuste fiscal. Rio de Janeiro: UFRJ, 2020. NUNES, M. G. Jurimetria: como a Estatística pode reinventar o Direito. 2. ed. rev. e atual. São Paulo: Revista dos Tribunais, 2019. RECH, C.; ZORTÉA, C. H. C. Domínio contestado: reflexões acerca da corrupção e o papel dos tribunais de contas. In: LIMA, E. C. P. (coord.). Tribunal de Contas do século XXI. Belo Horizonte: Fórum, 2020. p. 49- 60. REGATIERI, R. O monitoramento e a avaliação de políticas públicas. In: SALTO, F. S.; PELLEGRINI, J. A. (orgs.). Contas públicas no Brasil. São Paulo: Saraiva, 2020. p. 365-394. RIBEIRO, R. J; BLIACHERIENE, A. C.; SANTANA, J. L. Considerações sobre formas, processos e isomorfismo nas estruturas de controle interno da federação brasileira. In: BLIACHERIENE, A. C.; BRAGA, M. V.; RIBEIRO, R. J. Controladoria no setor público. 2. ed (rev., ampl. e atual.). Belo Horizonte: Fórum, 2019. ROCHA, D. G. As duas faces de Jano dos Tribunais de Contas Brasileiros no Auxílio ao Exercício do Controle Social sobre a Administração Pública. Tese (Doutorado em Administração Pública e Governo) - FGV-SP, São Paulo, 2017. RODRIGUEZ, J. R. Como decidem as cortes?: para uma crítica do direito (brasileiro). Rio de Janeiro, FGV, 2013. 119 ROQUE, A. V.; SANTOS, L. B. R. Inteligência artificial na tomada de decisões judiciais: três premissas básicas. Revista Eletrônica de Direito Processual, Rio de Janeiro, v. 22, n. 1, p. 58-78, 2021. SAKAI, J.; PAIVA, N. Quem são os conselheiros dos Tribunais de Contas? Disponível em: http://www.transparencia.org.br/downloads/publicacoes/TBrasil %20-%20Tribunais%20de%20Contas%202016.pdf. Acesso em 4 dez. 2016. SCAFF, F. F. Orçamento republicano e liberdade igual: ensaio sobre direito financeiro, república e direitos fundamentais. Belo Horizonte: Fórum, 2018. SCHWAB, K; DAVIS, N. Aplicando a quarta revolução industrial. São Paulo: Edipro, 2019. E-book. SMULOVITZ, C.; PERUZZOTTI, E. Societal and horizontal controls: two cases of a fruitful relationship. In: MAINWARING, S.; WELNA, C. Democratic accountability in Latin America. New York: Oxford University Press, 2003. p. 309-331. SPECK, B. W. Estratégia para melhorar o relacionamento entre Tribunais de Contas Estaduais com a Sociedade Civil: uma estratégia para aumentar a eficácia da auditoria governamental nos Estados brasileiros. Salvador: Revista do TCE Bahia, 2013. p. 91-99. SPECK, B. W. Inovação e rotina no Tribunal de Contas da União: o papel da instituição superior de controle financeiro no sistema políticoadministrativo do Brasil. São Paulo: Fundação Konrad Adenauer, 2000. TORRES, R. L. Tratado de direito constitucional financeiro e tributário. 3. ed. Rio de Janeiro: Renovar, 2008. v. 5: O orçamento na Constituição. VILLAVERDE, J.; TEIXEIRA, M. O dilema do controle sobre os controladores. Revista do Ministério Público de Contas do Paraná (MPC-PR), v. 3, p. 02, 2017. 127 Pesquisa finalizada em 202110, tendo como ponto de partida levantamento realizado junto aos 33 Tribunais de Contas do Brasil, com a ferramenta LimeSurvey, da análise das respostas obtidas de 13 Tribunais de Contas11, correspondendo a 39,39%12, constatou-se 10 COMISSÃO DE SUSTENTABILIDADE DO TCE/RS; CUNDA, Daniela Z. G. (Presidente da Comissão TCE/RS e Relatora das Pesquisas); RAMOS, Letícia (Coordenadora do Grupo Temático do Diagnóstico/Pesquisa e Relatora); FRANSCESCHINI, Carina L. (Relatora das Pesquisas). Relatório da Pesquisa de adesão da Agenda 2030 pelos Tribunais de Contas. Comissão de Sustentabilidade, 2021. https://portalnovo.tce.rs.gov.br/temas-especiais/resultado-pesquisa-adesao- agenda-2030/ A pesquisa realizada foi uma das ações propostas junto à Comissão Permanente de Sustentabilidade com objetivo de verificar a aderência dos Tribunais de Contas, Ministério Público de Contas e Instituições acerca dos objetivos sustentáveis ou áreas temáticas correlatas ao tema, bem como verificar os principais instrumentos utilizados para a implementação dos temas/ODS. Além disso, o levantamento permitiu identificar espaços para fortalecimento de parcerias para implementação dos objetivos, medida que vai ao encontro do disposto no ODS 17 e, por consequência, dos demais. 11 13 Tribunais de Contas Estaduais (TCEs), correspondendo a 39,39%: TCE-AC, TCE-AP, TCE-AM, TCE-CE, TCE-ES, TCE-MG, TCE-PA, TCE-PB, TCE-RJ, TCERS, TCE-RO, TCE-SC, TCE-SP. 12 Os resultados constantes no relatório referido nas notas anteriores podem ser sistematizados em três principais eixos. O primeiro eixo, relacionado à governança sustentável, propôs-se um levantamento das ações dos Tribunais de Contas em seu âmbito interno, ou seja, no sentido de averiguação dos Tribunais de Contas como gestores comprometidos com a efetivação dos ODS, acrescidos de um corpo técnico capaz de desenvolvê-las. No que tange ao primeiro eixo de atuação, referente à existência de iniciativas vinculadas aos ODS no ambiente interno, dos 13 respondentes, 11 informaram que sim, correspondendo a 84,62%. Nesse âmbito, cumpre ser ressalvado que os dois que responderam não, correspondendo a 15,38%, quando questionados quanto aos temas envolvidos nos ODS ( v.g. saúde, educação, licitações sustentáveis) um dos Tribunais detalhou iniciativas adotadas. Em um segundo eixo, dando destaque ao papel pedagógico e dialógico a fomentar a concretização dos ODS junto a outras instituições e a sociedade, dos 13 Tribunais de Contas que responderam, 9 (nove) Cortes de Contas sinalizaram que sim. Novamente é importante a ressalva de que 4 (quatro) dos Tribunais de Contas que responderam não possuir atuação, em parte, detectou-se atuações pedagógicas, por exemplo. Quanto ao terceiro eixo de atuação, referente aos jurisdicionados fiscalizados, no que tange ao questionamento “há iniciativas do seu TC para promover os ODS?”, dos 13 (treze) 128 em comparativo levando em consideração os 17 ODS da Agenda da ONU para 2030, averiguando-se os ODS instrumentais, o seguinte ranking de prioridades na implementaçao dos ODS no âmbito interno dos Tribunais de Contas, contando com ações já implementadas, os ODS 16, 17 e 09 ocupam respectivamente as 5ª, 7.ª e 9ª posições. Na implementação (em andamento na época de testagem) junto aos jurisdicionados, os ODS 16, 17 e 09 figuraram com as seguintes e respectivas prioridades 5ª, 6ª e 8ª colocações. Já na averiguação de sistemáticas interligadas a inovações e conectividade junto à sociedade, às ações em andamento para adesão ou apenas com previsão de implementação dos ODS 16, 17 e 09, encontraram-se em um preocupante menor grau de prioridade (tendo em mente os desejáveis controles externo e social 5.0), ou seja, com as respectivas colocações: 6ª, 16ª e 15ª posições).13 No transcorrer do segundo semestre de 2022 iniciou-se uma segunda pesquisa de campo, junto aos setores de informática dos 33 Tribunais de Contas do Brasil. Considerando as informações com especificidades tecnológicas almejadas, inicialmente foram encaminhados questionários diretamente para servidores especializados em tecnologia da informação, não se obtendo, todavia, os retornos esperados, em razão das limitações (v.g. setores especializados para atendimento de demandas internas) e ausência de autorização institucional para que as respostas fossem fornecidas. Realizou-se, na sequência, uma terceira etapa da Tribunais de Contas que responderam o questionário, 10 (dez) mencionaram ter iniciativas. Dos 3 (três) que responderam ainda não terem atuação específica nesse âmbito, ao serem questionados quanto às áreas temáticas interligadas aos ODS, 2 (dois) responderam que sim, apenas um dos Tribunais de Contas referiu não possuir atuação junto aos jurisdicionados. 13 COMISSÃO DE SUSTENTABILIDADE DO TCE/RS; CUNDA, Daniela Z. G. (Presidente da Comissão TCE/RS e Relatora das Pesquisas); RAMOS, Letícia (Coordenadora do Grupo Temático do Diagnóstico/Pesquisa e Relatora); FRANSCESCHINI, Carina L. (Relatora das Pesquisas). Relatório da Pesquisa de adesão da Agenda 2030 pelos Tribunais de Contas. Comissão de Sustentabilidade, 2021. https://portalnovo.tce.rs.gov.br/temasespeciais/resultado-pesquisa-adesao-agenda-2030/ 129 pesquisa, junto às Ouvidorias dos Tribunais de Contas do Brasil, viabilizando-se, conjuntamente, uma averiguação do pronto atendimento e cumprimento da Lei de Acesso a Informações pelos próprios Tribunais de Contas, instituições que fiscalizam a transparência de outras instituições públicas. Na pesquisa em desenvolvimento, junto aos 33 Tribunais de Contas do Brasil, foram encaminhados os seguintes questionamentos: 1) O Tribunal de Contas utiliza novas tecnologias e/ou ações inovadoras nas suas atuações institucionais (como controle de políticas públicas em geral, no monitoramento de receitas/despesas públicas e/ou licitações e contratos)? 1.1) Se sim, quais as ações inovadoras implementadas e quais as ferramentas tecnológicas utilizadas (mediante sucinto relato)? 1.2) Melhor detalhando, o Tribunal de Contas utiliza Inteligência Artificial, Internet das Coisas - IoT, Big Data, Blockchain, Machine Learning, Drones, dentre outras ferramentas tecnológicas no controle de políticas públicas ou demais atividades institucionais? 2) O Tribunal de Contas utiliza novas tecnologias e/ou ações inovadoras no controle de políticas públicas relacionadas à proteção do meio ambiente (como por exemplo, monitoramento de licenciamentos, biomas, recursos hídricos, resíduos sólidos, saneamento básico, poluição, licitações sustentáveis, eficiência energética e/ou mudanças climáticas)? 2.1. Se sim, quais as ações inovadoras implementadas e quais as ferramentas tecnológicas utilizadas (mediante sucinto relato)? 2.2) Melhor detalhando, o Tribunal de Contas utiliza Inteligência Artificial, Internet das Coisas - IoT, Big Data, Blockchain, Machine learning, Drones, dentre outras ferramentas tecnológicas no controle de políticas públicas relacionadas à proteção do meio ambiente? 130 3) A Ouvidoria de seu Tribunal de Contas recebe denúncias relacionadas à proteção do meio ambiente (como por exemplo, monitoramento de licenciamentos, biomas, recursos hídricos, resíduos sólidos, saneamento básico, poluição, licitações sustentáveis, eficiência energética e/ou mudanças climáticas)? 3.1. Se sim, seria possível (mesmo que por estimativa) mencionar o percentual dessas denúncias? 3.2. Quais os encaminhamentos realizados (mediante sucinto relato)? 3.3) Melhor detalhando, o Tribunal de Contas na ações institucionais (interligadas à Ouvidoria) utiliza Inteligência Artificial, Internet das Coisas - IoT, Big Data, Blockchain, Machine learning, Drones, dentre outras ferramentas tecnológicas? Não obstante a terceira etapa da pesquisa esteja em desenvolvimento, há possibilidade de serem divulgadas algumas boas práticas com destaque a algumas ferramentas tecnológicas e ações inovadoras e que potencializam conexões. Dos 33 Tribunais de Contas sondados, no prazo estabelecido na Lei de Acesso à Informação, 21 deram retorno, ou informando de imediato às respostas aos questionamentos enviados14, ou motivando a necessidade de maior prazo para atenderem a demanda (v.g. levantamento manual para responder o item 3, dentre outras justificativas interligadas ao fato de as respostas envolverem múltiplos setores da instituição).15 Quanto ao primeiro questionamento - o Tribunal de Contas utiliza novas tecnologias e/ou ações inovadoras nas suas 14 Com merecido destaque ao pronto atendimento prestado aos cidadãos pela Ouvidoria dos seguintes Tribunais de Contas: TCE/CE, TCE/PA. TCE/AP e TCM/GO. 15 Quanto aos Tribunais de Contas que não responderam prontamente ao questionário enviado para a Ouvidoria, muito possivelmente em razão de seus volumes de demandas, serão providenciados contatos alternativos (v.g. mediante solicitação de audiências e reuniões) assim como ampliação de prazo com o intuito de obter valiosas contribuições complementares. 131 atuações institucionais – dos 4 respondentes, 3 afirmaram utilizar ferramentas tecnológicas, tendo sido informado por um dos Tribunais de Contas que são utilizados modelos baseados em Machine Learning para predição de receitas a partir de um Big Data desenhado para tal finalidade Referente ao segundo questionamento - o Tribunal de Contas utiliza novas tecnologias e/ou ações inovadoras no controle de políticas públicas relacionadas à proteção do meio ambiente – nenhum dos Tribunais de Contas do Brasil que deu retorno até o presente momento utiliza ações inovadoras ou ferramentas tecnológicas no controle de políticas públicas interligadas à dimensão ecológica e ambiental da sustentabilidade. Saliente-se que um dos Tribunais de Contas indicou haver convênio de desenvolvimento de IA com Universidade Federal. E por fim, quanto às indagações - a Ouvidoria de seu Tribunal de Contas recebe denúncias relacionadas à proteção do meio ambiente – a resposta foi negativa por todos os respondentes até o presente momento, sendo que indicaram ter procedimentos e tramitações adequadas para atender eventuais demandas.16 Pertinente ao questionamento - O Tribunal de Contas nas ações institucionais (interligadas à Ouvidoria) utiliza ferramentas tecnológicas e/ou ações inovadoras? – a totalidade das instituições que já concluíram a participação na presente pesquisa afirmou não utilizar ferramentas tecnológicas como as exemplificativamente indicadas. Por outro lado, foi informado por um dos entrevistados que 16 Como exemplificativamente a Resolução n.º 03/2022 e Portaria de funcionamento da Ouvidoria do TCE/CE. Para maiores detalhes, vide: https://www.tce.ce.gov.br/exercicios-anteriores/resolucoes-administrativas (Acesso em 06/11/2022). 132 atualmente trabalham com sistemas de informações aprimorando constantemente os mesmos com o objetivo de inovação. Já outro respondente indicou haver convênio de desenvolvimento de IA com Universidade Federal.17 Depreende-se na averiguação mais detalhada e investigativa junto aos Tribunas de Contas do Brasil, que no atual “estado da arte” as novas tecnologias estão prioritariamente direcionadas ao controle do gasto (dimensão fiscal) e a reduzir a corrupção; menores são as utilizações das ferramentas tecnológicas diretamente para tutelar a dimensão social e ainda mais tímidas são as inovações para salvaguardar a dimensão ecológica da sustentabilidade, nesse âmbito merecendo destaque a boa prática do TCE/AM o “APP sou Eco”.18 Diante de dados disponíveis nos sites dos Tribunais de Contas pesquisados, Instituto Rui Barbosa e ATRICON, assim como das respostas passíveis de divulgação até o presente momento da pesquisa em desenvolvimento, as seguintes boas práticas merecem ser destacadas a título exemplificativo: Convênio da ATRICON e o MapBiomas, para utilização dos dados e plataformas MapBiomas fortalecendo a transparência sobre as ações dos órgãos de controle e combate ao desmatamento, além de aprimorar a eficácia 17 Conforme relatório de pesquisa detalhado: CUNDA, Daniela Zago Gonçalves da. Relatório do Diagnóstico sobre utilização de novas tecnologias e inovações nas ações institucionais dos Tribunais de Contas do Brasil e respectivas Ouvidorias, desenvolvido junto ao Grupo de Pesquisas SmartCitiesBR na Universidade de São Paulo (USP/EACH), 2022 e 2023. 18 Para maiores detalhes sobre a ferramenta, vide: https://play.google.com/store/apps/details?id=com.ecocidadao&hl=pt_BR&gl=U S (Acesso em 06/11/2022). Já a outra página do aplicativo indicada no seguinte site: https://soueco.tce.am.gov.br (encontrava-se indisponível). 133 dos sistemas da administração pública no enfrentamento dos ilícitos ambientais;19 Aplicativo do TCE/AM Sou Eco - O aplicativo "Sou Eco" é uma tecnologia que visa oferecer à população um canal fácil e rápido para fazer denúncias de infrações e crimes ambientais, colaborando com o trabalho dos órgãos fiscalizadores. O aplicativo permite realizar denúncia anônima e denúncia cadastrada. As denúncias serão enviadas para os órgãos fiscalizadores mais próximos de acordo com o tipo de denúncia. O aplicativo está disponível nos idiomas: Inglês, Espanhol, Francês e Português; 20 Monitor Fiscal do TCE/CE, que contempla a criação de paineis interativos para o monitoramento das seguintes áreas: receitas, despesas, dívida e previdência;21 Monitor Fiscal Nacional do IRB, nos moldes das tecnologias desenvolvidas pelo TCE/CE disponibilizadas às demais instituições e cidadãos; O TCM/GO vem desenvolvendo a ferramenta COLARE/MESTRA, que trouxe novas tecnologias e evoluções tecnológicas no controle das licitações e 19 https://atricon.org.br/tribunais-de-contas-firmam-acordo-para-ajudar-na- conservacao-do-meio-ambiente/ (Acesso em 23/04/23) 20 Sobre a ferramenta, vide: https://play.google.com/store/apps/details?id=com.ecocidadao&hl=pt_BR&gl=U S (Acesso em 06/11/2022) Já a outra página do aplicativo indicada no seguinte site: https://soueco.tce.am.gov.br (encontrava-se indisponível). 21 Para maiores informações da plataforma indica-se consultar o endereço eletrônico https://monitorfiscal.tce.ce.gov.br/ (acesso em 06/11/2022). 134 contratos, bem como dos atos de pessoal e folha de pagamento;22 Laboratório de Informações de Controle (LabContas)23; Rede Nacional de Informações Estratégicas (InfoContas)24; Diretrizes traçadas pela Associação dos Tribunais de Contas do Brasil - ATRICON, na Resolução nº 09/2018, de maneira a sistematizar a fiscalização e demais coordenadas 22 O COLARE conta com o robô ESMERALDA, que realiza a auditoria eletrônica de todas as licitações e contratos enviados ao Tribunal, hoje já temos quase 3.000.000 de envios, que são auditados por um conjunto de regras e pontos de controles pré-definidos (mais de 80), que ao final da análise recebem uma classificação de riscos que irá auxiliar o auditor na definição de qual achado será relevante realizar uma auditoria mais aprofundada. Mais informações sobre a plataforma COLARE podem ser obtidas em https://www.tcmgo.tc.br/enviodedados/ (Acesso em 06/11/2022). 23 Plataforma com centena de bases de dados resultantes de acordos de cooperação entre várias instituições públicas e o TCU, com informações que têm como destinatários os partícipes do controle externo, interno e social. Para maiores detalhes, vide a Portaria n.º 102/2020 do TCU, com destaque ao art. 4.º que elenca os objetivos, como o de garantir informações destinadas ao cumprimento da missão institucional dos Tribunais de Contas (para além de quantidade, também visando a qualidade e tempestividade). A lógica de fomentar o intercâmbio de informações e proporcionar a exploração de dados, mediante uso de recursos de tecnologia também se encontra presente, nos termos recomendados na Lei do Governo Digital. https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A81881E72E6 BE55017305B43F4A3157&inline=1 Acesso em 18/02/2023. 24 Estabelecida mediante Acordo de Cooperação Técnica entre a ATRICON (Associação Nacional dos membros dos Tribunais de Contas do Brasil), o Instituto Rui Barbosa (IRB), TCU, TCE’s e TCM’s, com diretrizes aprovadas pela Resolução n.º 07/2014. Iniciativa que também poderá contribui para o aperfeiçoamento dos Portais Eletrônicos de Transparência Fiscal, assim como na implementação das diretrizes constantes na Lei do Governo Eletrônico. Para maiores detalhes, vide: https://irbcontas.org.br/infocontas/ Acesso em 18/02/2023. 135 quanto à Transparência dos Tribunais de Contas e dos jurisdicionados; Ferramentas tecnológicas do Tribunal de Contas do Rio Grande do Sul sobre transparência ativa dos municípios, que demonstra a evolução e a melhora dos repositórios oficiais de informação25 Levantamento26 realizado pela entidade Transparência Internacional que avaliou o nível de disponibilização das informações sobre contratações emergenciais dos entes da federação, sobre a temática referente ao combate à Covid-19. No levantamento realizado no Tribunal de Cuentas27, ainda em estágio inicial e em conformidade com os dados disponíveis a todos os cidadãos em seu sítio eletrônico28, assim como no Planejamento Estratégico29, constatam-se junto aos principais objetivos: fomentar boas práticas de organização, gestão e controle das entidades públicas; identificar e fiscalizar as principais áreas de risco; incrementar as fiscalizações operativas; intensificar as relações de coordenação, cooperação e colaboração com entidades fiscalizadoras superiores e suas organizações 25 http://portal.tce.rs.gov.br/docs/transparencia_2018/relatorio_transparencia_2018.pdf. Acesso em 18/02/2023. 26 https://irbcontas.org.br/ranking-indica-bons-indices-de-transparencia-nos- gastos-com-a-covid-19-em-estados-e-municipios/ Acesso em 18/02/2023. 27 https://www.tcu.es/es Acesso em 23/04/2023.“Su regulación se encuentra contenida en La Constitución Española, en La Ley Orgánica del Tribunal de Cuentas de 1982 y en La Ley de Funcionamiento del Tribunal de Cuentas de 1988, además de en otras leyes específicas. Es un órgano que depende directamente de las Cortes Generales y ejerce sus funciones por delegación de las mismas en el examen y comprobación de la Cuenta General del Estado , Y cujo presupuesto se integra em lós Presupuestos Generales Del Estado.” 28 https://www.tcu.es/es/la-institucion/Documentos-Oficiales Acesso em 23/04/2023. 29_https://www.tcu.es/export/sites/default/.galleries/pdf/PLAN_ESTRATEGIC O_2018-2021.pdf Acesso em 23/04/2023. 136 internacionais; reforçar a cooperação e a coordenação do sistema de controle externo na Espanha; contribuir para o controle interno; intensificar as relações com âmbitos institucionais, acadêmicos e profissionais; promover a comunicação interna e externa da atividade de Tribunais de Contas; facilitar o acesso à informação da instituição30; implantar um sistema global de garantia da qualidade; reforçar a gestão dos recursos humanos e materiais do Tribunal de Cuentas com atenção ao princípio da eficiência, economia, igualdade31 e transparência, tendo como objetivo específico (4.4) modernizar os procedimentos internos e impulsionar os projetos de administração eletrônica e a utilização das Tecnologias de Informação para reforçar a eficácia e eficiência do Tribunal de Contas32. 30 M 1: Reorganizar y sistematizar el contenido del sitio web del Tribunal, de forma que facilite el acceso a la información y mejore la divulgación de la actividad institucional, incluyendo, además, de la información exigible por la ley, aquella que pueda ser pública y resulte de interés general M 2: Reorganizar y sistematizar el Portal de Transparencia para simplificar el acceso de los ciudadanos a la información M 3: Incluir en la memoria anual del Tribunal un apartado relativo al grado de cumplimiento de las obligaciones en materia de transparencia M 4: Facilitar la comprensión de los Informes de Fiscalización empleando un lenguaje claro y accesible, e incluyendo un resumen de los objetivos, hallazgos y recomendaciones, que facilite su difusión pública M 5: Dotar a las resoluciones jurisdiccionales de una extensión acorde a la cantidad y complejidad de las cuestiones examinadas y resueltas en las mismas, empleando um lenguaje que resulte claro y acessible. 31 Com ênfase na igualdade de gênero (objetivo específico 4.2, M.2). Vide também: https://www.tcu.es/export/sites/default/.galleries/pdf/PLAN-IGUALDAD- Aprob-Pleno-29-09-2014.pdf (acesso em 23/04/2023) 32 OBJETIVO ESPECÍFICO 4.4: Modernizar los procedimientos internos e impulsar los proyectos de administración electrónica y la utilización de las TIC para reforzar la eficacia y eficiencia en el Tribunal de Cuentas M 1: Elaborar un plan plurianual en el que se determinen las prioridades en el ámbito de las TIC y que comprenda una metodología de selección de proyectos a desarrollar y los procedimientos de gestión de los mismos M 2: Potenciar el uso de herramientas tecnológicas y de procedimientos telemáticos en todos los ámbitos de actuación del Tribunal de Cuentas M 3: Impulsar el desarrollo de una única aplicación informática en el Tribunal de Cuentas que permita un examen más dinámico, homogéneo y efectivo de la Cuenta General del Estado M 4: Elaborar un 143 “sistema”, el algoritmo se agota en el producto final; en el sistema el producto retroalimenta a los insumos. Ejemplos comunes de algoritmos en matemática son una multiplicación o una división, el cálculo del mínimo común divisor o reglas para la solución de ecuaciones. En nuestro hábito de aterrizar conceptos abstractos a la vida cotidiano, expresamos que una receta de cocina “es”… un algoritmo. En la receta tenemos determinados ingredientes (azúcar, harina, levadura, huevos, etc.), batimos todos ellos con la intención o finalidad de preparar una torta de crema. Pero también es cierto que si modificamos los ingredientes (por ejemplo, agregamos cocoa), tendremos una torta de chocolate. La sencillez del ejemplo nos permite de todos modos entender que el producto final estará siempre vinculado a los ingredientes de la receta. Ello - trasladado al tema que nos ocupará en las próximas páginas - significa que cualquier aplicación de algoritmos al mundo del trabajo podrá ser más o menos acertada, más justa o más discriminatoria, en virtud de los datos (ingredientes, en el símil de la torta) que pretendamos utilizar para alcanzar determinado producto. Ello también determina un segundo aspecto vinculado a cualquier estudio sobre los algoritmos y el trabajo: el conocimiento de los datos que constituyen el punto de partida del algoritmo es central para definir la legitimidad del mismo. De ahí que uno de los aspectos más reclamados es el derecho de la persona cuyos datos se usen, a conocer los procedimientos de elaboración del algoritmo, cuestión no siempre visible. INTELIGENCIA ARTIFICIAL, ALGORITMOS Y DATOS La noción de algoritmos nos conduce a la idea de Inteligencia Artificial (en adelante IA), por lo que importa entender el vínculo entre la IA y los algoritmos, 144 Mercader Uguina expresa que los datos son el nutriente fundamental de los algoritmos y la inteligencia artificial es el proceso que permite analizar los macrodatos del algoritmo. “La inteligencia artificial (IA) y el aprendizaje automático - agrega el autor español - permiten, a través de esta fórmula, reelaborar gran cantidad de datos simples, de forma que combinados entre sí a través de técnicas estadísticas y lógicas, hacen posible determinar, analizar y predecir ciertos aspectos de la personalidad o el comportamiento, los intereses y los hábitos de una persona” 2. La IA no es una inteligencia comparable a la inteligencia humana. Hablamos de IA para indicar “la simulación de procesos de inteligencia humana por parte de máquinas, incluyendo el aprendizaje, el razonamiento y la autocorrección” 3. Aclara esta idea Corvalán, para quien “la inteligencia artificial no es una sola cosa, sino más bien una ‘constelación’ de procesos y tecnologías que permiten que las computadoras complementen o reemplacen tareas específicas que de otro modo serían ejecutadas por seres humanos, como tomar decisiones y resolver problemas”4. La IA por lo tanto no opera como la inteligencia humana, sino que “actúa optimizando la ejecución de tareas computadorizadas, asignadas por seres humanos, mediante repetición e intentos iterativos”5. Lo que denominamos IA - plantea el economista Rodríguez - es el proceso por el cual introducimos a una computadora los elementos claves del problema a resolver en forma de “datos” que ingresan en su memoria. Estos datos son procesados utilizando algoritmos, 2 Mercader Uguina J. R., “Algoritmos y derecho del trabajo" en rev. Actualidad Jurídica Uría Menéndez, Madrid 2019, p. 64 3 Sobre la IA, ver: https://www.gub.uy/agencia-gobierno-electronico-sociedad- informacion-conocimiento/tematica/inteligencia-artificial , recuperado el 28.03.2023. 4 Corvalán J.G, “El impacto de la Inteligencia Artificial en el trabajo”, en Revista de Direito Econômico e Socioambiental, V. 10, N° 1, 2019, Curitiba, p. 37. 5 idem 145 también ingresados en la computadora y el resultado es una serie de soluciones posibles del problema planteado, donde cada una de ellas tiene un porcentaje de probabilidad de éxito. Esto es lo que se denomina IA y conceptualmente el resultado es similar al dictamen de un humano sobre la mejor acción para solucionar un problema6. “En última instancia - afirma - es el histórico dilema de Alan Turing de la década del cincuenta sobre la inteligencia artificial: ¿Puede una computadora comunicarse lo suficiente bien como para persuadir a un humano que es un ser humano?”7 EL IMPACTO DE LA IA EN EL TRABAJO En la línea que venimos señalando, la IA al seleccionar y ordenar datos a través de una lógica algorítmica, se vuelve un instrumento de toma de decisiones que no escapa al sistema de relaciones laborales, abarcando las más diversas áreas desde la selección del personal hasta la forma y modo de ejercicio del poder de dirección, incluyendo la dimensión disciplinaria 8. Importa señalar - como lo hace Cañigueral - que hoy los algoritmos y la IA comienzan a intervenir en diversas funciones laborales, independientemente de cuanto más o menos tecnológica sea la empresa9. Su impacto va a ser idéntico en la empresa de alta tecnología como en la fábrica tradicional, en que diversas funciones de la organización del trabajo van siendo ocupadas por los nuevos espacios de la inteligencia artificial. La IA y los algoritmos comienzan por lo tanto a operar en diversos sectores de las relaciones laborales, que obraban habitualmente 6 Rodríguez J.M., “Cambio tecnológico y adaptación de la oferta educativa a la nueva demanda de habilidades en el Uruguay”, CEPAL 2020, p. 15 7 idem 8 Mercader Uguina J. R., ob. cit., p. 63 9 Albert Cañigueral, es un referente español sobre el trabajo de plataformas, autor del libro “El trabajo ya no es lo que era”: citado por Gomez M. V., “Los algoritmos llegan a la negociación colectiva”, diario El País, Madrid, 25.04.2021. 146 bajo la gestión del departamento de personal y/o recursos humanos. Entre ellos señalamos: la selección y contratación de trabajadores, la evaluación de desempeño y la medición de la productividad, la definición de horarios, turnos y tareas, hasta llegar a las medidas disciplinarias y despidos. Como hemos adelantado, la cuestión “laboral” en torno a los algoritmos se planteará con relación a los datos que alimentan ese proceso de decisión, a la legitimidad de los mismos y al derecho de los trabajadores a conocer los criterios que determinaron la introducción de eso componentes o - como los hemos llamado - “ingredientes” de la receta algorítmica. También está vinculada a la necesidad u oportunidad del uso de programas de gestión por parte de la empresa y a la cuestión de si los mismos pueden lesionar los derechos humanos de la persona, en primer lugar el derecho a la protección de su intimidad y privacidad. LAS VENTAJAS QUE PROPORCIONA LA LÓGICA ALGORÍTMICA AL QUEHACER HUMANO En la evaluación de los aspectos positivos vinculados al impacto de la inteligencia artificial en el trabajo humano, una primera ventaja deriva del hecho que las operaciones algorítmicas actúan con mayor rapidez y objetividad que la lógica humana. El ser humano al seleccionar y decidir, inevitablemente actúa con una subjetividad propia de su condición. En cambio, las decisiones algorítmicas “no se basan en corazonadas, imprecisiones o prejuicios”10. La IA, al ordenar y descubrir vínculos entre datos, selecciona generalmente las mejores opciones: como consumidores hemos 10 Pasquale F.A., “The Black Box Society: The Secret Algorithms that control money and information, Cambridge”, Harvard University Press, 2015, p. 35, citado por Mercader Uguina J. R., ob. cit., p. 64 147 aprendido a elegir en función de evaluaciones algorítmicas, ya se para reservar un hotel en el exterior o para adquirir un producto en Mercado Libre o en Amazon: el emoticón “pulgar para arriba”, es decir “me gusta”, condiciona muchas de nuestras decisiones a la hora de tener que optar. Panizza señala que las nuevas tecnologías informáticas, además de promover el uso de tablets y smartphones, permiten construir equipos de control remoto, sensores de seguridad, simuladores de tareas de todo tipo, relojes inteligentes, mientras drones de diverso tipo realizan inventarios, trasladan desfibradores al lugar de trabajo, aplican plaguicidas en zonas rurales. Además, la acumulación de datos (big data) contribuye a la resolución de los problemas generados en el trabajo y la producción11. Gauthier expresa que los ordenadores son buenos para ciertos tipos de tareas, tales como la identificación de errores, procesamiento de datos y el cálculo de cifras financieras. Sin embargo, son menos capaces de realizar otras funciones como reconocer la ironía, determinar si algo es NSFW (no seguro para el trabajo en inglés) o discernir entre los resultados de búsquedas ambiguas12. Es importante también destacar que, como ha señalado la Agencia Europea para la Seguridad y Salud en el Trabajo, estos nuevos sistemas pueden facilitar la comprensión de las alternativas relativas a la seguridad y salud en el trabajo, la toma de mejores decisiones y la predicción de los problemas en materia preventiva antes de que ocurran, así como pueden favorecer intervenciones más oportunas y eficaces. Incluso pueden facilitar que las 11 Panizza C., “Impacto de las nuevas tecnologías en la salud”, exposición en el marco del taller Impacto de las nuevas tecnologías en los derechos laborales fundamentales, organizado por la Asociación Uruguaya de Derecho del Trabajo y la Seguridad Social, Montevideo 24.06.2021. 12 Gauthier G., “Economía compartida, crowdworking y Derecho del trabajo”, en AA.VV., “Disrupción, Economía Compartida y Derecho”, FCU, Montevideo, junio de 2016, p. 113. 148 inspecciones laborales investiguen de forma más eficaz los eventuales incumplimientos13. LOS “PROBLEMAS” DE LA IA Y EL ALGORITMO El impacto de la dimensión digital, representado por la IA y los algoritmos, produce sin embargo problemas diversos, no siempre fáciles de solucionar. Por otra parte, la rapidez de la evolución tecnológica determina la aparición de complejidades nuevas, que no se resuelven con la misma velocidad. Algunos de estos problemas aterrizan con fuerza en las relaciones laborales. Señalaremos los siguientes en una enumeración, por supuesto, no taxativa: PROBLEMA: LA “ACCESIBILIDAD” AL ALGORITMO Como expresáramos, la IA toma sus decisiones a partir de la información acumulada en los algoritmos, la cual a su vez responde a un previo diseño humano de conseguir un logro o alcanzar determinado resultado. Como señalábamos en el ejemplo de la torta, la calidad y determinación del producto o decisión algorítmica dependerá de los “ingredientes” – es decir, los datos – con los cuales alimentamos el proceso. Esto datos no son fáciles de identificar para el hombre común y uno de los desafíos de los próximos tiempos será precisamente el de dar claridad y comprensión a los insumos que alimentan el algoritmo, para que el trabajador y su organización puedan acceder a ellos de una forma comprensible. 13 Mercader Uguina J.R., ob. cit., p. 68, quien cita Estudio prospectivo sobre riesgos nuevos y emergentes para la seguridad y salud en el trabajo asociados a la digitalización en 2025 (Oficina de Publicaciones de la Unión Europea, Agencia Europea para la Seguridad y la Salud en el Trabajo, 2018) 149 PROBLEMA: LA DISCRIMINACIÓN CIENTÍFICAMENTE CONCEBIDA La noción de trabajo decente implica no ser objeto de ningún tipo de discriminación. El problema que identificamos en la lógica artificial se vincula al hecho que es posible producir de modo oculto efectos discriminatorios en el momento de armar la programación del algoritmo. La acción arbitraria se lleva a cabo, introduciendo o eliminando datos en la “receta” del algoritmo (relativos al género, la raza, la edad, el origen nacional, etc.), que alteran la igualdad entre los trabajadores. Los datos que alimentan el algoritmo no son necesariamente visibles para la persona afectada y la discriminación puede producirse al comienzo, es decir durante el proceso de selección de los trabajadores; durante la ejecución del contrato de trabajo evaluando con criterios distintos a personas en igualdad de condiciones; o a la finalización del vínculo laboral, favoreciendo el egreso de unos y no de otros en función de determinadas características personales y no de su capacidad laboral. PROBLEMA: LA INVASIÓN DE LA VIDA PRIVADA Y FAMILIAR DEL TRABAJADOR El uso de los datos personales para la construcción de los algoritmos permite ingresar a aspectos de la vida privada, que exceden el vínculo funcional y pueden poner en riesgo el derecho a la privacidad no solo del trabajador, sino también de su núcleo familiar. Por lo tanto debe existir una adecuada protección en materia de comunicación de datos de carácter personal de las personas que conviven con el trabajador, respeto a la diversidad cultural, religiosa y lingüística de ese ámbito tan especial. Debe asegurarse en tales casos el derecho a la intimidad no solo personal, sino también familiar, evitando cualquier intromisión 150 ilegítima que reproduzca en datos la vida íntima de las personas en lugares o momentos de su vida privada14. PROBLEMA: LA PRESIÓN SOBRE LA PRODUCTIVIDAD DEL TRABAJO La organización algorítmica del trabajo puede llevar a presionar de forma “deshumana” a los trabajadores, para que aumenten su productividad. Ya no será un capataz o un supervisor, quien controle el volumen y la rapidez del trabajo de cada trabajador, sino un sistema tecnológico, que no tiene momentos de distracción o de pausa. Ello llevará inevitablemente a situaciones de stress y daños a la salud, cuyo estudio comienza a ocupar y preocupar a especialista en tema de salud psicosocial. PROBLEMA: EL CONTROL ALGORÍTIMICO La recolección de datos del trabajador implicará una nueva modalidad de vigilancia digital, sumándose a ello el empleo de sensores que permiten un control de emociones y movimientos. A modo de ejemplo, la ropa “wearable” (“ropa ponible” en su significado literal, pero que acostumbramos a traducir como “ropa inteligente”) constituye un nuevo modelo de recopilación de datos del trabajador. Iglesias señala que en la noción de ropa inteligente y otros accesorios (wearables) ingresan elementos como calzados, lentes, cascos, chaquetas tecnológicas, relojes y pulseras inteligentes, cada vez más difundidos en los más diversos sectores de la actividad industrial y de servicio15. La autora alerta sobre el 14 Entre las previsiones jurídicas que tutelan el derecho a la privacidad del núcleo familiar, señalamos el art. 8 de la Convención Europea de Derechos Humanos, que establece el derecho de toda persona al respeto de su vida privada y familiar, de su domicilio y de su correspondencia. 15 Iglesias L., “Impacto de las nuevas tecnologías en los derechos humanos fundamentales”, exposición en el marco del taller Impacto de las nuevas tecnologías en los derechos laborales fundamentales, organizado por la 151 riesgo que las mismas significan en relación a la afectación de la privacidad del trabajador y entiende que su utilización debe estar guiada por específicos criterios como la estricta pertinencia para la función, una información clara y veraz sobre los fines perseguidos, que no impliquen un control sobre la vida personal y no se apliquen en forma clandestina sobre el trabajador16. LAS NORMAS Y PRINCIPIOS TUTELARES ANTE LOS ALGORITMOS Ante el avance vertiginoso de las nuevas tecnologías y los progresos de la automatización y la inteligencia artificial, muchas veces el Derecho del trabajo reacciona con lentitud, por lo cual nuestro desafío es ir construyendo un nuevo derecho a partir de los principios y las soluciones que brinda la experiencia comparada. Debemos buscar un primer conjunto de tutelas, en aquellas reconocidas por los principios del Derecho del trabajo, las normas constitucionales, los grandes pactos internacionales ratificados por nuestro país y las Declaraciones universales. Serán aplicables a las diversas situaciones que pueden afectar al trabajador en el uso ilegítimo o desmedido de los algoritmos, principios y normas relativos a • Derechos inespecíficos, es decir derechos atribuidos al trabajador en su calidad de ciudadano, como el derecho a la intimidad, privacidad, honor, imagen, etc. • Principios y derechos vinculados a la integridad psicofísica, como protección de la salud y seguridad ante la siniestralidad en el trabajo Asociación Uruguaya de Derecho del Trabajo y la Seguridad Social, Montevideo 24.09.2022 16 idem 152 • Principio de la igualdad y no discriminación (género, raza, edad, orientación sexual, etc); • Normas contra la violencia en el trabajo, en especial aquellas relativas a las diversas formas de acoso. En una segunda línea importa conocer la evolución del derecho comparado, que adquiere especial importancia en consideración a la rápida evolución de la realidad. Las reglas consignadas en normas extranjeras o en documentos internacionales no suscritos por nuestro país (como los que conforman el derecho comunitario de la Unión Europea) pueden perfectamente ingresar a nuestro derecho positivo, como doctrina más recibida, sin perjuicio que los textos aprobados en otros países o regiones puedan constituir un referente para el legislador en oportunidad de discutir y aprobar reglas para la realidad nacional. Importa por lo tanto destacar algunos cuerpos normativos que consideramos de estudio indispensables para afrontar los nuevos temas y problemas de la IA y el trabajo. Señalamos como expresión fundada del derecho comparado internacional el “Reglamento General de Protección de Datos del Parlamento Europeo” (RGPD17), que entró en vigor el 24/05/2016, con aplicación a partir del 25/05/2018. El documento estableció ese “período ventana de dos años”, para que las empresas, las organizaciones, los organismos y las instituciones de los países de la Unión, pudieran adaptarse a las nuevas reglas, para efectivizar su cumplimiento. El Reglamento estable los siguientes principios generales en su art. 5: • Los datos personales deben ser tratados de forma lícita, leal y transparente. 17 en inglés GDPR (General Data Protection Regulation)