O uso da inteligência artificial no policiamento preditivo

O USO DA INTELIGÊNCIA ARTIFICIAL NO POLICIAMENTO PREDITIVO UMinho|20 22 Universidade do Minho Escola de Direito TAHENA VIDAL ANDRADE O USO DA INTELIGÊNCIA ARTIFICIAL NO POLICIAMENTO PREDITIVO Abril de 2022 Universidade do Minho Escola de Direito TAHENA VIDAL ANDRADE O USO DA INTELIGÊNCIA ARTIFICIAL NO POLICIAMENTO PREDITIVO Dissertação de Mestrado em Direito e Informática Trabalho realizado sob a orientação da Professora Doutora Flávia Noversa Loureiro e do Professor Doutor Paulo Novais Abril de 2022 iv Direitos de autor e condições de utilização do trabalho por terceiros Este é um trabalho académico que pode ser utilizado por terceiros desde que respeitadas as regras e boas práticas internacionalmente aceites, no que concerne aos direitos de autor e direitos conexos. Assim, o presente trabalho pode ser utilizado nos termos previstos na licença abaixo indicada. Caso o utilizador necessítio de permissão para poder fazer um uso do trabalho em condições não previstas no licenciamento indicado, deverá contactar o autor, através do RepositóriUM da Universidade do Minho. Atribuição-NãoComercial-SemDerivações CC BY-NC-ND v Agradecimentos Agradeço em especial aos meus orientadores, Professora Doutora Flávia Noversa Loureiro e ao Professor Doutor Paulo Novais, bem como, aos demais professores do Mestrado em Direito e Informática da Universidade do Minho. Também agradeço ao Professor Doutor Giovanni Sartor, da Universidade de Bolonha, com quem tive a honra de obter um pouco de seus conhecimentos por meio do Programa Erasmus+. Finalizo agradecendo também o Doutor Elia Lombardo, que gentilmente me cedeu materiais para o trabalho a seguir apresentado. Minha eterna gratidão a todos. vi Declaração de Integridade Declaro ter atuado com integridade na elaboração do presente trabalho académico e confirmo que não recorri à prática de plágio nem a qualquer forma de utilização indevida ou falsificação de informações ou resultados em nenhuma das etapas conducente à sua elaboração. Declaro que conheço e que respeitei o Código de Conduta Ética da Universidade do Minho. vii Resumo O presente estudo trata do Policiamento Preditivo por meio do uso do Big Data e da Inteligência Artificial. Com o crescente uso de métodos preditivos, aumenta a preocupação com a utilização correta dos meios com o intuito de proteger os dados de milhares de pessoas, além da proteção dos direitos inerentes à sua condição humana. A pesquisa define os termos relacionados ao big data , tais como algoritmos, inteligência artificial e machine learning . Também analisa o uso da inteligência artificial no contexto do Regulamento Geral de Proteção de Dados, o RGPD, além de regulamentos dos órgãos responsáveis na União Europeia. Por fim, são demonstrados os resultados do funcionamento do programa de policiamento preditivo XLAW, que é utilizado pela Polícia Italiana. Tais resultados permitiram contemplar o uso do Big Data como prevenção da criminalidade. Palavras-chave: Big Data ; Inteligência Artificial; Algoritmos; Policiamento Preditivo; Justiça Criminal. viii Abstract This paper deals with Predictive Policing using Big Data and Artificial Intelligence. With the increasing use of predictive methods, there is a growing concern about the correct use of the means in order to protect the data of thousands of people, in addition to the protection of the rights inherent to their human condition. The research defines terms related to big data, such as algorithms, artificial intelligence and machine learning. It also analyzes the use of artificial intelligence in the context of the General Data Protection Regulation, the GDPR, and documents from the European Union. Finally, the results of the operation of the predictive policing program XLAW, which is used by the Italian Police, are demonstrated. These results allow us to contemplate the use of Big Data as crime prevention. Keywords: Big Data; Artificial Intelligence; Algorithms; Predictive Policing; Criminal Justice. ix Lista de siglas e abreviaturas AI Artificial Intelligence BD Big Data CAHAI Ad hoc Committee on Artificial Intelligence CEDH Convenção Europeia dos Direitos Humanos CEPEJ Comissão Europeia pela eficácia da Justiça CDFUE Carta dos Direitos Fundamentais da União Europeia COMPAS Correctional Offender Managment Profiling for Alternative Sanctions DL Deep Learning DM Data Mining EDPB Conselho Europeu de Proteção de Dados EDPS European Data Protection Supervisor GDPR General Data Protection Regulation IA Inteligência Artificial ML Machine Learning RGPD Regulamento Geral sobre a Proteção de Dados RNAs Redes neuronais artificiais SIG Sistema de Informação Geográfica TFUE Tratado sobre o Funcionamento da União Europeia TI Tecnologia da Informação UE União Europeia x Lista de figuras e tabelas Figura 1: Artificial Intelligence Figura 2: Porcentagem de eficácia do programa entre cidades que o utilizam, versus cidades que não utilizam o programa Tabela 1: Porcentagem de eficácia do programa Tabela 2: Tabela com dados das cidades parte do experimento Tabela 3: Tabela com resultado de Nápoles Tabela 4: Tabela com resultado de Salerno Tabela 5: Tabela com resultado de Prato Tabela 6: Tabela com resultado de Veneza Tabela 7: Tabela com resultado de Parma Tabela 8: Tabela com resultado de Módena 6 As formas de representação de algoritmos mais conhecidas são a descrição narrativa, o fluxograma convencional e o pseudocódigo. Na descrição narrativa, os algoritmos são expressos diretamente em linguagem natural, contudo é pouco usada na prática porque o uso da linguagem natural pode gerar ambiguidades e imprecisões. Como por exemplo a afirmação "afrouxar as porcas", em um algoritmo para uma máquina de troca de pneus está sujeita a interpretações. Uma instrução mais precisa seria: "afrouxar a porca, girando-a 45º no sentido antihorário" 11 . Os fluxogramas são apresentações de algoritmo em formato gráficos ou geométricos. Cada ação ou situação é representada por um quadrado ou retângulo. As instruções ou comandos, ou seja, as decisões, são indicadas por caixas diferentes, facilitando o entendimento das ideias que estão nos algoritmos 12 . Ou seja, um fluxograma se resume a um símbolo inicial (onde a execução do algoritmo começa) e um ou mais símbolos finais (pontos onde a execução do algoritmo encerra). A partir do símbolo inicial existe um único caminho a ser seguido, ou seja, uma única sequência de execução das instruções. Nos símbolos finais não há nenhum fluxo saindo, e nos símbolos de decisão pode existir mais de um caminho de saída 13 . Figura 1: Exemplo de fluxograma algorítmico 14 11 Algoritmo e Lógica de programação. Universidade Federal do Rio Grande do Norte, Centro de Tecnologia, Departamento de Computação e Automação Algoritmo e Lógica de Programação. Algoritmos, Parte 1. Eng. Química, maio 2004. In https://www.dca.ufrn.br/~affonso/DCA800/pdf/algoritmos_parte1.pdf, pp. 5-6. 12 Idem, ibidem , pp. 6-7. 13 Idem, ibidem . 14 In: http://www.cristiancechinel.pro.br/my_files/algorithms/bookhtml/node15.html. 7 Já a forma de representação de algoritmos em pseudocódigo tem muitos detalhes, como a definição dos tipos das variáveis usadas. Esta representação, por ser muito parecida com as linguagens de programação, acaba por permitir diretamente (na maioria das vezes) a tradução de um algoritmo nela representado para uma linguagem de programação específica 15 . Figura 2: Exemplo de representação de algoritmo por pseudocódigo 16 Portanto, as diversas formas de representação de algoritmos diferem entre si pela quantidade de detalhes de implementação que fornecem, bem como dependem em qual e para qual situação serão utilizadas. 1.1. Sistemas de Big Data Primeiramente deve-se entender o que são os dados. Dados são conjuntos de valores de variáveis qualitativas ou quantitativas sobre eventos, pessoas ou objetos, ou seja, factos individuais ou estatísticos obtidos por meio de coletas de dados, seja como observação ou medição. Ressalta-se que dados e informações têm significados diferentes. Os dados são factos, tais como números, palavras, observações ou apenas descrições de coisas que, se não colocados em contexto não possuem valor. Entretanto, a informação é o dado de maneira organizada e que pode gerar conhecimento 17 . O Big Data , segundo a classificação de alguns auores, é descrito como “5 v”, ou seja, tem grande volume , consistindo em petabytes, zettabytes de dados; velocidade , que consiste na rápida criação dos dados; variedade , que se refere aos dados estruturados e os não 15 Algoritmo e Lógica de programação. Universidade Federal do Rio Grande do Norte, Centro de Tecnologia, Departamento de Computação e Automação Algoritmo e Lógica de Programação. Algoritmos, Parte 1. Eng. Química, maio 2004. In https://www.dca.ufrn.br/~affonso/DCA800/pdf/algoritmos_parte1.pdf, p. 05. 16 In: http://www.cristiancechinel.pro.br/my_files/algorithms/bookhtml/node15.html. 17 In https://www.datascienceacademy.com.br/course/intro-ciencia-de-dados-3. 8 estruturados, que nesse último são a maioria e são extraídos de redes sociais, internet, etc.; veracidade , que se refere à qualidade dos dados, pois devido ao enorme volume e variedade de informações é preciso saber gerenciar o conteúdo e a qualidade dos dados. E por último o valor , que é o valor de um dado, propriamente dito, passível de análise e que possa ser aplicado no processo a que foi destinado 18 . Em Gartner temos que Big Data são ativos de informações de alto volume, alta velocidade e alta variedade que exigem formas inovadoras e econômicas de processamento de informações que permitem uma visão aprimorada, tomada de decisões e automação de processos 19 . Ou seja, é uma imensa quantidade de dados disponíveis que não conseguem ser analisados por processos computacionais tradicionais e que geram conhecimento e inteligência a partir dessas grandes quantidades de dados 20 . Contudo, toda essa quantidade de dados precisa ser coletada e estudada para se obter conhecimento, ou seja, a análise dos dados é essencial. A analítica dos dados pode ser classificada em prescritiva, diagnóstica, descritiva e preditiva. Vejamos 21 : • Análise Prescritiva é a análise baseada em estudos de casos ou factos, avaliando possíveis consequências sobre as ações tomadas. Identifica cada possível resultado em cada ação; • Análise Diagnóstica considera eventos ocorridos para viabilização de tomadas de decisões baseadas em factos; • Análise Descritiva avalia os dados em tempo real atribuindo respostas para o momento; • Análise Preditiva utiliza a mineração de dados históricos para analisar tendências ou possibilidades futuras. Uma das etapas do Big Data é o chamado Data mining , ou mineração de dados . De acordo com Aggarval, Big Data é a coleta, limpeza, processamento, análise e obtenção de percepções de dados 22 . Para Giudici, Data mining é o processo de seleção, exploração e modelagem de grandes quantidades de dados com o intuito de descobrir regularidades ou relações que são inicialmente desconhecidas com o objetivo de obter resultados para a base de dados 23 . 18 Kitchin, Rob. Big Data, new epistemologies and paradigm shifts. Big Data & Society, 2014. In: DOI: 10.1177/2053951714528481, p. 01-02. 19 In https://www.gartner.com/en/information-technology/glossary/big-data. 20 Saisse, Renan. Big data contra o crime: efeito minority report . In http://direitoeti.com.br/artigos/big-data-contra-o-crime-efeito-minority-report/. 21 Idem, ibidem. 22 Aggarwal, Charu C. Data Mining, The Textbook . Springer, 2015, p.01. 23 Giudici, Paolo. Applied Data Mining Statistical Methods for Business and Industry . Wiley, 2003. In: http://index-of.co.uk/DataMining/Applied%20Data%20Mining-Statistical%20Methods%20for%20Business%20and%20Industry_Giudici%20P%20(2003).pdf, p. 11. 9 Softwares de Data Mining utilizam algoritmos de reconhecimento de padrões, aliados a uma diversidade de técnicas matemáticas e estatísticas para observar um grande volume de dados e extrair informações relevantes e úteis até então desconhecidas e que aos olhos humanos seriam quase impossíveis de descobri-las, dado a grande quantidade de dados 24 . A mineração de dados utiliza a estatística clássica, a inteligência artificial e machine learning . A primeira é um dos principais métodos utilizados. A IA analisa os dados como se fosse o cérebro humano e o ML é a junção dos dois. E é por meio desta técnica que é possível induzir os computadores a tomarem decisões, por meio do uso de algoritmos ao reconhecerem padrões e se tornarem capazes de realizar previsões. O processo de Data Mining ocorre por meio das seguintes etapas: definição do problema, exploração de dados, preparação de dados, modelagem, avaliação e implementação. É nessa última fase que acontece a importação dos resultados obtidos para os bancos de dados 25 . Portanto, pode-se concluir rapidamente que Big Data é caracterizado pela enorme quantidade de dados produzidos, e Data mining faz o reconhecimento dos padrões que estão inseridos nesses dados. Tanto o Big Data quanto o Data Mining , visto que se complementam, estão sendo utilizados nas mais diversas áreas atualmente. Podemos citar os avanços nos cuidados de saúde, contra fraudes governamentais, na educação, na infraestrutura das cidades ( smart cities ) e na aplicação da lei, como por exemplo, no caso da predição de crimes 26 . 1.2. Inteligência Artificial Big Data e inteligência artificial são tecnologias que se integram, pois a inteligência artificial precisa de uma grande quantidade de dados para funcionar e o Big Data é a solução. A inteligência artificial permite que as informações coletadas por softwares e máquinas sejam utilizadas para agilizar processos e minimizar erros. Assim sendo, inteligência artificial, ou IA ( Artificial Intelligence - AI ), é o campo da ciência da computação que estuda os agentes computacionais que agem de maneira inteligente. Ou seja, agente inteligente é um sistema computacional que tem a percepção por meio de sensores, agindo de forma autónoma em um ambiente, além de possuir capacidades de comunicação de alto-nível com outros agentes ou 24 Pereira, Jorge Luis. Análise Preditiva em Sistemas de Informação no Contexto do Big Data . Marilia, 2014. In: https://aberto.univem.edu.br/bitstream/handle/11077/1003/Jorge%20Lu%c3%ads%20Pereira.pdf?sequence=1&isAllowed=y, p. 27. 25 In: https://www.voitto.com.br/blog/artigo/data-mining. 26 Bramer, Max. Principles of Data Mining, Third Edition. Springer, 2016, pp. 01-05. 10 humanos, desempenhando a função para a qual foi projetado 27 . O objetivo central da IA é criar entidades que ajam de maneira inteligente. Por conseguinte, se diz agente inteligente quando esse realiza atos que são apropriados para suas circunstâncias e objetivos, ou então, é flexível para mudar ambientes, mudar objetivos, e, portanto, aprende com as experiências anteriores, fazendo escolhas apropriadas dadas suas limitações perceptivas e computacionais 28 . Historicamente, foram feitas quatro abordagens à IA, mas com diferentes métodos. Um dos métodos mais famosos, é o método de Alan Turing, o chamado “Teste de Turing”, elaborado em 1950 e que é classificado como um método de fazer com que a IA “aja humanamente” 29 . O Teste de Turing 30 foi projetado para testar a capacidade de uma máquina em exibir um comportamento inteligente equivalente a um ser humano. No referido teste, um computador é aprovado se um interrogador humano, após fazer algumas perguntas escritas, não for capaz de dizer se as respostas escritas vêm de uma pessoa ou de um computador. Para possuir as capacidades de passar no teste de Turing, o computador deve ser rigorosamente programado para que tenha as habilidades de processamento de linguagem natural para permitir a comunicação em inglês, a representação do conhecimento para armazenar o que sabe e o que ouve, ter raciocínio automatizado para usar as informações armazenadas com o intuito de responder perguntas e, assim, tirar novas conclusões, bem como, se adaptar a novas circunstâncias e para detectar e extrapolar padrões. Para passar completamente no teste de Turing, o computador precisaria de uma visão computacional para entender objetos, robótica para manipular objetos, bem como, movimentar-se 31 . Outro método utilizado para fazer com que as máquinas pensem como seres humanos é o da modelagem cognitiva. Ou seja, para dizer que um determinado programa pensa como um ser humano, é necessário existir alguma maneira de determinar como os humanos pensam, entrar no funcionamento real das mentes humanas. De acordo com esse método, há três maneiras de se fazer isso: por meio da introspecção, ou seja, tentar capturar os pensamentos; 27 In https://paginas.fe.up.pt/~lpreis/ai2002/Documents/1.Agentes.PDF. 28 Poole, David L. Mackworth, Alan K. Artificial Intelligence: Foundations of Computational Agents . Cambridge University Press, e-book, New York, 2010, pp. 3-10. 29 Russel, Stuart J; Norvig, Peter. Artificial Intelligence a Modern Approach . Third Edition. E-Book Kindle, 2010, pp. 2-3. 30 Idem, ibidem. 31 Idem, ibidem, p. 3. 11 através de experimentos psicológicos ao observar uma pessoa em ação; e através de imagem cerebral, que é observar o cérebro em ação. Entretanto, os pesquisadores, Allen Newell e Herbert Simon, por não se contentarem apenas que seu programa resolvesse os problemas corretamente, desenvolveram o GPS, o “ General Problem Solver ”, com o intuito de comparar o traço das etapas de raciocínio com traços dos raciocínios dos humanos ao resolver os mesmos problemas 32 . Portanto, o campo interdisciplinar da ciência cognitiva reúne modelos de computador que utilizam IA e técnicas experimentais da psicologia com o intuito de construir teorias da mente humana que possam ser testadas. Tanto a inteligência artificial quanto a ciência cognitiva se desenvolveram rapidamente e continuam a se desenvolver e a se misturar, principalmente na visão computacional, que incorpora evidências neurofisiológicas em seus modelos computacionais. Outra abordagem, é a chamada abordagem das "leis do pensamento". Aristóteles foi um dos primeiros filósofos a tentar codificar o "pensamento correto", ou seja, processos de raciocínio irrefutáveis. Seus silogismos forneceram padrões para argumentos que sempre produziam conclusões corretas quando recebiam as premissas corretas, as chamadas condicionais. Como exemplo temos que, “Sócrates é um homem; todos os homens são mortais; portanto, Sócrates é mortal.” E com isso se deu o início do estudo da lógica 33 . A partir de 1965, começaram a existir programas que poderiam, em princípio, resolver qualquer problema descrito em notação lógica. Seguindo esse padrão, a lógica e a inteligência artificial aproveitaram esses programas para criar os chamados “sistemas inteligentes”. Contudo, existiram dois principais obstáculos a essa abordagem. O primeiro é o facto de não ser fácil transformar conhecimentos informais em conhecimentos formais exigidos pela linguagem lógica. E, em segundo, há uma grande diferença entre resolver um problema na teoria e resolvê-lo na prática. Embora esses dois obstáculos se apliquem a qualquer tentativa para construir sistemas de raciocínio computacional, eles apareceram primeiro na lógica tradicional 34 . A quarta abordagem é a do agente racional. Sabe-se que agente é apenas algo que age. Por óbvio, todos os programas de computador fazem alguma coisa, agem de alguma maneira, contudo, espera-se que os agentes de computador façam muito mais coisas, tais como operar autonomamente, entender seu ambiente, adaptar-se às mudanças, bem como criar e buscar objetivos. Por conseguinte, podemos dizer que um agente racional é aquele que age de 32 Russel, Stuart J; Norvig, Peter. Artificial Intelligence a Modern Approach . Third Edition. E-Book Kindle, 2010, p. 3. 33 Idem, ibidem p. 4. 34 Idem, ibidem. 12 modo a alcançar o melhor resultado ou, quando não houver certeza, ter o melhor resultado esperado 35 . Nessa fase se dá ênfase às inferências corretas. Fazer inferências corretas faz parte de ser um agente racional, pois agir racionalmente é raciocinar logicamente até à conclusão de que uma determinada ação alcançará os objetivos e depois irá agir sobre essa conclusão. Contudo, em algumas situações não há nada de correto a ser feito, porém deve ser feito algo. Existem também maneiras de agir racionalmente que não se pode dizer que envolvam inferência 36 . A abordagem do agente racional é mais geral do que a abordagem das "leis do pensamento", pois a inferência correta é apenas um dos vários mecanismos possíveis para alcançar a racionalidade. Também é mais favorável ao desenvolvimento científico do que as abordagens baseadas no comportamento ou no pensamento humano, além do padrão de racionalidade ser matematicamente bem definido. O comportamento humano, por outro lado, é definido pela soma de todas as coisas que os humanos fazem 37 . Portanto, o objetivo científico central da inteligência artificial é entender os princípios que tornam o comportamento inteligente possível em sistemas naturais ou artificiais. Esse entendimento é feito por meio de análise de agentes naturais e artificiais, formulação de hipóteses sobre o que é necessário para a construção de agentes, bem como projetação, construção e experimentação de sistemas computacionais que executem tarefas que exijam alto nível de inteligência 38 . 1.3. Machine Learning Um dos maiores desafios enfrentados atualmente pelas empresas e organizações é conseguir estruturar a grande quantidade de informações que possuem, bem como, uma maneira de utilizá-las. Machine learning (ML) ou aprendizagem de máquina, é definido como um processo automatizado que extrai padrões de dados. Ou seja, é o campo de estudo que dá aos computadores a capacidade de aprender sem ser explicitamente programado 39 . 35 Russel, Stuart J; Norvig, Peter. Artificial Intelligence a Modern Approach . Third Edition. E-Book Kindle, 2010, p. 3. 36 Poole, David L. Mackworth, Alan K. Artificial Intelligence: Foundations of Computational Agents . Cambridge University Press, New York, 2010, pp. 10-12. 37 Idem, ibidem. 38 Idem, ibidem. 39 Kelleher, John; Namee, M. Brian; Darcy, Aoife. Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies . E-book, 2015, p. 43. 13 Mas como funciona o machine learning ? Para que o ML funcione são necessários os algoritmos. Como já visto anteriormente, algoritmos são sequências de instruções dadas ao computador para que este execute determinada tarefa. Contudo, não há muitas vezes um algoritmo para realizar esse processamento e é necessário criá-lo. Como o exemplo, no spam de e-mail o algoritmo criado é para detectar quais e-mails são spam e quais não são. Através do uso do algoritmo o programa vai entender qual tarefa ele precisa executar, porém, ele precisa saber separar o que é um spam do que não é. Nesse caso específico, o problema é um arquivo de texto, e a resposta deve ser do tipo sim/não, indicando se a mensagem é ou não um spam . Assim sendo, utilizando o ML o algoritmo vai aumentando sua base de dados e entendendo quais os tipos de mensagens são spam ou não. Pode ser que nem sempre acerte, mas com o passar do tempo e das informações, os acertos se tornam mais frequentes 40 . Daumé III define em uma linguagem simples que ML é uma tarefa de predizer o futuro com base em factos do passado 41 . Ou seja, Machine learning é uma área de pesquisa da IA voltada ao desenvolvimento de programas de software com a capacidade de aprender a executar uma tarefa, tendo como base sua própria experiência 42 . São softwares capazes de aprender sozinhos, utilizando-se de um conjunto de dados que representam experiências e conhecimentos já obtidos. 1.3.1 Aprendizagem supervisionada e não supervisionada Para machine learning , existem as técnicas de aprendizagem supervisionada e não supervisionada, a depender do tamanho da quantidade e volume das informações. Na aprendizagem de máquina supervisionada e seus algoritmos, é essencial que exista a participação humana para a obtenção de um melhor resultado. A aprendizagem supervisionada ocorre ao elaborar um modelo que faz previsões baseadas em evidências. Portanto, um algoritmo de aprendizagem supervisionada ocorre quando se utiliza um conjunto conhecido de exemplos, bem como suas respostas conhecidas, treinando assim, um modelo para gerar previsões satisfatórias para as respostas dos novos dados. Ou seja, treina um modelo em dados de entrada e saída 40 Franco, Cristiano Roberto. Inteligência artificial . Editora e Distribuidora Educacional S.A. Londrina, 2014, pp. 79-81. 41 Daumé III, Hal . A Course in Machine Learning , 2012. In: http://ciml.info/dl/v0_8/ciml-v0_8-all.pdf, p. 8. 42 Cerri, Ricardo; Ferreira de Carvalho, André Carlos Ponce de Leon. Aprendizagem de Máquina: Breve Introdução e Aplicações . Cadernos de Ciência & Tecnologia, Brasília, v. 34, n. 3, p. 297-313, set./dez. 2017 In: https://ainfo.cnptia.embrapa.br/digital/bitstream/item/184785/1/Aprendizagem-de-maquina-breve-introducao.pdf, p. 298. 14 conhecidos, fazendo com que ele possa prever resultados futuros 43 . Assim sendo, para cada sequência de entrada é dada uma saída desejada, sendo que o objetivo da máquina é aprender a produzir a saída correta para entradas novas, que não fizeram parte de seu conjunto de treinamento 44 . Para construir os modelos usados em aplicativos preditivos de análise de dados, utiliza-se técnicas de aprendizagem de máquina supervisionada. Estas técnicas aprendem automaticamente um modelo da relação entre um conjunto de recursos descritivos e um recurso de destino com base em um conjunto de exemplos ou instâncias. Podemos então usar esse modelo para fazer previsões ou novas instâncias de treinamentos (amostras). Por exemplo, o filtro de spam é um programa de ML que pode aprender a sinalizar spam , dado segundo exemplos de e-mails de spam e exemplos de não spam 45 . A aprendizagem supervisionada utiliza técnicas de classificação e de regressão para desenvolver os modelos preditivos. As técnicas de classificação preveem respostas discretas, como no caso do exemplo do e-mail , se é ou não spam . São previsões já pré-definidas. Já a técnica de regressão são previsões baseadas em valores numéricos contínuos 46 . Portanto, o algoritmo de aprendizagem é um indutor que recebe um conjunto de exemplos para os quais os rótulos da classe associada são conhecidos. Cada exemplo é descrito por um vetor de valores e pelo rótulo da classe associada. O objetivo do indutor é que se possa determinar corretamente a classe de novos exemplos que ainda não foram rotulados 47 . Dentro do método de aprendizagem supervisionada existe um método chamado de árvore de decisão, um dos métodos de aprendizagem mais utilizados na prática e que utiliza a estratégia em que um problema mais complexo é dividido em problemas mais simples, resolvidos de forma recursiva. Ou seja, é um método de aprendizagem supervisionada que constrói árvores de classificação a partir de exemplos 48 . A chamada aprendizagem não supervisionada é aquela que encontra padrões ocultos ou estruturas intrínsecas nos dados. Ou seja, a máquina recebe um conjunto de entradas, 43 In: https://www.mathworks.com/discovery/machine-learning.html. 44 Franco, Cristiano Roberto . Inteligência artificial . Uniasselvi, 2017. In: https://www.uniasselvi.com.br/extranet/layout/request/trilha/materiais/livro/livro.php?codigo=22869, p.127. 45 Géron, Aurélien. Hands-On Machine Learning with Scikit-Learn and TensorFlow . Editora O’Reilly Media, E-book 2017, pp. 19-20. 46 Idem, ibidem. 47 Machado, Vinicius Ponte. Inteligência Artificial . In: http://www.uece.br/computacaoead/index.php/downloads/doc_download/2177-inteligenciaartificial, p.42. 48 Idem, ibidem , p.43. 15 mas nenhum conjunto de saída correspondente. Assim sendo, o software deve encontrar padrões de semelhanças e diferenças entre os dados e com esses padrões gerar novas saídas corretas 49 . Destaca-se que, na aprendizagem não supervisionada, a máquina aprende os padrões sozinha, sem interferência humana 50 . É utilizado para extrair inferências de conjuntos de dados que consistem em dados de entrada sem respostas rotuladas, ou seja, para análise exploratória de dados com o intuito de encontrar informações ocultas, padrões ou agrupamentos de dados, os chamados clusters 51 . O agrupamento conceitual foi introduzido por Michalski, como um processo de construção de uma rede de conceitos. Após a determinação dos agrupamentos, é necessária uma análise para determinar o que cada agrupamento significa no contexto do problema 52 . Ou seja, o agrupamento ou “clusterização” ocorre através de iterações, isto é, uma sequência de passos em que se busca agrupar os dados de forma que esses agrupamentos façam sentido, sendo este agrupamento, o tipo de aprendizagem não supervisionada mais comum 53 . Como exemplo de pedidos de agrupamento estão as análises de sequência genética, pesquisa de mercado e reconhecimento de objetos 54 . É necessário utilizar a aprendizagem de máquina ou machine learning quando tiver uma tarefa complexa ou um problema envolvendo uma grande quantidade de dados e muitas variáveis. Contudo, escolher o algoritmo certo pode ser complicado, pois existem inúmeros algoritmos de ML supervisionado e não supervisionado, sendo que cada um adota uma abordagem diferente para a aprendizagem, não existindo um método melhor. É quase um método de tentativa e erro, porém, a seleção de algoritmos depende do tamanho, tipo de dados, das informações que deseja obter e como essas informações serão usadas 55 . 49 Franco, Cristiano Roberto. Inteligência artificial . Uniasselvi, 2017. In: https://www.uniasselvi.com.br/extranet/layout/request/trilha/materiais/livro/livro.php?codigo=22869, p.128. 50 Idem, ibidem , p. 131. 51 In: https://www.mathworks.com/discovery/machine-learning.html 52 Machado, Vinicius Ponte. Inteligência Artificial. In: http://www.uece.br/computacaoead/index.php/downloads/doc_download/2177-inteligenciaartificial, p.46. 53 Franco, Cristiano Roberto. Inteligência artificial . Uniasselvi, 2017. In: https://www.uniasselvi.com.br/extranet/layout/request/trilha/materiais/livro/livro.php?codigo=22869, p.130. 54 Idem, ibidem. 55 In: https://www.mathworks.com/discovery/machine-learning.html. 23 Capítulo 2: Enquadramento normativo 1. Inteligência Artificial e a proteção de dados no contexto Europeu Com o crescente uso da inteligência artificial e do big data se faz necessário a proteção e regulamentação do uso dos dados, com o intuito de resguardar os direitos e garantias fundamentais dos indivíduos. O artigo 8.º, n.º 1, da Carta dos Direitos Fundamentais da União Europeia 80 e o artigo 16.º, n.º 1, do Tratado sobre o Funcionamento da União Europeia (TFUE) 81 estabelecem que todas as pessoas têm direito à proteção dos dados de caráter pessoal que lhes digam respeito. Ainda, conforme o Conselho Europeu de Proteção de Dados (EDPB), “todo o processamento de dados pessoais através de um algoritmo enquadra-se no âmbito do RGPD” 82 . Ou seja, quando os dados pessoais são processados por um sistema de IA o RGPD deve ser aplicado. No prefácio do Regulamento 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016, o chamado RGPD (Regulamento Geral sobre a Proteção de Dados), diz-se, entre outras coisas, o seguinte, que merece aqui ser destacado: “a proteção das pessoas singulares relativamente ao tratamento de dados pessoais é um direito fundamental. E acrescentase ainda, “os princípios e as regras em matéria de proteção das pessoas singulares relativamente ao tratamento dos seus dados pessoais deverão respeitar, independentemente da nacionalidade ou do local de residência dessas pessoas, os seus direitos e liberdades fundamentais, nomeadamente o direito à proteção dos dados pessoais” 83 . O Regulamento Geral sobre a Proteção de Dados (RGPD) trata sobre a regulação dos dados e sua proteção e não sobre a IA em específico (toda a tecnologia que utiliza dados é englobada pelo RGPD). Entretanto, existem disposições do RGPD que tratam especificamente de alguns dos problemas e riscos comumente associados à IA, como aqueles relacionados ao princípio de proteção de dados, de minimização de dados e a exigência de que os dados pessoais sejam processados de forma legal, bem como, disposições que fazem alusão a tecnologias que 80 Carta dos Direitos Fundamentais da União Europeia. In https://eur-lex.europa.eu/legalcontent/PT/TXT/PDF/?uri=CELEX:12016P/TXT&from=FR. 81 Tratado sobre o Funcionamento da União Europeia. In https://eur-lex.europa.eu/legal-content/PT/TXT/PDF/?uri=CELEX:12012E/TXT&from=PT. 82 In https://edpb.europa.eu/sítios/edpb/files/files/file1/edpb_letter_out2020_0004_intveldalgorithms_en.pdf, p. 2. 83 Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016. In https://eur-lex.europa.eu/legalcontent/PT/TXT/?uri=CELEX%3A32016R0679, p. 1. 24 incorporam aspectos da IA, como por exemplo, as disposições sobre decisões automatizadas. Em junho de 2020, o European Parliamentary Research Service , no Departamento Scientific Foresight Unit , elaborou um estudo para o “ Panel for the Future of Science and Technology ”, intitulado “ The impact of the General Data Protection Regulation (GDPR) on artificial intelligence ” sob a direção do Professor Giovanni Sartor e coautoria da Dra. Francesca Lagioia 84 . Nesse estudo, que merece muita atenção pois é de grande importância e aprofundamento no assunto, os autores destacam a aplicabilidade do RGPD na IA 85 . O RGPD contém alguns termos que se referem à Internet, porém, não existe o termo inteligência artificial. Contudo, muitas disposições do RGPD são relevantes para IA. A começar pelo artigo 4º do RGPD, onde se encontram as definições dos atores presentes na respectiva lei. Todavia, para o respectivo estudo serão explicados apenas algumas dessas definições, ou seja, as que têm maior uso na inteligência artificial e big data . Vejamos 86 : • Dados pessoais : o conceito de dados pessoais desempenha um papel fundamental no RGPD, pois a conexão entre a natureza pessoal da informação e o desenvolvimento tecnológico é mencionado no Regulamento 2018/1807, na consideração 9 – se o desenvolvimento tecnológico possibilitar a transformação de dados anônimos em pessoais, tais dados devem ser tratados como dados pessoais, e o Regulamento (UE) 2016/679 deve aplicar-se em conformidade 87 ; • Criação de perfil: para essa, embora não use referência explícita à IA, trata do processamento que é atualmente realizado com tecnologias de IA. Este processamento consiste em usar os dados relativos à pessoa para inferir informações sobre outros aspectos dessa pessoa. As abordagens baseadas em machine learning , muitas vezes servem para fornecer inferências, ou seja, classificações, previsões ou decisões, quando estas são aplicadas a dados relativos a indivíduos. Como por exemplo, a probabilidade de que pessoas condenadas podem reincidir, previsto com base em seu histórico criminal, seu caráter e antecedentes pessoais 88 ; Consentimento : esse deve ser dado livremente, ser específico, informado e ser expresso por meio de uma ação afirmativa clara e deve abranger todas as atividades de processamento realizadas 84 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf. 85 Idem, ibidem. 86 Idem, ibidem, pp.35-43. 87 Regulamento (UE) 2018/1807 do Parlamento Europeu e do Conselho, 14/11/2018. In: https://eur-lex.europa.eu/legalcontent/PT/TXT/PDF/?uri=CELEX:32018R1807&from=PT. 88 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp. 35-43. 25 para a mesma finalidade ou quando o processamento tiver múltiplas finalidades, o consentimento deve ser dado à todos, pois tem papel fundamental na proteção de dados, exceto para os dados que forem coletados para determinados fins sejam processados para outros fins, desde que sejam compatíveis com os originais, que é permitido pelo RGPD. Como muitos autores destacam, a IA e o big data desafiam os princípios de proteção de dados. De acordo com o referido estudo, “ The impact of the General Data Protection Regulation (GDPR) on artificial intelligence ”, deve-se considerar cada princípio separadamente 89 . Desta maneira, no artigo 5º do RGPD estão elencados os princípios relativos ao tratamento de dados pessoais, dentre eles destaca-se 90 : • Artigo 5º1(a): justiça e transparência, pois exige-se que os dados pessoais sejam tratados “de forma legal, justa e transparente em relação ao titular dos dados”. Ou seja, o princípio da transparência exige que qualquer informação dirigida ao público ou para o titular dos dados deve ser acessível e de fácil entendimento; • Artigo 5º1(b): limitação da finalidade, segundo o qual os dados pessoais devem ser coletados para fins específicos e explícitos. Esse mesmo princípio também aparece nos artigos 13 (1, c) e 14 (1,c), exigindo que os controladores forneçam informações sobre “os fins do tratamento para o qual os dados pessoais se destinam, bem como a base jurídica para o tratamento”; • Artigo 5º1(c): minimização de dados, segundo o qual os dados pessoais devem ser “adequados, relevantes e limitados ao que é necessário em relação aos fins para os quais são processados”; • Artigo 5º1(d): precisão, que exige que os dados sejam "precisos e, sempre que necessário, mantido atualizados”, além de que iniciativas sejam tomadas para corrigir possíveis inexatidões. Este princípio também se aplica a dados pessoais que são usados como uma entrada para o sistema de IA, especialmente quando os dados pessoais são usados para fazer inferências ou decisões. Para o uso dos dados em machine learning , é preciso distinguir se tais dados pessoais serão usados apenas em um conjunto de treinamento, para um algoritmo específico 91 ; • Artigo 5º1(e): limitação de armazenamento, que proíbe manter dados pessoais quando já não são necessários para efeitos de processamento, ou seja, apenas pelo tempo necessário para o fim que se destina. 89 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp.44-49. 90 Idem, ibidem , pp. 44-49. 91 Idem, ibidem . 26 O Artigo 6º do RGPD declara que todo processamento de dados pessoais requer uma base legal. Ou seja, o tratamento só é lícito se e na medida em que se verifique pelo menos uma das situações elencadas no artigo 92 . Essa ideia foi a primeira introduzida na Diretiva de Proteção de Dados de 1995 93 (que foi substiuída pelo RGPD) e posteriormente elencada no artigo 8.º da Carta Europeia dos Direitos Fundamentais 94 . Destaca-se no artigo 6º do RGPD 95 : • Artigo 6º1(a): consentimento. O consentimento do titular dos dados para o processamento de seus dados pessoais por um sistema de IA pode ter dois objetos, incluindo tais dados em um conjunto de treinamento, ou fornecendo-os a um modelo algorítmico destinado a fornecer respostas individualizadas. • Artigo 6º1(b-e): necessidade. Realizar ou inserir (a pedido) em um contrato, para o cumprimento de uma obrigação legal, ou proteger interesses vitais, ou desempenhar uma função de interesse público ou no exercício da autoridade pública. Portanto, tais bases legais não se aplicam ao processamento baseado em IA independentemente de tais objetivos. • Artigo 6º1(f): Interesses legítimos. Ou seja, necessidade do processamento para os fins dos interesses legítimos perseguidos pelo controlador ou por um terceiro parte, exceto quando tais interesses são anulados pelos interesses ou direitos e liberdades do titular dos dados que requerem proteção de dados pessoais. • Artigo 6º4: reaproveitamento. Uma das questões mais importantes em relação a IA diz respeito ao reaproveitamento de dados pessoais. A ideia geral é declarada no Artigo 5 (1, b) como uma articulação do princípio da limitação da finalidade. Os dados pessoais não serão processados posteriormente em uma forma que é incompatível com os propósitos originais. É, no entanto, presumida, de acordo com 5 (1, b) quando o processamento posterior se destina a propósitos relativos a arquivamento, pesquisa científica ou histórica ou estatística, ou ainda, a processamento posterior para fins de arquivo de interesse público, científico ou histórico para fins de investigação 92 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp.44-49. 93 A Diretiva 95/46/CE constitui o texto de referência, a nível europeu, em matéria de proteção dos dados pessoais. Institui um quadro regulamentar a fim de estabelecer um equilíbrio entre um nível elevado de proteção da vida privada das pessoas e a livre circulação de dados pessoais no interior da União Europeia (UE). Para este efeito, fixa limites estritos à recolha e à utilização de dados pessoais e solicita a criação, em cada EstadoMembro, de um organismo nacional independente encarregado do controlo de todas as atividades relacionadas com o tratamento de dados pessoais. In https://eur-lex.europa.eu/legal-content/PT/LSU/?uri=celex:31995L0046. 94 Art. 8º, I: Todas as pessoas têm direito à protecção dos dados de carácter pessoal que lhes digam respeito. In https://www.europarl.europa.eu/charter/pdf/text_pt.pdf. 95 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp. 49-53. 27 ou estatísticos, nos termos do n.º 1 do artigo 89º. A compatibilidade também é presumida quando o novo processamento for baseado em lei, por razões de interesse público 96 . Ressalta-se que o reaproveitamento é fundamental no domínio do big data e IA, uma vez que a construção de conjuntos de big data frequentemente envolve a fusão de dados que foram coletados separadamente para finalidades diferentes. Por conseguinte, dois requisitos são necessários para que o reaproveitamento seja permissível: o novo processamento deve ser compatível com a finalidade para a qual os dados foram coletados, e deve ter uma base legal. Ao aplicar esses critérios para a reutilização de dados com base em IA, devemos distinguir se os dados são reutilizados para fins estatísticos ou para perfis 97 . O artigo 9.º do RGPD aborda os chamados dados sensíveis: “é proibido o tratamento de dados pessoais que revelem a origem racial ou étnica, as opiniões políticas, as convicções religiosas ou filosóficas, ou a filiação sindical, bem como o tratamento de dados genéticos, dados biométricos para identificar uma pessoa de forma inequívoca, dados relativos à saúde ou dados relativos à vida sexual ou orientação sexual de uma pessoa” 98 . Esses dados pessoais, a depender do tratamento, podem afetar em maior medida os titulares, expondo-os a graves riscos e desafios. O primeiro desafio está relacionado à reidentificabilidade, pois com a utilização da IA e big data , pedaços de dados que aparentemente não seriam identificados podem ser reidentificados e reconectados aos indivíduos em questão, o que pode ter consequências graves para o titular dos dados. O segundo desafio está conectado à inferência. Por meio da IA e do big data , pode ser possível vincular comportamento observável e características conhecidas de indivíduos, como por exemplo, atividades online , compras, etc., e a dados sensíveis não observáveis, como os descritos no artigo acima referido. Tais inferências podem expor os indivíduos interessados à discriminação ou manipulação 99 . O artigo 12º do RGPD trata da transparência. Contudo, a complexidade do processamento baseado em IA e o facto de que tal processamento não pode ser completamente antecipado, por se tratar de aprendizagem de máquina, torna-se demasiadamente difícil garantir transparência. Os artigos 13º e 14º do RGPD trazem os deveres de informação, que exigem que 96 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp. 49-53. 97 Idem, ibidem , p.59. 98 Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016. In https://eur-lex.europa.eu/legalcontent/PT/TXT/?uri=CELEX%. 99 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, p.15. 28 o titular dos dados seja informado sobre as finalidades do processamento para o qual os dados pessoais se destinam, bem como, a base jurídica para o tratamento 100 . Quando os dados são processados para fins que não possam ser previstos no momento em que os dados foram coletados (no uso de machine learning , por exemplo) as informações devem ser fornecidas antes do novo processamento, onde o controlador pretende continuar a processar os dados pessoais para uma finalidade diferente do que aquele para o qual os dados pessoais foram coletados. Essa informação só é dispensada quando o cumprimento é impossível e requer um esforço desproporcional ou prejudica a realização do objetivo do processamento. Os artigos 13º 2(f) e 14º 2(g) do RGPD abordam um aspecto fundamental das aplicações de IA, ou seja, decisão automatizada, requisito que tem sido relacionado com a questão mais geral e fundamental de explicar a IA sistemas e seus resultados 101 . O artigo 22º, 4, este introduz uma proibição, limitada por uma exceção, de fundamentar decisões automatizadas sobre dados sensíveis, ou seja, as categorias especiais estabelecidas no artigo 9º 1. Portanto, a IA desafia a proibição de processamento de dados confidenciais, pois, dados confidenciais podem ser inferidos de dados não confidenciais. Nesse caso, a inferência de dados confidenciais deve contar como um processamento de dados confidenciais e, portanto, teriam que ser considerados ilegais, a menos que sejam cumpridas as condições do artigo 9º. Há também o facto de os dados não confidenciais funcionarem como proxies para dados confidenciais correlacionados a eles, embora os últimos não sejam inferidos pelo sistema. Por exemplo, o local de residência pode atuar como um proxy para etnia. Nesse caso, pode ocorrer uma discriminação ilegal por uso de dado sensível 102 . Por fim, como já explicado, a IA não é explicitamente mencionada no RGPD, mas muitas de suas disposições são relevantes para IA, principalmente no que tange à sua limitação da finalidade, minimização de dados, o tratamento especial dos chamados dados sensíveis, a limitação de decisões automatizadas, bem como a implantação total da IA e do big data . Pois, este último envolve grandes quantidades de dados relativos aos indivíduos e suas relações sociais. Assim sendo, as disposições do RGPD sobre medidas preventivas e aquelas relativas à privacidade não impedem o desenvolvimento de sistemas de IA, se corretamente 100 Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016. In https://eur-lex.europa.eu/legalcontent/PT/TXT/?uri=CELEX%. 101 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, pp. 54-56. 102 Idem, ibidem p. 62. 29 projetados e implementados. Caberá aos técnicos e juristas, em particular aqueles que desempenham o papel de responsáveis pela proteção de dados, fornecer soluções adequadas para o cumprimento da proteção de dados e também na proposição e promoção de normas adequadas 103 . 1.1. Propostas de Regulamento em Matéria de Inteligência Artificial na União Europeia A Comissão Europeia em Junho de 2018, criou um Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial com o intuito de elaborar Diretrizes para alcançar uma IA de confiança, e que deve compreender os seguintes requisitos principais: agência humana e supervisão, robustez técnica e segurança, privacidade e governança de dados, transparência, diversidade, não discriminação e justiça, bem-estar ambiental e social e prestação de contas 104 . Tais princípios não se limitam à privacidade de dados e abordam um conjunto mais amplo de preocupações decorrentes de IA 105 . Em 21 de abril de 2021 a Comissão Europeia apresentou o Aritificial Intelligence Act (AIA) , a Proposta de Regulamento do Parlamento e do Conselho Europeu estabelecendo regras harmonizadas sobre Inteligência Artificial e alteração de Atos Legislativos. A Proposta tem implicações importantes na proteção de dados e tem como base jurídica o artigo 114.º do Tratado sobre o Funcionamento da União Europeia, que prevê a adoção de medidas para assegurar o estabelecimento e o funcionamento do mercado interno 106 . Resumidamente e limitado à pesquisa em questão, a Comissão apresenta uma proposta de quadro regulamentar em matéria de inteligência artificial com os seguintes objetivos específicos 107 : 103 Recommendation CM/Rec (2020)1 of the Committee of Ministers to member States on the human rights impacts of algorithmic systems. Adopted by the Committee of Ministers on 8 April 2020 at the 1373rd meeting of the Ministers’ Deputies. In: https://rm.coe.int/09000016809e1154, pp. 01-03. 104 Diretrizes do Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial, criado pela Comissão Europeia em Junho de 2018. In https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai, pp.2-4. 105 Artificial Intelligence and Data Protection. How the GDPR Regulates AI Centre for Information Policy Leadership (CIPL). March 2020. In https://www.informationpolicycentre.com/uploads/5/7/1/0/57104281/cipl-hunton_andrews_kurth_legal_note__how_gdpr_regulates_ai__12_march_2020_.pdf 106 EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). 18 June 2021. In: https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-jointopinion/edpb-edps-joint-opinion-52021-proposal_en. 107 Idem, ibidem , pp.8-13. 30 • garantir que os sistemas de IA colocados no mercado da União e utilizados sejam seguros e respeitem a legislação em vigor em matéria de direitos fundamentais e valores da União; • garantir a segurança jurídica para facilitar os investimentos e a inovação no domínio da IA; • melhorar a governação e a aplicação efetiva da legislação em vigor em matéria de direitos fundamentais e dos requisitos de segurança aplicáveis aos sistemas de IA; • facilitar o desenvolvimento de um mercado único para as aplicações de IA legítimas, seguras e de confiança e evitar a fragmentação do mercado. A proposta visa uma abordagem baseada no risco para a regulamentação dos sistemas de IA, dividindo as aplicações de IA em quatro categorias diferentes com base no grau de risco: as que apresentam risco inaceitável, alto risco, risco limitado e risco baixo ou mínimo. As aplicações na primeira categoria devam ser totalmente proibidas e as demais regulamentadas 108 : 1. Risco inaceitável: são situações proibidas, como por exemplo, pontuação social baseada em IA para fins gerais feita por autoridades públicas; sistemas de identificação biométrica remota em tempo real em espaços acessíveis ao público para fins de aplicação da lei (com as devidas exceções); 2. Alto risco: riscos para a saúde, segurança ou direitos fundamentais dos indivíduos; esses sistemas de IA de alto risco são permitidos sujeitos ao cumprimento de requisitos obrigatórios e avaliação de conformidade; 3. Risco limitado: são aqueles permitidos mas sujeitos às obrigações de informação, ou seja, notificar os humanos que eles estão interagindo com sistemas de IA ou que estão expostos a sistemas de reconhecimento; 4. Risco baixo ou mínimo: sem restrições, apenas um código de conduta voluntário é proposto. Tanto a EDPB quanto a EDPS apelam a uma proibição geral de qualquer utilização de IA com o intuito de reconhecimento automático de características humanas em espaços acessíveis ao público, como rostos, impressões digitais, DNA, voz e outros sinais biométricos ou comportamentais em qualquer contexto. Outra proibição é em relação a sistemas de IA que 108 EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). 18 June 2021. In: https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-jointopinion/edpb-edps-joint-opinion-52021-proposal_en, pp.8-13. 31 categorizam indivíduos em grupos de acordo com a etnia, gênero, orientação política ou sexual, ou outros motivos de discriminação, nos termos do artigo 21.º da Carta 109 . As discussões sobre o Artificial Intelligence Act demonstram os desafios envolvidos na busca do equilíbrio entre os direitos humanos com a necessidade de promover a inovação tecnológica e os benefícios econômicos e sociais que a acompanham na União Europeia 110 . 1.2 Ética e direitos humanos no âmbito da Inteligência Artificial A abordagem baseada em direitos para a proteção de dados, tem os dados como uma questão de proteção de direitos individuais. Em uma primeira linha, a preocupação inclui os direitos fundamentais à privacidade e proteção de dados, que são conectados com os princípios fundamentais de dignidade, liberdade de pensamento, não discriminação, etc. Já a outra linha de abordagem é constituída pelos direitos de proteção de dados, de que trata o RGPD, como o poder de consentir e retirar o consentimento, o direito à informação, o acesso, etc 111 . Um dos maiores problemas envolvendo essa temática de IA e direitos é como conciliar a inovação da IA com direitos individuais e valores sociais e, ainda assim, garantir a adoção de regras e princípios de proteção de dados 112 . Essa discussão acerca das tecnologias de IA e seu impacto na sociedade, fez com que a UE criasse uma abordagem mais centrada no ser humano, com o intuito de que o uso da IA respeite valores e princípios éticos. Em uma de suas ações, a Presidente eleita da Comissão Europeia, Ursula Von Der Leyen, anunciou que a Comissão deveria apresentar novas propostas legislativas para uma abordagem às implicações humanas e éticas da IA. Tal documento foi preparado pelo Grupo de Peritos de Alto Nível da Comissão em IA, composto por 52 especialistas independentes, que visa oferecer orientações sobre como promover e assegurar o desenvolvimento de sistemas de IA éticos na UE 113 . 109 EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). 18 June 2021. In: https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-jointopinion/edpb-edps-joint-opinion-52021-proposal_en, p.11. 110 Idem , Ibidem. 111 Diretrizes do Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial, criado pela Comissão Europeia em Junho de 2018. In https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai, pp. 01-55. 112 The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf, p.73. 113 Diretrizes do Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial, criado pela Comissão Europeia em Junho de 2018. In https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai 38 presunção de inocência, o direito de ser informado imediatamente da causa e natureza de uma acusação, o direito a um julgamento justo e o direito de se defender pessoalmente. O possível uso de sistemas algorítmicos no contexto da justiça tem sido destacado como um setor em que esses sistemas podem entrar em conflito com direitos protegidos constitucionalmente 138 . Todas essas garantias e cuidados que se deve ter em relação à matéria penal estão também relacionados com a preocupação com os meios de obtenção de prova, que, no uso da IA, são conseguidas por um algoritmo usado como meio de adquirir a evidência. Por conseguinte, a qualidade das evidências digitais depende do software adotado, pois, a presença de erros em seu projeto e uso afetará diretamente o resultado, o que é fundamental para a validade da prova. Como ressalta Francesca Palmiotto, a defesa deve saber qual o software e como foi utilizado 139 . Fazendo uma comparação com as leis que regulamentam a admissibilidade das provas, antes de excluir ou declarar provas inadmissíveis, a defesa deve ser capaz de reclamar de possível violação da lei. E, mesmo que as provas sejam declaradas admissíveis, a defesa ainda pode examiná-las. Portanto, mesmo nos casos do uso de IA, a defesa deve ter acesso às informações sobre o algoritmo através do qual as provas foram obtidas. Ocorre que, é preciso que a defesa possa exercer esse direito, porém os algoritmos usados e seu código-fonte permanecem ocultos. É a chamada “opacidade algorítmica”, ou seja, o não conhecimento que pode referir-se à falta de acesso à informação ou à sua compreensibilidade. No primeiro, o acesso à informação pode ser impedido por direitos autorais, por segredos comerciais, etc. Já em relação à possibilidade de compreensão das informações, nota-se a falta de competência técnica do defensor ou, de forma mais geral, a falta de compreensão do próprio sistema, afetando assim, o julgamento justo 140 . A decisão ou avaliação criminal tem algo que, por si só, parece irreconciliável com o enorme potencial da IA, pois o problema é ter uma decisão lógica, cognitiva e psicológica. Nesse caso é o programador que prepara não apenas os algoritmos e a seleção de dados e informações a serem usados, mas também os critérios de avaliação que fazem o resultado de uma elaboração poder ser considerada como uma decisão. Não se trata apenas da transparência do sistema, da 138 Carta ética europeia para a utilização de inteligência artificial nos sistemas de justiça e ambientes relacionados. In https://rm.coe.int/carta-eticatraduzida-para-portugues-revista/168093b7e0 139 Palmiotto, Francesca. Giustizia penale e nuove tecnologie. La legislazione penale. 2020. Captatori Informatici e Diritto alla Difesa: Il Caso Exodus. In: http://www.lalegislazionepenale.eu/wp-content/uploads/2020/10/Palmiotto-Revisione-Finale.pdf, p.18. 140 Idem, ibidem , p.19. 39 verificabilidade dos critérios adotados, da correção e completude dos dados e informações, da confidencialidade. É uma questão de entender quais variáveis podem ou devem contribuir para a formação de um “produto” que o sistema pode aceitar como uma decisão criminal 141 . No que diz respeito ao combate à criminalidade grave e à prevenção de ameaças graves à segurança pública, um Estado Membro também pode prever a retenção direcionada desses dados, bem como sua retenção acelerada, mas tal interferência nos direitos fundamentais deve ser acompanhada por salvaguardas eficazes e ser revista por um tribunal ou por uma autoridade administrativa independente 142 . Em 6 de outubro de 2021, o Parlamento Europeu adotou uma resolução (Resolução 405) a respeito do uso da inteligência artificial no direito penal e a sua utilização pelas autoridades policiais e judiciárias em casos penais ( Artificial intelligence in criminal law and its use by the police and judicial authorities in criminal matters ) 143 . A resolução aponta para o risco de viés algorítmico em aplicações de IA e enfatizam que a supervisão humana e fortes poderes legais são necessários para prevenir a discriminação por IA. De acordo com o texto, os sistemas de identificação baseados em IA identificam grupos étnicos minoritários, pessoas LGBTI, idosos e mulheres, o que é preocupante no contexto da aplicação da lei e do judiciário. Para garantir que os direitos fundamentais sejam respeitados ao usar essas tecnologias, os algoritmos devem ser transparentes, rastreáveis e documentados 144 . No sentido de respeitar a privacidade e a dignidade humana, deve-se proibir permanentemente o reconhecimento automatizado de indivíduos em espaços públicos, ressalvando que os cidadãos apenas devem ser monitorizados quando suspeitos de um crime. O Parlamento solicita também a proibição do uso de bancos de dados privados de reconhecimento facial e a oposição ao policiamento preditivo baseado em dados comportamentais, bem como a proibição de sistemas de pontuação social, que procuram avaliar a fiabilidade dos cidadãos com base no seu comportamento ou personalidade. Ainda, o reconhecimento automatizado não deve ser usado para controlo de fronteira ou em espaços públicos 145 . 141 Parodi, Cesare; Sellaroli, Valentina. Sistema Penale e Intelligenza Artificiale: Molte Speranze e Qualche Equivoco. in Dir. pen. cont., fasc. 1/2017, In: https://archiviodpc.dirittopenaleuomo.org/upload/6695-parodisellaroli2019a.pdf, p.55. 142 Idem, ibidem . 143 https://www.europarl.europa.eu/news/pt/press-room/20210930IPR13925/use-of-artificial-intelligence-by-the-police-meps-oppose-masssurveillance 144 Resolução do Parlamento Europeu, de 6 de outubro de 2021, sobre a inteligência artificial no direito penal e a sua utilização pelas autoridades policiais e judiciárias em casos penais. In https://www.europarl.europa.eu/doceo/document/TA-9-2021-0405_PT.html 145 Idem, ibidem. 40 Em suma, devido a enorme extensão dos impactos na vida privada e social dos cidadãos, a IA se enquadra em diferentes regimes jurídicos. Portanto, é necessário um amplo debate envolvendo autoridades políticas e administrativas, bem como a sociedade civil. Este debate precisa abordar as questões sobre quais padrões devem ser aplicados ao processamento de dados pessoais de IA, especialmente para garantir a aceitabilidade, justiça e razoabilidade das decisões sobre os indivíduos 146 . 146 Sartor, Giovanni. The impact of the General Data Protection Regulation (GDPR) on artificial intelligence . https://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_STU(2020)641530, p.80. 41 Capítulo 3: Reflexos dos avanços tecnológicos na aplicação do Direito Penal 1. O uso do Big Data no contexto do policiamento preditivo Primeiramente, ao utilizar big data e algoritmos é necessário avaliar se tais usos são compatíveis com os direitos individuais, pois, além de ajudar a melhorar a eficiência dos sistemas judiciais, a IA deve reforçar as garantias do Estado de direito 147 . O desenvolvimento de sistemas de IA baseados em machine learning pressupõe a criação de enormes conjuntos de dados, ou seja, o big data . A integração entre IA e big data pode trazer muitos benefícios para o progresso econômico, científico e social, mas também gera sérios riscos para os indivíduos e a sociedade, tais como vigilância intensificada, controlo, manipulação, injustiça e discriminação. Mesmo quando o processamento de dados não é discriminatório e é baseado em tecnologias confiáveis, pode levar a níveis inaceitáveis de vigilância e controlo 148 . Como já explicado no primeiro capítulo, os sistemas de IA baseados em conhecimento funcionam com uma grande base de dados, os chamados big datas , que são sempre alimentados com novas informações. São nessas bases de dados que o conhecimento obtido é representado em uma linguagem próxima da linguagem usada pelos humanos. O conhecimento é utilizado por inferência, que é capaz de interpretar o conteúdo da base de dados e fazer deduções lógicas com o intuito de levar a determinado resultado para justificar as conclusões a que se chega 149 . Os sistemas baseados em conhecimento têm três componentes fundamentais: a base de dados, o motor inferencial e as interfaces dirigidas ao usuário e ao desenvolvedor do software 150 . Os dados são essenciais para o desenvolvimento da IA, quanto mais dados disponíveis, mais a IA é capaz de melhorar a sua capacidade preditiva. Porém, em termos de proteção de dados, as principais dúvidas referem-se à análise dos dados usados por softwares preditivos. A justiça preditiva, que faz uso da IA, é um exemplo de aplicação algorítmica que é 147 Comissão Europeia para a eficácia da Justiça (CEPEJ). Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente , 2018). In https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0 148 Recommendation CM/Rec (2020)1 of the Committee of Ministers to member States on the human rights impacts of algorithmic systems. (Adopted by the Committee of Ministers on 8 April 2020 at the 1373rd meeting of the Ministers’ Deputies. In: https://rm.coe.int/09000016809e1154, p.08. 149 Iaselli, Michele. X-LAW: la polizia predittiva è realtà ? Altalex, 28/11/2018. In: https://www.altalex.com/documents/news/2018/11/28/x-lawla-polizia-predittiva 150 Idem, ibidem 42 alimentada com enorme quantidade de dados. E é na utilização desses algoritmos que deve ser utilizado o princípio da precaução aplicado às políticas de avaliação dos riscos na utilização dos dados pessoais, empregando políticas preventivas para combater esses riscos 151 . Portanto, os sistemas inteligentes que trabalham com a justiça preditiva devem priorizar a transparência sobre as linhas de raciocínio seguidas para se chegar às conclusões, bem como a flexibilidade, ou seja, a capacidade de acompanhar modificações em suas bases de dados sem que isso influencie em suas inferências, além de se apoiar nas chamadas redes neuronais 152 . A IA não produz inteligência por si só mas usa uma abordagem indutiva por meio de seus algoritmos, ou seja, é alimentada por um grande conjunto de dados, que são as entradas, e que possuem um conjunto de resultados possíveis, as saídas. Especificamente na justiça preditiva, a ligação ocorre entre os dados identificados na entrada e os dados identificados na saída, e que, ao final, são classificados. A confiabilidade do modelo depende da qualidade dos dados utilizados e da escolha da técnica de machine learning , que incluem as redes neuronais e o deep learning 153 . As abordagens preditivas na aplicação da lei por vezes dependem do processamento de dados que nem sempre estão relacionados ao crime, mas que têm como fontes empresas privadas que coletaram tais dados no contexto de sua atividade. E, por esse motivo, a eventual rotulagem de indivíduos como suspeitos pode levar a situações que requerem atenção tanto na proteção de dados como no direito à presunção de inocência 154 . O interesse pela IA se firma em diversos setores, inclusive no setor jurídico. São várias as soluções úteis que os juristas e operadores do direito propõem, em especial a chamada justiça preditiva, que é o foco do presente estudo. Como já dito, o estudo da IA é, sem dúvida, um dos campos da tecnologia da computação mais estudados atualmente. Além da tecnologia da computação, envolve filosofia, psicologia cognitiva, linguística, entre outros campos relacionados. E, como também já explicado, a inteligência artificial pode ser considerada como uma ciência que 151 Comissão Europeia para a eficácia da Justiça (CEPEJ). Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente, 2018. In https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0 152 Iaselli, Michele. X-LAW: la polizia predittiva è realtà? Altalex, 28/11/2018. In: https://www.altalex.com/documents/news/2018/11/28/x-lawla-polizia-predittiva 153 Comissão Europeia para a eficácia da Justiça (CEPEJ). Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente, 2018 . In https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0 154 Fuster, Gloria González. Artificial Intelligence and Law Enforcement. Impact on Fundamental Rights European Parliament's Committee on Civil Liberties, Justice and Home Affairs. In: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/656295/IPOL_STU(2020)656295_EN.pdf, p. 22. 43 desenvolve modelos computacionais de comportamento inteligente, para que os computadores possam realizar tarefas que exigiriam inteligência humana. Existem tipos diferentes de métodos de policiamento preditivo, tais como métodos de previsão de crimes ou previsão de locais e horários com risco aumentado de crime; métodos preditivos de infratores ou de identificar indivíduos em risco de ofender (ou reincidir) no futuro; métodos preditivos para prever vítimas de crimes, usados para identificar grupos ou indivíduos que têm probabilidade de se tornarem vítimas de crime; e métodos para criar perfis semelhantes aos do passado dos infratores. Todos esses métodos se baseiam em dados algorítmicos ou análise dos grandes dados, ou big data , no campo da inteligência artificial 155 . O chamado policiamento preditivo é utilizado para prevenir tipos de infrações de menor potencial ofensivo, tais como furto, pois é capaz de determinar com precisão onde e quando estas infrações podem ser cometidas e de reproduzir estas informações num mapa geográfico sob a forma de pontos críticos que são monitorados em tempo real. Alguns softwares utilizam histórico de localização de crimes, relatórios policiais, geolocalização, etc 156 . O processamento automatizado de dados pessoais com o objetivo de produzir conhecimento por meio da inferência de correlações de dados na forma de perfis que podem posteriormente ser aplicados como base para a tomada de decisões, é chamado de “ profiling ”. Ou seja, é um conjunto de dados correlacionados que representam um sujeito, que pode ser individual ou coletivo. Por meio de tecnologias de IA e big data, os indivíduos podem estar sujeitos à vigilância em muitos mais casos e contextos com base em um conjunto mais amplo de características pessoais. Ao correlacionar os dados sobre os indivíduos às classificações correspondentes e previsões, a IA aumenta o potencial de criação de perfil, ou seja, para inferir informações sobre indivíduos ou grupos e adotando avaliações e decisões 157 . Em relação ao RGPD, esse não exclui a tomada de decisão automatizada, uma vez que oferece amplas exceções e permite inferências com base em dados pessoais, incluindo perfis. Entretanto, deve-se observar as condições corretas e adotar as salvaguardas apropriadas. As disposições do RGPD sobre medidas preventivas e, em particular, aquelas relativas à 155 Fuster, Gloria González. Artificial Intelligence and Law Enforcement . Impact on Fundamental Rights European Parliament's Committee on Civil Liberties, Justice and Home Affairs. In: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/656295/IPOL_STU(2020)656295_EN.pdf, p. 22. 156 Comissão Europeia para a Eficácia da Justiça (CEPEJ). Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente , 2018. In: https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0 157 Sartor, Giovanni. The impact of the General Data Protection Regulation (GDPR) on artificial intelligence . In https://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_STU(2020)641530, p.23. 44 privacidade, desde a concepção e por padrão, também não se deve impedir o desenvolvimento de aplicativos de IA se corretamente projetados e implementados 158 . Por fim, ressalta-se mais uma vez, que é indiscutível a relevância que a correta seleção de dados tem para construir e treinar um modelo matemático com qualidade e origem não manipulada, configurando assim, uma ferramenta útil e confiável. Além disso, a escolha dos dados, bem como as formas como são avaliados pelo modelo e sua qualidade, devem ser objetos de comunicação transparente aos usuários 159 . 1.1. Machine Bias Machine bias, Algorithm bias ou Bias é um viés, um preconceito algorítmico em relação a uma pessoa ou posição. Algoritmos não são imparciais. O viés algorítmico pode surgir de várias maneiras nos sistemas de IA que utilizam machine learning e big data , especialmente no uso preditivo. Geralmente ocorre na coleta dos dados em grandes e indiscriminadas quantidades, e que, junto com o treinamento ou personalização de quem criou o software podem resultar em um sistema de IA que demonstra preconceito em seus resultados. Vieses podem ou não ser intencionais, mas, em alguns casos, o preconceito pode gerar discriminação ou resultado injusto 160 . O ponto mais delicado da questão sobre o uso de modelos preditivos no campo judicial não é em relação ao algoritmo em si e nem ao tipo de tarefas atribuídas à ferramenta de IA. Certamente, algoritmos sem os dados não servem, pois desenvolvem informações de acordo com um determinado modelo matemático e com as informações contidas nesses dados. É, portanto, na quantidade e na qualidade dos dados que a inteligência artificial e todas as ferramentas matemáticas baseadas em algoritmos modelam uma determinada realidade para obter respostas mais ou menos probabilísticas para interpretar e prever. Contudo, a qualidade dos dados depende de sua origem e relevância para a realidade a ser representada e o propósito a ser alcançado. Muitas vezes, os desenvolvedores ou usuários desses modelos não têm dados diretos 158 Sartor, Giovanni. The impact of the General Data Protection Regulation (GDPR) on artificial intelligence. In https://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_STU(2020)641530, p.23. 159 Parodi di Cesare, Sellaroli Valentina. Sistema Penale e Intelligenza Artificiale: molte speranze e qualche equivoco . Diritto Penale Contemporaneo. Fascicolo 6/2019. In: https://archiviodpc.dirittopenaleuomo.org/upload/6695-parodisellaroli2019a.pdf, p.69. 160 Diretrizes do Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial, criado pela Comissão Europeia em Junho de 2018. In https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai, p.36. 45 para a construção do modelo e então eles os substituem por dados de proxy ou indiretos 161 . Muitas das preocupações levantadas sobre o uso de algoritmos na justiça criminal referem-se ao viés racial indireto em modelos que preveem reincidências. Os sistemas algorítmicos utilizam grandes dados que dependem da priorização de certos valores sobre outros. A discriminação algorítmica não pode ser evitada ou mitigada apenas pela regulamentação dos conjuntos de dados, uma vez que também pode ser desencadeada pelo projeto dos algoritmos ou pelo projeto do sistema que os implementa 162 . O Livro Branco sobre Inteligência Artificial publicado em 2020, observa que o processamento de dados pessoais relacionados à IA podem desencadear riscos aos direitos fundamentais que afetam diretamente o direito à proteção de dados pessoais e a privacidade. Como exemplo, algoritmos usados na IA que podem apresentar preconceitos de natureza sexista e racial que são riscos inerentes a qualquer atividade humana, que não é imune a erros. Contudo, no âmbito da IA pode ter um efeito muito maior, afetando e discriminando muitas pessoas 163 . Certamente que, em termos de velocidade e volume de dados processados, a tomada de decisão feita por meio dos algoritmos tem enormes vantagens sobre alguns tipos de tomada de decisão humana. Contudo, os algoritmos podem ter embutidos preconceitos quando se usam os dados sensíveis, que são dados protegidos e que não podem ser utilizados, salvo o disposto em lei 164 . Ou seja, em alguns modelos preditivos, uma avaliação errada que o algoritmo forneça e que alimentará ainda mais o banco de dados e os recursos de avaliação da máquina, aumenta a margem de erro, se afastando do modelo da realidade e aumentando a discriminação 165 . Algumas iniciativas para evitar os vieses estão surgindo e concentram-se em processos e métodos, tais como “ data sheets for data sets ” e “ model cards for model reporting ”, que trazem transparência à construção, testes de conjuntos de dados, auditorias para verificar a imparcialidade dos sistemas, além de técnicas de explicabilidade que podem ajudar a identificar os factores levados em conta em uma decisão, ou seja, se os dados utilizados refletem vieses 166 . 161 Parodi di Cesare, Sellaroli Valentina. Sistema Penale e Intelligenza Artificiale: molte speranze e qualche equivoco . Diritto Penale Contemporaneo. Fascicolo 6/2019. In: https://archiviodpc.dirittopenaleuomo.org/upload/6695-parodisellaroli2019a.pdf, p.68. 162 Fuster, Gloria González. Artificial Intelligence and Law Enforcement. Impact on Fundamental Rights European Parliament's Committee on Civil Liberties, Justice and Home Affairs . In: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/656295/IPOL_STU(2020)656295_EN.pdf, p. 42. 163 White Paper on Artificial Intelligence: A European approach to excellence and trust 19 February 2020. In https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en, p.11. 164 Artigo 9º do Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016. 165 Artigo 9º do Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016 166 In: https://www.mckinsey.com/featured-insights/artificial-intelligence/tackling-bias-in-artificial-intelligence-and-in-humans 46 Embora o uso de algoritmos seja muito útil, ele não é capaz de considerar o contexto social nem a forma como os dados foram coletados. Assim sendo, é importante reconsiderar em quais casos o julgamento humano deve ser preterido em relação ao uso do julgamento algorítmico. 1.2. Análise algorítmica do perfil criminológico A identificação dos chamados pontos quentes ( hotspots ) em que se supõe que que os agrupamentos de crimes anteriores persistirão no futuro, trata-se, na verdade, de policiamento preditivo no sentido mais estrito e leva a uma mudança no comportamento indutor do crime. A aplicação do policiamento preditivo não se baseia apenas no desenvolvimento de algoritmos, mas sim em uma análise multidisciplinar, principalmente ao analisar conceitos criminológicos por meio do estudo de teorias criminológicas. Algumas dessas teorias assumem que o crime é um processo previsível, segundo a qual os criminosos, assim como as vítimas, seguem certos padrões de comportamento estatisticamente verificáveis. A teoria das janelas quebradas, também é usada como base para o policiamento preditivo, pois a desordem social sinaliza o que o controlo social fraco promove o comportamento criminoso. Ou seja, as premissas criminológicas do policiamento preditivo são extensas e as abordagens estão intimamente ligadas 167 . Classificar o potencial criminoso de pessoas com base em gênero, raça, idade, religião, etnia, antecedentes não é nenhuma novidade, pois eram classificações usadas pelas teorias criminológicas das escolas positivistas dos séculos passados. A diferença está no uso dos algoritmos para fazer essa análise. Cesare Lombroso foi um dos fundadores da Escola Positiva no século XIX. Em seus estudos como médico psiquiatra, atribuiu ao criminoso certas características físicas e psicológicas comuns, influenciando estudiosos a realizarem pesquisas entre a morfologia humana e a ação delituosa. Sua obra principal foi L’uomo deliquente (O homem delinquente) que analisou milhares de reclusos de prisões da época 168 . 167 Verlag, Helbing Lichtenhahn. Monika Simmler (Hrsg.). Smart Criminal Justice - Der Einsatz von Algorithmen in der Polizeiarbeit und Strafrechtspflege. Basileia, 2021. In: https://www.helbing.ch/annotstream/9783719043971/PDF/Smart-Criminal-Justice.pdf?sq=27, pp.103145. 168 Molina, Antonio García-Pablos; Gomes, Luiz Flávio. Criminologia: introdução a seus fundamentos teóricos; introdução às bases criminológicas da Lei nº 9.099/95, Lei dos juizados especiais criminais. 5. ed. São Paulo: Revista dos Tribunais, 2006. 47 Para Lombroso o criminoso era um ser que já nascia delinquente, um doente imutável e que deveria ser afastado da sociedade antes de cometer qualquer delito, com o intuito de preservar a sociedade. Muito resumidamente, pode-se dizer que a Escola Positiva considera o criminoso como sujeito determinado ao crime, ou seja, o homem não é livre na sua vontade, pois, com base em seu determinismo biológico carrega certa hereditariedade da demência moral e, portanto, é predeterminado à prática de infrações 169 . E nessa mesma linha surge o direito do autor, que pune o indivíduo pelo que ele é não pelo facto que cometeu. Ou seja, o indivíduo era tido como criminoso em razão das suas características ou atitudes e deveria ser preso mesmo sem ter provas de que tivesse cometido algum crime. O direito do autor defende que o Estado pode proceder de dois modos contra os delinquentes: pode vê-los como pessoas que praticam crimes e devem ser punidas, ou como indivíduos que apresentam perigo e devem ser enfrentados preventivamente como perigo 170 . Desse pensamento surgem duas diferentes vertentes do Direito Penal. Uma que pune o facto e todas as garantias constitucionais, penais e processuais devem ser respeitadas, e a outra que pune o autor do facto por ser quem ele é, se revelando o inimigo do direito 171 . Mais tarde, outra teoria passou a ser estudada, a teoria do etiquetamento social, o chamado Labelling Approach . Para Baratta, “as maiores chances de ser selecionado para fazer parte da população criminosa aparecem concentradas nos níveis mais baixos da escala social. A falta de trabalho, falta de estudo e desestruturação familiar são características dos indivíduos pertencentes aos níveis mais baixos, e que na criminologia positivista e em boa parte da criminologia liberal contemporânea são indicativos como as causas da criminalidade, revelam ser, antes, conotações sobre a base das quais o status de criminoso é atribuído” 172 . Ou seja, com a estigmatização dos indivíduos, colocando-os perante a sociedade como criminosos, acabavam por contribuir para que estes indivíduos se tornassem criminosos. A sociedade evoluiu e junto com ela também os direitos humanos e as garantias fundamentais, mesmo que ainda sejam usadas leis com resquícios dos pensamentos das escolas positivistas e da teoria do direito penal do autor 173 . Como por exemplo Portugal, que é um dos 169 Lombroso, Cesare. O homem delinquente , São Paulo, Ícone, 2013, p. 211-212. 170 Jakobs, Günther; Meliá, Manuel Cancio. Direito penal do inimigo: noções e críticas , pp. 30-35. 171 Moraes, Alexandre Rocha Almeida de Moraes. Direito penal do inimigo . Enciclopédia jurídica da PUC-SP. Celso Fernandes Campilongo, Álvaro de Azevedo Gonzaga e André Luiz Freire (coords.). Tomo: Direito Penal. Christiano Jorge Santos (coord. de tomo). 1. ed. São Paulo: Pontifícia Universidade Católica de São Paulo, 2017. Disponível em: https://enciclopediajuridica.pucsp.br/verbete/419/edicao-1/direito-penal-do-inimigo 172 Baratta, Alessandro. Criminologia crítica e crítica do Direito Penal. Introdução à sociologia do Direito Penal . Rio de Janeiro: Revan, 2002, p.165. 173 Moraes, Alexandre Rocha Almeida de Moraes. Direito penal do inimigo . Enciclopédia jurídica da PUC-SP. Celso Fernandes Campilongo, Álvaro de 54 Os números finais de precisão das previsões utilizando o programa foram 84% em Nápoles, 87% em Salerno 87%, 89% em Prato 89%, 83% em Veneza, 82% em Parma e 86% em Módena 203 . 1.3.2 Eficácia do método preditivo Uma das críticas atribuídas ao método de previsão era a possibilidade de deslocamento do crime. Para isso, ocorreu uma verificação por meio de diagramas. Partiu-se de um ponto onde o fenômeno se concentrava antes do tratamento e foi sobreposto um diagrama que une vários pontos por onde a criminalidade poderia ter se deslocado após o a utilização do programa, tendo por base a morfologia e as características do território. Após um ano de utilização do programa observou-se a diminuição da criminalidade, bem como, a não ocorrência do aumento nos pontos alternativos. Ou seja, a criminalidade não se movimentou 204 . Nas figura abaixo, os locais indicados pelos círculos numerados, são os únicos locais possiveis para onde a criminalidade poderia ter se concentrado após o uso do XLAW 205 . Em comparação com cidades que não fizeram parte do estudo, houve significativa redução da criminalidade nas que utilizaram o software . Foram testadas e verificadas cidades com características sociodemográficas bem semelhantes, abaixo listadas 206 : 203 In https://www.xlaw.it/presentazione/ 204 Material privado cedido pelo autor, Elia Lombardo. 205 Idem, ibidem 206 Idem, ibidem. 55 Cidade Redução dos crimes % (no período do experimento) Número de crimes a menos Parma 43% 1.600 Taranto** 19,5% 577 Salerno 38,8% 642 Ferrara** 4,2% 192 Veneza 19,1% 923 Catania** 1,8% 243 ** cidades que não fizeram parte do experimento. Tabela 1: Percentagem de eficácia do programa 207 Nas cidades testadas, a produtividade da Polícia Estadual que adotou a tecnologia do XLAW foi significativamente superior, ou seja, os crimes foram cometidos em maior número nas áreas de competência das cidades que adotaram o método tradicional de prevenção, como demonstrado a seguir 208 . Figura 2: Porcentagem de eficácia do programa entre cidades que o utilizam versus cidades que não utilizam o programa. Onde se lê 66,76%, corresponde aos crimes que ocorreram nas cidades que utilizaram os métodos tradicionais de prevenção. E onde se lê 33,24% são nas cidades que utilizaram o programa 209 . A tabela a seguir mostra as cidades que fizeram parte do experimento, utilizando o modelo preditivo XLAW, bem como sua população, densidade populacional, território e índice de pressão criminal 210 . 207 Material privado cedido pelo autor, Elia Lombardo. 208 Idem, ibidem 209 Idem, ibidem. 210 Material privado cedido pelo autor, Elia Lombardo 56 Área Habitantes Densidade populacional Índice de pressão criminal Nápoles 117,27 km² 972.130 8.148,22 por km² 9 Salerno 59,85 km² 134.850 2.215,89 por km² 19 Prato 97,35 km² 185.089 2,004 por km² 9 Veneza 415,9 km² 259.809 624,69 por km² 12 Parma 260,6 km² 197.499 757,86 por km² 13 Módena 183,19 km² 186.307 1.017,02 por km² 15 Tabela 2: Tabela com dados das cidades parte do experimento 211 Já nas tabelas abaixo, demonstra-se, como resultado, a diminuição de alguns tipos de crimes (os crimes alvo do experimento), bem como da economia em dinheiro com a utilização do programa em cada cidade. Vejamos 212 : NÁPOLES Resultados obtidos com o uso do XLAW Furtos de bolsas -3,9% Roubos -23,9% Batedores de carteira -5% Furtos em casas e empresas -12,6% Furtos de veículos -1,6% Índice de pressão criminal -66,7% Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 555.800 Economia de quilômetros rodados pela Polícia 61% Economia de combustível utilizado pela Polícia € 33.580 Tabela 3: Tabela com resultado de Nápoles SALERNO Resultados obtidos com o uso do XLAW Furtos de bolsas -44,2% Roubos -48,9% Batedores de carteira -19,5% Furtos em casas e empresas -21,2% Furtos de veículos -1,7% Índice de pressão criminal -36,8% 211 Material privado cedido pelo autor, Elia Lombardo. 212 Idem, ibidem 57 Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 101.400 Economia de quilômetros rodados pela Polícia 47,8% Economia de combustível utilizado pela Polícia € 80.300 Tabela 4: Tabela com resultado de Salerno PRATO Resultados obtidos com o uso do XLAW Furtos de bolsas -10% Roubos -5% Batedores de carteira -21% Furtos em casas e empresas -10% Furtos de veículos -28% Índice de pressão criminal -55,6% Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 522.600 Economia de quilômetros rodados pela Polícia 40,9% Economia de combustível utilizado pela Polícia € 75.920 Tabela 5: Tabela com resultado de Prato VENEZA Resultados obtidos com o uso do XLAW Furtos de bolsas -23,8% Roubos -15,5% Batedores de carteira -1% Furtos em casas e empresas -22,8% Furtos de veículos -24,3% Índice de pressão criminal -50% Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 134.800 Economia de quilômetros rodados pela Polícia 37% Economia de combustível utilizado pela Polícia € 54.020 Tabela 6: Tabela com resultado de Veneza 58 PARMA Resultados obtidos com o uso do XLAW Furtos de bolsas -44,2% Roubos -15,4% Batedores de carteira -5,4% Furtos em casas e empresas -25,8% Furtos de veículos -30,6% Índice de pressão criminal -50% Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 303.800 Economia de quilômetros rodados pela Polícia 40,9% Economia de combustível utilizado pela Polícia € 75.920 Tabela 7: Tabela com resultado de Parma MÓDENA Resultados obtidos com o uso do XLAW Furtos de bolsas -6,4% Roubos -10,1% Batedores de carteira -6% Furtos em casas e empresas -14% Furtos de veículos -5,9% Índice de pressão criminal -25% Resultados econômicos Economia para a cidade com base nos resultados de prevenção € 36.300 Economia de quilômetros rodados pela Polícia 40,9% Economia de combustível utilizado pela Polícia € 68.620 Tabela 8: Tabela com resultado de Módena Assim sendo, conclui-se que o estudo do XLAW baseia-se principalmente na aplicação de estratégias de controlo territorial, bem como em análises criminológicas anteriores, capazes de simular situações futuras, colocando a polícia em uma posição antecipada dos movimentos (prevenção) ao interromper as condições com alta probabilidade de determinar os casos que originariam o evento. Ou seja, é um modelo de avaliação de risco baseado na lógica do uso de " big data ", sendo possível prever certos tipos de crimes urbanos que têm a característica de se repetirem no tempo e no espaço, desde que se consiga definir e implementar um método de previsão adequado com base na elevada fiabilidade e precisão das elaborações do modelo 59 preditivo desenvolvido 213 . É facto que o uso indiscriminado e muitas vezes indevido da inteligência artificial, em especial na área da segurança pública, seja preocupante, pois o uso de big data e IA podem interferir seriamente na privacidade de dados e liberdade. E a preocupação é tamanha que, alguns cientistas e pesquisadores peticionaram à comunidade científica internacional para pararem de utilizar o policiamento preditivo. Contudo, esse não é o caso do software XLAW, pois o programa italiano foi desenvolvido e implementado utilizando a IA, mas não sendo esta ferramenta um factor determinante. Não utiliza dados sensíveis, se baseando nos tipos de crimes objetivamente e não nos autores dos crimes 214 . O experimento que ocorreu na Itália supera essas questões críticas, pois antes de tudo o sistema não visa prender os autores, mas criar um sistema de avaliação de risco adequado e, portanto, de maior prevenção, que é a primeira tarefa das instituições para com os cidadãos. Na verdade o XLAW não recolhe dados pessoais, mas apenas dados sobre acontecimentos e dados da dinâmica sócio urbana, sendo possível traçar números que não dizem respeito ao aspecto subjetivo, mas sim ao aspecto objetivo do local onde ocorrem 215 . Diferentemente de outros programas de policiamento preditivo que fornecem dados aos seus algoritmos (maioria das vezes dados sensíveis) que pode acabar resultando em um viés algoritmico. Esses tipos de programas analisam dados referentes aos cidadãos e não aos crimes em si. Como já anteriormente explicado, para evitar esse tipo de viés o software italiano não foi elaborado apenas por engenheiros de computação, mas também por especialistas em criminologia, sociólogos, urbanistas, além de não ter colocado o infrator como o centro do problema, mas sim considerado as condições estruturais e sociais do contexto local de onde ocorrem os crimes. Assim sendo, foi possível a criação de um modelo preditivo que leva em conta todo o contexto, condições socioeconômicas, tipos de vítimas, horários, época do ano, datas e não utilizando o aspecto subjetivo, que é a análise do infrator 216 . Os objetivos do programa XLAW não eram de resolver a criminalidade em geral, mas os crimes recorrentes diários que mais preocupam os cidadãos, além de não identificar sujeitos, pois, nesse caso, teria o risco de tornar alvo grupos de sujeitos ou etnias diferentes, classe social ou raça. Também não era o objetivo a militarização do território para não ocorrer em 213 In https://www.xlaw.it/presentazione/. Pesquisa realizada em 20/09/2020. 214 https://www.sicurezza4p.it/blog/index.asp?Q=HD1Q56756E0EG2PNB79N 215 Resposta de Elia Lombardo ao e-mail enviado pela autora da presente dissertação. 216 In: https://www.sicurezza4p.it/blog/index.asp?Q=HD1Q56756E0EG2PNB79N 60 discriminação de determinadas áreas ou lugares com pontos críticos. O objetivo do programa era valorizar a prevenção ao construir um modelo de avaliação de risco utilizando a inteligência artificial com limites éticos respeitados, com o intuito de poder construir um modelo de ação de controlo estratégico e uma visão restaurativa do dano e probabilística de risco 217 . 1.4. A utilização dos softwares de policiamento preditivo e o impacto no Processo Penal Algoritmos estão sendo projetados para prever crimes, automatizar processos judiciais e prever reincidências. Atualmente, observa-se uma mudança de paradigma no trabalho policial provocada pelo policiamento preditivo, passando o foco da acusação para a prevenção do crime. Esses aplicativos exibem um certo nível de inteligência algorítmica, pois modelam áreas de risco a partir de dados anteriores 218 . Vários são os sistemas de IA que podem ser aplicados no direito penal e utilizados no processo penal, tais como, policiamento preditivo, sistemas de identificação biométrica, sistemas de decisão automatizados, ferramentas de avaliação de risco. Na dissertação ora apresentada, destacamos somente o policiamento preditivo 219 . A utilização de sistemas de IA na aplicação da lei e da justiça penal pode suscitar preocupações relacionadas com a presunção de inocência, o direito de ser informado prontamente sobre a causa e uma acusação, o direito a um julgamento justo e o direito de se defender pessoalmente. Esses sistemas podem entrar em conflito com direitos constitucionalmente protegidos de suma importância, pelo que seu uso deve ser permitido apenas em condições monitoradas ou então, serem proibidos 220 . Para proteger esses direitos, a proposta legislativa formulada pela Comissão Europeia em abril de 2021, legitima a utilização da IA para efeitos de aplicação da lei penal. Contudo, essa aplicação deve ser transparente, segura e que respeite os direitos fundamentais, a fim de que não se tornem ferramentas que produzam avaliações injustificadas e discriminatórias no processo penal 221 . 217 In: https://www.sicurezza4p.it/blog/index.asp?Q=HD1Q56756E0EG2PNB79N 218 Simmler, Monika. Canova, Giulia. The rise of algorithms in the criminal justice system . In: https://blog.ai-laws.org/the-rise-of-algorithms-in-thecriminal-justice-system/?cn-reloaded=1&cn-reloaded=1&cn-reloaded=1 219 In:https://www.riskmanagement360.it/analisti-ed-esperti/intelligenza-artificiale-e-processo-penale-un-vuoto-normativo-da-colmare/ 220 González Fuster, Prof. Dr. Gloria. Artificial Intelligence and Law Enforcement - Impact on Fundamental Rights . July 2020 European Union, 2020. In http://www.europarl.europa.eu/supporting-analyses, p43. 221 Proposta de Regulamento do Parlamento Europeu e do Conselho em matéria de Inteligência Artificial. In: https://eur-lex.europa.eu/legalcontent/pt/txt/html/?uri=celex:52021pc0206&from=en 61 Em relação às ferramentas de IA utilizadas no policiamento preditivo, essas podem ser divididas em quatro categorias: para prever crimes ou prever lugares e horários com risco aumentado de crime, para prever infratores ou identificar indivíduos em risco de ofender ou reincidir no futuro, para prever ou criar perfis semelhantes aos do passado infratores e, métodos destinados a prever vítimas de crimes, usados para identificar grupos ou indivíduos que provavelmente se tornarão vítimas de crimes 222 . Essas ferramentas são usadas como apoio à polícia e a sua utilização ocorre num momento anterior à instauração do processo penal, para efeitos de prevenção geral de infracções penais relevantes (como no caso do XLAW). Esses programas são utilizados em áreas territoriais de maior risco criminal ( hotspots ) e também na disponibilização de métodos e prazos para o cometimento de delitos por determinados sujeitos ( criminal profiling ) 223 . Esses ultimos são baseados em algoritmos capazes de prever se e quando uma determinada pessoa cometerá um determinado crime 224 . O processo penal centra-se nas hipóteses e factos, pistas e provas. No julgamento, quando não se tem uma prova irrefutável de autoria e é julgado por probabilidades, há o risco de que a decisão possa ser prejudicada por distorções ou erros. Por conseguinte, alguns princípios devem se sobressair, tais como, a presunção de inocência do acusado e o princípio do contraditório 225 . Portanto, a autenticidade das evidências derivadas dos resultados do software polícia preditiva depende da legitimidade e integridade dos dados coletados durante as investigações preliminares que foram inseridos dentro do programa, ou seja, a confiabilidade do algoritmo é estritamente conectada com a qualidade das informações com as quais o sistema é alimentado, bem como com a possibilidade acessar os métodos operacionais do programa utilizado 226 . Uma das questões relevantes para apoiar a possibilidade de aplicação no processo de um sistema de inteligência artificial é a verificação dos algoritmos que eles contêm, 222 Proposta de Regulamento do Parlamento Europeu e do Conselho em matéria de Inteligência Artificial. In: https://eur-lex.europa.eu/legalcontent/pt/txt/html/?uri=celex:52021pc0206&from=en, p.23 . 223 In:https://www.riskmanagement360.it/analisti-ed-esperti/intelligenza-artificiale-e-processo-penale-un-vuoto-normativo-da-colmare/ 224 Polidoro, Donato. Tecnologie informatiche e procedimento penale: la giustizia penale “messa alla prova” dall’intelligenza artificiale . In https://archiviopenale.it/tecnologie-informatiche-e-procedimento-penale-la-giustizia-penale-messa-alla-prova-dallintelligenzaartificiale/articoli/25993 225 Canzio Giovanni. Intelligenza artificiale, algoritmi e giustizia penale . In: https://www.sistemapenale.it/it/articolo/canzio-intelligenza-artificiale-algoritmi-giustizia-penale 226 Polidoro, Donato. Tecnologie informatiche e procedimento penale: la giustizia penale “messa alla prova” dall’intelligenza artificiale . In https://archiviopenale.it/tecnologie-informatiche-e-procedimento-penale-la-giustizia-penale-messa-alla-prova-dallintelligenzaartificiale/articoli/25993 62 prestando atenção tanto para a possibilidade que ele possa apresentar preconceitos, de acordo com os interesses ou inclinações dos programadores, quanto ao seu grau de confiabilidade preditiva, que muitas vezes dependerá da qualidade dos dados utilizados em sua elaboração 227 . Por esta razão, o Parlamento Europeu salientou que serão necessárias avaliações periódicas sobre a representatividade dos conjuntos de dados, bem como, examinar a precisão e a significância das previsões. Por conseguinte, antes de tomar uma decisão sobre a possibilidade de usar esses mecanismos no ordenamento jurídico é necessário resolver a questão de como regular os mecanismos que irão garantir uma auditoria adequada do seu funcionamento, adequando ao sistema de proteção, garantindo assim, os direitos fundamentais e garantias processuais. Além disso, a lógica do algoritmo deve ser compreensível pelas partes do processo de forma que seja garantido o direito de defesa. A avaliação da prova no processo penal corresponde ao juiz, mas é possível utilizar a inteligência artificial no processo penal seja como meio de prova ou utilizados em conjunto com os meios tradicionais de prova para que possam ser mais eficazes e, assim, auxiliar o juiz na avaliação judicial da prova 228 . O método de policiamento preditivo feito por análise preditiva e que identifica indivíduos com maior probabilidade de cometer crimes futuros é o mais preocupante em relação ao uso de provas na processo penal. Além dos dados geográficos e sociodemográficos, os dados pessoais também são inseridos no software alimentado. E é nesse tipo de análise de dados que ocorrem sérias interferências nos direitos básicos e pessoais dos indivíduos, que por uma previsão algoritmica podem ter suas garantias processuais penais e constitucionais, tais como, a presunção de inocência, postas em risco. A falta de transparência por parte dos fabricantes de software e seus métodos de avaliação também geram problemas. É, portanto, de particular importância que os interesses dos indivíduos, sua liberdade e seus direitos básicos, devam sempre ser ponderados em detrimento do policiamento preditivo. As previsões de periculosidade agem contra a garantia da presunção de inocência, uma vez que os prognósticos jurídicos negativos se baseiam na presunção de culpa futura, levando em consideração antecedentes criminais, prisão ou outra interferência na liberdade da pessoa em causa 229 . 227 Pérez Estrada, Miren Josune. La inteligencia artificial como prueba científica en el proceso penal español . In: https://revista.ibraspp.com.br/RBDPP/article/view/505 228 Idem, ibidem. 229 Verlag, Helbing Lichtenhahn. Monika Simmler (Hrsg.). Smart Criminal Justice - Der Einsatz von Algorithmen in der Polizeiarbeit und Strafrechtspflege. Basileia, 2021. In: https://www.helbing.ch/annotstream/9783719043971/PDF/Smart-Criminal-Justice.pdf?sq=27, pp.103145. 63 A mudança no direito penal de um propósito repressivo para um preventivo, impulsionado por essa mudança social, traz uma mudança na área de intervenção no âmbito do direito penal, bem como uma expansão dos poderes de intervenção da polícia. Renunciar a liberdade em favor de mais segurança e mais controlo é uma decisão séria. Deve ser garantido uma maneira que permite uma defesa contra as classificações de periculosidade, de modo que o direito a um julgamento justo seja prioridade 230 . 1.5. Conclusão do capítulo É inegável que a utilização de novas tecnologias, como os softwares preditivos colaboram com o trabalho da polícia, seja na investigação ou na prevenção. Mas a que custo? No caso de softwares que fazem o uso de predição de crimes, até que ponto é ético a imputação dos crimes? Esperar o criminoso terminar a ação, somente o observando ou o prender no mínimo de ação possível para lhe imputar um crime? Seria válido e ético essa atitude no processo penal, apenas com a presunção de que o indivíduo realmente praticaria tal delito? Seria salutar essa utilização do Big Data e do uso da inteligência artificial sem ferir os direitos e garantias individuais? Essas são as perguntas que devem ser feitas por juristas, programadores, engenheiros, ou seja, todos que trabalham na área da inteligência artificial e do big data que fazem e trabalham com softwares e algoritmos aplicados na justiça preditiva. No caso do programa XLAW, objeto de estudo da presente dissertação, é levada em consideração essa análise de dados sensíveis e por isso não é utilizado, sendo observado apenas o tipo de crime, a hora, data e local, sem nenhum tipo de identificação do autor ou vítima. Também verificou-se que no programa objeto de estudo, que não houve o deslocamento do crime, além de que houve uma redução dos crimes de menor potencial ofensivo em relação às cidades que não participaram do programa (levando em consideração cidades com mesmo índice criminal e população). Na atualidade, vislumbra-se a necessidade de construção de uma verdadeira cultura jurídica que reconheça os benefícios do enlace entre Direito e Inteligência Artificial 231 , pois, o uso do big data na seara do direito penal é cada vez mais importante e deve ter como objetivo auxiliar o trabalho policial nas atividades investigativas e operacionais auxiliando na redução de crimes e 230 Verlag, Helbing Lichtenhahn. Monika Simmler (Hrsg.). Smart Criminal Justice - Der Einsatz von Algorithmen in der Polizeiarbeit und Strafrechtspflege. Basileia, 2021. In: https://www.helbing.ch/annotstream/9783719043971/PDF/Smart-Criminal-Justice.pdf?sq=27, pp.103145. 231 Lopes, Álvaro Luiz Primão. Brígico, Edimar Inocêncio. Ética e Direito no mundo digital , Tabulæ - Revista de Philosophia - ISSN 1980-0231, p.110. 70 https://www.sicurezza4p.it/blog/index.asp?Q=2E5H98EB47D5XA4HK0J7 Giménez, María Hernández. Inteligencia Artificial y Derecho Penal . Actualidad Jurídica Iberoamericana N.º 10, junio 2019, pp. 792-843. In: http://www.revista-aji.com/wpcontent/uploads/2019/06/792-843.pdf Giudici, Paolo. Applied Data Mining Statistical Methods for Business and Industry . Wiley, 2003. In: http://index-of.co.uk/Data-Mining/Applied%20Data%20MiningStatistical%20Methods%20for%20Business%20and%20Industry_Giudici%20P%20(2003).pdf Gless, Sabine. Predictive Policing in Defense Of ‘True Positives.’ In: Bayamlio Lu, Emre; Baraliuc, Irina; Janssens, Liisa; Hildebrandt, Mireille (Ed.). Being Profiled: Cogitas Ergo Sum. 10 Years of Profiling the European Citizen, Amsterdam University Press, 2018. Tradutores: Heloisa Estellita e Miguel Lima Carneiro. Escola de Direito da FGV. Revista Direito Gv, SP, 2020. In: http://bibliotecadigital.fgv.br/ojs/index.php/revdireitogv/article/download/81697/77918/1743 48 González Fuster, Prof. Dr. Gloria. Artificial Intelligence and Law Enforcement - Impact on Fundamental Rights . July 2020 European Union, 2020. In: http://www.europarl.europa.eu/supporting-analyses. Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron. Deep learning . Cambridge, MA MIT Press. Series: Adaptive computation and machine learning series, 2017. Guimarães, Rodrigo Régnier Chemim. A Inteligência Artificial e a disputa por diferentes caminhos em sua utilização preditiva no processo penal . 2019. In: http://www.ibraspp.com.br/revista/index.php/RBDPP/article/view/260. Heaton, Jeff. AIFH. Deep Learning and Neuronal Networks . E-book, 2015. Huws, C. F.; Finnis, J. C. On computable numbers with an application to the AlanTuring problem . Artif Intell Law (2017) 25:181–203 DOI 10.1007/s10506-017-9200-2 Iaselli, Michele . IA nel settore legale: ma è vera intelligenza artificiale? In: https://www.altalex.com/documents/news/2019/05/10/ia-nel-settore-legale-intelligenzaartificiale Iaselli, Michele. X-LAW: la polizia predittiva è realtà? In: https://www.altalex.com/documents/news/2018/11/28/x-law-la-polizia-predittiva Italiano, Giuseppe Francesco. Le sfide interdisciplinari dell’intelligenza artificiale. Il Mulino - Rivisteweb, 2019. In: https://www.rivisteweb.it/doi/10.1433/94541 Jakobs, Gunther. Direito Penal do Inimigo: Noções e Críticas . Editora Livraria do Advogado 6ªed.2015. Jean-Meire, Caroline. Les Nouvelles Technologies et la Lutte Contre la Délinquance : Regards Croisés France/Royaume-Uni. Université de Paris 1 Panthéon-Sorbonne, École de droit de la Sorbonne, 2016. In: https://ecm.univ-paris1.fr/nuxeo/sítio/esupversions/e3fc7e62-562d-4c3d- 71 9478-c1b402ea8f2d João, Paulo Abel de Almeida. Modelo Preditivo da Criminalidade. Georeferenciação ao Concelho de Lisboa . Universidade Nova de Lisboa, 2009. In: https://run.unl.pt/handle/10362/3424 Kelleher, John; Namee, M. Brian; Darcy, Aoife. Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies . E-book, 2015. Kemp, Richard. Big data and data protection (GDPR and DPA 2018). Kemp IT Law and Practical Law Data Protection. European Union, International, United Kingdom. In: http://www.kempitlaw.com/wp-content/uploads/2014/10/Big-Data-and-Data-Protection-WhitePaper-v1_0-November-2014.pdf Kitchin, Rob. Big Data, new epistemologies and paradigm shifts. Big Data & Society, 2014. In: DOI: 10.1177/2053951714528481, p. 01-02. Lagioia, Francesca; Sartor, Giovanni. AI Systems Under Criminal Law: A Legal Analysis and a Regulatory Perspective. Springer Nature B.V. 2019. Philosophy & Technology In https://doi.org/10.1007/s13347-019-00362-x Leslie, D., Burr, C., Aitken, M., Cowls, J., Katell, M., and Briggs, M. (2021). Artificial intelligence, human rights, democracy, and the rule of law: a primer. The Council of Europe . In: https://www.turing.ac.uk/research/publications/ai-human-rights-democracy-and-rule-law-primerprepared-council-europe Leslie, D. Understanding artificial intelligence ethics and safety: A guide for the responsible design and implementation of AI systems in the public sector . The Alan Turing Institute, 2019. https://doi.org/10.5281/zenodo.3240529 Lombardo, Elia. Intelligenza Artificiale e Human Intelligence per la Prevenzione dei Crimini . Società Italiana di Intelligence – Socint, 2020. In: https://press.socint.org/index.php/home/catalog/book/2020_07_lombardo Lombardo, Elia. Sicurezza 4P. Lo studio alla base del software per prevedere e prevenire i crimini . Ed. Mazzanti Libri, 2019. Lombroso, Cesare. O homem delinqüente ; tradução Sebastião José Roque. Coleção fundamentos de direito. São Paulo, editora Ícone, 2013. López Cobo, M., Righi, R., Samoili, S., Vázquez-Prada Baillet, M., Cardona, M., and De Prato, G., AI Watch Index. Policy relevant dimensions to assess Europe’s performance in artificial intelligence , EUR 30681 EN, Publications Office of the European Union, Luxembourg, 2021, ISBN 978-92-7636359-0, doi:10.2760/506611, JRC124424. Lopes, Álvaro Luiz Primão. Brígico, Edimar Inocêncio. Ética e Direito no mundo digital Tabulæ - Revista de Philosophia - ISSN 1980-0231 Lucena, Pedro Arthur Capelari de. Policiamento preditivo, discriminação algorítmica e racismo: 72 potencialidades e reflexos no Brasil. Salvador, 2019. In: https://lavits.org/wpcontent/uploads/2019/12/Lucena-2019-LAVITSS.pdf Lyria, Bennett Moses. Janet, Chan. Algorithmic prediction in policing: assumptions, evaluation, and accountability, Policing and Society, 28:7, 806-822, In: https://doi.org/10.1080/10439463.2016.1253695 Machado, Vinicius Ponte. Inteligência Artificial . In http://www.uece.br/computacaoead/index.php/downloads/doc_download/2177-inteligenciaartificial Magnolo, Stefano; Taurino, Alessandro. Il Diritto, La Scienza e la Tecnologia . Editora responsável: Profa. Dra. Fayga Bedê. In https://orcid.org/0000-0001-6444-2631 Maranhão, Juliano. A pesquisa em inteligência artificial e Direito no Brasil , 2017. In: https://www.conjur.com.br/2017-dez-09/juliano-maranhao-pesquisa-inteligencia-artificial-direitopais?imprimir=1 Martirano di, Valentino Vescio. Algoritmo e giustizia predittiva in campo penale . In: https://www.altalex.com/documents/news/2019/06/14/algoritmo-e-la-giustizia-predittiva-incampo-penale Medvedeva, Masha; Vols, Michel; Wieling, Martijn. Using machine learning to predict decisions of the European Court of Human Rights. Artificial Intelligence and Law, 2019. In https://doi.org/10.1007/s10506-019-09255-y Mello, P. Sul concetto di “intelligenza artificiale” e relativi ambiti applicativi , cfr. P. Mello, Intelligenza artificiale, in http://disf.org/intelligenza-artificiale (Documentazione Interdisciplinare di Scienza & Fede), 2002, nonché il saggio di J. Bernstein, Uomini e macchine intelligenti, Adelphi, Milano, 2013. Molina, Antonio García-Pablos; Gomes, Luiz Flávio. Criminologia: introdução a seus fundamentos teóricos; introdução às bases criminológicas da Lei nº 9.099/95, Lei dos juizados especiais criminais. 5. ed. São Paulo: Revista dos Tribunais, 2006. Molinari, Giulia. La sfida della discriminazione algoritmica nella giustizia di Europa e Stati Uniti. Analytica for intelligence and security studies . Paper Cyber security. In: https://www.analyticaintelligenceandsecurity.it/ricerca-e-analisi/la-sfida-della-discriminazionealgoritmica-nella-giustizia-di-europa-e-stati-uniti/ Moraes, Alexandre Rocha Almeida de Moraes. Direito penal do inimigo . Enciclopédia jurídica da PUC-SP. Celso Fernandes Campilongo, Álvaro de Azevedo Gonzaga e André Luiz Freire (coords.). Tomo: Direito Penal. Christiano Jorge Santos (coord. de tomo). 1. ed. São Paulo: Pontifícia Universidade Católica de São Paulo, 2017. Disponível em: https://enciclopediajuridica.pucsp.br/verbete/419/edicao-1/direito-penal-do-inimigo Morelli, Claudia. Processo Penale: operativa la prima applicazione di intelligenza artificiale? In: https://www.altalex.com/documents/news/2018/06/18/processo-penale-operativa-la-primaapplicazione-di-intelligenza-artificiale 73 Morelli, Claudia. Intelligenza artificiale nella Giustizia: approvata la Carta Etica Europea . In: https://www.altalex.com/documents/leggi/2018/12/04/intelligenza-artificiale-nella-giustiziacarta-etica-europea Morelli, Claudia. Algoritmi e diritti umani: si rischia la collisione (immaginate a danno di chi?). In: https://www.altalex.com/documents/news/2018/07/09/algoritmi-e-impatto-sui-diritti-umani Morelli, Claudia. Furti e rapine: a sventarli ci pensa l’intelligenza artificiale! 06/06/2019. In: https://www.altalex.com/documents/news/2019/05/06/polizia-predittiva-intelligenza-artificiale Neiva, Laura. Big Data na Investigação Criminal: Desafios e Expectativas na União Europeia . Edições Húmus, Lda. e Autora, 2020. In: https://www.cfbdadosadn.pt/Documents/Fundo%20Documental/BigDataInvCriminal_UE.pdf Nils J. Nilsson. The quest for artificial intelligence. A history of ideas and achievements . Cambridge University Press, e-book, 2009. Nissan, Ephraim. Computer Applications for Handling Legal Evidence, Police Investigation and Case Argumentation. Volumes 1 e 2. Editora Springer, 2012. Novais, Paulo. Freitas, Pedro Miguel . Inteligência Artificial e regulação de algoritmos . Universidade do Minho, 2018. Nuzzo, Antonio. Algoritmi e regole . Il Mulino, Rivisteweb, 2019. In: https://www.rivisteweb.it/doi/10.1433/94543 Pacheco, César Augusto Rodrigues. Pereira, Natasha Sophie. Deep Learning Conceitos e Utilização nas Diversas Áreas do Conhecimento . Revista Ada Lovelace. In http://anais.unievangelica.edu.br/index.php/lovelace. v. 2 (2018) jan-dez p. 34-49. Palmiotto, Francesca. Giustizia penale e nuove tecnologie. La legislazione penale. 2020. Captatori Informatici e Diritto alla Difesa: Il Caso Exodus. In http://www.lalegislazionepenale.eu/wpcontent/uploads/2020/10/Palmiotto-Revisione-Finale.pdf Parodi, Cesare; Sellaroli, Valentina. Sistema Penale e Intelligenza Artificiale: Molte Speranze e Qualche Equivoco . in Dir. pen. cont., fasc. 1/2017. In: https://archiviodpc.dirittopenaleuomo.org/upload/6695-parodisellaroli2019a.pdf Palm, Rasmus Berg. Prediction as a candidate for learning deep hierarchical models of data . Kongens Lyngby 2012, DTU-Informatic-Msc. -2012. In: https://www2.imm.dtu.dk/pubdb/edoc/imm6284.pdf Patterson, Josh. Gibson, Adam. Deep Learning a Practitioner’s Approach . Ed. O’Reilly Media, Inc., E-book, 2017. Pereira, Jorge Luis. Análise Preditiva em Sistemas de Informação no Contexto do Big Data . Marilia, 2014. In: 74 https://aberto.univem.edu.br/bitstream/handle/11077/1003/Jorge%20Lu%c3%ads%20Pereira. pdf?sequence=1&isAllowed=y Pérez Estrada, Miren Josune. La inteligencia artificial como prueba científica en el proceso penal español. In: https://revista.ibraspp.com.br/RBDPP/article/view/505 Perry, Walter L. McInnis, Brian. Price, Carter C. Smith, Susan C. Hollywood, John S. Predictive policing. The Role of Crime Forecasting in Law Enforcement Operations. National Institute of Justice, 2013. In: https://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR23 3.pdf Perrucci, Antonio. Dai Big Data all’ecosistema digitale. Dinamiche tecnologiche e di mercato e ruolo delle politiche pubbliche. Il Mulino, Rivisteweb, 2019. In: https://www.rivisteweb.it/doi/10.1433/94545 Pezzoli, Andrea; Tonazzi, Alessandra. Discriminazione e collusione tacita tra lessico, intelligenza artificiale e algoritmi . Il Mulino, Rivisteweb, 2019. In: https://www.rivisteweb.it/doi/10.1433/94552 Piccoli, Donato; Lombardo, Elia; Bettoni, Raffaella. Il modello predittivo XLAW correla i crimini con la configurazione fisica della città: urbanistica e informazione INU edizione . In: https://www.sicurezza4p.it/blog/index.asp?Q=NA6V4HA8990G544IV789 Pittelli, Teresa. Intelligenza Artificiale, proteggere non solo privacy ma anche libero arbítrio . In: https://www.altalex.com/documents/news/2019/03/18/intelligenza-artificiale-privacy-liberoarbitrio Poole, David L. Mackworth, Alan K. Artificial Intelligence: Foundations of Computational Agents. Cambridge University Press, e-book, New York, 2010. Polidoro, Donato. Tecnologie informatiche e procedimento penale: la giustizia penale “messa alla prova” dall’intelligenza artificiale. In https://archiviopenale.it/tecnologie-informatiche-eprocedimento-penale-la-giustizia-penale-messa-alla-prova-dallintelligenza-artificiale/articoli/25993 Quarta, Elena. Giustizia e predizione: l'algoritmo che legge il futuro . In: https://www.giustiziainsieme.it/it/cultura-e-societa/600-giustizia-e-predizione-l-algoritmo-chelegge-il-futuro?tmpl=component&print=1&layout=def%E2%80%A6 Quattrocolo, Serena. Intelligenza Artificiale e Giustizia: Nella Cornice della Carta Etica Europea, gli Spunti per un’urgente Discussione tra Scienze Penali e Informatiche . In: http://www.lalegislazionepenale.eu/intelligenza-artificiale-e-giustizia-nella-cornice-della-carta-eticaeuropea-gli-spunti-per-unurgente-discussione-tra-scienze-penali-e-informatiche-serena-quattrocolo/ Renda, Andrea. Artificial Intelligence Ethics, governance and policy. Challenges Report of a CEPS Task Force. Centre for European Policy Studies (CEPS), Brussels, 2019. In: https://ec.europa.eu/jrc/communities/en/node/1286/document/artificial-intelligence-ethicsgovernance-and-policy-challenges 75 Rulli, Edoardo . Giustizia predittiva, intelligenza artificiale e modelli probabilistici. Chi ha paura degli algoritmi? Il Mulino - Rivisteweb, 2018. In: https://www.rivisteweb.it/doi/10.1433/92116 Russel, Stuart J; Norvig, Peter. Artificial Intelligence a Modern Approach . Third Edition. E-Book, 2010. Saisse, Renan. Big data contra o crime: efeito minority report . In http://direitoeti.com.br/artigos/big-data-contra-o-crime-efeito-minority-report/ Santos, Murilo Alves. Souza, Daniel Henrique Silva de. Penedo, Antonio Sergio Torres. Martins, Elvis Silveira. Aplicação de redes neuronais no Brasil: um estudo bibliométrico . Biblionline, João Pessoa, v. 12, n. 2, p. 101 – 116, 2016. In: https://www.researchgate.net/publication/303957049_APLICACAO_DE_REDES_NEURONAIS_ NO_BRASIL_UM_ESTUDO_BIBLIOMETRICO Sartor, Giovanni. Lagioia, Francesca. AI Systems Under Criminal Law: A Legal Analysis and a Regulatory Perspective , 2019. https://link.springer.com/article/10.1007/s13347-019-00362-x Sartor, Giovanni. Legal validity: an Inferential analysis. European University Departament of Law, 2007. In https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1024106 Sartor, Giovanni. Corso di Informatica giuridica. L’informatica giuridica e le tecnologie dell’informazione. 2nd. Giappichelli, 2010. Sartor, Giovanni. The impact of the General Data Protection Regulation (GDPR) on artificial intelligence . In: https://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_STU(2020)641 530 Sassi, Silvia. Gli algoritmi nelle decisioni pubbliche tra trasparenza e Responsabilità. Il Mulino - Rivisteweb, 2019. In: https://www.rivisteweb.it/doi/10.1433/94547 Schlehahn, Eva. Aichroth, Patrick. Mann, Sebastian. Schreiner, Rudolf. Shepherd, Ifan. Wong, B.L. William. Benefits and Pitfalls of Predictive Policing . In: https://www.researchgate.net/profile/BlWong/publication/304293638_Benefits_and_Pitfalls_of_Predictive_Policing/links/582ae60308 aef19cb8062095/Benefits-and-Pitfalls-of-Predictive-Policing.pdf Simões-Gomes, Letícia. Roberto, Enrico. Mendonça, Jônatas. Viés algorítmico – um balanço provisório. Estud. sociol. Araraquara v.25 n.48 p.139-166 jan. - jun. 2020. In: https://nev.prp.usp.br/wp-content/uploads/2020/08/13402-42914-1-PB.pdf Simmler, Monika. Canova, Giulia. The rise of algorithms in the criminal justice system . In: https://blog.ai-laws.org/the-rise-of-algorithms-in-the-criminal-justice-system/?cn-reloaded=1&cnreloaded=1&cn-reloaded=1 Theben, Alexandra. Gunderson, Laura. López-Forés, Laura. Misuraca, Gianluca. LupiáñezVillanueva, Francisco. Challenges and limits of an open-source approach to Artificial Intelligence . Policy Department for Economic, Scientific and Quality of Life Policies Directorate-General for 76 Internal Policies, 2021. In: https://www.europarl.europa.eu/RegData/etudes/STUD/2021/662908/IPOL_STU(2021)6629 08_EN.pdf Traversi, Alessandro. Intelligenza artificiale e giustizia, verso un giudice robot? Altalex, 19 marzo 2019. In: https://www.altalex.com/documents/news/2019/03/19/intelligenza-artificiale-egiustizia-giudice-robot Using artificial intelligence to make decisions: Addressing the problem of algorithmic bias. Technical Paper. Australian Human Rights Commission 2020. In: https://humanrights.gov.au/our-work/rights-and-freedoms/publications/using-artificialintelligence-make-decisions-addressing Van Brakel, Rosamunde. De Hert, Paul. Policing, surveillance and law in a pre-crime society: Understanding the consequences of technology based strategies . Cahiers Politiestudies Jaargang 2011-3, nr. 20 p. 163-192. In: https://www.researchgate.net/publication/233831922_Policing_surveillance_and_law_in_a_pr e-crime_society_Understanding_the_consequences_of_technology_based_strategies Veale, Michael . Algorithms in the Criminal Justice System , v 1 The Law Society of England and Wales, 2019. In: https://www.ailira.com/wp-content/uploads/2019/06/algorithms-in-criminaljustice-system-report-2019.pdf Verlag, Helbing Lichtenhahn. Simmler, Monika (Hrsg.). Smart Criminal Justice - Der Einsatz von Algorithmen in der Polizeiarbeit und Strafrechtspflege. Basileia, 2021. In: https://www.helbing.ch/annotstream/9783719043971/PDF/Smart-Criminal-Justice.pdf?sq=27 Wenin, Roberto. Fornasari, Gabriele. Diritto Penale e Modernità. Le nuove sfide fra terrorismo, sviluppo tecnológico e garanzie fondamentali. Università degli Studi di Trento. Quaderni della Facoltà di Giurisprudenza, 2017. In: https://archiviodpc.dirittopenaleuomo.org/d/5492-dirittopenale-e-modernita-le-nuove-sfide-tra-terrorismo-sviluppo-tecnologico-e-garanzie-fondamenta West, S.M., Whittaker, M. and Crawford, K. (2019). Discriminating Systems: Gender, Race and Power in AI. AI Now Institute. In: https://ainowinstitute.org/discriminatingsystems.html. Yavuz, Can. Machine Bias: Artificial Intelligence and Discrimination . Faculty of Law. Lund University, 2019.In: https://www.researchgate.net/publication/334721591_Machine_Bias_Artificial_Intelligence_an d_Discrimination Yeung, Karen. A study of the implications of advanced digital technologies (including AI systems) for the concept of responsibility within a human rights framework . Committee of experts on human rights dimensions of automated data processing and different forms of artificial intelligence, 2019. In:https://rm.coe.int/draft-study-of-the-implications-of-advanced-digital-technologiesinclu/16808ef255 77 Relatórios Agencia Española de Protección datos. Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción . Feb 2020. In: https://www.aepd.es/es/media/guias/adecuacion-rgpd-ia.pdf Algorithms in the Criminal Justice System. The Law Society of England and Wales, 2019. In: https://www.ailira.com/wp-content/uploads/2019/06/algorithms-in-criminal-justice-systemreport-2019.pdf AI Portugal 2030. Portuguese National Initiative on Digital Skills. An innovation and growth strategy to foster Artificial Intelligence in Portugal in the European . In: https://www.incode2030.gov.pt/sítios/default/files/julho_incode_brochura.pdf Artificial Intelligence and Data Protection. How the GDPR Regulates AI Centre for Information Policy Leadership (CIPL) . March 2020. In: https://www.informationpolicycentre.com/uploads/5/7/1/0/57104281/ciplhunton_andrews_kurth_legal_note_-_how_gdpr_regulates_ai__12_march_2020_.pdf Artificial intelligence and privacy Report, January 2018. The Norwegian Data Protection Authority . In: https://www.datatilsynet.no/globalassets/global/english/ai-and-privacy.pdf Artificial Intelligence and Law Enforcement Impact on Fundamental Rights. European Parliament, July 2020. In: https://op.europa.eu/en/publication-detail/-/publication/97fcdc04-01a3-11eb974f-01aa75ed71a1 Borgesius, Frederik Zuiderveen. Discrimination, artificial intelligence, and algorithmic decisionmaking. Council of Europe, 2018. In: https://rm.coe.int/discrimination-artificial-intelligence-andalgorithmic-decision-making/1680925d73 Carta ética europeia para a utilização de inteligência artificial nos sistemas de justiça e ambientes relacionados. In https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0 Carta Portuguesa de Direitos Humanos na Era Digital. Lei nº 27/2021 https://data.dre.pt/eli/lei/27/2021/05/17/p/dre Código Penal. Decreto-Lei n.º 48/95 - Diário da República n.º 63/1995 Comissão Europeia para a eficácia da Justiça (CEPEJ). Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente, 2018 . In https://rm.coe.int/cartaetica-traduzida-para-portugues-revista/168093b7e0 Communication from the Commission to the European Parliament, the European Council, the European Economic and Social Committee and the Committee of the Regions Fostering a European approach to Artificial Intelligence. European Comission, Brussels, 21.4.2021. In: https://op.europa.eu/en/publication-detail/-/publication/01ff45fa-a375-11eb-958501aa75ed71a1/language-en 78 Communication From the Commission to The European Parliament, The European Council, The Council, The European Economic and Social Committee and The Committee of The Regions Coordinated Plan on Artificial Intelligence. Brussels, 2018. In: https://eur-lex.europa.eu/legalcontent/EN/TXT/?uri=COM:2018:795:FIN Consultative Committee of the Convention for the Protection of individuals with regard to Automatic Processing of Personal Data. Convention 108. Council of Europe, 28 January 2021. In: https://www.coe.int/en/web/data-protection Conselho Europeu de Proteção de Dados. In: https://edpb.europa.eu/sítios/edpb/files/files/file1/edpb_letter_out2020_0004_intveldalgorith ms_en.pdf Council of Europe. Algorithms and Human Rights Study on the human rights dimensions of automated data processing techniques and possible regulatory implications, 2018 . In https://edoc.coe.int/en/internet/7589-algorithms-and-human-rights-study-on-the-human-rightsdimensions-of-automated-data-processing-techniques-and-possible-regulatory-implications.html Council of Europe. Guidelines on Artificial Intelligence and Data Protection . In: https://rm.coe.int/guidelines-on-artificial-intelligence-and-data-protection/168091f9d8 Council of Europe. Report on Artificial Intelligence. Artificial Intelligence and Data Protection: Challenges and Possible Remedies. Report by Alessandro Mantelero. In https://rm.coe.int/artificial-intelligence-and-data-protection-challenges-and-possiblere/168091f8a6 Council of Europe. Discrimination, artificial intelligence, and algorithmic decision-making. Study by Zuiderveen Borgesius, 2018, In https://rm.coe.int/discrimination-artificial-intelligence-andalgorithmic-decision-making/1680925d73 Diretrizes do Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial, criado pela Comissão Europeia em Junho de 2018. In: https://ec.europa.eu/digital-singlemarket/en/news/ethics-guidelines-trustworthy-ai EDPB-EDPS Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) 18 June 2021. In: https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-jointopinion/edpb-edps-joint-opinion-52021-proposal_cs EU guidelines on ethics in artificial intelligence: Context and implementation. In https://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_BRI(2019)6401 63 European Parliament. https://www.europarl.europa.eu/about-parliament/pt/democracy-andhuman-rights/fundamental-rights-in-the-eu European Ethical Charter. Use of Artificial Intelligence in Judicial Systems and their environment . CEPEJ during its 31st Plenary meeting (Strasbourg, 3-4/12/2018). 79 European Group. Ethics in Science and New Technologies, Statement on Artificial Intelligence, Robotics and "Autonomous" Systems , Brussels, March 9, 2018, In: https://ec.europa.eu/info/news/ethics-artificial-intelligence-statement-ege-released-2018-apr24_en. Feasibility Study. Ad Hoc Committee on Artificial Intelligence (CAHAI). Strasbourg, 17 December 2020. In: https://rm.coe.int/cahai-2020-23-final-eng-feasibility-study-/1680a0c6da Fuster, Prof. Dr. Gloria González. Artificial Intelligence and Law Enforcement. Impact on Fundamental Rights . European Parliament's Committee on Civil Liberties, Justice and Home Affairs. In: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/656295/IPOL_STU(2020)6562 95_EN.pdf FW2050 – Images of the Future Worlds Facing the Legal Profession 2020-2030. The Law Society. In: https://www.lawsociety.org.uk/topics/research/future-worlds-2050-images-of-the-futureworlds-facing-the-legal-profession-2020-2030 Getting the Future Right. Artificial Intelligence and Fundamental Rights . Luxembourg: Publications Office of the European Union, 2020. In: https://fra.europa.eu/sítios/default/files/fra_uploads/fra-2020-artificial-intelligence_en.pdf Guidelines 4/2019 on Article 25. Data Protection by Design and by Default. In: https://edpb.europa.eu/sítios/edpb/files/consultation/edpb_guidelines_201904_dataprotectio n_by_design_and_by_default.pdf How Can Humans Keep the Upper Hand? The ethical matters raised by algorithms and artificial intelligence. Report on the Public Debate Led by the French Data Protection Authority (CNIL) as Part of the Ethical Discussion Assignment set by the Digital Republic Bill. December 2017. In: https://www.cnil.fr/sítios/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf Loomis v. Wisconsin. In https://www.scotusblog.com/case-files/cases/loomis-v-wisconsin/ Madiega, Tambiama. EU guidelines on ethics in artificial intelligence: Context and implementation. European Parliamentary Research Service , September 2019. In: https://www.europarl.europa.eu/RegData/etudes/BRIE/2019/640163/EPRS_BRI(2019)64016 3_EN.pdf Preventing unlawful profiling today and in the future: a guide. European Union Agency for Fundamental Rights. Luxembourg: Publications Office of the European Union, 2018. In: https://lib.ugent.be/en/catalog/rug01:002822492 Possible introduction of a mechanism for certifying artificial intelligence tools and services in the sphere of justice and the judiciary: Feasibility Study. European Commission for the Efficiency of Justice (CEPEJ), 8 December 2020. In: https://rm.coe.int/feasability-study-en-cepej-202015/1680a0adf4