Erros judiciários em tempos de digital surveillance: os algoritmos de reconhecimento facial em questão

Artigo dos sócios João Alcantara Nunes e Luiz Eduardo Cani, publicado na Revista Brasileira de Direito Processual Penal.

Resumo: Os tradicionais problemas do reconhecimento pessoal, mormente quando realizado em álbuns fotográficos, foram repaginados e receberam verniz científico-tecnológico com a introdução de algoritmos de reconhecimento facial. A pandemia de coronavírus serviu de justificativa para a multiplicação dessas tecnologias, a pretexto do combate ao vírus. Assim foi que, em muitos lugares, como a Inglaterra e os EUA, esses algoritmos passaram a ser utilizados na persecução penal, não raro sob o argumento de redução da subjetividade dos depoimentos. Nesse contexto, o objetivo deste artigo é indagar como o reconhecimento facial pode produzir novos erros judiciários. Os objetivos específicos são abordar o uso de câmeras de monitoramento com reconhecimento facial para vigilância digital, analisar alguns aspectos do incremento das medidas securitárias durante a pandemia, investigar os erros judiciários em reconhecimentos de pessoas e explicar como os erros judiciários podem ocorrer durante o uso dessas câmeras. A hipótese da qual se parte é que essa tecnologia, por um lado, não pode cumprir condições mínimas de avaliação de confiabilidade probatória, e, por outro, ao ser aplicada a imagens, não passa de uma atualização, em muitos casos bastante malfeita, dos problemáticos reconhecimentos fotográficos. Utilizou-se o método hipotético-dedutivo e a técnica de pesquisa bibliográfica.

Palavras-Chave: Reconhecimento fotográfico; Reconhecimento pessoal; Falsos reconhecimentos; Falsas memórias.

Abstract: The traditional problems of personal recognition, especially when performed from photographic albums, have been repaginated and given a scientific-technological varnish with the introduction of facial recognition algorithms. The coronavirus pandemic has served as justification for the multiplication of these technologies, under the pretext of fighting the virus. As a result, in many places, such as England and the United States, these algorithms began to be used in criminal prosecution, often under the argument of reducing the subjectivity of testimonies. In this context, the objective of this paper is to investigate how facial recognition can produce new miscarriages of justice. The specific objectives are to discuss the use of facial recognition cameras for digital surveillance, analyze some aspects of the increase in security measures during the pandemic, investigate miscarriages of justice in recognizing people, and explain how miscarriages of justice can occur during the use of these cameras. The hypothesis is that this technology, firstly, cannot meet minimum conditions for evaluating evidential reliability, and, on the other hand, when applied to images, it is nothing more than an update, in many cases quite poorly done, of the problematic photographic recognitions. The hypothetical-deductive method and the bibliographical research technique were used.

Keywords: Photographic recognition; Personal recognition; False Recognition; False memories.

 

Sumário: Introdução; 1. Digital surveillance: as câmeras com reconhecimento facial; 2. Securitização pandêmica e proliferação do reconhecimento facial: medo, necessidade e inimigos; 3. Erros judiciários em reconhecimentos pessoais; 4. Reconhecimento facial por algoritmos: um novo capítulo nos erros judiciários; Considerações Finais; Referências.

 

Introdução

O aumento intensivo e extensivo das técnicas de controle e vigilância populacional, característico das estratégias securitárias[1], proporcionado por drones, câmeras de vigilância interligadas a redes neurais profundas (deep learning) e outras das chamadas “novas tecnologias”, criadas no contexto da Revolução 4.0, produziu uma era de digital surveillance na qual são produzidos e reproduzidos discriminação, insegurança e erros judiciários[2].

Este texto parte desse contexto para tomar uma posição crítica aos usos desses aparelhos, sobretudo em relação aos erros judiciários decorrentes do digital surveillance durante a quarentena estabelecida para reduzir a propagação da pandemia de coronavírus.

O objetivo geral é indagar como o reconhecimento facial pode produzir novos erros judiciários. Para tanto, aborda-se o uso de câmeras de monitoramento com reconhecimento facial para vigilância digital, analisa-se alguns aspectos do incremento das medidas securitárias durante a pandemia, investiga-se os erros judiciários em reconhecimentos de pessoas e explica-se como os erros judiciários podem ocorrer durante o uso dessas câmeras.

Questiona-se: como o reconhecimento facial por algoritmos pode produzir novos erros judiciários? A hipótese da qual se parte é que essa tecnologia, por um lado, não pode cumprir condições mínimas de avaliação de confiabilidade probatória, e, por outro, ao ser aplicada a imagens, não passa de uma atualização, em muitos casos bastante malfeita, dos problemáticos reconhecimentos fotográficos. Mais do que isso, vale-se de uma atualização das teorias constitutivas da criminologia etiológica individual, sobretudo da antropologia criminal de Cesare Lombroso[3].

Tem-se como pressuposto que o uso das “novas tecnologias” para controle dos indivíduos, justificado, em tempos de pandemia, pela necessidade de combater o vírus – como se uma estratégia de guerra pudesse conter a proliferação da pandemia –, além de possibilitar a criação de uma total surveillance, tende a escamotear os erros analógicos no reconhecimento pessoal.

O estudo e o trabalho foram realizados pelo método hipotético-dedutivo, partindo-se da hipótese para confirmá-la ou refutá-la. Utilizou-se a técnica de pesquisa bibliográfica, com consulta a fontes documentais secundárias.

1.               Digital surveillance: as câmeras com reconhecimento facial

As chamadas “novas tecnologias” surgiram no contexto da Revolução 4.0. A primeira revolução industrial foi impulsionada pela mecânica. A segunda, pela energia elétrica. A terceira, pela automação, possibilitada, dentre outros fatores, pela computação. A quarta, pelas “novas tecnologias”: inteligência artificial, big data, internet das coisas, impressão em três dimensões, bioengenharia e outras[4].

Por surveillance, entende-se o conjunto de “práticas voltadas à vigilância, segurança e manipulação de dados” que “fazem parte do conjunto de ações dispostas no sentido de gerenciar comportamentos, dados e segurança”[5], algo que foi “implantado no lugar dos meios de confinamento disciplinares”[6] durante a crise das instituições, entendida como “implantação progressiva e dispersa de um novo regime de dominação.”[7] Nesse sentido, as práticas de gerenciamento de comportamentos, dados e segurança estabelecidas a partir das “novas tecnologias” constituem a digital surveillance.

A digital surveillance não pode ser pensada em um eixo de fragmentação completa dessas novas tecnologias, tampouco pode sê-lo o problema das câmeras com reconhecimento facial. Isso porque não é possível obter o reconhecimento facial apenas com câmeras (hardware). É imprescindível o desenvolvimento de uma rede neural profunda (software), alimentada a partir de um grande conjunto de dados (big data) para realizar atividades de inteligência artificial fraca[8].

A inteligência artificial (artificial intelligence) é fruto da tentativa de ensinar uma máquina (hardware) a simular a inteligência humana, ou seja, uma das técnicas de aprendizagem de máquina (machine learning)[9]. As redes neurais profundas (deep learning) são estruturas algorítmicas criadas em múltiplas camadas, cada qual formada por múltiplos pontos (chamados neurônios) que identificam partes de imagens, textos ou áudios, que, a partir dos dados (big data) utilizados no processo de treinamento, realizam inferências (predições[10]). Ademais, um amplo sistema de vigilância, no qual milhões de câmeras de vigilância estão integrados é impossível sem o uso da internet das coisas (internet of things).

A identificação facial é feita por meio da comparação entre os rostos dos indivíduos cujas imagens são capturadas e as imagens que alimentam os algoritmos (big data)[11]. Um algoritmo de inteligência artificial é treinado com fotos de milhões de rostos humanos e visa, a partir da identificação de pontos localizados nos rostos, encontrar convergências para poder predizer se a pessoa observada pela câmera é a mesma cuja imagem integra o banco de dados.

Ainda que existam esforços para melhoria dos já identificados baixos índices de precisão nos resultados dessas análises algorítmicas, mesmo a implementação de métodos diversos, como o uso de sensores LiDAR[12], para acrescentar informações de profundidade à leitura bidimensional, mantém essencialmente a lógica de funcionamento da comparação entre imagens digitais a partir de uma base de dados predefinida, pois mesmo a leitura de profundidade com laser não faz mais do que criar outras imagens.

Inúmeros algoritmos com essa finalidade foram desenvolvidos e comercializados na indústria securitária. Dentre essas iniciativas está uma do Ministério da Justiça e Segurança Pública[13]. Mas o que aparentemente funcionaria muito bem, na verdade, funciona muito mal. Grande parte do trabalho ainda é realizado manualmente, por pessoas cujos microtrabalhos são invisíveis – ou propositalmente invisibilizados[14].

 A identificação facial por câmeras se choca com uma multiplicidade de limites, dentre os quais, destaca-se o direito à privacidade[15] e a baixa acurácia dos algoritmos[16] – cuja consequência é a proliferação de falsos positivos. Em razão desses falsos positivos, diversas iniciativas foram e continuam a ser tomadas contra a difusão dessa técnica de identificação pessoal no âmbito da segurança pública[17], com efeitos potenciais no processo penal, seja porque os elementos de investigação continuam sendo utilizados, ainda que parcialmente, como provas (tanto porque o art. 158 do CPP autoriza o “cotejo” com elementos do inquérito, quanto porque a determinação de não apensamento dos autos da investigação ao processo, prevista no art. 3º-C, § 3º, do CPP, está com eficácia suspensa indefinidamente devido à medida liminar deferida na ADI 6.299), seja porque o reconhecimento facial pode vir a ser erroneamente considerado prova antecipada e/ou o relatório do reconhecimento facial pode vir a ser apresentado como “prova documental”.

2.               Securitização pandêmica e proliferação do reconhecimento facial: medo, necessidade e inimigos

A rápida propagação do coronavírus, a baixa capacidade de atendimento aos contaminados, bem como a redução dos investimentos em saúde nas últimas décadas são alguns dos fatores de insegurança e medo com a disseminação do coronavírus causador de síndrome respiratória aguda grave. O contexto de medo, correlato psíquico da arte governamental chamada liberalismo, serve de justificativa para a edição de medidas securitárias de restrição das liberdades individuais[18].

Daí as duras críticas de Giorgio Agamben aos italianos que, de acordo com ele, só se preocupam com a vida nua[19] em detrimento da política[20]. Se, por um lado, essas críticas parecem despreocupadas com a vida, por outro lado, não se mostraram tão equivocadas, pois o estado de exceção se instala sempre a partir de uma necessidade[21] – neste caso, de combater o perigo (contágio) que causa medo.

Portanto, o medo do contágio por uma doença serviu de fundamento para demonstrar a necessidade das medidas securitárias que gerenciam a liberdade e transformam, permanentemente, a exceção em regra geral[22]. A análise de Byung-Chul Han acerca da profusão do uso de câmeras de vigilância, interligadas a redes neurais, para atividades de reconhecimento facial e punição dos violadores da quarentena, contém indicativos de uma modificação relevante das estratégias de controle social utilizando novas tecnologias[23]:

Na China existem 200 milhões de câmeras de vigilância, muitas delas com uma técnica muito eficiente de reconhecimento facial. Captam até mesmo as pintas no rosto. Não é possível escapar da câmera de vigilância. Essas câmeras dotadas de inteligência artificial podem observar e avaliar qualquer um nos espaços públicos, nas lojas, nas ruas, nas estações e nos aeroportos. […] Na China e em outros Estados asiáticos como a Coreia do Sul, Hong Kong, Singapura, Taiwan e Japão não existe uma consciência crítica diante da vigilância digital e o big data. A digitalização os embriaga diretamente. Isso obedece também a um motivo cultural. Na Ásia impera o coletivismo. […]  Ao que parece o big data é mais eficaz para combater o vírus do que os absurdos fechamentos de fronteiras que estão sendo feitos nesses momentos na Europa. Graças à proteção de dados, entretanto, não é possível na Europa um combate digital do vírus comparável ao asiático. Os fornecedores chineses de telefonia celular e de Internet compartilham os dados sensíveis de seus clientes com os serviços de segurança e com os ministérios de saúde. O Estado sabe, portanto, onde estou, com quem me encontro, o que faço, o que procuro, em que penso, o que como, o que compro, aonde me dirijo. É possível que no futuro o Estado controle também a temperatura corporal, o peso, o nível de açúcar no sangue etc. Uma biopolítica digital que acompanha a psicopolítica digital que controla ativamente as pessoas[24].

Apesar dos exageros de Han com a acurácia das tecnologias de reconhecimento facial, trata-se de constatações oportunas acerca da conformação de um complexo tecnológico de controle e vigilância dos corpos (corpo-indivíduo e corpo-espécie[25]), a partir das quais é possível compreender o interesse crescente no reconhecimento facial.

Das promessas de salvação e resolução de todos os problemas[26] (solucionismo tecnológico[27]), as novas tecnologias, em geral, e a inteligência artificial, em particular, foram transpostas ou, em todo caso, adaptadas para o controle penal da população[28]. O reconhecimento facial pode ser utilizado não somente para fiscalizar o cumprimento de confinamentos, mas, com muito mais eficácia, para patrulhamento de locais abertos, mas com baixa efetividade, não raro atingindo alvos errados, tanto por conta dos vieses algorítmicos subjacentes[29], quanto por causa da alta taxa de erros[30].

No caso específico do governo federal brasileiro, a transposição se deu diretamente, sem passagem pelos aspectos sanitários[31]. Apesar da pouca preocupação com o número de doentes no país durante a pandemia[32], houve bastante interesse na implementação de novas estratégias de digital surveillance, escancaradamente voltadas não para a contenção do vírus, mas para a caça de opositores políticos[33]: comunistas, antifas e outros grupos taxados de (pré-)terroristas[34]. Medidas securitárias implementadas a fim de combater um inimigo ilusório[35] – ou real, se a democracia puder ser chamada de “inimiga”.

3.               Erros judiciários em reconhecimentos pessoais

A preocupação com os erros judiciários produziu, como um de seus principais efeitos, a criação da presunção de inocência, isto é, de “uma opção garantista de civilidade”[36]. A possibilidade de erros judiciários é inerente ao julgamento, um ato judicial a ser realizado diante de uma dúvida que se abre ao julgador: inocente ou culpado?[37] Daí que alguns afirmam a inevitabilidade de erros[38], em muitos casos parecendo esquecer-se da possibilidade democrática de escolha de preferências[39].

A principal causa apontada para os erros judiciários (rectius: o principal erro judiciário) é a equivocada identificação de suspeitos por testemunhas[40]. Inúmeros fatores que podem influenciar nesses erros: (a) ausência de documentação do procedimento investigatório; (b) apresentação, pela polícia, da foto de um único suspeito; (c) formação de linhas de identificação com pessoas sem características físicas semelhantes; (d) identificação de voz pela testemunha (earwitness identification); (e) sugestão, pela polícia, do suspeito a escolher; (f) confirmação, pela polícia, de que o suspeito escolhido foi o correto; (g) informação, pela polícia, de que o suspeito está na linha de identificação ou de que sua foto está entre as fotos apresentadas; e (h) utilização, pela polícia, de técnicas de hipnose[41].

Como se pode ver, a polícia desempenha um papel fundamental no desencadeamento dos erros judiciários, ou na sua evitação. Por isso, frequentemente estão presentes, em um mesmo caso, mais de uma das tradicionalmente chamadas “causas”. Há, nesse sentido, uma relação de complementação e reforço entre os erros, a qual resulta, ao fim e ao cabo, na paradoxal produção de um acertamento do caso penal[42] a partir de erros[43]. Isso é possível devido às presunções de não erro operantes no sistema penal: além de presumirem que não erram, os atores do sistema penal presumem que eventuais erros praticados serão corrigidos adiante. Aliás, a tendência é que a existência de instituições com finalidades de garantir direitos seja interpretada como garantia mesma de que erros não existem ou, se existirem, serão corrigidos[44].

Assim é que policiais assumem que eventuais erros serão corrigidos pelos promotores ou juízes, promotores assumem que policiais não erraram, mas que, se tiverem errado, o judiciário poderá corrigir, e o judiciário assume que ninguém errou, mas, se houver erro, as instâncias superiores corrigirão. As instâncias superiores, contudo, tendem a também presumir que ninguém errou[45].

Daí advém dois grupos de consequências. Primeiro, as preocupações com a qualidade da memória. Nos Estados Unidos, o caso Neil v. Biggers (1976), no qual a Suprema Corte dos Estados Unidos cunhou critérios de avaliação da confiabilidade dos depoimentos testemunhais[46]. No Brasil, mais recentemente, foram julgados pelo Superior Tribunal de Justiça o habeas corpus 598.886, no qual a observância do art. 226 do Código de Processo Penal se tornou compulsória[47], e, em seguida, o habeas corpus 652.284, em sede do qual a Corte decidiu pela invalidade da substituição do reconhecimento pessoal por reconhecimento fotográfico[48]. Segundo, as preocupações com as coincidências de erros[49] em um mesmo caso penal, principalmente com sugestionabilidade[50] criadora das falsas memórias[51] (correlato testemunhal da cross-contamination dos vestígios[52]), efeito multiplicador (multiplying effect)[53] e efeito bola de neve (snowball effect)[54].

4.               Reconhecimento facial por algoritmos: um novo capítulo nos erros judiciários

Em meio aos profundos problemas nos quais a identificação pessoal[55], em particular, e o depoimento testemunhal, em geral, estão imersos, a tecnologia novamente desponta como candidata a salvadora do sistema penal[56]. Não somente em relação às testemunhas, mas aos meios de prova em geral[57].

Assim é que as apostas em aparelhos tecnológicos para realizar a identificação facial se deve, dentre outros motivos, aos recorrentes casos de má-identificação de suspeitos pelas testemunhas, os quais figuram, há décadas, entre os principais erros judiciários[58]. Num primeiro momento a iniciativa parece importante e acertada. Mas essa impressão é desfeita facilmente. Basta acompanhar as várias notícias sobre o fracasso da identificação facial por meio de inteligência artificial para que se perceba que o remédio é pior que o veneno[59].

Uma das iniciativas mais invasivas e preocupantes é a chinesa. Não se trata somente do monitoramento, mas da implementação e operacionalização de um sistema de pontuação social, com aplicação de recompensas e punições por um algoritmo de inteligência artificial. Ações como a compra de bebidas, infrações de trânsito e outros comportamentos considerados prejudiciais são punidos com a redução da pontuação social. As pessoas com baixa pontuação são impedidas de frequentar determinados lugares, de viajar, de obter determinados empregos etc. Um dos casos que colocam em xeque o sistema envolveu Hu, que teve o score social reduzido e ficou impossibilitado de realizar diversas atividades rotineiras[60].

Apesar de não parecer existir aí uma relação direta com o sistema penal, tanto tal sistema pode ser adaptado para a persecução penal, quanto a não adaptação implica em evasão da presunção de inocência por meio de ordens civis de fiscalização sem aplicação de pena[61] (equivalente ao monitoramento eletrônico, previsto no art. 319, IX, do Código de Processo Penal, mas desvinculado da “inconveniente necessidade” de fumus comissi delicti – cautelaridade sem cautela, sem acessoriedade e ilimitada). Dito de outro modo, o sistema é customizável e a mera existência já implica em um tratamento de todos como criminosos em potencial[62].

Além dos problemas que podem envolver esses sistemas de pontuação social, com punições desproporcionais e técnicas invasivas, tem-se os recentes casos de fracasso do sistema para a identificação facial e de escândalos de privacidade – decorrentes do vazamento de dados de milhões de usuários em todo o mundo.

Na China, o algoritmo de identificação facial confundiu uma mulher com a foto de uma celebridade, estampada na parte de trás de um ônibus, e aplicou uma punição a alguém que nunca esteve fisicamente no local[63]. Em Londres, o sistema de monitoramento utilizado para capturar fugitivos identificou erroneamente pessoas em 81% das vezes[64]. Em São Francisco, a identificação facial por sistemas de câmeras foi banida pelo legislativo municipal[65]. Na Nova Zelândia, um sistema da ClearView IA foi utilizado pela polícia sem aprovação, bem como foi constatado que o sistema não funciona[66].

Para agravar esse quadro, a pandemia de coronavírus parece ter justificado quaisquer medidas. A digital surveillance perpassa as relações sociais, econômicas, jurídicas e políticas, aparentemente conduzindo as sociedades contemporâneas rumo a uma total surveillance, para a qual o rigoroso controle biopolítico dos indivíduos, inicialmente justificado a pretexto da necessidade de conter a circulação do vírus[67], começa a se manifestar no sistema penal[68]. As chances de erros judiciários são elevadas em razão do incremento das iniciativas de surveillance e podem legitimar sanções desproporcionais a quem for confundido com descumpridor das medidas securitárias da quarentena, assim como a persecução penal de quem for confundido com um suspeito ou foragido. Os drones podem ser determinantes para isso, mas têm potencial para produção de um complexo maquínico de extermínio[69].

Por fim, tendo em vista os recentes julgados do Superior Tribunal de Justiça acerca do reconhecimento pessoal, há que se reconhecer que, por um lado, o art. 226 do Código de Processo Penal (descrição do suspeito pela testemunha/vítima[70], formação de linha de identificação com outras pessoas com características físicas semelhantes, providenciar que a testemunha/vítima não seja vista, caso se sinta ameaçada, e lavratura de auto de identificação pormenorizado) não pode ser cumprido por inteligência artificial, e, por outro, os algoritmos só podem funcionar com base em fotografias e vídeos (imagens individualizadas ou agrupadas), de modo que se trata sempre de reconhecimento fotográfico inválido[71].

Considerações finais

O uso das “novas tecnologias” produz e reproduz incertezas. Há quem diga que os humanos serão substituídos pelas máquinas, bem como quem negue essa possibilidade[72]. Muitos cientistas de dados permanecem otimistas quanto ao futuro, apostando numa contribuição dessas tecnologias para que os humanos possam ter tempo livre a dedicar para atividades criativas – pressupondo uma bondade imanente aos proprietários das empresas tecnológicas[73].

Durante a pesquisa aqui relatada, constatou-se que vários eventos destoam das supostas potencialidades, sobretudo da inteligência artificial, no campo da identificação facial. Mas não se cogita de uma via de acesso reformista que permita “ajustar” os algoritmos para que labutem melhor. Por um lado, é verdadeiro que se trata de uma tendência nas medidas securitárias que, possivelmente, se tornará preponderante nos próximos anos. Por outro, não parece possível substituir o trabalho humano, tampouco evitar os erros algorítmicos.

Não se parte da ingenuidade. Sabe-se que não se está a tratar do futuro, mas do presente. Contudo, é possível criar estratégias de resistência[74], bem como de redução de erros judiciários daí decorrentes. Também é imprescindível que se o faça, pois as falhas do presente não impedirão a atualização e a reapresentação da proposta no futuro[75]. Por tudo isso, pensa-se que a hipótese de pesquisa foi confirmada, bem como que os algoritmos de reconhecimento facial não podem ser admitidos como meios de obtenção de fonte de prova no processo penal.

Referências

AGAMBEN, Giorgio. A propósito de Tiqqun. In: TIQQUN. Contribuição para a guerra em curso. São Paulo: n-1 edições, 2019.

AGAMBEN, Giorgio. Chiarimenti. Quodlibet, 17 mar. 2020. Disponível em: <https://www.quodlibet.it/giorgio-agamben-chiarimenti>. Acesso em: 06 jun. 2020.

AGAMBEN, Giorgio. Estado de exceção. Trad. Iraci D. Poleti. São Paulo: Boitempo, 2004.

ASHWORTH, Andrew. Four threats to the presumption of innocence. The international jornal of evidence & proof, v. 10, p. 241-279, 2006. https://doi.org/10.1350/ijep.10.4.241

AMARAL, Augusto Jobim do. A governamentalidade em tempos securitários. In: SILVEIRA, Clovis Eduardo Malinverni; GRAZIANO SOBRINHO, Sergio Francisco Carlos. (Org.). Direito, risco e sustentabilidade: abordagens interdisciplinares. Caxias do Sul: EDUCS, 2017.

AMARAL, Augusto Jobim do. O dispositivo inquisitivo: entre a ostentação penal e a estética política do processo penal. 2014. 499 f. Tese (Doutorado em Ciências Criminais). Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2014.

AMARAL, Augusto Jobim do; DIAS, Felipe da Veiga. Surveillance e as “novas” tecnologias de controle biopolítico. Veritas, Porto Alegre, v. 64, n. 1, e-33427, 2019. https://doi.org/10.15448/1984-6746.2019.1.33427

BALSAMINI, Dean. NYC facial-recognition software company sued over privacy, civil liberties issues. New York Post, 16 maio 2020. Disponível em: <https://nypost.com/2020/05/16/clearview-ai-sued-over-privacy-civil-liberties-issues>. Acesso em: 13 maio 2022.

BENJAMIN, Walter. Sobre o conceito da história. In: BENJAMIN, Walter. Magia e técnica, arte e política. Obras escolhidas. 3. ed. Trad. Sergio Paulo Rouanet. São Paulo: Brasiliense, 1987.

BIG Brother Watch. Big Brother Watch briefing on facial recognition surveillance. Londres: Big Brother Watch, 2020.

BRASIL. Ministério da Indústria, Comércio e Serviços. Indústria 4.0. Disponível em: <http://www.industria40.gov.br>. Acesso em: 06 jun. 2020.

BRASIL. Ministério da Justiça e Segurança Pública. Ministério entrega aos estados primeiras ferramentas de Big Data e Inteligência Artificial para combater a criminalidade. Disponível em: <https://www.justica.gov.br/news/collective-nitf-content-1566331890.72>. Acesso em: 13 maio 2022.

BRASIL. Superior Tribunal de Justiça. Sexta turma. Habeas corpus 598.886. Rel. Min. Rogério Schietti Cruz, j. em 27 out. 2020. Disponível em: <https://processo.stj.jus.br/processo/revista/documento/mediado/?componente=ITA&sequencial=1996943&num_registro=202001796823&data=20201218&formato=PDF>. Acesso em: 13 maio 2022.

BRASIL. Superior Tribunal de Justiça. Quinta turma. Habeas corpus 652.284. Rel. Min. Reynaldo Soares da Fonseca, j. em 27 abr. 2021. Disponível em: <https://processo.stj.jus.br/processo/revista/documento/mediado/?componente=ITA&sequencial=2048532&num_registro=202100769343&data=20210503&formato=PDF>. Acesso em: 13 maio 2022.

BYLER, Darren. Cómo la COVID-19 popularizó las tecnologías de vigilancia china. Trad. Ana Milutinovic. MIT Technology Review, 18 out. 2021. Disponível em: <https://www.technologyreview.es/s/13722/como-la-covid-19-popularizo-las-tecnologias-de-vigilancia-china>. Acesso em: 13 maio 2022.

CANI, Luiz Eduardo; MORAIS DA ROSA, Alexandre. Guia para a mitigação dos erros judiciários no processo penal. Florianópolis: EMais, 2022.

CARNELUTTI, Francesco. As misérias do processo penal. Trad. José Antonio Cardinalli. São Paulo: Conan, 1995.

CARNEY, Matthew. Leave no dark corner. China is building a digital dictatorship to exert control over its 1.4 billion citizens. For some, “social credit” will bring privileges – for others, punishment. ABC News, Sidney, 17 set. 2018. Disponível em: <https://mobile.abc.net.au/news/2018-09-18/china-social-credit-a-model-citizen-in-a-digital-dictatorship/10200278>. Acesso em: 13 maio 2022.

CHAMAYOU, Grégoire. Teoria do drone. Trad. Célia Euvaldo. São Paulo: Cosac Naify, 2015.

CLIFTON, Judith; GLASMEIER, Amy; GRAY, Mia. When machines think for us: consequences for work and place. Social Europe, 14 maio 2020. https://doi.org/10.1093/cjres/rsaa004

COHEN, Stanley. Convicting the innocent. Death row and America’s broken system of justice. Nova Iorque: Skyhorse, 2016.

COUTINHO, Jacinto Nelson de Miranda. A lide e o conteúdo do processo penal. Curitiba: Juruá, 1998.

DELEUZE, Gilles. Post-scriptum sobre as sociedades de controle. In: DELEUZE, Gilles. Conversações (1972-1990). Trad. Peter Pál Pelbart. São Paulo: Editora 34, 2013.

DRISHTI. The big picture: facial recognition – uses & concerns. Disponível em: <https://www.drishtiias.com/loksabha-rajyasabha-discussions/the-big-picture-facial-recognition-uses-concerns>. Acesso em: 13 maio 2022.

ESTADOS Unidos da América. Supreme Court. Neil v. Biggers (1972). Disponível em: <https://caselaw.findlaw.com/us-supreme-court/409/188.html>. Acesso em: 13 maio 2022.

FOUCAULT, Michel. História da sexualidade 1: a vontade de saber. Trad. Maria Thereza da Costa Albuquerque e José Augusto Guilhon de Albuquerque. 9. ed. São Paulo: Paz e Terra, 2019.

FOUCAULT, Michel. Nascimento da biopolítica. Curso dado no Collège de France (1978-1979). Trad. Eduardo Brandão. São Paulo: Martins Fontes, 2008.

GARRETT, Brandon L. Autopsy of a crime lab: exposing the flaws in forensics. Oakland: California University Press, 2021.

GARRETT, Brandon L. Convicting the innocent. Where criminal prosecutions go wrong. Cambridge: Harvard University Press, 2011. https://doi.org/10.4159/harvard.9780674060982

GIVELBER, Daniel. The adversary system and historical accuracy. Can we do better?. In: HUMPHREY, John A.; WESTERVELT, Saundra D. (Ed.). Wrongly convicted: perspectives on failed justice. Nova Jérsei: Rutgers University Press, 2001.

GODSEY, Mark. Blind injustice. A former prosecutor exposes the psychology and politics of wrongful convictions. Oakland: California University Press, 2017. https://doi.org/10.1525/9780520962958

HAN, Byung-Chul. O coronavírus de hoje e o mundo de amanhã, segundo o filósofo Byung-Chul Han. El País Brasil, 22 mar. 2020. Disponível em: <https://brasil.elpais.com/ideas/2020-03-22/o-coronavirus-de-hoje-e-o-mundo-de-amanha-segundo-o-filosofo-byung-chul-han.html>. Acesso em: 13 maio 2022.

HARCOURT, Bernard E. Against prediction: profiling, policing, and punishing in an actuarial age. Chicago: University of Chicago Press, 2006. https://doi.org/10.1086/588243

HENRY, Jessica S. Smoke but no fire. Convicting the innocent of crimes that never happened. Oakland: University of California Press, 2020.

INNOCENCE Project. Eyewitness identification reform. Disponível em: <https://www.innocenceproject.org/eyewitness-identification-reform>. Acesso em: 13 maio 2022.

JEE, Charlote. London police’s face recognition system gets it wrong 81% of the time. MIT Technology Review, 04 jul. 2019. Disponível em: <https://www.technologyreview.com/2019/07/04/134296/london-polices-face-recognition-system-gets-it-wrong-81-of-the-time>. Acesso em: 13 maio 2022.

KLINGBEIL, Lars; MEYER, Henning. Robots won’t make us redundant. Social Europe, 14 maio 2020. Disponível em: <https://www.socialeurope.eu/robots-wont-make-us-redundant>. Acesso em: 13 maio 2022.

KNIGHT, Will. IMB’s withdrawal won’t mean the end of facial recognition. Wired, 10 jun. 2020. Disponível em: <https://www.wired.com/story/ibm-withdrawal-wont-mean-end-facial-recognition>. Acesso em: 13 maio 2022.

KO, Kyoungmin; et al. SqueezeFace: Integrative Face Recognition Methods with LiDAR Sensors. Journal of Sensors, v. 2021, 4312245, pp. 1-8, 2021, p. 1-2. https://doi.org/10.1155/2021/4312245

LÁZARO, Natália. Prefeitos recomendam lockdown nacional contra a covid-19. Uol, Brasília, 12 mar. 2021. Disponível em: <https://noticias.uol.com.br/saude/ultimas-noticias/redacao/2021/03/12/fnp-prefeitos-lockdown-nacional-covid-19-governo-federal-criticas.htm>. Acesso em: 13 maio 2022.

LEE, Dave. San Francisco is first US city to ban facial recognition. BBC, 15 maio 2019. Disponível em: <https://www.bbc.com/news/technology-48276660>. Acesso em: 13 maio 2022.

LIAO, Shannon. Chinese facial recognition system mistakes a face on a bus for a jaywalker. The Verge, 22 nov. 2019. Disponível em: <https://www.theverge.com/2018/11/22/18107885/china-facial-recognition-mistaken-jaywalker>. Acesso em: 13 maio 2022.

LOMBROSO, Cesare. L’uomo delinquente in rapporto all’antropologia, alla giurisprudenza ed alla psichiatria. 5. ed. Turim: Fratelli Bocca, 1897.

LUCHINI, Claudio; PEA, Antonio; SCARPA, Aldo. Artificial intelligence in oncology: current applications and future perspectives. British Journal of Cancer, v. 126, pp. 4-9, 2022. https://doi.org/10.1038/s41416-021-01633-1

LYU, Shing. Practical rust projects. Building game, physical computing, and machine learning applications. Nova Iorque: Apress, 2020. https://doi.org/10.1007/978-1-4842-5599-5

MAGALHÃES, Marina Trindade. O reconhecimento pessoal e a psicologia judiciária: falibilidade do testemunho como reforço do etiquetamento e violação ao in dubio pro reo. Revista Brasileira de Direito Processual Penal, Porto Alegre, v. 6, n. 3, pp. 1699-1731, 2020. https://doi.org/10.22197/rbdpp.v6i3.339

MATIDA, Janaína; CECCONELLO, William Weber. Reconhecimento fotográfico e presunção de inocência. Revista Brasileira de Direito Processual Penal, Porto Alegre, v. 7, n. 1, pp. 409-440, 2021. https://doi.org/10.22197/rbdpp.v7i1.506

MENDES, Lucas. TCU suspende licitação de sistema espião pelo Ministério da Justiça. Poder 360, 10 nov. 2021. Disponível em: <https://www.poder360.com.br/governo/tcu-suspende-licitacao-de-sistema-espiao-pelo-ministerio-da-justica>. Acesso em 15 maio 2021.

MENDES, Paulo de Sousa. Causalidade complexa e prova penal. Coimbra: Almedina, 2018.

MORAIS DA ROSA, Alexandre. A questão digital: o impacto da inteligência artificial no Direito. Revista de Direito da Faculdade Guanambi, v. 6, n. 2, e259, 2019. https://doi.org/https://doi.org/10.29293/rdfg.v6i02.259

MOROZOV, Evgeny. Solucionismo, nova aposta das elites globais. Outras Palavras, 23 abr. 2020. Disponível em: <https://outraspalavras.net/tecnologiaemdisputa/solucionismo-nova-aposta-das-elites-globais>. Acesso em: 13 maio 2022.

NEUFELD, Carmem Beatriz; BRUST, Priscila Goergen; STEIN, Lilian Milnitsky. Compreendendo o fenômeno das falsas memórias. In: STEIN, Lilian Milnitsky et al. Falsas memórias: fundamentos científicos e suas aplicações clínicas e jurídicas. Porto Alegre: Artmed, 2010.

O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. Nova Iorque: Broadway Books, 2016.

REDAÇÃO. Empresa de reconhecimento facial Clearview AI será investigada no Canadá. Veja, 26 fev. 2020. Disponível em: <https://veja.abril.com.br/tecnologia/empresa-de-reconhecimento-facial-clearview-ai-sera-investigada-no-canada>. Acesso em: 13 maio 2022.

REDAÇÃO. Surveillance capitalism meets the coronavirus shock doctrine. The Intercept, 20 maio 2020. Disponível em: <https://theintercept.com/2020/05/20/coronavirus-surveillance-naomi-klein-shoshana-zuboff>. Acesso em: 06 jun. 2020.

ROCHA, Camilo. O trabalho humano escondido atrás da inteligência artificial. Nexo, 18 jun. 2019. Disponível em: <https://www.nexojornal.com.br/expresso/2019/06/18/O-trabalho-humano-escondido-atr%C3%A1s-da-intelig%C3%AAncia-artificial>. Acesso em: 13 maio 2022.

SALVÀ, Peppe. “Deus não morreu. Ele tornou-se Dinheiro”. Entrevista com Giorgio Agamben. Trad. Selvino José Assmann. Blog da Boitempo, São Paulo, 31 ago. 2012. Disponível em: <https://blogdaboitempo.com.br/2012/08/31/deus-nao-morreu-ele-tornou-se-dinheiro-entrevista-com-giorgio-agamben>. Acesso em: 13 maio 2022.

SANTOS, Alexandre. Câmeras de reconhecimento facial acham criminoso no Carnaval de Salvador. Uol, Salvador, 05 mar. 2019. Disponível em: <https://noticias.uol.com.br/cotidiano/ultimas-noticias/2019/03/05/cameras-de-reconhecimento-facial-acham-criminoso-no-carnaval-de-salvador.htm>. Acesso em: 08 jun. 2022.

SCHECK, Barry; NEUFELD, Peter. DNA and innocence scholarship. In: HUMPHREY, John A.; WESTERVELT, Saundra D. (Ed.). Wrongly convicted: perspectives on failed justice. Nova Jérsei: Rutgers University Press, 2001.

SMITH, Mackenzie. Police searched for suspects in unapproved trial of facial recognition tech. RNZ, 15 maio 2020. Disponível em: <https://www.rnz.co.nz/news/national/416697/police-searched-for-suspects-in-unapproved-trial-of-facial-recognition-tech-clearview-ai>. Acesso em: 13 maio 2022.

VARON, Joana. Bem na sua cara: a ilusão do reconhecimento facial para segurança pública. Coding Rights, 04 maio 2019. Disponível em: <https://medium.com/codingrights/bem-na-sua-cara-a-ilus%C3%A3o-do-reconhecimento-facial-para-seguran%C3%A7a-p%C3%BAblica-47c708b34820>. Acesso em: 13 maio 2022.

ZAFFARONI, Eugenio Raúl. La estructura inquisitorial. In: ZAFFARONI, Eugenio Raúl. La cuestión criminal. Buenos Aires: Planeta, 2012.

[1] Vide: AMARAL, Augusto Jobim do. A governamentalidade em tempos securitários. In: SILVEIRA, Clovis Eduardo Malinverni; GRAZIANO SOBRINHO, Sergio Francisco Carlos. (Org.). Direito, risco e sustentabilidade: abordagens interdisciplinares. Caxias do Sul: EDUCS, 2017.

[2] Entendidos aqui não no sentido já consolidado, de erros ao final da persecução penal (condenações de inocentes – falsos positivos – ou absolvições de culpados – falsos falsos), mas como descumprimentos do devido processo legal (p. ex. admissibilidade e/ou valoração de prova ilícita, não declaração de nulidade de ato nulo etc.): “nesta quadra da história, não é mais possível pensar os erros judiciários como o resultado final do processo em que um inocente foi condenado ou em que um culpado foi absolvido. A condenação de inocente e a absolvição de culpado são efeitos dos erros. Também a discussão há muito feita acerca das causas dos erros: más condutas, inefetividade etc. Nada disso é causa. Esses são os erros mesmos.” CANI, Luiz Eduardo; MORAIS DA ROSA, Alexandre. Guia para a mitigação dos erros judiciários no processo penal. Florianópolis: EMais, 2022, p. 158.

[3]Vi ho cercato d’illustrare, nel mondo dei criminali, ciò che gli etnografi chiamano la pictografia dei selvaggi e la loro estetica, la loro grafologia, e i loro geroglifici. Sopratutto ho voluto dimostrare colla maggior evidenza possibile la esistenza ed i caratteri del tipo nel criminale nato e nell’epilettico. E a questo fine ho raccolto nuovi documenti dalle opere e dalle comunicazioni più recenti dei miei amici e colleghi Kurella, Marro, Del Drago, De Blasio, Ottolenghi, Maxime du Camp, Cantel Bey, Mingazzini, Penta, Roncoroni, Magnan, De Silvestri, Staderini, Frigerio, Baer, Tarnowsky, principe Rolando Bonaparte, Fallot, Lacassagne, Benedikt, Boselli e Moraglia, e specialmente dalla magistrale opera del Ferri sull’Omicidio (Tav. II a XXIV e da XL a XLIV).” LOMBROSO, Cesare. L’uomo delinquente in rapporto all’antropologia, alla giurisprudenza ed alla psichiatria. 5. ed. Turim: Fratelli Bocca, 1897, p. iii.

[4] Sobre: BRASIL. Ministério da Indústria, Comércio e Serviços. Indústria 4.0. Disponível em: http://www.industria40.gov.br. Acesso em: 06 jun. 2020.

[5] AMARAL, Augusto Jobim do; DIAS, Felipe da Veiga. Surveillance e as “novas” tecnologias de controle biopolítico. Veritas, Porto Alegre, v. 64, n. 1, e-33427, 2019, p. 3. https://doi.org/10.15448/1984-6746.2019.1.33427.

[6] DELEUZE, Gilles. Post-scriptum sobre as sociedades de controle. In: DELEUZE, Gilles. Conversações (1972-1990). Trad. Peter Pál Pelbart. São Paulo: Editora 34, 2013, p. 229.

[7] Ibidem.

[8] “faz-se necessário distinguir a Inteligência Artificial forte e fraca. Enquanto o objetivo da primeira (forte) é construir uma máquina que responda à inteligência geral humana, a segunda (fraca) busca emular a realização de tarefas específicas (LÓPEZ DE MÁNTARAS BADIA; MESEGUER GONZÁLEZ, 2017). Enquanto na geral se busca um substituto, na especializada se pretende predizer aplicações individualizadas. O alvo das duas é diferenciado e, no que se refere ao Direito, a pretensão se vincula à compreensão fraca, dada a multiplicidade de fatores que podem, em potência, constituir-se em fatores da decisão”. MORAIS DA ROSA, Alexandre. A questão digital: o impacto da inteligência artificial no Direito. Revista de Direito da Faculdade Guanambi, v. 6, n. 2, e259, 2019, p. 8. http://dx.doi.org/https://doi.org/10.29293/rdfg.v6i02.259.

[9]The terms machine learning and artificial intelligence are sometimes used interchangeably, but there is a subtle difference. Artificial intelligence focuses on “intelligence”. An AI system tries to behave as if it possesses human intelligence, no matter what the underlying method or algorithm is. But in machine learning, the focus is on ‘learning’ where the system is trying to learn something from the data without a human explicitly programming the knowledge. For example, one of the early successes in AI was the expert system. In an expert system, the knowledge of a particular field is written down as rules and programmed directly into the code, so the system can answer questions or perform tasks as if it were a domain expert. This kind of system might appear to have some level of human intelligence, but underneath it’s not actually ‘learning’ from data. So this system can be called an AI system but not a machine learning system.” LYU, Shing. Practical rust projects. Building game, physical computing, and machine learning applications. Nova Iorque: Apress, 2020, p. 187.

[10]From the use of the IRS Discriminant Index Function to predict potential tax evasion and identify which tax returns to audit […] to the use of risk-assessment instruments to determine pretrial detention, length of criminal sentences, prison classification, and parole eligibility, prediction instruments increasingly determine individual outcomes in our policing, law enforcement, and punishment practices. More and more, we use risk-assessment tools to identify whom to search, when to punish more, and how to administer the penal sanction.” HARCOURT, Bernard E.. Against prediction: profiling, policing, and punishing in an actuarial age. Chicago: University of Chicago Press, 2006, p. 2.

[11]is a biometric technology that uses distinctive features of the face to identify and distinguish an individual. Over a period of almost 6 decades, it has evolved in many ways- from looking at 3D contours of a face to recognizing skin patterns. […] The facial recognition system works primarily by capturing the face & its features through the camera and then using various kinds of software to reconstruct those features. The captured face along with its features is stored into a database, which can be integrated with any kind of software that may be used for security purposes, banking services, etc.” DRISHTI. The big picture: facial recognition – uses & concerns. Disponível em: <https://www.drishtiias.com/loksabha-rajyasabha-discussions/the-big-picture-facial-recognition-uses-concerns>. Acesso em: 13 maio 2022.

[12]LiDAR, short for light detection and ranging, is a remote sensing technology similar to radar. The difference is that radar uses radio waves to detect its surroundings, whereas LiDAR uses laser energy. […] The main feature of the proposed method is a face recognition model that incorporates depth information into RGB images. The method uses a device equipped with a LiDAR sensor to collect the supplementary data. Because the method utilizes point cloud and depth data, it solves the liveness detection problem of the existing 2D face recognition method.” KO, Kyoungmin; et al. SqueezeFace: Integrative Face Recognition Methods with LiDAR Sensors. Journal of Sensors, v. 2021, 4312245, pp. 1-8, 2021, p. 1-2. https://doi.org/10.1155/2021/4312245.

[13] “A ferramenta promove a integração de dados em larga escala para auxiliar na elaboração de políticas públicas contra a criminalidade, as organizações criminosas e a corrupção. Na prática, agentes de segurança poderão acompanhar as ocorrências de todo o país, buscar informações e ficha criminal de suspeitos, monitorar veículos roubados, atuar no combate ao tráfico nas regiões de fronteiras, além de agir de prontidão na prevenção de assaltos e homicídios. […] O projeto Big Data e Inteligência Artificial será entregue em etapas ao longo dos próximos quatro anos e conta com onze ferramentas. Além da base do sistema, serão entregues as ferramentas Sinesp Cidadão, Sinesp Alerta, Sinesp Agente de campo, Sinesp Corrupção, Sinesp Vínculos, Alerta Brasil 3.0 e Seminários de transferência.” BRASIL. Ministério da Justiça e Segurança Pública. Ministério entrega aos estados primeiras ferramentas de Big Data e Inteligência Artificial para combater a criminalidade. Disponível em: <https://www.justica.gov.br/news/collective-nitf-content-1566331890.72>. Acesso em: 13 maio 2022.

[14] “Pouco se sabe, ou se divulga, que por trás da ação do computador em tarefas desse tipo [inteligência artificial] existe o trabalho de pessoas de carne e osso. Ao redor do mundo, existem milhões de indivíduos realizando tarefas, chamadas de ‘microtrabalhos’, que os computadores não têm capacidade de executar. Mas não é apenas essa a questão: em muitas situações, os humanos simplesmente custam mais barato. […] Os sites de microtrabalho incluem atividades como preencher formulários, responder a pesquisas ou redigir textos descritivos para produtos em sites. Mas a maior parte das tarefas está mesmo ligada à inteligência artificial.” ROCHA, Camilo. O trabalho humano escondido atrás da inteligência artificial. Nexo, 18 jun. 2019. Disponível em: <https://www.nexojornal.com.br/expresso/2019/06/18/O-trabalho-humano-escondido-atr%C3%A1s-da-intelig%C3%AAncia-artificial>. Acesso em: 13 maio 2022.

[15]The suit alleges Clearview ‘covertly collected billions of personal photographs from across the internet, extracted [personal] information from them, and aggregated that data into a massive surveillance database that can identify hundreds of millions of Americans in seconds with just a picture.’” BALSAMINI, Dean. NYC facial-recognition software company sued over privacy, civil liberties issues. New York Post, 16 maio 2020. Disponível em: <https://nypost.com/2020/05/16/clearview-ai-sued-over-privacy-civil-liberties-issues>. Acesso em: 13 maio 2022.

[16] “No início de janeiro, uma reportagem do jornal The New York Times Mostrou que a empresa Clearview AI vem oferecendo serviços de reconhecimento facial capazes de vasculhar as redes sociais do identificado para determinar locais que frequenta, as pessoas que conhece, entre outras informações pessoais. Com isso, autoridades canadenses de defesa da privacidade lançaram uma investigação da companhia norte-americana para determinar se a tecnologia cumpre as leis do país. A Clearview AI afirma que é uma ferramenta útil para policias do mundo todo, vasculhando a internet por imagens públicas que são submetidas à análise de reconhecimento facial para identificação de potenciais suspeitos. Críticos no Canadá e nos Estados Unidos levantaram preocupações sobre a falta de permissão das pessoas que aparecem nas fotos e potenciais usos indevidos da tecnologia.” REDAÇÃO. Empresa de reconhecimento facial Clearview AI será investigada no Canadá. Veja, 26 fev. 2020. Disponível em: <https://veja.abril.com.br/tecnologia/empresa-de-reconhecimento-facial-clearview-ai-sera-investigada-no-canada>. Acesso em: 13 maio 2022.

[17] “Sob pretexto de inovação e segurança pública, tecnologias de reconhecimento facial com eficiência ainda bastante limitada e com imprecisões consideráveis têm sido comercializadas e usadas sem regulamentação e supervisão, ameaçando propagar preconceitos e inverter o princípio da presunção de inocência. […] Segundo Estudo da ONG inglesa Big Brother Watch, que realizou uma série de pedidos de acesso à informação em relação à implementação de câmeras com essa tecnologia pela polícia de Londres e do País de Gales, um número nada razoável de pessoas inocentes foram apontadas como suspeitas. O estudo mostra que em 98% dos casos a polícia de Londres identificou de maneira equivocada pessoas inocentes, no País de Gales, tiveram 91% de erro. […] Nos EUA, até mesmo o FBI também atestou em relatório de impacto de privacidade sobre o Next Generation Indentification Interstate Photo System, seu sistema de reconhecimento facial, que o sistema não é confiável e também gera falsos positivos.” VARON, Joana. Bem na sua cara: a ilusão do reconhecimento facial para segurança pública. Coding Rights, 04 maio 2019. Disponível em: <https://medium.com/codingrights/bem-na-sua-cara-a-ilus%C3%A3o-do-reconhecimento-facial-para-seguran%C3%A7a-p%C3%BAblica-47c708b34820>. Acesso em: 13 maio 2022.

[18] “por toda parte vocês veem esse incentivo ao medo do perigo que e de certo modo a condição, o correlato psicológico e cultural interno do liberalismo. Não há liberalismo sem cultura do perigo. Segunda consequência desse liberalismo e dessa arte liberal de governar e a formidável extensão dos procedimentos de controle, de pressão, de coerção que vão constituir como que a contrapartida e o contrapeso das liberdades.” FOUCAULT, Michel. Nascimento da biopolítica. Curso dado no Collège de France (1978-1979). Trad. Eduardo Brandão. São Paulo: Martins Fontes, 2008, p. 91.

[19] “Minhas investigações mostraram que o poder soberano se fundamenta, desde a sua origem, na separação entre vida nua (a vida biológica, que, na Grécia, encontrava seu lugar na casa) e vida politicamente qualificada (que tinha seu lugar na cidade). A vida nua foi excluída da política e, ao mesmo tempo, foi incluída e capturada através da sua exclusão. Neste sentido, a vida nua é o fundamento negativo do poder. Tal separação atinge sua forma extrema na biopolítica moderna, na qual o cuidado e a decisão sobre a vida nua se tornam aquilo que está em jogo na política. O que aconteceu nos estados totalitários do século XX reside no fato de que é o poder (também na forma da ciência) que decide, em última análise, sobre o que é uma vida humana e sobre o que ela não é. Contra isso, se trata de pensar numa política das formas de vida, a saber, de uma vida que nunca seja separável da sua forma, que jamais seja vida nua.” SALVÀ, Peppe. “Deus não morreu. Ele tornou-se Dinheiro”. Entrevista com Giorgio Agamben. Trad. Selvino José Assmann. Blog da Boitempo, São Paulo, 31 ago. 2012. Disponível em: <https://blogdaboitempo.com.br/2012/08/31/deus-nao-morreu-ele-tornou-se-dinheiro-entrevista-com-giorgio-agamben>. Acesso em: 13 maio 2022.

[20]La paura è una cattiva consigliera, ma fa apparire molte cose che si fingeva di non vedere. La prima cosa che l’ondata di panico che ha paralizzato il paese mostra con evidenza è che la nostra società non crede più in nulla se non nella nuda vita. È evidente che gli italiani sono disposti a sacrificare praticamente tutto, le condizioni normali di vita, i rapporti sociali, il lavoro, perfino le amicizie, gli affetti e le convinzioni religiose e politiche al pericolo di ammalarsi. La nuda vita – e la paura di perderla – non è qualcosa che unisce gli uomini, ma li acceca e separa.” AGAMBEN, Giorgio. Chiarimenti. Quodlibet, 17 mar. 2020. Disponível em: <https://www.quodlibet.it/giorgio-agamben-chiarimenti>. Acesso em: 06 jun. 2020.

[21] “Somente com os modernos é que o estado de necessidade tende a ser incluído na ordem jurídica e a apresentar-se como verdadeiro ‘estado’ da lei. O princípio de que a necessidade define uma situação particular em que a lei perde sua vis obligandi (esse é o sentido do adágio necessitas legem non habet) transforma-se naquele em que a necessidade constitui, por assim dizer, o fundamento último e a própria fonte da lei”. AGAMBEN, Giorgio. Estado de exceção. Trad. Iraci D. Poleti. São Paulo: Boitempo, 2004, p. 42-43.

[22] “A tradição dos oprimidos nos ensina que o ‘estado de exceção’ em que vivemos é na verdade a regra geral.” BENJAMIN, Walter. Sobre o conceito da história. In: BENJAMIN, Walter. Magia e técnica, arte e política. Obras escolhidas. 3. ed. Trad. Sergio Paulo Rouanet. São Paulo: Brasiliense, 1987, p. 226.

[23] “O novo clima penalógico é agente de ampliação da malha penal. Com suas novas técnicas de controle tecnológicas, ele tem alargado, generalizado e prolongado sem precedentes os meios de vigilância penal.” AMARAL, Augusto Jobim do. A governamentalidade em tempos securitários. In: SILVEIRA, Clovis Eduardo Malinverni; GRAZIANO SOBRINHO, Sergio Francisco Carlos. (Org.). Direito, risco e sustentabilidade: abordagens interdisciplinares. Caxias do Sul: EDUCS, 2017, p. 162.

[24] HAN, Byung-Chul. O coronavírus de hoje e o mundo de amanhã, segundo o filósofo Byung-Chul Han. El País Brasil, 22 mar. 2020. Disponível em: <https://brasil.elpais.com/ideas/2020-03-22/o-coronavirus-de-hoje-e-o-mundo-de-amanha-segundo-o-filosofo-byung-chul-han.html>. Acesso em: 13 maio 2022.

[25] esse poder sobre a vida desenvolveu-se a partir do século XVII, em duas formas principais; que não são antitéticas e constituem, ao contrário, dois polos de desenvolvimento interligados por todo um feixe intermediário de relações. Um dos polos, o primeiro a ser formado, ao que parece, centrou-se no corpo como máquina: no seu adestramento, na ampliação de suas aptidões, na extorsão de suas forças, no crescimento paralelo de sua utilidade e docilidade, na integração em sistemas de controle eficazes e econômicos – tudo isso assegurado por procedimentos de poder que caracterizam as disciplinas: anátomo-política do corpo humano. O segundo, que se formou um pouco mais tarde, por volta do século XVIII, centrou-se no corpo-espécie, no corpo transpassado pela mecânica do ser vivo e como suporte dos processos biológicos: a proliferação, os nascimentos e a mortalidade, o nível de saúde, a duração da vida, a longevidade, com todas as condições que podem fazê-los variar; tais processos são assumidos mediante toda uma série de intervenções e controles reguladores: uma biopolítica da população. As disciplinas do corpo e as regulações da população constituem os dois polos em torno dos quais se desenvolveu a organização do poder sobre a vida.” FOUCAULT, Michel. História da sexualidade 1: a vontade de saber. Trad. Maria Thereza da Costa Albuquerque e José Augusto Guilhon de Albuquerque. 9. ed. São Paulo: Paz e Terra, 2019, p. 149-150.

[26] Por exemplo, propostas de uso da IA para encontrar a cura do câncer: “Cancer diagnostics classically represents the necessary point of start for designing appropriate therapeutic approaches and clinical management, and its AI-based refining represents a very important achievement. Furthermore, this indicates that future developments of AI should also consider unexplored but pivotal horizons in this landscape, including drug discovery, therapy administration and follow-up strategies.” LUCHINI, Claudio; PEA, Antonio; SCARPA, Aldo. Artificial intelligence in oncology: current applications and future perspectives. British Journal of Cancer, v. 126, pp. 4-9, 2022, p. 5.

[27] “Se o neoliberalismo e uma ideologia proativa, o solucionismo é reativo: ele desarma, desativa e descarta toda alternativa política. O neoliberalismo encolhe os orçamentos públicos; o solucionismo encolhe a imaginação coletiva. O maior objetivo do solucionismo é convencer o público de que a forma legítima de uso das tecnologias digitais é perturbar e revolucionar tudo – com exceção da instituição central da vida moderna: o mercado. Atualmente, o mundo está fascinado pela tecnologia solucionista […] O debate atual sobre qual a resposta tecnológica correta para o covid-19 parece sufocado precisamente porque não temos nenhuma política pós-solucionista à vista. Ele gira em torno das compensações entre privacidade e saúde pública, por um lado, e em torno da necessidade de promover a inovação por startups, por outro.” MOROZOV, Evgeny. Solucionismo, nova aposta das elites globais. Outras Palavras, 23 abr. 2020. Disponível em: <https://outraspalavras.net/tecnologiaemdisputa/solucionismo-nova-aposta-das-elites-globais>. Acesso em: 13 maio 2022.

[28] China “era experto en usar cámaras térmicas y reconocimiento facial para controlar a su población. Al llegar la pandemia, el resto del mundo empezó a comprar sus sistemas para proteger a los trabajadores y, después, para hacer negocio con ellos, institucionalizando el control de manera informal y divertida”. BYLER, Darren. Cómo la COVID-19 popularizó las tecnologías de vigilancia china. Trad. Ana Milutinovic. MIT Technology Review, 18 out. 2021. Disponível em: <https://www.technologyreview.es/s/13722/como-la-covid-19-popularizo-las-tecnologias-de-vigilancia-china>. Acesso em: 13 maio 2022.

[29]PredPol, for example, is based on seismic software: it looks at a crime in one area, incorporates it into historical patterns, and predicts when and where it might occur next. […] These nuisance crimes are endemic to many impoverished neighborhoods. In some places police call them antisocial behavior, or ASB. Unforntunately, including them in the model threatens to skew the analysis. […] This creates a pernicious feedback loop. The policing itself spawns new data, which justifies more policing.” O’NEIL, Cathy. Weapons of math destruction: how big data increases inequality and threatens democracy. Nova Iorque: Broadway Books, 2016, p. 85-87.

[30]The independent review commissioned by the Metropolitan Police also found that the police’s facial recognition surveillance was significantly inaccurate. Their analysis looked only at 6 of the police’s trials, and found that the Met’s facial recognition technology was accurate only 19% of the time – inaccurate 81% of the time.” BIG Brother Watch. Big Brother Watch briefing on facial recognition surveillance. Londres: Big Brother Watch, 2020, p. 22.

[31] Prova disso é que, por exemplo, não se teve nenhum lockdown nacional, apesar de alguns decretados pelos prefeitos e governadores: “Na carta, os prefeitos criticaram as recentes falas do presidente Jair Bolsonaro (sem partido), que declarou em live ser contrário às medidas de segurança decretadas por governadores e prefeitos.” LÁZARO, Natália. Prefeitos recomendam lockdown nacional contra a covid-19. Uol, Brasília, 12 mar. 2021. Disponível em: <https://noticias.uol.com.br/saude/ultimas-noticias/redacao/2021/03/12/fnp-prefeitos-lockdown-nacional-covid-19-governo-federal-criticas.htm>. Acesso em: 13 maio 2022.

[32] Daí os mais de 660.000 óbitos pela Covid-19 já confirmados: BRASIL. Ministério da Saúde. Coronavírus. Óbitos confirmados. Disponível em: <https://covid.saude.gov.br>. Acesso em: 13 maio 2022.

[33] Exemplo disso foi o Pregão Eletrônico 003/2021 para aquisição de Solução de Inteligência em Fontes abertas, Mídias Sociais, Deep e Dark Web. Nos termos do respectivo edital, dentre os resultados e benefícios pretendidos com a aquisição, destacam-se a “agilidade no processamento e análise de dados e informações”, “aumento da variedade de dados e informações para fins de análise”, “aumento do volume de dados e informações” e “o aumento da capacidade de processamento de dados e construção de informação de Inteligência de Segurança Pública”. Os documentos do pregão podem ser encontrados no portal de compras do Governo Federal, mediante o código UASG: 200331. O processo licitatório foi alvo de polêmicas envolvendo uma possível tentativa de aquisição do software espião Pegasus pelo Governo Federal. Vide: MENDES, Lucas. TCU suspende licitação de sistema espião pelo Ministério da Justiça. Poder 360, 10 nov. 2021. Disponível em: <https://www.poder360.com.br/governo/tcu-suspende-licitacao-de-sistema-espiao-pelo-ministerio-da-justica>. Acesso em 15 maio 2021.

[34] “se atualmente numa sociedade de controle, em que o princípio (nem tão) secreto é aquele de que “todo o cidadão é um potencial terrorista” – pré-condição da suspeita e da politização da vida nua –, quem sabe comecemos a nos aproximar dos debates mais rigorosos sobre o posicionamento da polícia, com relação à justiça e ao poder judicial.” AMARAL, Augusto Jobim do. A governamentalidade em tempos securitários. In: SILVEIRA, Clovis Eduardo Malinverni; GRAZIANO SOBRINHO, Sergio Francisco Carlos. (Org.). Direito, risco e sustentabilidade: abordagens interdisciplinares. Caxias do Sul: EDUCS, 2017, p. 164-165.

[35]Desde la inquisición hasta hoy se sucedieron los discursos con idéntica estructura: se alega una emergencia, […] y el miedo a la emergencia se usa para eliminar cualquier obstáculo al poder punitivo que se presenta como la única solución para neutralizarlo. […] el poder punitivo no se dedica a eliminar el peligro de la emergencia, sino verticalizar más el poder social; la emergencia es sólo el elemento discursivo legitimante de su desenfreno. Esto se verifica a lo largo de unos ochocientos años de sucesivas emergencias, algunas de las cuales implicaban cierto peligro real, pero nunca el poder punitivo eliminó ninguno de esos peligros.” ZAFFARONI, Eugenio Raúl. La estructura inquisitorial. In: ZAFFARONI, Eugenio Raúl. La cuestión criminal. Buenos Aires: Planeta, 2012, p. 42.

[36] AMARAL, Augusto Jobim do. O dispositivo inquisitivo: entre a ostentação penal e a estética política do processo penal. 2014. 499 f. Tese (Doutorado em Ciências Criminais). Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2014, p. 336.

[37] “‘dubium’ vem de ‘duo’. […] Um bivio se abre ante o juiz: de cá ou de lá. Ele deve escolher. Mas para escolher deve percorrer uma ou outra estrada, do contrário não poderia ver onde elas vão terminar.” CARNELUTTI, Francesco. As misérias do processo penal. Trad. José Antonio Cardinalli. São Paulo: Conan, 1995, p. 26.

[38] “No mundo real, o erro judicial é inevitável. As diferentes medidas da prova são critérios jurídicos que servem para minimizar o custo esperado de erro judicial. A análise tradicional da relação custo-benefício neste domínio faz-se nos termos da teoria da utilidade esperada.” MENDES, Paulo de Sousa. Causalidade complexa e prova penal. Coimbra: Almedina, 2018, p. 411.

[39] “Na medida em que a falta é constitutiva, e não se alcançará a punição de todos os culpados, nem mesmo o resguardo de todos os inocentes, importará indagar, democraticamente, se é preferível termos certo número de casos de culpáveis absolvidos com nenhum risco de algum inocente condenado ou, pendente ao autoritarismo, aceitar-se-iam todos os culpados condenados, mesmo ao preço de algum inocente.” AMARAL, Augusto Jobim do. O dispositivo inquisitivo: entre a ostentação penal e a estética política do processo penal. 2014. 499 f. Tese (Doutorado em Ciências Criminais). Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2014, p. 337.

[40]Mistaken Identifications are the Leading Factor In Wrongful Convictions […] Mistaken eyewitness identifications contributed to approximately 69% of the more than 375 wrongful convictions in the United States overturned by post-conviction DNA evidence.” INNOCENCE Project. Eyewitness identification reform. Disponível em: https://innocenceproject.org/eyewitness-identification-reform. Acesso em: 13 maio 2022.

[41] GARRETT, Brandon L. Convicting the innocent. Where criminal prosecutions go wrong. Cambridge: Harvard University Press, 2011, p. 54-62.

[42] “A jurisdição atua para fazer o acertamento do fato, e o processo é o meio que utiliza para concluir se o réu deve ser punido ou não. […] Com ele [caso penal], estamos diante de uma situação de incerteza, de dúvida, quanto à aplicação da sanção penal ao agente que, com sua conduta, incidiu no tipo penal. Em não sendo auto-executável a sanção, não há outro caminho que o processo para fazer o acertamento do caso penal. A jurisdição, ademais, é indefectível e atua, até o acertamento positivo, de condenação, alheia a elementos de ordem subjetiva.” COUTINHO, Jacinto Nelson de Miranda. A lide e o conteúdo do processo penal. Curitiba: Juruá, 1998, p. 138.

[43]Our entire legal system rests on the false belief that people can tell truths from lies. We believe law enforcement can detect false allegations, we believe prosecutors can bet accusations that are not supported by credible evidence, and we believe laypeople acting as jurors can figure out who is telling the truth and who is lying. But the real-life stories […] reveal just how bad we are at lie detection. In 100 percent of the no-crime wrongful conviction cases that started with a false accusation, the lie was believed.” HENRY, Jessica S.. Smoke but no fire. Convicting the innocent of crimes that never happened. Oakland: University of California Press, 2020, p. 60.

[44] Eis o motivo para a proposição, já bastante difundida, de que os primeiros 250 exonerados eram apenas a ponta do iceberg dos erros judiciários: “These 250 exonerations cannot tell us how many people have been wrongly convicted in the United States. That is one of the most haunting features of these exonerations. If known exonerations are the tip of an iceberg, we do not know how big the rest of the iceberg is. We cannot know.” GARRETT, Brandon L. Convicting the innocent. Where criminal prosecutions go wrong. Cambridge: Harvard University Press, 2011, p. 262.

[45] Perversas presunções denunciadas há mais de duas décadas: “The process of filtering out the innocent occurs at every stage from arrest through trial. We start with the assumption that an individual will not be arrested in the fist instance unless the police have serious grounds to believe that he or she is guilty of a crime. Even if the police err in that judgment, we assume that prosecutors will exercise their discretion in not proceeding with formal charges when the accused person is perceived as probably innocent. Even if the prosecutor charges the person, a grand jury in many states has to conclude that probable cause supports the prosecutor’s decision before a formal felony charge can be entered against the accused. Even among those so charged, prosecutors dismiss a significant percentage of the cases for a variety of reasons, including doubts about the individual’s actual guilt.” GIVELBER, Daniel. The adversary system and historical accuracy. Can we do better?. In: HUMPHREY, John A.; WESTERVELT, Saundra D. (Ed.). Wrongly convicted: perspectives on failed justice. Nova Jérsei: Rutgers University Press, 2001, p. 254-255.

[46]As indicated by our cases, the factors to be considered in evaluating the likelihood of misidentification include the opportunity of the witness to view the criminal at the time of the crime, the witness’ degree of attention, the accuracy of the witness’ prior description of the criminal, the level of certainty demonstrated by the witness at the confrontation, and the length of time [409 U.S. 188, 200] between the crime and the confrontation.” ESTADOS Unidos da América. Supreme Court. Neil v. Biggers (1972). Disponível em: <https://caselaw.findlaw.com/us-supreme-court/409/188.html>. Acesso em: 13 maio 2022.

[47] BRASIL. Superior Tribunal de Justiça. Sexta turma. Habeas corpus 598.886. Rel. Min. Rogério Schietti Cruz, j. em 27 out. 2020. Disponível em: <https://processo.stj.jus.br/processo/revista/documento/mediado/?componente=ITA&sequencial=1996943&num_registro=202001796823&data=20201218&formato=PDF>. Acesso em: 13 maio 2022.

[48] BRASIL. Superior Tribunal de Justiça. Quinta turma. Habeas corpus 652.284. Rel. Min. Reynaldo Soares da Fonseca, j. em 27 abr. 2021. Disponível em: <https://processo.stj.jus.br/processo/revista/documento/mediado/?componente=ITA&sequencial=2048532&num_registro=202100769343&data=20210503&formato=PDF>. Acesso em: 13 maio 2022.

[49]while false eyewitness testimony may be the proximate cause in most cases where the wrong man is sent to the death house, it is rarely suficient to get a conviction. Corrupt practices, usually prosecutorial misconduct, are present in almost every instance, greasing the rails on which hundreds of innocent people are sent to death’s door. Misidentifications are not always the honest mistakes of well-meaning citizens doing their civic duty. They are prompted by police eager for na arrest, orchestrated by prosecutors hungry for a conviction, nourished by judges who owe their seats to a public that has not outgrown its wistful nostalgia for frontier justice.” COHEN, Stanley. Convicting the innocent. Death row and America’s broken system of justice. Nova Iorque: Skyhorse, 2016, p. 15.

[50]eyewitnesses and players in the criminal justice system are subconsciously more likely to integrate outside information or suggestions into their memories if it helps move the case in the right direction.” GODSEY, Mark. Blind injustice. A former prosecutor exposes the psychology and politics of wrongful convictions. Oakland: California University Press, 2017, p. 129.

[51] “As FM [falsas memórias] podem ocorrer tanto devido a uma distorção endógena, quanto por uma falsa informação oferecida pelo ambiente externo. […] Esse fenômeno, denominado efeito da sugestão de falsa informação, pode ocorrer tanto na forma acidental quanto na forma deliberada. Nas FM sugeridas, após presenciar um evento, transcorre-se um período de tempo no qual uma nova informação é apresentada como fazendo parte do evento original, quando na realidade não faz.” NEUFELD, Carmem Beatriz; BRUST, Priscila Goergen; STEIN, Lilian Milnitsky. Compreendendo o fenômeno das falsas memórias. In: STEIN, Lilian Milnitsky et al. Falsas memórias: fundamentos científicos e suas aplicações clínicas e jurídicas. Porto Alegre: Artmed, 2010, p. 25-26.

[52] Sobre: SCHECK, Barry; NEUFELD, Peter. DNA and innocence scholarship. In: HUMPHREY, John A.; WESTERVELT, Saundra D. (Ed.). Wrongly convicted: perspectives on failed justice. Nova Jérsei: Rutgers University Press, 2001, p. 249.

[53]Not only can individual confessions be contaminated, but false confessions can have a ‘multiplying’ effect, in which additional innocent people are drawn into an investigation, and a group of confessions is contaminated. Seventeen exonerees not only falsely confessed to their own guilt, but they falsely implicated others who did not confess, eleven of whom were later also exonerated by postconvition DNA testing.” GARRETT, Brandon L. Convicting the innocent. Where criminal prosecutions go wrong. Cambridge: Harvard University Press, 2011, p. 26.

[54]Tunnel vision can produce a snowball effect in cases of wrongful conviction, where an initial, single piece of errant evidence gives rise to what appears to ben an overwhelming case by the time of trial. If an eyewitness mistakenly identifies an innocent person from a photo lineup, for example, the police may become even more convinced that they have the right suspect, leading them to put pressure on the forensic experts to find a fingerprint match with a smeared latent print left at the crime scene. After the expert then gives them the fingerprint match they were looking for, they may then – even more certain of the suspect’s guilt than before – interview potential witnesses in the case and ‘suggest’ additions or corrections to their statements to make the overall picture more compatible with the suspect’s guilt. And with enough ponted questions, a witness or two might start ‘remembering’ things the way the police want them to.” GODSEY, Mark. Blind injustice. A former prosecutor exposes the psychology and politics of wrongful convictions. Oakland: California University Press, 2017, p. 211.

[55] Para um balanço doutrinário e jurisprudencial acerca do reconhecimento pessoal: MAGALHÃES, Marina Trindade. O reconhecimento pessoal e a psicologia judiciária: falibilidade do testemunho como reforço do etiquetamento e violação ao in dubio pro reo. Revista Brasileira de Direito Processual Penal, Porto Alegre, v. 6, n. 3, pp. 1699-1731, 2020. https://doi.org/10.22197/rbdpp.v6i3.339.

[56]The reforms that I have advocated in this book share a family resemblance. At their core, they each involve placing less reliance on unreliable human memory and decisions early on in the criminal investigations.” GARRETT, Brandon L. Convicting the innocent. Where criminal prosecutions go wrong. Cambridge: Harvard University Press, 2011, p. 270.

[57] Por todas: “Forensic databases introduced big data searches to criminal investigations. […] There are benefits to the automation that these databases and accompanying computer programs provide. They can save time and make work more accurate.” GARRETT, Brandon L. Autopsy of a crime lab: exposing the flaws in forensics. Oakland: California University Press, 2021, p. 188.

[58]Scholars have identified a set of the most common factors that contribute to wrongful convictions either singularly or, more often, in combination: eyewitness misidentification, false confessions, official misconduct, forensic error, perjured testimony, and ineffective legal counsel. These contributing factores have remained fairly constant since 1932, when Yale law professor Edwin Borchard first began studying wrongful conviction cases and their causes.” HENRY, Jessica S. Smoke but no fire. Convicting the innocent of crimes that never happened. Oakland: University of California Press, 2020, p. 11.

[59]THE FACTS […] Met police facial recognition 93% inaccurate 2016-2019 […] 3,000+ people wrongly identified by police facial recognition”. BIG Brother Watch. Stop facial recognition. Disponível em: <https://bigbrotherwatch.org.uk/campaigns/stop-facial-recognition>. Acesso em: 13 maio 2022.

[60]Hu lost his social credit when he was charged with a speech crime and now finds himself locked out of society due to his low score. In 2015, Hu lost a defamation case after he accused an official of extortion. He was made to publish an apology and pay a fine but when the court demanded an additional fee, he refused. Last year, the 43-year-old found himself blacklisted as ‘dishonest’ under a pilot social credit scheme. ‘There are a lot of people who are on the blacklist wrongly, but they can’t get off it,’ says Hu.” CARNEY, Matthew. Leave no dark corner. China is building a digital dictatorship to exert control over its 1.4 billion citizens. For some, “social credit” will bring privileges – for others, punishment. ABC News, Sidney, 17 set. 2018. Disponível em: <https://mobile.abc.net.au/news/2018-09-18/china-social-credit-a-model-citizen-in-a-digital-dictatorship/10200278>. Acesso em: 13 maio 2022.

[61]A third threat to the presumption of innocence comes from the use of civil orders to exert control over the lives of certain individuals. The presumption of innocence arises only in criminal proceedings, as is apparent from the wording of Article 6(2) of the Convention, which applies the presumption to ‘every person charged with a criminal offence’.” ASHWORTH, Andrew. Four threats to the presumption of innocence. The international jornal of evidence & proof, v. 10, p. 241-279, 2006, p. 270. https://doi.org/10.1350%2Fijep.10.4.241.

[62] “Creio que é sempre na perspectiva de TIQQUN sobre a guerra civil em curso que se torna compreensível a extensão, a toda população, da aplicação de medidas biométricas que foram concebidas inicialmente para o criminoso reincidente. […] Portanto, todo cidadão é tratado como criminoso ou terrorista em potencial, em potência. […] se o Estado nos trata como criminosos ou terroristas em potência, não devemos nos espantar com o fato de que quem se recusa a submeter-se ou denuncia esse estado de coisas seja tratado, justamente como terrorista.” AGAMBEN, Giorgio. A propósito de Tiqqun. In: TIQQUN. Contribuição para a guerra em curso. São Paulo: n-1 edições, 2019, p. 265.

[63]China’s facial recognition systems are used to catch all types of criminals, from thieves to jaywalkers, in real time. This week, one facial recognition camera publicly shamed a famous business woman for jaywalking after its systems caught her face crossing an intersection. The problem? She was never physically there.” LIAO, Shannon. Chinese facial recognition system mistakes a face on a bus for a jaywalker. The Verge, 22 nov. 2019. Disponível em: <https://www.theverge.com/2018/11/22/18107885/china-facial-recognition-mistaken-jaywalker>. Acesso em: 13 maio 2022.

[64]London’s police force has conducted 10 trials of face recognition since 2016, using Japanese company NEC’s Neoface technology. It commissioned academics from the University of Essex to independently assess the scheme, and they concluded that the system is 81% inaccurate (in other words, the vast majority of people it flags for the police are not on a wanted list). They found that of 42 matches, only eight were confirmed to be correct, Sky News reports.” JEE, Charlote. London police’s face recognition system gets it wrong 81% of the time. MIT Technology Review, 04 jul. 2019. Disponível em: <https://www.technologyreview.com/2019/07/04/134296/london-polices-face-recognition-system-gets-it-wrong-81-of-the-time>. Acesso em: 13 maio 2022.

[65]Legislators in San Francisco have voted to ban the use of facial recognition, the first US city to do so. The emerging technology will not be allowed to be used by local agencies, such as the city’s transport authority, or law enforcement. Additionally, any plans to buy any kind of new surveillance technology must now be approved by city administrators.” LEE, Dave. San Francisco is first US city to ban facial recognition. BBC, 15 maio 2019. Disponível em: <https://www.bbc.com/news/technology-48276660>. Acesso em: 13 maio 2022.

[66]An unapproved police trial of controversial facial recognition software conducted dozens of searches for suspects in New Zealand. This week, RNZ revealed police did not have any of the necessary clearance from their bosses, the Government or the Privacy Commissioner to test American software Clearview AI. Police conducted a short trial between February and March, but decided not to use the technology. […]  Fitzgerald said police only got one successful match for a person whose photo was already in the media. ‘We’ve proven Clearview didn’t work,’ he said, adding that it would not be used in the future.” SMITH, Mackenzie. Police searched for suspects in unapproved trial of facial recognition tech. RNZ, 15 maio 2020. Disponível em: <https://www.rnz.co.nz/news/national/416697/police-searched-for-suspects-in-unapproved-trial-of-facial-recognition-tech-clearview-ai>. Acesso em: 13 maio 2022.

[67]Governments and tech giants around the world are using the Covid-19 crisis to advance a vision of a future in which ‘our every move, our every word, our every relationship is trackable, traceable, and data-mineable,’ writes ‘The Shock Doctrine’ author Naomi Klein, ‘a future in which, for the privileged, almost everything is home delivered, either virtually via streaming and cloud technology, or physically via driverless vehicle or drone.’” REDAÇÃO. Surveillance capitalism meets the coronavirus shock doctrine. The Intercept, 20 maio 2020. Disponível em: <https://theintercept.com/2020/05/20/coronavirus-surveillance-naomi-klein-shoshana-zuboff>. Acesso em: 06 jun. 2020.

[68] SANTOS, Alexandre. Câmeras de reconhecimento facial acham criminoso no Carnaval de Salvador. Uol, Salvador, 05 mar. 2019. Disponível em: <https://noticias.uol.com.br/cotidiano/ultimas-noticias/2019/03/05/cameras-de-reconhecimento-facial-acham-criminoso-no-carnaval-de-salvador.htm>. Acesso em: 08 jun. 2022.

[69] “Dispositivos de vigilância aérea convertidos em máquinas de matar, a melhor definição dos drones é, sem dúvida, a seguinte: ‘Câmeras de vídeo voadoras, de alta resolução, armadas de mísseis’.” CHAMAYOU, Grégoire. Teoria do drone. Trad. Célia Euvaldo. São Paulo: Cosac Naify, 2015, p. 20.

[70] E que nem se diga que o algoritmo pode receber a descrição pela testemunha/vítima para reconhecer, pois a descrição deve ser feita por quem reconhece. Se se pretende substituir os humanos por algoritmos, caberia ao algoritmo descrever e identificar o suspeito.

[71] A latere: “a despeito de uma atitude inicialmente cética e desconfiada (daí a dissonância), não há substanciais vantagens epistêmicas na adoção do reconhecimento presencial em detrimento do reconhecimento fotográfico. Não se justifica, portanto, toda a rejeição atribuída ao uso de fotografias.” MATIDA, Janaína; CECCONELLO, William Weber. Reconhecimento fotográfico e presunção de inocência. Revista Brasileira de Direito Processual Penal, Porto Alegre, v. 7, n. 1, pp. 409-440, 2021, p. 432.

[72]Will artificial intelligence affect how and where we work? To what extent is AI already fundamentally reshaping our relationship to work? Over the last decade, there has been a boom in academic papers, consultancy reports and news articles about these possible effects of AI—creating both utopian and dystopian visions of the future workplace. Despite this proliferation, AI remains an enigma, a newly emerging technology, and its rate of adoption and implications for the structure of work are still only beginning to be understood. […] In a new paper, we argue that the impact of AI on work is not deterministic: it will depend on a range of issues, including place, educational levels, gender and, perhaps most importantly, government policy and firm strategy.” CLIFTON, Judith; GLASMEIER, Amy; GRAY, Mia. When machines think for us: consequences for work and place. Social Europe, 14 maio 2020. Disponível em: <https://www.socialeurope.eu/when-machines-think-for-us-consequences-for-work-and-place>. Acesso em: 13 maio 2022.

[73]In the 1990s and 2000s, the dominant discourse, in Germany for instance, was that relocation of production and global competition would jeopardise jobs and wages. In the recent debates on digitalisation, some observers have even anticipated a labour-market apocalypse. The fear is that robots and artificial intelligence could make human labour almost completely redundant. […] Forecasts of how many jobs will be lost in the future vary widely. The honest answer is that no one knows exactly how digitalisation will work out. What all experts agree on, however, is that the work of the future will lead away from routine and towards more creativity. In consequence, through this shift the socially-transformative potential of work grows rather than diminishing. This opens up new opportunities.” KLINGBEIL, Lars; MEYER, Henning. Robots won’t make us redundant. Social Europe, 14 maio 2020. Disponível em: <https://www.socialeurope.eu/robots-wont-make-us-redundant>. Acesso em: 13 maio 2022.

[74] Algumas estratégias interessantes foram elencadas por Joana Varon: “qualquer uso eventual dessa tecnologia deveria antes de tudo garantir ao menos a) medidas de prevenção de abusos: a título de criatividade, o princípio da precaução, previsto na Declaração do Rio/92 sobre meio ambiente pode servir como inspiração. Tal princípio prevê “garantia contra riscos potenciais que, de acordo com o estado atual do conhecimento, não podem ser identificados”; b) transparência sobre a tecnologia utilizada, a composição da base de dados e outras informações que se façam necessárias para transparência do algoritmo, com quem essas bases de dados serão compartilhadas, quais as medidas de segurança implementadas, que usos serão dados, por quanto tempo esses dados serão armazenados, bem como informações sobre custo e efetividade do uso dessa tecnologia; c) supervisão independente e d) soluções em caso de erros e danos causados.” VARON, Joana. Bem na sua cara: a ilusão do reconhecimento facial para segurança pública. Coding Rights, 04 maio 2019. Disponível em: <https://medium.com/codingrights/bem-na-sua-cara-a-ilus%C3%A3o-do-reconhecimento-facial-para-seguran%C3%A7a-p%C3%BAblica-47c708b34820>. Acesso em: 13 maio 2022.

[75] KNIGHT, Will. IMB’s withdrawal won’t mean the end of facial recognition. Wired, 10 jun. 2020. Disponível em: <https://www.wired.com/story/ibm-withdrawal-wont-mean-end-facial-recognition>. Acesso em: 13 maio 2022.