Software para previsão de crimes não é uma boa ideia

Ainda não há precogs nus em banheiras reluzentes ainda, mas o Departamento de Justiça Juvenil do estado da Flórida vai usar um programa de análise para prever crimes de jovens delinquentes, colocando possíveis criminosos em prevenção específica e programas de educação. Adeus, direitos humanos!

Eles vão usar este software com jovens delinquentes, usando uma série de variáveis para determinar a chance de que essas pessoas cometam crimes de novo. Dependendo desta probabilidade, eles vão colocá-los sob programas específicos de reeducação. Deepak Advani, vice-presidente de análise preditiva da IBM, diz que o sistema gera "projeções confiáveis" para que governos possam tomar "atitude em tempo real" para "prevenir atividades criminais".

Sério? "Projeções confiáveis"? "Atitude em tempo real"? "Prevenir atividades criminais"? Eu não sei quão confiável é seu sistema, IBM, mas você já ouviu falar das Quinta, Sexta e 14ª Emendas da Constituição americana? E o artigo 11 da Declaração Universal dos Direitos Humanos? Não? Então eu facilito pra vocês: vocês assistiram o Tom Cruise em Minority Report - A Nova Lei?

Claro. Alguns vão argumentar que estes jovens delinquentes já foram sentenciados por outros crimes, então não tem problema. Este software vai ajudar a previnir mais crimes. Ele vai nos deixar mais seguros. Será? Qual é a garantia disso? Por que o estado assume que o comportamento criminoso é predeterminado? E por que o governo deveria decidir sobre quem vai ou não para um programa de prevenção específica baseado no que um computador diz? A questão é que, mesmo se o programa fosse 99,99% preciso, sempre vai haver uma pessoa inocente que vai se ferrar. E é exatamente por isso que existe nos EUA uma coisa chamada devido processo legal, e outra chamada presunção de inocência. É por isso que estas coisas não estão somente na Constituição americana, como também na Declaração Universal dos Direitos Humanos.

Outros vão argumentar que funcionários do governo já fazem estas decisões baseados em relatórios e no próprio julgamento deles. É verdade. Parece que um programa de computador pode ser mais justo que um humano, certo? Talvez. Mas, no fim, a interpretação dos dados está sempre na mão dos humanos (e o próprio programa é escrito por humanos).

Mas o que me preocupa mais é que este é um primeiro passo em direção a algo maior e mais sombrio. Na verdade, é o segundo passo: a IBM diz que o Ministério da Justiça do Reino Unido — que já tem um histórico de pré-julgar seus cidadãos — já usa este sistema para prevenir atividades criminais. Na verdade, este pode ser o terceiro grande passo, porque já existem programas para colocar pessoas na lista negra de possíveis terroristas, mas muito provavelmente o software não é tão avançado quanto este.

A IBM claramente quer que este software seja usado por muitos. Eles gastaram absurdos 12 bilhões de dólares na divisão de análise da empresa. Aqui está o que Deepak Advani falou:

A análise preditiva oferece a organizações governamentais do mundo inteiro uma fonte altamente sofisticada e inteligente para criar comunidades mais seguras ao identificar atividades criminosas, prevê-las, responder a elas e preveni-las. [A análise preditiva] fornece ao sistema de justiça criminal a capacidade de utilizar a grande quantidade de dados disponíveis para detectar padrões, fazer projeções confiáveis e então tomar as atitudes necessárias em tempo real, para combater o crime e proteger cidadãos.

Se isso parece assustador para você, é porque é mesmo. Primeiro, os possíveis terrorristas. Depois, os criminosos já sentenciados, mas possivelmente reincidentes. Depois seremos todos nós, em uma grande base de dados, recebendo alertas porque uma combinação aleatória de fatores — lugares de viagem, atividade do cartão de crédito, relações pessoais e profissionais, mensagens enviadas, atividade social e tudo o mais — indicaram que nós podemos estar pensando em fazer alguma coisa contra a lei. Um sistema de previsão de crimes tem o potencial de prevenir assassinatos, assaltos ou um ato terrorista.

Até parece uma boa ideia. Por exemplo, há certos padrões que podem identificar psicopatas e assassinos em potencial, ou pedófilos, ou violência doméstica. Faria todo o sentido usar um sistema no futuro que previna criminosos em potencial de agirem, e os coloquem em observação.

Mas na realidade, esta não é uma boa ideia: mesmo que tudo seja motivado pelo desejo de se conseguir mais segurança, basta um falso positivo para tornar o sistema inteiro injusto. E isso sem considerar o caso de abusarem do sistema. Como na última vez que a IBM fez um negócio semelhante por uma boa causa, nos anos 30. Eles enviaram um monte de máquinas para catálogo a um certo governo da Europa, a fim de criar um censo avançado. Isso é bom. O censo pode melhorar a sociedade por identificar necessidades e problemas que o governo pode resolver. Mas, no fim, esta história não acabou bem para mais de 11 milhões de pessoas.

Sim, a comparação é um exagero extremo. Mas uma coisa está clara: não importa como você analisa a situação, catalogar pessoas — qualquer tipo de pessoa — baseado em um software de previsão estatística, e depois tomar atitudes preventivas contra elas baseado nos resultados, é o jeito errado de melhorar nossa sociedade. Concordar com este plano vai inevitavelmente nos levar a um caminho potencialmente fatal.