O que é justo?
Parece uma pergunta simples, mas é uma sem respostas simples. Isso é particularmente verdadeiro no mundo arcano da inteligência artificial (IA), onde a noção de máquinas inteligentes e sem emoções, tomando decisões maravilhosamente livres de preconceitos, está desaparecendo rapidamente.
Talvez a mancha mais pública dessa percepção veio com uma investigação da ProPublica de 2016 que concluiu que os dados que conduzem um sistema de inteligência artificial usado pelos juízes para determinar se um criminoso condenado provavelmente cometerá mais crimes parecem ser tendenciosos contra as minorias. A Northpointe, a empresa que criou o algoritmo, conhecida como COMPAS, contestou a interpretação dos resultados da ProPublica, mas o conflito provocou debates e análises sobre até que ponto as máquinas mais inteligentes devem ser confiáveis.
"É um assunto muito interessante - como você pode tornar os algoritmos justos e confiáveis", diz Daniel Neill. "É uma questão importante".
Neill agora se encontra no meio dessa discussão. Cientista de computação da Carnegie Mellon University, ele e outro pesquisador, Will Gorr, desenvolveram uma ferramenta de software para previsão do crime chamada CrimeScan há vários anos. Seu conceito original era que, de certa forma, o crime violento é como uma doença transmissível, que tende a se dividir em grupos geográficos. Eles também passaram a acreditar que crimes menores podem ser um prenúncio de crimes mais violentos, então eles construíram um algoritmo usando uma ampla gama de dados de “indicadores principais”, incluindo relatos de crimes, como simples ataques, vandalismo e conduta desordeira, e 911 chama sobre coisas como tiros disparados ou uma pessoa vista com uma arma. O programa também incorpora tendências sazonais e do dia da semana, além de taxas de curto e longo prazo de crimes violentos graves.
A ideia é rastrear as faíscas antes que um incêndio aconteça. "Nós olhamos para mais crimes menores", diz Neill. “Assaltos simples podem endurecer para agressões agravadas. Ou você pode ter um padrão crescente de violência entre duas gangues ”.
Prever quando e onde
O CrimeScan não é o primeiro software projetado para o que é conhecido como policiamento preditivo. Um programa chamado PredPol foi criado há oito anos por cientistas da UCLA que trabalham com o Departamento de Polícia de Los Angeles, com o objetivo de ver como a análise científica de dados criminais poderia ajudar a detectar padrões de comportamento criminoso. Agora usado por mais de 60 departamentos de polícia em todo o país, PredPol identifica áreas em um bairro onde os crimes graves são mais prováveis de ocorrer durante um período específico.
A empresa afirma que sua pesquisa descobriu que o software é duas vezes mais preciso do que os analistas humanos quando se trata de prever onde os crimes acontecerão. Nenhum estudo independente, no entanto, confirmou esses resultados.
Tanto o PredPol quanto o CrimeScan limitam suas projeções para onde os crimes poderiam ocorrer e evitam dar o próximo passo de prever quem os cometerá - uma abordagem controversa que a cidade de Chicago construiu em torno de uma “lista de assuntos estratégicos” de pessoas com maior probabilidade de envolvimento em futuros tiroteios, seja como atirador ou como vítima.
A American Civil Liberties Union [União das Liberdades Civis Americanas], o Brennan Center for Justice e várias organizações de direitos civis levantaram questões sobre o risco de que o preconceito seja incorporado ao software. Os dados históricos das práticas policiais, argumentam os críticos, podem criar um feedback através do qual algoritmos tomam decisões que refletem e reforçam atitudes sobre quais bairros são “ruins” e quais são “bons”. É por isso que a AI baseada principalmente em dados de detenção carrega uma maior risco de viés - é mais reflexo das decisões da polícia, em oposição aos crimes reportados. O CrimeScan, por exemplo, fica longe de tentar prever crimes que, como diz Neill, "você só vai descobrir se procurar por eles".
"Eu não posso dizer que estamos livres de preconceito", diz Neill, "mas é certamente mais reduzido do que se estivéssemos tentando prever a posse de drogas."
Depois, há o outro lado do ciclo de feedback. Se uma ferramenta preditiva gera expectativas de crimes em um determinado bairro, a polícia que patrulha lá será mais agressiva ao fazer prisões?
"Há um perigo real, com qualquer tipo de policiamento baseado em dados, para esquecer que existem seres humanos em ambos os lados da equação", observa Andrew Ferguson, professor de direito na Universidade do Distrito de Columbia e autor do livro. livro, O aumento do policiamento de big data: Vigilância, raça e futuro da aplicação da lei. “Os oficiais precisam ser capazes de traduzir essas idéias que sugerem que diferentes bairros têm diferentes pontuações de ameaça. E, focando nos números em vez do ser humano na sua frente, você muda seu relacionamento com eles ”.
Dentro da caixa preta
A realidade é que a inteligência artificial agora desempenha um papel - embora muitas vezes em segundo plano - em muitas decisões que afetam a vida cotidiana - de ajudar as empresas a escolher quem contratar para definir as pontuações de crédito para avaliar os professores. Não é de surpreender que isso tenha intensificado o escrutínio público de como os algoritmos de aprendizado de máquina são criados, quais conseqüências não intencionais eles causam e por que eles geralmente não são submetidos a muitas revisões.
Para começar, grande parte do software é proprietário, então há pouca transparência sobre como os algoritmos funcionam. E, à medida que o aprendizado de máquina se torna mais sofisticado, torna-se cada vez mais difícil até mesmo para os engenheiros que criaram um sistema de IA explicar as escolhas que ele fez. Essa tomada de decisão opaca, com pouca responsabilidade, é uma consequência do que se tornou conhecido como algoritmos de “caixa preta”.
"O público nunca tem a chance de auditar ou debater o uso de tais sistemas", diz Meredith Whittaker, co-fundador do AI Now Institute, uma organização de pesquisa da Universidade de Nova York que se concentra no impacto da IA na sociedade. “E os dados e as lógicas que governam as previsões feitas são muitas vezes desconhecidos até para aqueles que os usam, quanto mais para as pessoas cujas vidas são afetadas.”
Em um relatório divulgado no ano passado, a AI Now chegou a recomendar que nenhum órgão público responsável por questões como justiça criminal, assistência médica, assistência social e educação usasse sistemas de caixa preta. De acordo com a AI Now, raramente questões legais e éticas são consideradas quando o software é criado.
"Assim como você não confiaria em um juiz para construir uma rede neural profunda, deveríamos parar de assumir que um diploma de engenharia é suficiente para tomar decisões complexas em domínios como a justiça criminal", diz Whittaker.
Outra organização, o Center for Democracy & Technology, gerou uma ferramenta de “decisões digitais” para ajudar engenheiros e cientistas da computação a criar algoritmos que produzam resultados justos e imparciais. A ferramenta faz muitas perguntas para que eles ponderem suas suposições e identifiquem efeitos ondulatórios imprevistos.
“Queríamos dar às pessoas um ponto de partida concreto para pensar em questões como a representatividade de seus dados, quais grupos de pessoas podem ficar de fora e se os resultados de seus modelos terão consequências negativas não intencionais”, diz Natasha Duarte, que supervisiona o projeto.
Quem é responsável?
Embora tenha havido um esforço para tornar os desenvolvedores mais conscientes das possíveis repercussões de seus algoritmos, outros apontam que as agências públicas e as empresas dependentes de inteligência artificial também precisam ser responsáveis.
“Existe essa ênfase nos projetistas que entendem um sistema. Mas também é sobre as pessoas que administram e implementam o sistema ”, diz Jason Schultz, professor de direito na Universidade de Nova York que trabalha com o AI Now Institute em questões legais e políticas. "É aí que a borracha encontra a estrada na prestação de contas. Uma agência governamental que usa a AI tem mais responsabilidade e também precisa entendê-la. Se você não consegue entender a tecnologia, não deve ser capaz de usá-la."
Para esse fim, a AI Now está promovendo o uso de “avaliações de impacto algorítmico”, o que exigiria que os órgãos públicos divulgassem os sistemas que estão usando e permitisse que pesquisadores externos os analisassem em busca de problemas potenciais. Quando se trata de departamentos de polícia, alguns especialistas legais acham que também é importante que eles descrevam claramente como estão usando a tecnologia e estejam dispostos a compartilhar isso com a comunidade local.
“Se esses sistemas são projetados do ponto de vista da responsabilidade, imparcialidade e devido processo, a pessoa que implementa o sistema precisa entender que tem uma responsabilidade”, afirma Schultz. “E quando projetamos como vamos implementá-las, uma das primeiras perguntas é 'Onde isso vai no manual da polícia?' Se você não vai ter isso em algum lugar do manual da polícia, vamos dar um passo atrás, pessoal.
Andrew Ferguson vê a necessidade do que ele chama de "cúpula de vigilância".
"Pelo menos uma vez por ano, deveria haver um momento de responsabilidade para a tecnologia policial em todas as jurisdições locais", diz ele. “O chefe de polícia, o prefeito ou talvez o chefe do conselho da cidade teria que explicar à comunidade para que eles estão usando dólares dos contribuintes em termos de vigilância e tecnologia, por que eles acham que é um bom uso do dinheiro, o que eles está fazendo para auditar e proteger os dados, quais são as implicações de privacidade. E a comunidade estaria lá para fazer perguntas.
Daniel Neill, o criador do CrimeScan, diz que não se oporia à ideia de auditorias regulares dos resultados de IA, embora tenha reservas sobre isso antes que um algoritmo seja adequadamente testado em campo. Ele está atualmente trabalhando com o Departamento de Polícia de Pittsburgh em um julgamento do CrimeScan, e pelo menos inicialmente houve um desafio com “obter a intensidade de patrulha certa para os hot spots previstos”.
Tem sido um processo de aprendizado, diz ele, para adaptar o CrimeScan para que os policiais no nível da rua acreditem que seja útil. "Precisamos mostrar que não apenas podemos prever crimes, mas também que podemos realmente preveni-los", observa Neill. “Se você simplesmente joga a ferramenta sobre a parede e espera pelo melhor, ela nunca funciona tão bem”.
Ele também reconhece o risco de adiar demais para um algoritmo.
“Uma ferramenta pode ajudar os policiais a tomar boas decisões”, diz ele. “Não acredito que as máquinas devam tomar decisões. Eles devem ser usados para apoio à decisão. "
Neill acrescenta: "Eu entendo que, na prática, isso não é algo que acontece o tempo todo."
