A responsabilidade civil por bases enviesadas e possíveis ações para corrigi-las.

25/02/2021

Categorias

Como se dão os erros nas bases de dados?

Na posição tecnológica em que se encontra a humanidade, duas das principais ferramentas da inteligência artificial disponíveis são o machine learning e o deep learning. Essas ferramentas operam a partir de bases de dados e, na maioria das vezes, atuam buscando padrões dentro dessas informações. A forma de busca por esses padrões pode seguir uma lógica linear ou uma lógica mais nebulosa, como os sistemas neurais, mas todas elas usam como fundamento os dados nelas inseridos, razão pela qual as decisões discriminatórias, eventualmente adotadas pelos algoritmos, são consequência de atos discriminatórios por parte das pessoas das organizações, atuantes nas situações que originaram aqueles dados. Desse modo, não há defeito no algoritmo: ele apenas encontrou os padrões necessários. A grande disfunção está nas decisões das pessoas, que dão origem aos dados em si.

Esses padrões estão de tal forma intrínsecos a essas decisões que os algoritmos podem continuar apresentando resultados discriminatórios, ainda que previamente programados para que um fator específico não seja considerado no resultado. Por exemplo, foi publicado na revista Wired[3] um artigo que trata do bloqueio por um algoritmo do acesso a transplantes de rim para pacientes negros. Esse algoritmo foi programado para desconsiderar a raça previamente, mas ainda sim apresentou a postura discriminatória.

E a empresa deve ser responsabilizada por bases enviesadas?

Estando escancarada essa postura discriminatória de empresas e organizações durante anos, poderiam elas ser de alguma forma responsabilizadas? Provavelmente não, porque além de questões prescricionais, dificilmente se provaria o nexo causal necessário para a configuração da responsabilidade civil. Numa situação como essa, existem outras variáveis que precisam ser consideradas. No caso da Amazon, por exemplo, existem as qualificações, desempenho, postura e haveria dificuldade de prova que a discriminação naquele caso específico foi a responsável pela desclassificação de uma candidata no processo seletivo. Nada impede, por outro lado, que essa postura discriminatória revelada pelo algoritmo seja utilizada como indício diante de um caso concreto discutido ou, ainda, que a empresa ou organização enfrente problemas reputacionais.

Para mais, vale ressaltar que a configuração da responsabilidade civil enfrenta dificuldades, uma vez que até mesmo o formato da pesquisa utilizado para identificar as decisões algorítmicas discriminatórias vem sendo questionado. No caso Compas, a Northpointer, responsável pelo desenvolvimento do software, questionou o resultado da pesquisa feita pela ProPublica, o que foi melhor explicado pela pesquisadora Krishna Gummadi, do Max Planck Institute for Software Systems.[4] Na visão da pesquisadora, os dois entendimentos não são diferentes, eles usaram medidas diferentes de equidade. A ProPublica, para chegar ao resultado que o sistema era discriminatório para determinar reincidência, comparou as taxas de falsos positivos e falsos negativos entre negros e brancos, e concluiu que o sistema favorecia os brancos. Por sua vez, a Northpointer usou apenas a porcentagem de todos os positivos verdadeiros em cada uma das raças e obteve como resultado que as taxas eram similares, isso porque a reincidência nas raças é de fato diferente. A questão, então, parece ser muito maior que a responsabilidade civil por si só.

Então a culpa da má performance da AI é majoritariamente humana?

É certo que as falhas são principalmente humanas em todos os casos, seja quando o algoritmo trabalha com uma base enviesada, seja quando o ser humano toma a decisão. As falhas exclusivamente humanas também são bastante significativas. Por exemplo, o departamento de polícia de Nova York fez 4,4 milhões de “batidas” entre 2004 e 2012, e destas, 88% não resultaram em ações suplementares, ou seja, as pessoas estavam agindo dentro da lei. No entanto, 83% das pessoas abordadas eram hispânicas ou negras quando, em verdade, representam 50% da população da cidade[5].

A cidade de Nova York tornou-se o principal alvo para ativistas que buscam o banimento do reconhecimento facial, e, diante da enorme pressão, a polícia alega que usa o reconhecimento facial por meio de algoritmos de forma limitada, como suporte às investigações[6]. Seu banimento, frente aos fatos, não parece ser suficiente para eliminar a questão da discriminação contra negros e hispânicos atestada. Será que essa não pode ser uma ferramenta para auxiliar a NYPD, desde que ela não seja utilizada sozinha? Não seria mais fácil considerar ilegal a persecução penal quando baseada unicamente no reconhecimento facial?

Outrossim, será que além das discriminações, os algoritmos não seriam capazes de nos oferecer mais respostas para entendermos onde exatamente o erro está acontecendo e como evitá-lo, ou mesmo se as práticas já adotadas para corrigir essa situação, por exemplo, ações afirmativas e planos de diversidade, são realmente efetivas?

Os algoritmos permitem repensar situações possíveis ou de fato discriminatórias, mas cabe às pessoas tomar a decisão de mudar essa realidade.

[1] Fonte: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G, acessado em 04/02/2021, às 9h24

[2] Fonte: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing , acessado em 04/02/2021, às 9h31

[3] Fonte: https://www.wired.com/story/how-algorithm-blocked-kidney-transplants-black-patients/, acessado em 04/02/2021, às 10h07

[4] Fonte: https://www.technologyreview.com/2017/06/12/105804/inspecting-algorithms-for-bias/, acessado em 21/02/2021, às 12h13

[5] Fonte: https://www.technologyreview.com/2017/06/12/105804/inspecting-algorithms-for-bias/, acessado em 04/02/2021, às 10h37

[6] Fonte: https://www.wired.com/story/next-target-facial-recognition-ban-new-york/, acessado em 04/02/2021, às 10h43