O que é discriminação algorítmica?

Não basta entregar gigantescas bases de dados para serem manipuladas pela Inteligência Artificial. É preciso permanecer alertas e críticos

Por Godo R. Goemann Jr.

Google, Microsoft, Amazon, Meta (Facebook, Whats e outros) e agora a OpenAI (ChatGTP e Sora), além de milhares de startups no mundo inteiro, produzem notáveis aplicações de Inteligência Artificial (IA). Saúde, educação, comércio, logística, engenharias, agricultura, artes, comunicação, segurança policial e cibernética, proteção ao meio ambiente, pesquisas, e muitos outros campos são contemplados com IA. Além disso ela realiza descobertas científicas que os seres humanos não haviam imaginado, analisando milhões de documentos em campos como a física e a química. Com base neles, por meio de algoritmos e predições de natureza matemática e estatística, a IA faz descobertas que os olhos humanos não haviam “enxergado”.

Contudo, a IA está em sua pré-infância e, por isso, é chamada de Narrow AI, “IA estreita”, ou “IA burra”. A Dra. Kate Crawford lembra que ela também não é artificial – a IA depende de seres humanos para “catalogar” os dados extraídos da internet e outras bases.

Nesse contexto, a expressão “discriminação algorítmica” ganhou visibilidade. Muitos sistemas de IA têm apresentado resultados que demonstram preconceitos e vieses na análise dos dados. Alguns exemplos dentre milhares que tem ocorrido nos últimos 10 anos nos EUA e Europa:
• Sistemas de Recursos Humanos utilizando IA não selecionaram mulheres porque perceberam em bases de dados que elas recebiam salários menores que os dos homens, exercendo as mesmas funções. Por isso concluíram que as mulheres são menos competentes que os homens, e não deveriam ser contratadas.

• Sistemas policiais utilizando IA nos EUA tenderam a suspeitar mais de negros do que de brancos, porque as bases de dados indicavam mais negros do que brancos em presídios.

• Sistemas bancários de concessão de crédito negavam financiamentos a certas pessoas. Descobriu-se que, entre outros motivos, elas residiam em bairros “populares”.

• Nos EUA, um Programa de gerenciamento de cuidados de enfermagem para pacientes de alto risco recomendou mais pacientes brancos do que negros. A causa foi que, em alguns casos, negros tinham rendimentos menores para pagar seguros de saúde.

• Em 2021, na Holanda, o governo renunciou após um sistema de IA acusar injustamente milhares de famílias de fraude em suas declarações sociais.

• A IA influencia negativamente as Redes Sociais, na medida em que reforça as escolhas das pessoas, trazendo sempre mais do mesmo, obstruindo a variabilidade.

Esses são apenas alguns exemplos. Muitas vezes as causas dos problemas são bases de dados “naturalmente sujas”, contendo vieses em sua origem, e reproduzindo realidades sociais injustas do mundo real. Assim, sabe-se que não basta entregar gigantescas bases de dados para serem manipuladas pela IA. Elas carregam preconceitos embutidos desde sua formação, e também erros técnicos no desenvolvimento da codificação dos aplicativos de IA. Por fim, não há espaço aqui para contemplar aplicações de IA em guerras, robôs autônomos, terrorismo, e uso por hackers.

Nosso papel como cristãos consiste em permanecer alertas e críticos na avaliação destas nuances.

• Godo R. Goemann Jr., sociólogo e profissional de TI, autor do livro “Inteligência Artificial e suas ambivalências” (Amazon, Ed. Alta Books).  Do mesmo autor consulte o artigo O anti-iluminismo da Inteligência Artificial.

---

REVISTA ULTIMATO | GRATIDÃO – O QUE VOCÊ TEM QUE NÃ OTENHA RECEBIDO?

Reconhecer que é necessário dar graças pela igreja – a que é e a que será (“igreja triunfante”) – pode ser uma chave para nos aproximar da comunidade dos fiéis, nestes dias em que a confiança nas igrejas e a frequência nelas estão em baixa. Ter feito as pazes com Deus por meio de Jesus Cristo, ter a sua presença próxima, experimentar isso – este é o maior motivo de gratidão.

É disso que se trata a edição 406 da revista Ultimato. Para assinar, clique aqui.

---

Saiba mais:
» Filosofia da Tecnologia, Verkerk, Van Der Stoep. Hoogland, De Vries
» Fé, Esperança e Tecnologia - Ciência e fé cristã em uma cultura tecnológica, Egbert Schuurmann