Um novo estudo expôs o racismo encoberto incorporado nos modelos de linguagem de IA, particularmente no tratamento do inglês afro-americano (AAE). Ao contrário de pesquisas anteriores focadas no racismo evidente (como o estudo CrowS-Pairs para medir preconceitos sociais em LLMs mascarados), este estudo coloca ênfase especial em como os modelos de IA perpetuam sutilmente estereótipos negativos através do preconceito dialetal. Estes preconceitos não são imediatamente visíveis, mas manifestam-se obviamente, tais como a associação dos oradores da AAE a empregos de estatuto inferior e a julgamentos criminais mais severos.

O estudo descobriu que mesmo modelos treinados para reduzir preconceitos evidentes ainda abrigam preconceitos profundos. Isto poderá ter implicações de longo alcance, especialmente à medida que os sistemas de IA se tornam cada vez mais integrados em áreas críticas como o emprego e a justiça criminal, onde a justiça e a equidade são críticas acima de tudo.

Os pesquisadores empregaram uma técnica chamada “sondagem de disfarce correspondente” para descobrir esses preconceitos. Ao comparar como os modelos de IA responderam a textos escritos em Inglês Americano Padrão (SAE) versus AAE, eles conseguiram demonstrar que os modelos associam consistentemente AAE a estereótipos negativos, mesmo quando o conteúdo era idêntico. Este é um indicador claro de uma falha fatal nos actuais métodos de formação em IA – melhorias superficiais na redução do racismo manifesto não se traduzem necessariamente na eliminação de formas de preconceito mais profundas e insidiosas.

A IA, sem dúvida, continuará a evoluir e a se integrar em mais aspectos da sociedade. No entanto, isso também aumenta o risco de perpetuar e até amplificar as desigualdades sociais existentes, em vez de as mitigar. Cenários como esses são a razão pela qual essas discrepâncias devem ser abordadas como prioridade.