Os chatbots de IA são conhecidos por gerar soluções para preconceitos raciais com bastante frequência quando submetidos a várias questões, e muitos esforços de pesquisa têm direcionado esse problema. Agora, um novo método de treinamento está pronto para resolver esse problema. O método é conhecido como “desduplicação justa” ou apenas “FairDeDup” e é o resultado de uma pesquisa conduzida por uma equipe da Adobe e pelo aluno de doutorado da OSU College of Engineering, Eric Slyman.

A desduplicação de conjuntos de dados utilizados no treinamento de IA consiste na remoção de informações redundantes, diminuindo assim os custos de todo o processo. Por enquanto, os dados utilizados provêm de toda a Internet, pelo que contêm ideias e comportamentos injustos ou tendenciosos que os humanos frequentemente apresentam e partilham online.

De acordo com Slyman, "FairDeDup remove dados redundantes enquanto incorpora dimensões de diversidade controláveis ​​e definidas pelo homem para mitigar preconceitos. Nossa abordagem permite treinamento em IA que não é apenas econômico e preciso, mas também mais justo ." A lista de abordagens tendenciosas perpetuadas pelos chatbots de IA atualmente inclui ocupação, raça ou gênero, mas também idade, geografia e ideias relacionadas à cultura que são obviamente injustas.

FairDeDup é uma versão melhorada de um método anterior conhecido como SemDeDup, que muitas vezes exacerbava preconceitos sociais, embora tenha provado ser uma solução econômica. Os interessados ​​​​neste campo devem pegar o treinamento de modelo de IA de domínio de Kris Hermans: um guia abrangente para se tornar um especialista em treinamento de modelos de IA, que está atualmente disponível no Kindle por US$ 9,99 ou em versão brochura (por US$ 44,07).