Les chatbots IA sont connus pour générer assez souvent des solutions à préjugés racistes lorsqu'ils sont soumis à diverses questions, et de nombreux efforts de recherche ont ciblé ce problème. Désormais, une nouvelle méthode de formation est prête à résoudre ce problème. La méthode est connue sous le nom de « déduplication équitable » ou simplement « FairDeDup » et est le résultat de recherches menées par une équipe d'Adobe et d'Eric Slyman, doctorant à l'OSU College of Engineering.

La déduplication des ensembles de données utilisés dans la formation à l'IA consiste à supprimer les informations redondantes, réduisant ainsi les coûts de l'ensemble du processus. Pour l’instant, les données utilisées proviennent de partout sur Internet et contiennent donc des idées et des comportements injustes ou biaisés que les humains proposent et partagent souvent en ligne.

Selon Slyman, "FairDeDup supprime les données redondantes tout en intégrant des dimensions de diversité contrôlables et définies par l'homme pour atténuer les préjugés. Notre approche permet une formation en IA non seulement rentable et précise, mais également plus équitable. ." La liste des approches biaisées perpétuées par les chatbots IA de nos jours comprend la profession, la race ou le sexe, mais aussi l'âge, la géographie et les idées liées à la culture qui sont évidemment injustes.

FairDeDup est une version améliorée d'une méthode antérieure connue sous le nom de SemDeDup, qui exacerbait souvent les préjugés sociaux, même si elle s'est avérée être une solution rentable. Les personnes intéressées par ce domaine devraient se procurer Mastering AI Model Training: A Comprehensive Guide To Become An Expert In Training AI Models de Kris Hermans, actuellement disponible sur Kindle au prix de 9,99 $ ou en version papier (pour 44,07 $).