人工智能聊天机器人因在遇到各种问题时经常产生种族偏见的解决方案而闻名，许多研究工作都针对这个问题。现在，一种新的训练方法已经准备好解决这个问题。该方法被称为“公平重复数据删除”或简称“FairDeDup”，是 Adob​​e 和俄勒冈州立大学工程学院博士生 Eric Slyman 团队的研究成果。

人工智能训练中使用的数据集去重包括删除冗余信息，从而降低整个过程的成本。目前，使用的数据来自整个互联网，因此它包含人类经常在网上提出和分享的不公平或有偏见的想法和行为。

根据 Slyman 的说法，“FairDeDup 删除了冗余数据，同时纳入了可控的、人类定义的多样性维度，以减少偏见。我们的方法使 AI 训练不仅具有成本效益和准确度，而且更加公平 如今，人工智能聊天机器人所延续的一系列偏见方法包括职业、种族或性别，还包括年龄、地理和文化相关的想法，这些想法显然是不公平的。

FairDeDup 是一种称为 SemDeDup 的早期方法的改进版本，尽管它被证明是一种具有成本效益的解决方案，但它经常加剧社会偏见。对这一领域感兴趣的人应该阅读 Kris Hermans 的《掌握 AI 模型训练：成为训练 AI 模型专家的综合指南》，该书目前在 Kindle 上有售，售价 9.99 美元，平装版（售价 44.07 美元）。