Чат-боты с искусственным интеллектом известны тем, что довольно часто выдают решения, основанные на расовых предрассудках, когда им задают различные вопросы, и многие исследовательские усилия были направлены на эту проблему. Теперь новый метод обучения готов решить эту проблему. Этот метод известен как «справедливая дедупликация» или просто «FairDeDup» и является результатом исследования, проведенного командой Adobe и аспирантом Инженерного колледжа ОГУ Эриком Слайманом.

Дедупликация наборов данных, используемых при обучении ИИ, заключается в удалении избыточной информации, что позволяет снизить затраты на весь процесс. На данный момент используемые данные поступают со всего Интернета, поэтому они содержат несправедливые или предвзятые идеи и модели поведения, которые люди часто придумывают и делятся в Интернете.

По словам Слаймана, "FairDeDup удаляет избыточные данные, в то же время включая контролируемые, определяемые человеком измерения разнообразия для смягчения предвзятости. Наш подход позволяет обучать ИИ, который не только экономически эффективен и точен, но и более справедлив. .» Список предвзятых подходов, увековеченных чат-ботами с искусственным интеллектом в наши дни, включает род занятий, расу или пол, а также идеи, связанные с возрастом, географией и культурой, которые явно несправедливы.

FairDeDup — это улучшенная версия более раннего метода, известного как SemDeDup, который часто усугубил социальные предубеждения, хотя и оказался экономически эффективным решением. Тем, кто интересуется этой областью, следует взять книгу Криса Херманса «Освоение моделей искусственного интеллекта: комплексное руководство, чтобы стать экспертом в обучении моделей искусственного интеллекта», которая в настоящее время доступна на Kindle за 9,99 доллара США или в версии в мягкой обложке (за 44,07 доллара США).