KI-Chatbots sind dafür bekannt, dass sie bei verschiedenen Fragen häufig rassistisch voreingenommene Lösungen generieren, und viele Forschungsanstrengungen haben sich mit diesem Problem befasst. Jetzt steht eine neue Trainingsmethode bereit, um dieses Problem zu lösen. Die Methode ist als „faire Deduplizierung“ oder einfach „FairDeDup“ bekannt und ist das Ergebnis einer Forschung, die von einem Team von Adobe und dem Doktoranden Eric Slyman vom OSU College of Engineering durchgeführt wurde.

Die Deduplizierung von Datensätzen, die im KI-Training verwendet werden, besteht darin, redundante Informationen zu entfernen und so die Kosten des gesamten Prozesses zu senken. Derzeit stammen die verwendeten Daten aus dem gesamten Internet und enthalten daher unfaire oder voreingenommene Ideen und Verhaltensweisen, die Menschen häufig entwickeln und online teilen.

Laut Slyman „FairDeDup entfernt redundante Daten und integriert gleichzeitig kontrollierbare, vom Menschen definierte Dimensionen der Vielfalt, um Vorurteile zu mildern. Unser Ansatz ermöglicht ein KI-Training, das nicht nur kostengünstiger und genauer, sondern auch fairer ist.“ .“ Die Liste der voreingenommenen Ansätze, die heutzutage von KI-Chatbots aufrechterhalten werden, umfasst Beruf, Rasse oder Geschlecht, aber auch alters-, geografie- und kulturbezogene Vorstellungen, die offensichtlich unfair sind.

FairDeDup ist eine verbesserte Version einer früheren Methode namens SemDeDup, die häufig soziale Vorurteile verschärfte, sich jedoch als kostengünstige Lösung erwies. Wer sich für diesen Bereich interessiert, sollte sich „Mastering AI Model Training: A Comprehensive Guide To Become An Expert In Training AI Models“ von Kris Hermans schnappen, das derzeit auf Kindle für 9,99 $ oder in der Taschenbuchversion (für 44,07 $) erhältlich ist.