Los chatbots de IA son conocidos por generar soluciones con prejuicios raciales con bastante frecuencia cuando se los somete a diversas preguntas, y muchos esfuerzos de investigación se han centrado en este problema. Ahora, un nuevo método de entrenamiento está listo para solucionar este problema. El método se conoce como "deduplicación justa" o simplemente "FairDeDup" y surge como resultado de una investigación realizada por un equipo de Adobe y el estudiante de doctorado de la Facultad de Ingeniería de OSU, Eric Slyman.

Deduplicar conjuntos de datos utilizados en el entrenamiento de IA consiste en eliminar información redundante, reduciendo así los costes de todo el proceso. Por ahora, los datos utilizados provienen de toda Internet, por lo que contienen ideas y comportamientos injustos o sesgados que a los humanos a menudo se les ocurren y comparten en línea.

Según Slyman, "FairDeDup elimina datos redundantes al mismo tiempo que incorpora dimensiones de diversidad controlables y definidas por humanos para mitigar los sesgos. Nuestro enfoque permite una capacitación en IA que no solo es rentable y precisa, sino también más justa ." La lista de enfoques sesgados perpetuados por los chatbots de IA en estos días incluye ocupación, raza o género, pero también ideas relacionadas con la edad, la geografía y la cultura que son obviamente injustas.

FairDeDup es una versión mejorada de un método anterior conocido como SemDeDup, que a menudo exacerbaba los prejuicios sociales, aunque demostró ser una solución rentable. Aquellos interesados ​​en este campo deberían consultar Mastering AI Model Training: A Comprehensive Guide To Become An Expert In Training Models AI Models de Kris Hermans, que actualmente está disponible en Kindle por $9,99 o en versión de bolsillo (por $44,07).