새로운 연구에 따르면 AI 언어 모델, 특히 아프리카계 미국인 영어(AAE) 처리에 내재된 은밀한 인종차별이 드러났습니다. 명백한 인종차별에 초점을 맞춘 이전 연구(예: Masked LLM의 사회적 편견을 측정하기 위한 CrowS-Pairs 연구)와는 달리, 이 연구에서는 AI 모델이 방언 편견을 통해 부정적인 고정관념을 미묘하게 영속시키는 방법에 특히 중점을 둡니다. 이러한 편견은 즉시 눈에 띄지 않지만 AAE 연사를 낮은 지위의 직업 및 더 가혹한 형사 판결과 연관시키는 등 명백하게 나타납니다.

연구에 따르면 명백한 편견을 줄이도록 훈련된 모델이라도 여전히 뿌리 깊은 편견을 품고 있는 것으로 나타났습니다. 이는 특히 공정성과 형평성이 무엇보다 중요한 고용 및 형사 사법과 같은 중요한 영역에 AI 시스템이 점점 더 통합됨에 따라 광범위한 영향을 미칠 수 있습니다.

연구원들은 이러한 편향을 밝혀내기 위해 '일치된 모습 탐색(Matched Guise Probing)'이라는 기술을 사용했습니다. AI 모델이 표준 미국 영어(SAE)와 AAE로 작성된 텍스트에 반응하는 방식을 비교함으로써 내용이 동일한 경우에도 모델이 지속적으로 AAE를 부정적인 고정관념과 연관시킨다는 것을 입증할 수 있었습니다. 이는 현재 AI 훈련 방법의 치명적인 결함을 보여주는 분명한 지표입니다. 명백한 인종 차별을 줄이는 표면적 수준의 개선이 반드시 더 깊고 교활한 형태의 편견을 제거하는 것으로 해석되는 것은 아닙니다.

AI는 의심할 여지없이 계속해서 발전하고 사회의 더 많은 측면에 통합될 것입니다. 그러나 이는 기존의 사회적 불평등을 완화하기는커녕 영속화하고 심지어 증폭시킬 위험도 높입니다. 이와 같은 시나리오는 이러한 불일치를 우선적으로 해결해야 하는 이유입니다.