Anthropic 연구: 언어 모델 결정에서의 차별 평가 및 완화

Anthropic은 고위험 사회적 결정에 언어 모델(LM)이 적용될 때 발생할 수 있는 차별 가능성을 선제적으로 평가하고 완화하는 방법을 개발했습니다. 이 연구는 다양한 시나리오에서 모델 응답의 편향 패턴을 식별하는 데 중점을 두며, 개발자와 정책 입안자가 배포 전에 이러한 위험을 측정하고 해결할 수 있는 프레임워크를 제공합니다.

차별적 영향에 대한 평가 방법론

Anthropic의 평가 프레임워크는 언어 모델을 사용하여 의사 결정자가 실제 응용 분야에서 사용할 수 있는 광범위한 잠재적 프롬프트를 생성합니다. 연구진은 차별적인 결과를 테스트하기 위해 이러한 프롬프트 내의 인구통계학적 정보를 체계적으로 변화시켰습니다.

• 테스트 범위: 연구진은 금융 및 주거 적격성을 포함한 다양한 사회적 맥락을 아우르는 70가지의 다양한 결정 시나리오에 대해 모델을 테스트했습니다.
• 프로세스: 인구통계학적 표식(demographic markers)을 변화시킴으로써, 연구진은 인구통계학적 정보가 모델의 의사 결정 과정에 미치는 영향을 분리하여 확인할 수 있었습니다.
• 선제적 접근 방식: 이 방법론은 모델이 아직 배포되지 않은 가상의 사용 사례를 평가할 수 있게 하여, 위험이 발생하기 전에 이를 예측할 수 있게 합니다.

Claude 2.0에 대한 조사 결과

어떠한 개입 없이 Claude 2.0에 이 방법론을 적용했을 때, 연구진은 특정 설정에서 긍정적 및 부정적 차별 패턴을 모두 식별했습니다. 이는 모델이 프롬프트의 인구통계학적 정보에 따라 특정 인구통계학적 그룹을 선호하거나 기피할 수 있음을 나타냅니다.

완화 전략 및 안전 가이드라인

Anthropic은 연구된 고위험 사용 사례에 대해 언어 모델을 사용하여 자동화된 결정을 내리는 것을 지지하거나 허용하지 않는다고 명시적으로 밝히고 있지만, 세심한 프롬프트 엔지니어링을 통해 차별을 크게 줄일 수 있음을 입증했습니다.

프롬프트 엔지니어링을 완화 도구로 활용

긍정적 및 부정적 차별을 모두 줄이기 위해 세심한 프롬프트 엔지니어링이 사용되었습니다. 연구진은 프롬프트 내에 공정성과 중립성을 보장하기 위한 구체적인 지침이나 제약 조건을 제공하는 것이 더 안전한 결과를 가져올 수 있다는 것을 발견했습니다.

배포 고려 사항

이 연구는 모델의 평가가 LM의 능력이 확장됨에 따라 체계적 편향의 가능성을 다루기 위한 선제적 조치임을 강조합니다. Anthropic은 모델의 공정성에 대한 추가 연구를 가능하게 하기 위해 Hugging Face를 통해 데이터셋과 프롬프트를 공개했습니다.

AI 안전 및 정책에 미치는 영향

이 작업은 개발자와 정책 입안자가 AI 시스템의 차별을 예측, 측정 및 해결할 수 있는 경로를 제공합니다. 광범위한 시나리오에 걸쳐 인구통계학적 정보를 변화시키는 체계적인 방법을 구축함으로써, AI 커뮤니티는 사회적 응용 분야에서 언어 모델의 보다 공평한 배포를를 향해 나아갈 수 있습니다.