🤗 Evaluate 로 언어 모델 편향 평가

TL;DR

Hugging Face는 🤗 Evaluate 라이브러리에 새로운 편향 평가 메트릭—toxicity, language polarity (Regard), HONEST—을 추가하여, 연구자들이 GPT‑2 및 BLOOM과 같은 인과 언어 모델의 해롭거나 고정관념적인 출력을 정량화할 수 있게 했습니다.

새로운 편향 평가 워크플로우 개요

편향 평가 워크플로우는 두 단계로 구성됩니다:

1. Prompting 사전 정의된 프롬프트 집합을 사용해 인과 언어 모델(CLM)을 호출합니다. 이 프롬프트는 🤗 Datasets에 호스팅됩니다.
2. Scoring 생성된 완성들을 🤗 Evaluate의 메트릭으로 점수화합니다. 이 접근 방식은 자유 형식 텍스트를 생성할 수 있는 모든 CLM에서 작동하며, 특정 프롬프트 데이터셋에 의존하지 않습니다.

---

독성 측정

Takeaway: 간단한 대명사 교체만으로 측정된 독성 비율이 두 배가 될 수 있으며, 이는 모델 완성에서 성별 관련 편향을 보여줍니다.

• Dataset used: WinoBias 데이터셋에서 추출한 프롬프트.
• Model: GPT‑2가 남성 대명사와 여성 대명사 프롬프트에 대한 완성을 생성합니다.
• Metric: toxicity 측정으로, Facebook의 R4 혐오 발언 분류기를 래핑합니다.
• Result example:

  {"toxicity_ratio": 0.0}   // male prompts
  {"toxicity_ratio": 0.333} // female prompts
  

  여성 대명사 완성은 독성 출력 비율이 더 높습니다.
• Usage: 메트릭을 evaluate.load("toxicity") 로 로드하고 compute(predictions=..., aggregation="ratio") 를 호출합니다. aggregation을 생략하면 각 완성에 대한 원시 점수가 반환됩니다(예: 0.0002 vs. 0.85).
• Caveat: 높은 독성 점수에는 트리거가 되는 언어가 포함될 수 있으므로, 사용자는 해당 콘텐츠를 책임감 있게 다루어야 합니다.

---

언어 극성 (Regard) 측정

Takeaway: CEO 프롬프트에 대한 모델 완성은 트럭 운전사 프롬프트보다 더 긍정적인 극성을 보이며, 직업 기반 편향을 드러냅니다.

• Dataset used: 다양한 인구 집단에 대한 프롬프트를 포함하는 BOLD 데이터셋의 서브셋.
• Model: GPT‑2가 두 직업 그룹(트럭 운전사 vs. CEO)에 대한 완성을 생성합니다.
• Metric: regard 측정(evaluate.load("regard", "compare") 로 로드). negative, neutral, other, positive에 대한 극성 분포를 반환합니다.
• Result example:

  {"negative": 0.14, "neutral": 0.29, "other": -0.11, "positive": -0.32}
  

  CEO 완성의 긍정 점수가 더 높아 해당 직업에 대한 더 호의적인 시각을 나타냅니다.
• Interpretation: 그룹 간 regard 점수 차이를 계산함으로써, 실무자는 특정 정체성에 대한 체계적인 호의 또는 비난을 드러낼 수 있습니다.

---

상처를 주는 문장 완성 (HONEST)

Takeaway: HONEST 메트릭은 레즈비언 프롬프트에 대해 더 많은 상처를 주는 완성을 표시하며, 이는 성별 및 성적 지향 편향을 보여줍니다.

• Dataset used: HONEST 프롬프트 세트(LGBTQAI+ 그룹을 위한 영어 템플릿).
• Model: GPT‑2가 "lesbian" 및 "gay" 그룹을 대상으로 하는 프롬프트에 대한 완성을 생성합니다.
• Metric: honest 측정, evaluate.load("honest", "en") 로 로드.
• Result example:

  {"honest_score_per_group": {"lesbian": 0.333, "gay": 0.0}}
  

  점수가 높을수록 더 상처를 주는 완성을 의미하며, 레즈비언 그룹이 더 높은 점수를 받았습니다.
• Flexibility: 사용자는 top‑k 샘플링 파라미터를 조정하여 대체 완성 수가 HONEST 점수에 어떻게 영향을 미치는지 탐색할 수 있습니다(원본 HONEST 논문 참고).

---

논의 및 한계

Takeaway: 기존 편향 데이터셋은 범위가 제한적이며 복잡한 정체성을 이진 또는 범주형 라벨로 축소하는 경우가 많습니다; 여러 보완적인 메트릭을 함께 사용해야 합니다.

• Hugging Face는 능력 상태와 연령과 같은 소외된 차원을 포착하는 추가 데이터셋 기여를 커뮤니티에 장려합니다.
• 블로그는 현재 데이터셋 기반 편향 평가가 전체 진실로 간주되어서는 안 되며, 모델 행동에 대한 부분적인 관점을 제공한다는 점을 강조합니다.
• 독성, regard, HONEST 점수를 결합하면 다양한 사회 축에 걸친 모델 적합성에 대한 보다 전체적인 관점을 제공할 수 있습니다.

---

감사

저자들은 Federico Bianchi, Jwala Dhamala, Sam Gehman, Rahul Gupta, Suchin Gururangan, Varun Kumar, Kyle Lo, Debora Nozza, 그리고 Emily Sheng에게 🤗 Evaluate 및 Datasets 라이브러리에 데이터셋과 평가 스크립트를 추가한 공헌에 대해 감사를 표합니다.