🤗 Evaluate を用いた言語モデルバイアスの評価

TL;DR

Hugging Face は新しいバイアス評価指標—toxicity、language polarity (Regard)、HONEST—を 🤗 Evaluate ライブラリでリリースし、研究者が GPT‑2 や BLOOM などの因果言語モデルからの有害またはステレオタイプ的な出力を定量化できるようにしました。

新しいバイアス評価ワークフローの概要

バイアス評価ワークフローは2つのステップで構成されます：

  1. Prompting 事前に定義されたプロンプトのセットで因果言語モデル (CLM) に入力し、これらのプロンプトは 🤗 Datasets にホストされています。
  2. Scoring 生成された完了文を 🤗 Evaluate の指標で評価します。 このアプローチは、自由形式のテキストを生成できる任意の CLM で機能し、特定のプロンプトデータセットに依存しません。

毒性測定

Takeaway: 簡単な代名詞の変更だけで測定された毒性比率が2倍になることがあり、モデルの完了文における性別バイアスを示しています。

  • Dataset used: WinoBias データセットから抽出されたプロンプト。
  • Model: GPT‑2 が男性代名詞と女性代名詞のプロンプトに対して完了文を生成します。
  • Metric: toxicity 測定で、Facebook の R4 ヘイトスピーチ分類器をラップしています。
  • Result example:
    {"toxicity_ratio": 0.0}   // male prompts
{"toxicity_ratio": 0.333} // female prompts
    女性代名詞の完了文は、毒性の高い出力の割合がより高くなります。
  • Usage: evaluate.load("toxicity") で指標をロードし、compute(predictions=..., aggregation="ratio") を呼び出します。aggregation を省略すると、完了文ごとの生スコアが返されます（例: 0.0002 対 0.85）。
  • Caveat: 高い毒性スコアにはトリガーとなる言語が含まれる可能性があるため、ユーザーはそのコンテンツを責任を持って取り扱うべきです。

言語極性（Regard）測定

Takeaway: CEO のプロンプトに対するモデルの完了文は、トラックドライバーのプロンプトに比べてより肯定的な極性を示し、職業に基づくバイアスを明らかにします。

  • Dataset used: BOLD データセットのサブセットで、さまざまな人口統計グループ向けのプロンプトが含まれています。
  • Model: GPT‑2 が2つの職業グループ（トラックドライバー vs. CEO）に対して完了文を生成します。
  • Metric: regard 測定（evaluate.load("regard", "compare") でロード）。negative、neutral、other、positive の極性分布を返します。
  • Result example:
    {"negative": 0.14, "neutral": 0.29, "other": -0.11, "positive": -0.32}
    CEO の完了文のポジティブスコアが高く、該当職業に対してより好意的な見方が示されています。
  • Interpretation: グループ間の regard スコアの差を計算することで、実務者は特定のアイデンティティに対する体系的な好意または軽蔑を明らかにできます。

有害な文の完了（HONEST）

Takeaway: HONEST 指標は、レズビアンのプロンプトに対してより多くの有害な完了文をフラグし、ゲイのプロンプトよりも多く、性別と性的指向に関するバイアスを示しています。

  • Dataset used: HONEST プロンプトセット（LGBTQAI+ グループ向けの英語テンプレート）。
  • Model: GPT‑2 が「lesbian」および「gay」グループを対象としたプロンプトに対して完了文を生成します。
  • Metric: honest 測定で、evaluate.load("honest", "en") によりロードします。
  • Result example:
    {"honest_score_per_group": {"lesbian": 0.333, "gay": 0.0}}
    スコアが高いほど有害な完了文が多いことを示し、レズビアン・グループのスコアが高くなります。
  • Flexibility: ユーザーは top‑k サンプリングパラメータを変更して、代替完了文の数が HONEST スコアに与える影響を調査できます（元の HONEST 論文参照）。

議論と限界

Takeaway: 既存のバイアスデータセットは範囲が限定的で、複雑なアイデンティティを二元的またはカテゴリラベルに単純化しがちです。複数の補完的指標を組み合わせて使用すべきです。

  • Hugging Face は、能力ステータスや年齢など、過小評価されている次元を捉える追加データセットのコミュニティへの貢献を奨励しています。
  • ブログは、現在のデータセットに基づくバイアス評価は包括的な真実として扱うべきではなく、モデルの挙動に対する部分的な視点を提供するに過ぎないと強調しています。
  • 毒性、regard、HONEST スコアを組み合わせることで、さまざまな社会的軸にわたるモデルの適切性をより包括的に把握できます。

謝辞

著者は、Federico Bianchi、Jwala Dhamala、Sam Gehman、Rahul Gupta、Suchin Gururangan、Varun Kumar、Kyle Lo、Debora Nozza、Emily Sheng に、🤗 Evaluate と Datasets ライブラリにデータセットと評価スクリプトを追加するための貢献に感謝します。

SUMMARY: Hugging Face はバイアス測定指標（toxicity、language polarity、HONEST）を 🤗 Evaluate ライブラリに追加し、因果言語モデルにおける有害な言語の体系的測定を可能にしました。

TITLE: 🤗 Evaluate を用いた言語モデルバイアスの評価

Sources