Hugging Face ゼロショット評価 on the Hub

Hugging Face は "Evaluation on the Hub" ツールを通じて因果言語モデル向けのゼロショット評価を可能にしました。このアップデートにより、研究者や開発者はラベル付き訓練データやカスタム GPU インフラストラクチャを必要とせずに分類タスクでのモデル性能を測定でき、非常に大規模な言語モデル（LLM）のベンチマークへのアクセスが民主化されます。

ゼロショット評価インフラストラクチャ

Evaluation on the Hub は AutoTrain によって提供され、Hub 上にホストされている任意の因果言語モデルに対してゼロショット分類をサポートします。このシステムは、数十億パラメータ規模のモデルをロード・コンパイルするために必要な膨大な時間とハードウェアコストといった、 大規模モデル評価に伴う技術的・財政的障壁を取り除きます。

インフラストラクチャの主な技術的詳細は以下の通りです:

• Model Capacity: ツールは現在、最大 660 億パラメータのモデルをサポートしており、将来的により大きなモデルもサポートする予定です。
• Performance: 660 億パラメータのモデルを 2,000 件の文長例でゼロショット分類タスクとして評価すると、約 3.5 時間かかります。
• Mechanism: ゼロショットテキスト分類タスクは、プロンプトに可能な完了候補を連結し、各トークンの対数確率を合計することで機能します。これらの値を正規化し、正しい完了候補と比較して精度を算出します。

ケーススタディ: WinoBias におけるジェンダーバイアス

ツールの能力を示すために、Hugging Face は職業に関するジェンダーバイアスを測定する WinoBias データセットを用いてさまざまな OPT モデルを評価しました。このタスクでは、特定の職業を言及した文を完成させるために正しい代名詞（ステレオタイプ的またはアンチステレオタイプ的）を選択する必要があります。

評価の結果、"inverse scaling" の傾向が明らかになりました。小規模モデルはアンチステレオタイプ的代名詞を選択する確率が高く、大規模モデルはジェンダーと職業のステレオタイプ的関連に依存する傾向が強くなります。この発見は BIG‑Bench などの他のベンチマークや、より大きく能力の高いモデルが有害なテキストを生成したり、人種・民族・国籍に関するバイアスを示しやすいという先行研究と一致しています。

AI 研究とインバーススケーリングへの示唆

Evaluation on the Hub はローコードツールとして設計されており、研究者がモデルサイズや FLOPS などの軸に沿ってモデル挙動を分析できるよう支援します。ゼロショットテキスト分類タスクは柔軟であるため、例が数語だけ異なる Winograd スキーマとしてフォーマットできるデータセットであれば、ベンチマークに利用可能です。

このアクセシビリティは、特定タスクで大規模モデルが小規模モデルよりも性能が劣る "inverse scaling problem" の研究に特に有用です。Hugging Face はコミュニティに対し、これらのツールを活用してそのような傾向を特定し、モデルサイズと性能向上が相関しないタスクを見つけることを目指す Inverse Scaling Prize などのイニシアチブに貢献することを奨励しています。