Hugging Face オープン思考連鎖リーダーボード

Hugging Face は、Open Chain of Thought (CoT) Leaderboard を立ち上げました。これは、チェーン・オブ・ソート（思考の連鎖）プロンプトが複雑な推論タスクにおいてモデルの正確性をどれだけ向上させるかを測定するための、特化した評価フレームワークです。従来のリーダーボードが絶対的な正確性を追跡するのに対し、このリーダーボードは推論プロセス自体がもたらすマージナルな利益に焦点を当てています。

推論の影響を精度向上で測定する

Open CoT Leaderboard は、CoT プロンプトありとなしの性能差を計算することで、モデルの推論トレースの有効性を評価します。このアプローチは、モデルのベースライン知識から推論プロセスの影響を切り離すことを目的としています。

The Accuracy Gain Formula: accuracy gain Δ = accuracy with CoT – accuracy w/o CoT

ベースライン（CoT なしの正確性）を確立するために、リーダーボードは多肢選択評価に対して対数尤度精度を使用します。この手法は、トレーニングデータの汚染に対してより頑健であることを目指しています。モデルが特定の答えをトレーニング時に見たとしても、その答えに至る有効な推論パスを生成できないことがあります。

評価タスクとベンチマーク

リーダーボードは、常識的知識と汎用的推論を必要とするタスクを利用し、高性能 LLM でも挑戦的であることを保証します。すべてのタスクは多肢選択問題として提示されます。

評価スイートには以下が含まれます:

LogiQA: オリジナル版とバージョン2.0の新しい翻訳を含む。
LSAT: 分析的推論、論理的推論、読解に焦点を当てたサブセット。

これらのタスクの多くは AGIEval ベンチマークから取得され、logikon-bench を通じて再公開されています。

CoT 生成レジームとプロンプト戦略

幅広い CoT プロンプト手法に対応するため、リーダーボードはモジュラーなプロンプトチェーンを採用し、2 つのプロンプト戦略と 3 つのデコードパラメータの組み合わせで構成される 6 つの「生成レジーム」でモデルをテストします。

プロンプト戦略

Classic: 問題が提示され、続いて「ステップバイステップで考えよう」という指示が付与されます。
Reflect: モデルは、ステップバイステップの解答に入る前に、問題全体について考察するよう指示されます。

デコードパラメータ

貪欲デコード
ビームサーチ (n=2)
サンプリング (T=.3)

テストデータセットの各例について、モデルは 6 つのレジームそれぞれで 1 つのトレースを生成します。リーダーボードは、各モデル/タスクペアに対して、いずれかのレジームで達成された最高のマージナル精度向上を報告します。

主な発見と洞察

30 モデルの評価から得られた初期結果は、オープン LLM の推論能力に関していくつかの傾向を示しています:

小規模モデルの有効性: 比較的小さなモデル（例: 7B パラメータ）でも効果的な CoT 推論を示すことができます。場合によっては、Phi-2 のような小規模モデルが Mixtral のような大規模モデルよりも CoT トレースから得られる精度向上が大きいことがあります。
ファインチューニングの影響: 指示ベースおよびチャットベースのファインチューニングはパフォーマンスを大幅に向上させます。ファインチューニングは、ベースライン精度（CoT なし）と CoT 適用時のマージナルな精度向上の両方を高めます。
CoT 効果の一貫性の欠如: すべてのモデルに対して普遍的に優れた CoT 生成レジームは存在しません。戦略の有効性はモデルやタスクによって異なり、場合によっては CoT が精度を低下させることもあり、堅牢で信頼できる CoT 実装の構築が依然として課題であることを示しています。

今後の開発と貢献

Hugging Face は、リーダーボードを以下の領域で拡張するためのコミュニティ貢献を求めています:

モデルの提出: オープン LLM は、リーダーボードの HF スペースにある Submission タブから評価のために提出できます。
分析ツール: ベースライン精度、分散、推論トレースの特性（長さなど）を可視化する Open CoT ダッシュボードの開発。
戦略の拡張: ツリー・オブ・ソート、自己一貫性、自己チェック、ディベートなど、追加の CoT レジームの実装。
データセットの拡張: 計算リソースが許す限り、より難易度の高い推論タスクを追加。