OpenAI GPT-5.6 Sol ARC-AGI-3 ベンチマーク パフォーマンス最適化

OpenAI は、2 つの特定の API 設定を有効にすることで、GPT-5.6 Sol の ARC-AGI-3 ベンチマークにおけるパフォーマンスが 13.3% から 38.3% に向上したことを実証しました。これらの設定は、 retained reasoning と compaction です。この発見は、ベンチマークのスコアがモデル固有の能力だけでなく、評価ハーネスの構成を反映していることが多いことを示しています。

ARC-AGI-3 でのパフォーマンス向上

GPT-5.6 Sol は、Responses API を駆動とするハーネスで retained reasoning と compaction を有効にした状態で、ARC-AGI-3 パブリックセットにおいて 38.3% のスコアを達成しました。これに対し、公式の ARC-AGI-3 ハーネスではスコアが 13.3% でした。

これらのスコアは、Relative Human Action Efficiency (RHAE) を用いて測定されており、これはモデルのパフォーマンスを人間ベースラインと比較するものです。文脈として、OpenAI は平均的な人間テスターが同じタスクで 48% のスコアを記録したと推定しています。この改善は、出力トークンを 6 倍削減しながらパフォーマンスをほぼ 3 倍に向上させるものです。

ハーネス設計がモデルの推論に与える影響

公式の ARC-AGI-3 ハーネスは、モデルの欠点をより見えやすくし、公平な比較を確保するために汎用的な設計を使用しています。しかし、OpenAI はこのハーネスに GPT-5.6 Sol の 2D パズルゲームにおける学習と推論能力を妨げる 2 つの主要な制限があることを特定しました。

推論の破棄

公式ハーネスでは、各ゲームアクション後にすべてのプライベートな推論が破棄されます。これにより、モデルは毎ターンゲーム状態をゼロから再解釈する必要が生じます。なぜなら、以前の手を導いたプラン、洞察、思考にアクセスできないからです。

ローリングトランケーション

コンテキスト制限を管理するために、公式ハーネスはローリングトランケーションを採用しており、会話が 175,000 文字を超えたときに最も古いメッセージを破棄します。これにより、モデルは最初の観察とアクションの記憶を失い、コンテキストウィンドウが常にいっぱいになることでパフォーマンスが低下する可能性があります。

技術的ソリューション: retained reasoning と compaction

ChatGPT や Codex でのモデルのデプロイ方法に評価を合わせるため、OpenAI は Responses API を使用したハーネスを実装しました。このアプローチにより、以下の 2 つの主要な技術的改善が導入されました。

retained reasoning

Responses API を介して前のレスポンス ID を渡すことで、GPT-5.6 Sol はツール呼び出しとターンをまたいでプライベートな推論を自動的に保持します。これにより、モデルは時間をかけて一貫した戦略を採用できるようになり、各アクション前に考える時間を短縮できます。なぜなら、各ターンの最初からゲームを再分析する必要がなくなるからです。

compaction

ローリングトランケーションに代わり compaction を使用することで、モデルは長時間の実行において学習した情報をよりよく保持できるようになります。ローリングトランケーションが単に古いデータを削除するのに対し、compaction はコンテキストをより効率的に管理し、モデルが出力トークンを少なくしながら高いスコアを維持できるようにします。

API 開発者への推奨

OpenAI は、モデルのパフォーマンスを最大限に引き出したい開発者に対し、本番環境で使用している設定を採用することを推奨しています。具体的には、以下の通りです。

• Responses API をレガシーな Chat Completions API の代わりに使用する。
• retained reasoning を有効にし、モデルがやり取り全体で論理的なスレッドを維持できるようにする。
• compaction を使用して、重要な早期ターンの情報を失うことなくコンテキストウィンドウを管理する。