TextQuests: テキストベースのビデオゲームにおけるLLMエージェント的推論の評価

自律エージェント評価のためのTextQuestsベンチマーク

Hugging Faceは、TextQuestsというベンチマークを導入しました。これは、Large Language Models（LLM）が複雑で探索的な環境において自律エージェントとして機能する能力を評価することを目的としています。最先端モデルはMMLUやGPQAといった静的知識ベンチマークで飽和状態にありますが、TextQuestsはこの知識が、増大し続けるコンテキスト上で持続的かつ自己指向的な推論を必要とする動的・インタラクティブな設定に転移できるかどうかをテストします。

ベンチマークの設計と方法論

TextQuestsは25本のクラシックなInfocomインタラクティブフィクションゲームを利用します。これらのゲームは、しばしば数百もの正確なアクションを要求し、人間のプレイヤーが完了するまでに30時間以上かかることもあるため、厳格なテストベッドとなります。ベンチマークは特に以下の2つのコアなエージェント能力を測定します。

長文コンテキスト推論: 外部ツールを使用せず、アクションと観測の継続的に増大する履歴に基づいて多段階の計画を立案・実行する能力。
探索による学習: 経験から学び、失敗を分析し、試行錯誤を通じて段階的に改善する能力。

評価指標

モデルは2つの異なる実行で評価されます：公式のゲームヒントにアクセスできる場合（"ヒントあり"）とアクセスできない場合（"ヒントなし"）。各実行は500ステップに制限され、長文コンテキスト性能をテストするためにゲーム履歴は切り捨てられずに保持されます。性能は以下の2つの主要指標で測定されます。

ゲーム進行度: エージェントがゲーム完了への道筋で達成したラベル付きチェックポイント（必要な目標）の数で測定。
ハーム（有害性）: ゲーム内で有害と見なされる特定の行動を追跡し、すべてのゲームにわたって平均化することで、エージェントの有害行動傾向を評価。

LLM性能に関する主要な発見

長文コンテキスト推論の失敗

コンテキストウィンドウが100Kトークンを超えると、現在のLLMは正確な推論と計画において顕著な失敗を示します。一般的な問題は以下の通りです。

幻覚: モデルは過去のやり取りを幻覚し、実際には取得していないアイテムを持っていると信じ込むことがあります。
繰り返し行動: コンテキストが長くなるにつれ、エージェントは新しい計画を合成するよりも過去の行動を繰り返す傾向が強まります。
空間推論の欠如: モデルはメンタルマッピングに苦労します。例えば、ゲーム Wishbringer では、LLMは上昇パスを逆にたどって崖を下りることに頻繁に失敗します—この情報はコンテキスト履歴に明示的に存在しています。同様に、すべての最先端LLMは Zork I の迷路をナビゲートするのに苦戦しました。

動的思考と効率性

ベンチマークは、推論の深さと運用効率性の間にトレードオフがあることを示しています。テスト時により多くの計算資源（より多くの推論トークン生成）を使用するモデルは一般に高い性能を達成しますが、この利益はある予算を超えると減少します。

多くの探索的ステップ（基本的なナビゲーションなど）は中間的で深い推論を必要としないため、理想的なLLMエージェントはタスクの複雑性に応じて推論努力を動的に調整し、推論コストとレイテンシを最適化できるものです。