LLM評価における「拡張時間ホライズン」の理解
大規模言語モデル（LLM）とAIエージェントに関する議論は、しばしば単純なパフォーマンス指標と混同されがちな用語で溢れています。最も議論を呼んでいる点の一つは「拡張時間ホライズン」の概念です。初心者にとっては、これは処理が遅いことを称賛するか、非効率性の指標のように思えるかもしれません。しかし、AIエージェントのワークフローの複雑さは、知性と能力を測る方法に根本的な変化をもたらしています。
誤解：処理速度 vs. タスクホライズン
多くの批評家は、モデルが質問に答えるのに時間がかかることを称賛するのは逆説的だと主張します。「2 + 2」を解くのに時間がかかる人の例えは、遅い応答時間が低い知性に相当すると示唆しています。この観点からは、時間的側面は無関係です—モデルがコンテキストウィンドウを1秒で埋めようと60分で埋めようと、結果だけが重要です。
しかし、この批判は根本的な区別を見落としています：推論速度（トークン/秒）とタスクの時間ホライズンの違いです。
時間ホライズンの定義
AIエージェント評価の文脈において、「時間ホライズン」はAIが結果を計算するのに要する時間を指すものではありません。むしろ、AIが目標を見失わず、同じ目的から逸脱せず、ステップの連続に対する「注意力」の欠如で失敗することなく自律的に処理できるタスクの規模を指します。
コミュニティメンバーの一人がHacker Newsの議論で指摘したように：
これは「AIが${thing}を行うのにどれくらい時間がかかるか」ではなく、「人間が${thing}を行うのにどれくらい時間がかかるか」であり、${thing}はAIが正解する確率が n である事柄の集合から選ばれます。
言い換えれば、時間ホライズンは自律的な思考連鎖の複雑さと長さの指標です。もしタスクが通常、専門家の人間が集中して2時間かかる（例：複雑なコードベースのデバッグや多段階の調査）もので、AIエージェントが同じタスクを高い成功確率で完了できるなら、そのAIは「2時間の時間ホライズン」を持つと言われます。
なぜこれがAIエージェントにとって重要なのか
標準的なLLMが入力を出力へマッピングするステートレスな関数であるのに対し、エージェントは環境と相互作用し、フィードバックを受け取り、反復するシステムです。これらのシステムにとっての課題は速度ではなく、安定性です。
安定性の課題
長い一連の行動で目標を維持することはLLMにとって困難です。その理由は以下の通りです：
- コンテキストドリフト：エージェントが行動しフィードバックを受け取るにつれ、コンテキストウィンドウがノイズで埋まり、モデルが元の目的を忘れる可能性があります。
- エラー蓄積：20ステップのプロセスの第2ステップで小さなミスが起きると、10ステップ目までに全体の失敗につながります。
- 再帰的ループ：エージェントは進捗がないことに気付かず、繰り返しの行動サイクルに陥ることがあります。
研究者が「拡張時間ホライズン」について語るとき、彼らが称賛しているのはエージェントが長時間タスクでこれらの失敗に抵抗できる能力であり、トークン生成速度ではありません。
結論
AIの能力測定は、もはや標準ベンチマークの精度や推論速度だけではなくなりました。自律エージェントへと進むにつれ、指標は複雑な多段階ワークフローにおいて一貫性と目標指向性を維持できる能力へとシフトします。「時間ホライズン」は消費されたCPUサイクルの測定ではなく、AIが信頼できる自律性の範囲を測る指標です。