理解 LLM 評估中的「延伸時間視野」
關於大型語言模型（LLM）與 AI 代理人的討論，常常充斥著可能與單純效能指標混淆的術語。其中最具爭議的議題之一就是「延伸時間視野」的概念。對於不熟悉此概念的人來說，這可能看起來像是讚揚緩慢處理或是效率低下的指標。然而，AI 代理工作流程的複雜性代表了一種全新的衡量智慧與能力的方式轉變。
誤解：處理速度 vs. 任務視野
許多批評者認為，稱讚模型花更長時間回答問題是違背直覺的。把一個人花很長時間解「2 + 2」比作回應較慢就等同於較低智力，這樣的類比暗示時間維度並不重要——無論模型在一秒或六十分鐘內填滿其上下文窗口，最終結果才是唯一關鍵。
然而，這種批評忽略了一個根本的區別：推理速度（每秒 token 數）與任務的時間視野之間的差異。
定義時間視野
在 AI 代理評估的語境中，「時間視野」並不是指 AI 計算結果所需的時間長短。它指的是 AI 能夠在不失去目標、偏離同一目標或因缺乏「注意力」而在多步序列中失敗的情況下，自治處理的任務規模。
正如一位社群成員在 Hacker News 討論中指出的：
This is not "how long does AI take to do ${thing}", it is "how long does human take to do ${thing}, where ${thing} is from the set of things that AI has probability = n of getting right".
換句話說，時間視野是自主思考鏈的複雜度與長度的代理指標。如果一項任務通常需要人類專業人士兩小時的專注工作——例如除錯複雜的程式碼庫或進行多步驟研究——而 AI 代理能以高成功率完成同樣的任務，則該 AI 被認為具備「兩小時的時間視野」。
為何這對 AI 代理重要
標準的 LLM 是一個無狀態的函式，將輸入映射到輸出；而代理則是一個與環境互動、接收回饋並迭代的系統。這類系統面臨的挑戰不是速度，而是穩定性。
穩定性挑戰
在長序列的行動中維持目標對 LLM 來說相當困難，原因包括：
- 上下文漂移：隨著代理執行動作並收到回饋，上下文窗口會被噪音填滿，可能導致模型忘記最初的目標。
- 錯誤累積：在二十步流程的第二步出現小錯誤，可能在第十步就導致整體失敗。
- 遞迴迴圈：代理可能陷入重複行為的循環，而未意識到自己未在前進。
當研究者談到「延伸時間視野」時，他們讚揚的是代理在長時間任務中抵抗上述失敗的能力，而非它產生 token 的速度。
結論
衡量 AI 能力已不再僅僅是標準基準的準確度或推理速度。隨著我們朝向自治代理前進，指標轉向在複雜、多步工作流程中維持連貫性與目標導向的能力。"時間視野"不是 CPU 週期的量度，而是 AI 能可靠行使的自治範圍的量度。