為什麼將 LLM 輸出人性化對代理工作流(Agent Workflows)適得其反

以人為中心的輸出風格會壓縮代理的工作並導致資訊流失

以人為導向的輸出格式,例如 Simplified Technical English (STE) 或短句提示詞,會迫使模型將其內部推理過程壓縮成低頻寬的表示形式。

  • 壓縮是有損的:即使文本讀起來仍然通順,細節也會被丟棄。
  • 代理需要最高資訊密度的表示形式來解決任務、保留抽象概念並避免出錯。
  • 將風格約束作為核心指令集的一部分,會將呈現方式與問題解決混淆在一起,這與傳統系統中存儲與顯示為分離層級的做法不同。

"如果妳告訴一個代理使用短句、避免術語、不要讓妳感到不知所措,並且只包含最重要的細節,妳就是在要求它不斷地將輸出壓縮成低頻寬格式。這種壓縮是有損的。" – kuberwastaken, Humanising LLM Outputs is Dumb

原始代理輸出對於正確性和除錯至關重要

當代理與子代理進行溝通時,每一層都應該交換精確且機器可讀的數據:

5/6 PASS
FAIL: test_cache_invalidation
CAUSE: stale key survives restart
REPRO: tests/cache_test.py:184

像「大多數測試已通過,雖然有一個值得研究的問題」這樣的人性化摘要,會隱藏了自動修復所需的精確失敗資訊。

  • 詳細的日誌會揭露衝突的證據、未解決的分支、堆疊追蹤(stack traces)以及不確定的假設。
  • 人類語言傾向於平滑化這些訊號,使得偵測幻覺或細微的錯誤變得更加困難。

現有系統設計模式在邊界之前保持高保真度

  • Databases 存儲原始行數據;儀表板(dashboards)則為用戶格式化它們。
  • Compilers 保留中間表示(IR)而非用於人類消費。
  • APIs 交換的是結構化數據,而非敘述性摘要。

LLM 工具化正日益反轉這一模式,即在推理階段強迫進行人性化格式化。

無障礙性與個性化屬於最後的渲染階段

作者澄清,其論點並非反對讓輸出變得易於使用:

"如果妳想要三行答案或 Simplified Technical English,沒問題!我只是認為最好在最後階段才這樣做。"

建議是保持代理的內部狀態、架構(schemas)、差異(diffs)、信心分數和來源(provenance)完整無缺,然後僅在最後一次將結果轉換為人類消費的形式。

社群對這種權衡的看法

  • Xcelerate 指出,在長篇 LLM 輸出之後,他們會提示進行第二次處理來「解壓縮任何 LLM 術語」以供個人使用,同時保留原始輸出以供未來的代理使用。
  • 7402 分享了一個提示詞,可以抑制友好度與第一人稱語言,旨在追求簡潔、事實性的回答。
  • Animats 警告說,強迫風格可能會引入幻覺,而不僅僅是丟失資訊。
  • firefoxd 觀察到,以前使用像機器人指令一樣的搜尋查詢會產生更好的結果,但 AI 生成的總覽(overviews)已經削弱了這種能力。
  • pholden 指出,Claude 的輸出風格設定僅影響主對話;子代理保留其自身的系統提示詞,因此風格洩漏(style leakage)是有限的。
  • boredumb 認為,前沿模型應該優先考慮機器層級的精確度,應由 UI 開發人員來構建他們需要的、人性化的層級。
  • TheCapeGreekTheCapeGreek (重複) 強調,許多用戶實際上想要這種有損壓縮,以避免代碼審查中的冗長評論。
  • wren6991 反駁說,LLM 們在內部已經進行了語碼轉換(code-switch,例如 chain-of-thought 與最終輸出),因此為人類提供更簡單的方言是沒有本質上危害的。
  • virajk_31scotty79 建議使用專用的聯絡代理(liaison agent)來在機器最佳化輸出與用戶友好型渲染之間進行翻譯。

實務建議:將「思考」與「談話」階段分離

  1. 保持核心代理輸出為原始數據 – 保留完整的測試日誌、錯誤追蹤、信心指標和結構化差異(diffs)。

  2. 定義一個後處理步驟 – 在代理完成後,調用一個格式化程序或第二個 LLM,將原始數據轉換為所需的、人性化的風格(e.g., STE, 簡潔的列點式摘要)。

  3. 透過 APIs 暴露原始數據 – 允許下游工具或人類審查員在需要時請求未經濾過的原始輸出。

  4. 將風格視為渲染器,而非指令 – 類似於數據庫查詢返回行數據,而 UI 組件則對其進行格式化。

通過這種分離,開發人員可以保留可靠自動化所需的保真度,同時仍能向終端用戶提供無障礙且個性化的摘要。


這場討論反映了 AI 工具化的一個更廣泛的轉向:從單一、以人為中心的提示詞,轉向層級化架構,其中機器之間透過精確、機器友好的語言進行溝通,而只有最後一層才將其轉換為為人類可讀的形式。

Sources

相關