AI 推論 API 的會話可攜性：挑戰與社群觀點

可攜性問題

現代推論 API 正在遠離這樣的觀念：使用者擁有的逐字稿能完整捕捉一次 AI 會話。供應商現在會返回文字與不透明、伺服器綁定狀態的混合物，例如加密的推論標記、隱藏的搜尋證據以及只有原始供應商能解密的壓縮內容 blob。因此，本地儲存的逐字稿僅是會話的部分視圖，而該會話的運作狀態仍然停留在供應商的伺服器上。

供應商如何破壞可攜性

供應商以使用者為中心的論點來為每個不透明功能辯護，但這些功能共同削弱了使用者的所有權。範例包括：

  • 使用者需為推論標記付費，但僅返回無用摘要的加密 blob。
  • 網路搜尋中，模型能看到客戶永遠看不到的來源材料，僅返回引用或摘錄。
  • 伺服器端壓縮會發出被描述為「不透明且不打算供人類解讀」的加密壓縮項目。
  • 次代理的指令和訊息被隱藏為無法被另一個模型檢查或重播的加密有效載荷。
  • 檔案、向量存儲、容器和快取的參考僅在供應商環境內可解析。
  • 會話狀態以完全儲存在供應商伺服器上的 ID 為鍵，使得回應 ID 成為使用者無法控制的資料庫中的外鍵。

可攜性的實際測試

文章提出五項具體測試，以評估會話是否真正具備可攜性：

  1. 檢查： 使用者能否看到模型所見的內容、工具執行了什麼，以及各代理互相告訴了什麼？
  2. 匯出： 會話是否為自包含的，除了普通可下載的工件之外？
  3. 重放： 其他實作是否能從匯出的資料重建語意等價的上下文？
  4. 審計： 人類能否事後解釋系統為何採取該行動？
  5. 刪除： 使用者能否辨識並移除會話所依賴的每一份伺服器端副本？ 回應 ID 或密文無法通過這些測試，因為資料位於伺服器上或使用者無法解密。

社群反應

Hacker News 的評論者同時指出了贊同與不同的觀點：

  • 一位使用者指出，該文章讓他們重新考慮使用 Codex 訂閱，因為隱藏的推論削弱了審計能力。
  • 另一位使用者報告在 Claude 與 Codex 會話之間成功切換，並接受一些品質損失，視其等同於內容壓縮。
  • 一則評論：「我經常讓 Claude/Codex 互相繼續對方的會話，幾乎沒有問題。」
  • 幾位評論者認為供應商故意隱藏實作細節，以防止使用者探查內部運作。
  • 一種相反的觀點主張，對於長且重要的對話，繼續使用單一供應商並在其他地方重新開始是可以接受的。
  • 有人指出，透過 MCP 伺服器外部化工具或建立自訂代理狀態資料庫（例如，一個獨立的可透過 MCP 存取的資料庫）可以恢復控制權。
  • 其他人則提出實用的變通方法，例如維護一個含有 Markdown 摘要的筆記目錄，讓任何模型都能使用；或使用中介軟體記錄微提示以供審計。
  • 有少數人強調，開放權重模型提供永續性，因為公司無法將其拿走，使用者因此可以無限期保留指南、治療師或朋友。
  • 一位評論者警告，除非法規偏向閉源，否則遷移至開放權重模型很可能發生，並將成本與透明度視為驅動力。
  • 另一位則強調成本驅動的會話中途模型切換：使用強大模型進行探索，使用較小模型執行。

朝向可攜 API

文章列出七條規則，供推論服務提供者與代理構建者採納，以恢復可攜性：

  1. 將本地事件日誌視為準則；伺服器儲存可以鏡像它，但客戶必須能夠在不參考伺服器 ID 的情況下重建會話。
  2. 使儲存顯式化：store: false 應該易於使用、有文件說明，並最好作為預設；任何需要保留的功能必須在使用點聲明此事項。
  3. 確保沒有不透明項目是意義的唯一載體：加密推論、壓縮和工具簽名可以伴隨一個可讀取、供應商中立的交接表示。
  4. 要求託管工具記錄完整保真證據：精確的輸入、輸出、過濾、來源、時間戳和內容雜湊，而不僅是 polished answers 和引用。
  5. 透過持久化每個代理的精確可讀任務、訊息、結果、血統、模型和工具權限，使次代理通訊可審計。
  6. 返回可檢查的壓縮：可讀摘要、用來建立它的指令，以及足夠的血統以了解被捨棄的內容。
  7. 允許匯出工件，例如檔案、容器輸出、搜尋快照和生成的媒體，到內容可定址的本地檔案庫。

蒸餾與模型層鎖定

除了會話可攜性之外，文章還指出模型層存在相關的鎖定情況。主要實驗室宣稱擁有輸出的所有權，同時禁止客戶使用該服務來訓練競爭模型，但它們內部卻自行使用蒸餾。文章主張，對蒸餾的預設態度應該從敵對轉為支持，因為蒸餾能將昂貴的前沿能力轉化為體積更小、成本更低、速度更快的模型，這些模型可以在本地、離線或在使用者控制下運行，從而增加競爭並且在 API 消失時保留能力。

結論

核心張力在於供應商驅動的效能優化（依賴不透明、伺服器綁定狀態）與使用者驅動的需求（檢查、匯出、重放、審計、刪除）之間。若缺乏可攜性，使用者累積的上下文將被困在單一生態系統中，這會削弱供應商在品質、價格、可靠性和信任方面競爭的動機。實現可攜會話需要顯式儲存、所有不透明功能的可讀交接、完整保真的工具日誌、可審計的次代理通訊以及可匯出的工件——這些步驟將使使用者能夠關閉帳戶、保留會話，並將其交給另一個模型，即使該新模型持不同意見或表現較差。

Sources