Engram 執行長 Dan Biderman 解釋 AI 記憶問題以及為何長上下文不足

TL;DR

Engram 的 Dan Biderman 表示，僅靠更長的上下文窗口無法讓 AI 系統具備可靠的長期記憶；相反，我們需要將知識壓縮成 knowledge cartridges（知識彈匣），並透過高效的持續學習不斷更新模型權重。此方法有望實現代幣高效、成本低廉的 AI，能處理兆級代幣語料庫並為個別使用者提供個人化服務。

---

1. 為何長上下文不足以解決問題

• 上下文腐爛：加入更多代幣只會讓模型越來越混亂；即使是 1000 萬代幣的窗口也無法保證全局推理。
• 壓縮限制：目前的壓縮（剔除不重要的代幣）是有損的，會導致遺忘，尤其在長時間會話中更為明顯。
• 記憶效率低：將幾千位元組的文章載入 LLaMA‑70B 模型會消耗約 80 GB GPU HBM，遠超模型本身 140 GB 的參數容量。KV‑cache 成為系統瓶頸。
• 成本爆炸：在兆級代幣語料庫上查詢前沿模型的成本將達到每次查詢數千美元，使得 RAG 在企業規模下不可行。

2. 知識彈匣：將語料庫壓縮進模型狀態

• 概念：事先在大規模語料上訓練模型，使得最終的腦狀態（即彈匣）以高度壓縮的形式編碼知識——可能比原始文字小千倍。
• 使用方式：在推理時將彈匣載入模型；模型即可用遠少於原始代幣的資訊進行推理，降低混亂與成本。
• 粒度：彈匣可以是特定任務（例如某項技能）或特定語料（例如公司內部文件）。
• 類比：就像廚師閱讀食譜書 並 內化直覺；彈匣捕捉的是超越原始食譜的「直覺」。

3. 持續學習與測試時訓練

• 目標：在不破壞既有知識的前提下，用新資料更新模型權重，實現 代幣效率，並支援更長期的任務。
• 方法：在推理過程中執行基於梯度的更新（測試時訓練），讓模型即時吸收新資訊。
• 好處：讓單一模型同時處理靜態知識（存於彈匣）與動態、使用者特定的更新。

4. 代幣效率作為智慧的代理指標

• 前提：更聰明的 AI 能以更少的計算循環完成更多工作；代幣效率直接關聯解決更難問題的能力。
• 路由：Engram 計畫在可能的情況下將查詢導向最小且足夠的模型（例如廉價開源 LLM），將較大的模型保留給高價值任務。
• 未來願景：個人 AI 代理如同 Tamagotchi 持續成長——使用者培養它們，代理則在無需持續人工監督下自行適應。

5. 企業應用案例

• 全局查詢：需要跨數千檔案彙整資訊的任務（例如「今年哪些併購案尚未完成？」）無法僅靠簡單 RAG 解答，必須使用已 學會 關係的模型。
• 成本效益擴展：透過將企業知識壓縮成彈匣並使用代幣高效的推理，Engram 能以天文數字的比例降低相較於 naïve RAG 的成本。

6. 開放研究問題

• 權重 vs. 文字的分界：決定哪些事實應內化於權重、哪些應保留為可檢索文字仍是未解決的問題，類似人類記憶研究。
• 自動顯著性偵測：Engram 正在訓練模型自動決定何種資訊存入彈匣，避免手動啟發式規則變成「打地鼠」問題。
• 可擴展基礎設施：在各裝置上部署數百萬個個人化彈匣需要全新 API、儲存格式與推理管線。

7. 團隊與文化

• Engram 的研究團隊匯聚了來自 Stanford、Berkeley、Cornell 的博士以及業界資深人士。
• 公司強調產品優先的思維：研究必須轉化為企業可用的工具，最終落地於個人裝置。
• 招募重點：效能工程師、研究工程師與基礎設施專家，能構建大規模、成本效益高的 AI 流程。

8. 結語

• 效率 ≠ 低價：以更少資源完成更多事並不代表犧牲智慧；它擴大了可解決問題的範圍。
• 下一個範式：從「規模擴大」（更多代幣、更大模型）轉向「規模縮小」（緊湊表示、持續學習）是長期 AI 記憶的關鍵。
• 行動呼籲：Engram 歡迎合作夥伴、投資者與人才加入，攜手打造真正能記憶與學習的 AI。

---

了解更多: https://engram.com – 如欲合作或徵才，請聯絡 Dan（dan@engram.com）。